Măsura măsurativă a informațiilor
Deoarece orice sistem de comunicare este proiectat pentru transmiterea de informații, problema apare în evaluarea cantității de informații într-un mesaj transmis. Estimați cantitatea de informații în ceea ce privește valoarea sa de a destinatarului imposibil, t. Pentru a. Același mesaj către diferiți destinatari are o valoare diferită, de exemplu, informațiile obținute în studiul materialului pentru specialistul este foarte valoroasă.
De asemenea, pentru determinarea cantității de informații se utilizează două dependențe:
- liniar exprimând dependența cantității de informații din mesaj din lungimea sa, adică, de exemplu, cartea conține mai multe informații decât una din paginile sale;
- care exprimă dependența exponențială a cantității de informații într-un mesaj din posibilele permutări ale acelorași elemente ale mesajului, de exemplu, în cazul în care sursa mesajului are un vocabular de 1000 de cuvinte, și generează o lungime mesaj de 50 cuvinte, numărul de mesaje posibile va fi egală cu 50 1000.
Pentru a ține seama de aceste două dependențe, se utilizează o scală logaritmică pentru estimarea cantității de informații. Pe baza celor de mai sus, cantitatea de informații din mesaj va fi determinată:
unde I (ai) reprezintă cantitatea de informații din mesajul ai;
P (ai) este probabilitatea apariției mesajului ai.
Alegerea bazei logaritmului definește unitatea pentru măsurarea cantității de informații. Pentru comoditate, baza în sistemele de coduri binare folosește baza b = 2 și apoi informația este măsurată în biți-unități binare sau binare (din cuvintele binare în limba engleză). Astfel, cantitatea de informații este definită ca:
Din această expresie rezultă că un bit de informație este:
1 biți reprezintă cantitatea de informații pe care mesajul o poartă cu probabilitatea P (ai) = 0,5.
Bitul termen este folosit în ingineria computațională și impuls, deoarece mesajele sunt generate de două simboluri echivalente 1 și 0.
După cum rezultă din expresie, cantitatea de informații nu poate fi negativă.
Entropia sursei
Cele mai multe surse reale generează mesaje cu o cantitate diferită de informații, cu toate acestea, în rezolvarea problemelor practice, este necesar să se cunoască cantitatea medie de informații pe mesaj. Cantitatea medie de informații este definită ca așteptarea matematică a cantității de informații din mesaj.
unde Ma este numărul de posibile mesaje sursă.
Cantitatea H (A) se numește entropia sursei și caracterizează cantitatea medie de informație pe mesaj.
Expresia de mai sus este folosită pentru a determina entropia surselor de mesaje discrete. Pentru mesajele continue a (t), entropia tinde teoretic la infinit, deoarece mesajul poate lua un număr infinit de valori, deci P (ai) ®0 și I (ai) ®. Totuși, dacă mesajul este digitizat și reprezentat ca un număr finit de valori cuantificate pentru nivelul L, atunci este posibil să se determine cantitatea medie de informație dintr-o probă (entropia probei):
unde pi este probabilitatea apariției în mesajul cuantificat al nivelului i.
Lk reprezintă numărul de niveluri de cuantificare.
Dacă trecem la tranziția limitativă, lăsând L să meargă la infinit, obținem o cantitate numită entropie diferențială.
Entropia este o informație obiectivă caracteristică sursei mesajelor. Este întotdeauna pozitivă.
1 0 Entropia este zero dacă un mesaj este fiabil (P (ai) = 1), iar altele nu sunt posibile.
Entropia este maximă atunci când toate mesajele sunt la fel de probabile și cresc odată cu creșterea numărului de mesaje echiprobabile.
Entropia are proprietatea aditivității, adică entropia diverselor surse.
Sursa redundantă
Prin redundanță se înțelege prezența în mesaj a elementelor "superficiale", adică a elementelor care nu poartă o sarcină semantică (de exemplu, conjuncții, prepoziții). Aceste elemente pot fi restabilite prin relații statistice între alte elemente ale mesajului. De exemplu, sindicatele, prepozițiile și semnele de punctuație pot fi restabilite prin cunoașterea regulilor de construire a propozițiilor. În acest fel:
redundanța este o măsură de reducere a mesajului fără pierderea de informații, datorită relațiilor statistice dintre elementele mesajului.
Măsura cantitativă a informațiilor este factorul de redundanță:
unde H (A) este entropia calculată pe baza caracteristicilor statistice ale mesajelor;
Hmax (A) este entropia maximă a sursei, care conform celei de-a doua proprietăți este egală cu:
Hmax (A) = log2 Ma; bit / mesaj. (13)
Prezența redundanței în transmiterea mesajelor are părțile sale pozitive și negative. Un mesaj care are redundanță necesită un timp de transmisie mai lung și, respectiv, un timp de canal mai lung. Cu toate acestea, o creștere a redundanței duce la o creștere a imunității la zgomot a mesajului. Ajută la detectarea și corectarea erorilor în mesajele recepționate. Acest lucru se datorează faptului că nu toate combinațiile posibile de simboluri sunt folosite pentru a forma mesajul, ci doar anumite (rezolvate) care sunt înregistrate în directoare (dicționare) speciale. Când primiți un mesaj cu elemente (cuvinte) care nu sunt cuprinse în manuale, acesta indică prezența unei erori, iar elementul eronat poate fi înlocuit cu un element similar în scris sau potrivit în sens. Toate limbile au o redundanță de c ^ 0,5.
Capacitatea sursei
Capacitatea unei surse este cantitatea medie de informație generată de o sursă pe unitate de timp.
Performanța unei surse de mesaj discrete este definită ca:
H (A) = H (A) / tcp; bit / s (14)
unde tср - durata medie a mesajului:
unde tn este timpul în care au fost generate n mesaje.
Capacitatea unei surse de mesaje continue este definită ca:
H (A) = fd Hott (A); bit / s (16)
unde fd este frecvența de eșantionare (2Fmax).
Dacă mesajul este cuantificat de niveluri echiprobabile, adică pi = 1 / L, atunci performanța sursei poate fi definită ca:
Hnd (A) = fd log2 L; bit / s (17)
Articole similare
-
Surse de calificare și caracteristici de zgomot - stadopedia
-
Gunoaiele comunică între ele - ochiul informațiilor despre planetă și portalul analitic
Trimiteți-le prietenilor: