Luați în considerare o sursă de informații care produce o secvență de mesaje discrete independente xi. Fiecare mesaj este selectat aleator din alfabetul sursei X = x1 ... xn (n - sursa dimensiune alfabet). Această sursă de informație se numește o sursă fără memorie cu alfabet finit discret, iar mesajele produse de acestea sunt numite simplu. În viitor, pentru a simplifica calculele, vom lucra cu aceste surse.
Cantitatea de informații conținute într-o sursă elementară a mesajului (vezi Ec. 7), de asemenea, a făcut-o nu caracterizează ca unele mesaje de bază pot transporta o mulțime de informații, dar în același timp, să fie transmise rar, în timp ce alte mesaje pot transporta puține informații, dar pentru a transfera o parte . De aceea, sursa poate fi caracterizată prin cantitatea medie de informații referitoare la un mesaj elementar - entropie sursa [1, 6, 7]:
unde X este alfabetul mesajelor sursă de informații; n este mărimea alfabetului sursă.
Entropia are o serie de proprietăți:
1. În primul rând, H (X) ≥ 0. pozitivitatea H (X) este văzută de la (8), ca probabilitatea pozitivă și minciună între zero și unu, logaritmii numerelor negative și egale cu zero, este posibilă numai pentru un astfel de caz în care probabilitatea de apariție a unuia dintre originea unui mesaj este egal cu unitatea, iar pentru restul este zero.
2. În al doilea rând, pentru o anumită dimensiune a alfabetului sursei n, entropia este maximă și egală cu H (X) = log2n. Atunci când probabilitatea apariției mesajelor sursă este egală, adică mesajele sunt la fel de probabile.
3. În al treilea rând, entropia are proprietatea aditivității:
unde H (X) este entropia primei surse de informație; H (Y) este entropia celei de-a doua surse de informație.
Exemplul 2. Să ne imaginăm sursa mesajelor sub forma unui coș, în care există bile de trei culori: roșu, verde și albastru. Aceste bile (mesaje) determină dimensiunea alfabetului sursă.
Calculăm entropia sursei de mesaje dacă:
1) bile roșii - 7 buc. bile verzi - 5 buc. bile albastre - 2 buc.
2) bile roșii, verzi și albastre - 2 buc.
Soluție: În coș există bile de trei culori, prin urmare dimensiunea alfabetului sursă este n = 3.
Calculați entropia sursei:
După cum se vede din cele de mai sus, entropie determină numărul mediu de cifre binare necesare pentru a codifica sursa originală a simbolurilor de informație. Este maxim când simbolurile sunt generate de sursă cu probabilitate egală. Dacă unele simboluri apar mai des decât altele, entropia scade. Cu cât entropia sursei este mai mică decât cea maximă, cu atât mai rațională funcționează, cu atât mai multe informații conțin simbolurile acesteia.
Pentru comparație surselor informative se introduce un parametru numit redundanță și egal cu [1, 6, 7]:
unde Hmax (X) este entropia maximă a sursei.
O sursă a cărei redundanță R = 0 se numește optimă. Toate sursele reale au redundanță R ≠ 0.
Să presupunem că am primit aceeași cantitate de informații I0 din sursele reale și optime. Apoi numărul de simboluri k. cheltuit pe transferul acestei cantități de informații printr-o sursă reală, va fi mai mare decât numărul de simboluri kmin cheltuite de sursa optimă. Cunoscând numărul de simboluri k și kmin, puteți calcula și redundanța:
Redundanța mărește timpul de transmisie al informațiilor, deci este nedorit. Cu toate acestea, atunci când transferul mesajelor, prezența interferențelor în canalul de comunicație, redundanța este utilizat pentru a crește imunitatea la zgomot a mesajelor transmise (control al erorilor de codificare).
Exemplul 3. Lăsați sursa de informații să transmită textul rusesc. Dacă nu fac diferența între litera „e“ și „e“, precum și semne moi și dure, rus literă a alfabetului 31; adăugați un spațiu între cuvinte și obțineți 32 de caractere.
Arătăm că un cod binar pe cinci biți (cod Bode) nu este optim pentru transmiterea textului rusesc.
Soluție: În acest cod, cinci simboluri elementare sunt cheltuite pe fiecare reprezentare a fiecărei litere. Entropia maximă a sursei folosind codul Bode din cinci cifre pentru a transmite alfabetul rus este Hmax (X) = log2 32 = 5 (bit). În acest caz, se consideră că toate literele alfabetului rusesc au aceeași probabilitate și sunt independente static.
Luând în considerare diferitele probabilități de apariție a literelor în text, entropia este egală cu:
Luând în considerare corelația dintre două și trei litere adiacente, entropia este egală cu:
4. Având în vedere corelația între opt sau mai multe simboluri, entropia este:
Apoi, totul rămâne neschimbat.
Calculăm redundanța sursei de informații prezentate atunci când codificăm simbolurile cu un cod Bode de cinci cifre:
Astfel, se poate concluziona că la fiecare 6 litere din zece sunt redundante și pur și simplu nu pot fi transmise, i. E. redundanța textului rusesc este de 60%.
Aceeași redundanță aceeași și mai mare este posedată de alte surse de informație - vorbire, muzică, imagini TV etc.
Cunoscând entropia H (X) și timpul. care ia în medie fiecare mesaj elementar, puteți calcula una dintre cele mai importante caracteristici ale sursei - performanța (cantitatea medie de informații pe unitate de timp) [1, 6, 7]:
Articole similare
Trimiteți-le prietenilor: