Pentru a compara diferitele surse de mesaje și diferite canale de comunicare, este necesar să se introducă o măsură cantitativă care să permită estimarea informațiilor conținute în mesaj și a informațiilor purtate de semnale. Metodele stricte de informații cantitative au fost propuse de K. Shannon în 1948. și a condus la construirea teoriei informației, care este baza matematică a teoriei comunicării, informaticii și a câtorva domenii conexe ale științei și tehnologiei.
Să analizăm mai întâi ideile de bază ale acestei teorii, aplicate unei surse discrete care emite o succesiune de mesaje. Lăsați această sursă să trimită un mesaj de la un ansamblu. Definirea cantității de informații conținute în acest mesaj se bazează pe următoarele cerințe naturale:
1. Cantitatea de informații trebuie să fie o cantitate aditivă, adică în două mesaje independente, aceasta trebuie să fie egală cu suma cantității de informații din fiecare dintre acestea.
2. Cantitatea de informații din mesaj despre un eveniment valid este zero.
3. Cantitatea de informații nu trebuie să depindă de calitatea mesajului, în special de gradul de importanță pentru destinatar, de posibilele consecințe ale transmiterii sale, de colorarea emoțională etc.
Deci, pentru a determina cantitatea de informații dintr-un mesaj, este necesar să se bazeze numai pe un astfel de parametru care caracterizează în forma cea mai generală mesajul a din ansamblul A. Acest parametru este probabil probabilitatea p (a) a sursei care trimite acest mesaj. Prin urmare, cantitatea de informații i (a). conținută în mesajul a, ar trebui să fie o funcție a i.
Îmbunătățirea definitivă a definiției necesare nu este dificilă dacă luăm în considerare primele două cerințe. Fie a1 și a2 două mesaje independente. Probabilitatea ca sursa să trimită ambele aceste mesaje (una după alta) este p (a1, a2) = p (a1). p (a2), iar informațiile conținute de aceasta trebuie să îndeplinească ipoteza aditivitate, adică i (a1, a2) = i (a1) + i (a2). În consecință, este necesar să găsim o funcție a probabilității p, care are proprietatea că atunci când cele două argumente sunt multiplicate, valorile funcției se adaugă. Singura astfel de funcție este logaritmica i (a) = kl og p (a), unde k este orice constanta, iar logaritmul este preluat de orice baza. Cu această definiție a cantității de informații, se aplică și a doua cerință: atunci când p (a) = 1 i (a) = kl og1 = 0.
Pentru a măsura cantitatea de informații număr non-negativ, vom alege întotdeauna k = -1, deoarece formula (în cazul în care baza logaritmului este mai mare decât unu). Prin urmare:
Baza logaritmului din (2.1) este adesea aleasă să fie 2. Unitatea de informații obținută în acest caz este numită unitate binară sau bit. Este egal cu cantitatea de informații din mesajul despre eveniment, care are loc cu o probabilitate de 0,5, adică una care poate sau nu poate să apară cu probabilitate egală. O astfel de unitate este cea mai convenabilă datorită utilizării extinse a codurilor binare în tehnologia informatică și comunicații. În studiile teoretice, se utilizează uneori un logaritm natural, care măsoară informația în unități naturale. Unitatea naturală este de două ori mai mare decât cea binară. Vom folosi în principiu unități binare, iar în cele ce urmează notația va însemna logaritmul binar.
Este posibil să se caracterizeze entropia, precum și măsura diversității mesajelor cauzate de sursă.
Entropia este principala caracteristică a unei surse, cu cât este mai mare, cu atât este mai dificil să memorați (înregistrați) un mesaj sau să îl transmiteți pe un canal de comunicare. Cheltuielile de energie necesare în multe cazuri pentru a transmite mesajul sunt proporționale cu entropia sa.
Proprietățile de bază ale entropiei:
1. Entropia nu este negativă. Este zero numai pentru un ansamblu "degenerat", atunci când un mesaj este transmis cu probabilitatea 1, iar restul are o probabilitate zero.
2. Entropia este aditivă. Aceasta este, dacă luăm în considerare o secvență de mesaje n ca un mesaj "mărit". atunci entropia sursei acestor mesaje mărită va fi de n ori entropia sursei sursă.
3. Dacă ansamblul conține mesaje K diferite, iar egalitatea are loc numai atunci când toate mesajele sunt transmise în mod egal și independent. Numărul K este numit volumul alfabetului sursă.
În special, pentru o sursă binară fără memorie, atunci când K = 2, entropia este maximă pentru P (a1) = P (a2) = 0,5 și este egală cu l og2 = 1bit. Dependența entropiei acestei surse pe P (a1) = 1-P (a2) este prezentată în figură.
Adică, cantitatea de informații dintr-un mesaj este mai mare decât este puțin probabil, sau altfel decât este mai neașteptat.
Dacă sursa transmite o serie de mesaje dependente, atunci primirea mesajelor anterioare poate schimba probabilitatea ulterioară și, prin urmare, cantitatea de informații din ea. Aceasta ar trebui să fie determinată de probabilitatea condiționată de transmiterea acestui mesaj cu un precedent an-1. an-2, ...:
Cantitatea de informații definite mai sus este o variabilă aleatoare, deoarece mesajele în sine sunt aleatoare. Pentru a caracteriza întregul ansamblu (sau sursa) de mesaje folosite de numărul așteptat de informație numită entropie și notate H (A):
Aici așteptările matematice, ca întotdeauna, denotă medierea pe ansamblul mesajelor. În acest caz, trebuie luate în considerare toate relațiile probabilistice dintre diferitele mesaje.
Cu cât entropia sursei este mai mare, cu atât este mai mare gradul de neașteptate al mesajelor transmise de aceasta în medie, adică, cu atât mai nesigur este mesajul așteptat. De aceea, entropia este numită adesea o măsură a incertitudinii. După primirea mesajului, dacă este acceptat corect, orice incertitudine este eliminată. Acest lucru ne permite să interpretăm cantitatea de informații ca măsură de diminuare a incertitudinii.
se numește redundanța sursei cu volumul alfabetului K. Se arată cât de mult din alfabetul maxim posibil de entropie nu este utilizat de sursă.
Unele surse transmit mesaje la o rată fixă, cheltuind o medie a T pentru fiecare mesaj.
Producția (în biți pe secundă) a unei astfel de surse H '(A) este entropia totală a mesajelor transmise pe unitate de timp:
Articole similare
Trimiteți-le prietenilor: