Faptul de a obține informații este întotdeauna legat de reducerea diversității sau a incertitudinii. Vom stabili măsuri cantitative de incertitudine pentru informare și vom clarifica proprietățile sale.
O sursă discretă de informații poate accepta aleatoriu unul din seturile finite de stări posibile în fiecare moment al timpului. Stări diferite ui "sunt realizate ca urmare a alegerii lor ca sursă". Ansamblul de state U se caracterizează prin suma probabilităților de apariție a acestora:
Introducem o măsură a incertitudinii în alegerea stării sursă. Aceasta poate fi considerată o măsură a cantității de informații. Pentru o astfel de măsură, s-ar putea lua numărul de stări ale sursei (dacă acestea sunt la fel de probabile). Apoi, ar corespunde condiției de creștere monotonă cu creșterea numărului de stări posibile ale sursei.
Cu toate acestea, o astfel de măsură nu îndeplinește cerința de aditivitate:
Dacă două surse independente cu numărul de state echivalente N și M sunt considerate o singură sursă, realizând simultan perechi de state ni mj. atunci incertitudinea sursei combinate ar trebui să fie egală cu suma incertitudinilor sursei sursă:
Relația (2.2) este satisfăcută dacă logaritmul numărului de stări este luat ca măsură a incertitudinii unei surse cu stări echilibrabile:
Apoi, pentru N = 1 și H (U) = 0, cerința de aditivitate este satisfăcută (R. Hartley). Baza logaritmului nu are o importanță fundamentală și determină numai scara sau unitatea de incertitudine. Considerațiile tehnice sugerează alegerea bazei logaritmului - 2. În acest caz, unitatea de incertitudine se numește un bit (din cifra binară engleză). Uneori este folosit un copil (din zecimal).
EXEMPLU: Pentru a determina numărul minim de cântăriri pentru identificarea o monedă falsă de la 27: H (U) = log3 27. Unul cântărind trei rezultate posibile, înseamnă că incertitudinea: H (U ¢) = log3 logaritm 3 de bază și, de asemenea, ar trebui să fie egală cu 3. Prin urmare, H (U) = 3log3 3 = H (U ¢), adică, 3 este necesară cântărirea.
Măsura propusă este de succes, dar nu este aplicată pe scară largă, deoarece utilizează un model prea brut al sursei de informații (echiprobabil).
K. Shannon a propus o măsură mai folosită:
unde C este un număr pozitiv arbitrar.
O asemenea măsură este numită entropia unei surse discrete de informații sau entropia unui ansamblu finit. Acesta este singurul funcțional (afirmația lui K. Shannon, dovedită strict de L. Ya. Khinchin), care satisface toate cerințele pentru măsura incertitudinii (măsura de informație).
Pentru un sistem de măsurare binar, luând C = 1, obținem
Structura formală (2.4) coincide cu entropia sistemului fizic (Boltzmann). Conform celei de-a doua lege a termodinamicii, entropia unui spațiu închis este definită ca
unde MP este numărul de molecule dintr-un spațiu dat; mi este numărul de molecule care posedă o viteză de la v la v + Dv.
Deoarece mi / Mn este probabilitatea ca molecula să aibă o viteză de la v la v + Dv. atunci putem rescrie (2.6): H = -.
Coincidența are un înțeles fizic profund, deoarece în ambele cazuri valoarea lui H caracterizează gradul de diversitate a stărilor sistemului.
Măsura Shannon este o generalizare naturală a măsurii Hartley în cazul unui ansamblu cu state neechiprobabile. Vă permite să țineți cont de proprietățile statistice ale sursei de informații.
Unele proprietăți ale entropiei:
1. Entropia este o cantitate reală și ne-negativă, deoarece pentru orice pi (1 i iNN), acesta variază de la 0 la 1, log pi este negativ și, în consecință, -pi log pi este pozitiv.
2. Entropia este o cantitate limitată. Pentru termenii -pi log pi în domeniul 0 3. Entropia devine zero dacă probabilitatea uneia dintre stări este 1. 4. Entropia este maximă atunci când toate stările sursei sunt la fel de probabile, ceea ce este dovedit prin utilizarea metodei multiplicatorilor Lagrange incert. 5. Entropia sursei u cu două stări u1 și u2 variază de la 0 la 1, atingând un maxim cu egalitatea probabilităților lor: 6. Entropia combinării a mai multor surse de informație statistice independente este egală cu suma entropiilor surselor sursă. 7. Entropia indică incertitudinea medie selectarea unuia din ansamblul de stat și nimic altceva (atunci când se evaluează efectele drogurilor incertitudine lipsit de importanță dacă recuperarea 90% dintre pacienți și 10% din matriță, sau vice-versa). Entropia poate caracteriza nu numai o discretă, ci și o sursă continuă de informații. Entropia pentru o astfel de sursă se numește entropie diferențială: Această valoare pentru Du ® 0 tinde spre infinit (indeterminarea alegerii unui număr infinit de stări posibile (valori) este infinit de mare). Primul termen din partea dreaptă a expresiei (2.7) are o valoare finită, depinzând numai de legea distribuției U. și nu depinde de pasul de cuantificare Du. Are exact aceeași structură ca entropia unei surse discrete. Al doilea termen depinde numai de pasul de cuantizare Du. El este responsabil pentru faptul că H (U) devine infinit. Două abordări sunt cunoscute interpretării expresiei (2.7). Primul este că primul termen este luat ca măsură a incertitudinii unei surse continue. Această cantitate se numește entropia diferențială a unei surse continue. Acesta poate fi interpretat ca incertitudinea medie a unei variabile aleatoare U selectați dreptul de distribuție aleatoare în raport cu incertitudinea medie în alegerea unei variabila aleatoare U ¢, schimbarea în intervalul 1 și având o distribuție uniformă. Entropia condiționată a unei surse continue poate fi exprimată ca În a doua abordare pentru a cuantifica proprietățile unei surse continue de informații pentru a lua în considerare imposibilitatea practică de a asigura o precizie infinită distingerea cantitate continuă valori U. Prin urmare, toate numărul infinit U de valori dintr-o precizie specificată de măsurare trebuie să fie considerată ca o singură valoare. Din incertitudinea medie a alegerii sursei unei anumite valori în acest caz este necesar să se scadă incertitudinea medie a aceleiași surse, obținută cu condiția să știm rezultatele determinării cu o anumită precizie e. Apoi proprietățile informaționale ale sursei continue vor fi estimate de diferența dintre entropiile necondiționate (2.7) și condiționate (2.8). Această diferență este o măsură a incertitudinii eliminate, numită cantitatea de informații. Cantitatea de informații Transmiterea informațiilor este dictată de dorința de a elimina incertitudinea cu privire la succesiunea stărilor realizate de sursă. Transmiterea informațiilor este fie inițiată de sursa însăși, fie efectuată la cerere. Informațiile sunt întotdeauna sub formă de semnale. Semnalele care provin de la ieșirea convertorului primar al sursei de informație la intrarea canalului de comunicații sunt de obicei numite mesaje. în contrast cu semnalele generate la intrarea liniei de comunicație. Separarea semnalelor primare de la ieșirea sursei de mesaje se numește elemente de mesaj. Fiecare element de mesaj corespunde unei anumite stări a sursei de informații. Dacă sursa de informații implementează un număr de state în paralel (o foaie de hârtie cu text), convertorul primar asigură afișarea secvențială a acestora prin elementele mesajului (pronunțând sunete de către o persoană). Conceptul de bază al teoriei informației - cantitatea de informații - este considerat aici aplicat la transmiterea anumitor elemente de mesaje care nu au legătură. În acest caz, sursa discretă de informații a mesajelor este complet caracterizată de un ansamblu O sursă continuă de informație este caracterizată de o densitate de distribuție unidimensională p (z) a variabilei aleatoare z.
ca o măsură de incertitudine ușurată
Trimiteți-le prietenilor: