Orice mesaj este o colecție de informații despre un anumit sistem fizic. De exemplu, la intrarea în sistemul de control al apărării aerului, se poate trimite un mesaj care arată că la un anumit aeroport există un anumit număr de luptători în pregătirea pentru luptă sau că aerodromul este dezactivat de focul inamic etc. Oricare dintre mesajele de mai sus descrie starea sistemului fizic. Dar, cu starea cunoscută a sistemului fizic, nu are nici un sens transmiterea mesajului - el devine semnificativ doar atunci când starea sistemului este accidentală. Ca obiect despre care se transmite informația, considerăm un sistem fizic X care poate în mod aleatoriu în orice stare - un sistem cu un anumit grad de incertitudine. Informațiile primite despre sistem sunt mai semnificative, cu atât mai mare este incertitudinea sistemului înainte de a obține această informație (a priori). Cum se măsoară gradul de incertitudine? Gradul de incertitudine al unui sistem fizic este determinat nu numai de numărul de posibile stări, ci și de probabilitățile statelor. Acum, ia în considerare un sistem X care ia un set finit de stări: cu probabilități. în cazul în care. probabilitatea ca sistemul X să-și asume starea xi (denotă evenimentul: sistemul este în stare). Este, de asemenea, evident că.
Entropia este definită ca măsură a incertitudinii stării unui anumit sistem fizic. Ca urmare a obținerii informațiilor, incertitudinea sistemului poate fi redusă. Cu cat este mai mare cantitatea de informatii primite, cu cat mai mult continutul pe care il contin, cu atat mai multa informatie va fi despre sistem, cu atat mai putin nesigur este starea sa. Prin urmare, cantitatea de informații este măsurată prin scăderea entropiei sistemului, pentru a clarifica starea informațiilor care sunt destinate.
Să luăm în considerare un anumit sistem X pe care îl observăm. Estimăm informațiile obținute ca urmare a faptului că starea sistemului X devine pe deplin cunoscută. Înainte de obținerea informațiilor (a priori), entropia sistemului era H (X); După primirea informațiilor, starea sistemului a fost determinată pe deplin, adică entropia a devenit zero. Indicăm prin Ix informațiile obținute ca urmare a clarificării stării sistemului X. Este egală cu scăderea entropiei: sau
și anume cantitatea de informații obținute cu o clarificare completă a stării unui anumit sistem fizic este egală cu entropia acestui sistem.
Reprezentăm (1.1) în forma:
Formula (1.2) înseamnă că informația Ix este media logaritmului probabilității unei stări cu semnul opus mediat pentru toate stările sistemului. Într-adevăr, pentru a obține Ix, fiecare valoare (logaritmul probabilității stării i) cu semnul "-" este înmulțită de probabilitatea acestei stări și toate aceste produse se adună. Fiecare termen individual este considerat ca o informație particulară obținută dintr-un mesaj separat, constând în faptul că sistemul X este în starea xi. Denumiți aceste informații prin:
Apoi, informația Ix este reprezentată ca informație medie (sau completă) primită din toate mesajele individuale posibile, luând în considerare probabilitățile lor. Rescrim formula (1.2) sub forma unei așteptări matematice:
Unde X este orice stare (aleatorie) a sistemului X.
Deoarece toate numerele pi nu sunt mai mult de unul, este ca și cum ar fi informații private. iar totalul nu poate lua valori negative. Dacă toate stările posibile ale sistemului au probabilități diferite, informațiile de la diferite nu sunt aceleași: cele mai mari informații sunt raportate la acele evenimente care au fost a priori cel mai puțin probabil.
Un exemplu. Pe o tablă de șah într-una din celule se introduce o figură arbitrară. A priori, toate pozițiile figurii de pe tablă sunt la fel de probabile. Este necesar să se determine informațiile primite de la mesajul în care celula este situată cifra.
Soluția. Entropia unui sistem X cu stări echilibrabile este; în acest caz: (două ediții), adică mesajul conține 6 unități de informații binare. pentru că toate stările sistemului sunt la fel de probabile, atunci orice mesaj special de tipul are aceeași informație: cifra este în pătratul e2.
Un exemplu. În condițiile din exemplul precedent, pentru a determina informațiile specifice din mesaj că cifra se află într-una din celulele colțului plăcii.
Soluția. Probabilitatea a priori a statului raportată este egală cu. Informațiile private sunt (două ediții).
În termodinamică, entropia este notată de S. unde Q - căldură, T - temperatură.
. unde E este energia sistemului, F este energia liberă a sistemului.
Fie o distribuție de probabilitate finită, adică set de numere nonnegative care îndeplinesc condiția :.
Entropia acestei distribuții este o cantitate. (1.5)
unde și. Este evident că. unde H = 0 dacă și numai dacă toate probabilitățile. cu excepția unuia, sunt egale cu 0.
Funcția. . este convex în sus și. În consecință ,.
În caz contrar, entropia atinge valoarea maximă la. "Gradul de incertitudine" în realizarea unui eveniment este diferit pentru diferite distribuții. (Dacă, atunci nu există incertitudine și experiență A1 se va întâmpla ca urmare a experimentului.) Dacă distribuția are o incertitudine maximă).
Articole similare
Trimiteți-le prietenilor: