Orice mesaj cu care avem de-a face în teoria informației, este o colecție de informații despre un sistem fizic. De exemplu, intrarea mesajului de management automat al hala de producție poate fi transmis în procente normale sau crescute a defectelor, compoziția chimică a materiei prime sau a temperaturii în cuptor. Intrarea mijloacelor de control al sistemului de apărare aeriană poate fi transferat într-un mesaj care în aer există două ținte de zbor la o anumită înălțime, o anumită viteză. Aceeași intrare poate fi trimis un mesaj care indică faptul că, la un anumit aerodrom este în prezent un anumit număr de luptători în stare de alertă, sau că aerodromul incapacitat inamic neexpuse, sau că prima țintă este bătut, iar al doilea continuă zborul cu Modificate curs. Oricare dintre aceste mesaje descrie starea unui sistem fizic.
Evident, dacă starea sistemului fizic era cunoscută în prealabil, nu ar avea sens să transmită mesajul. Mesajul devine semnificativ numai atunci când starea sistemului nu este cunoscută în prealabil, accidental.
Prin urmare, ca obiect al informațiilor transmise, vom lua în considerare un anumit sistem fizic. care se poate întâmpla într-un mod aleator într-o anumită stare, adică un sistem inerent inerent unui anumit grad de incertitudine. Evident, informațiile primite despre sistem vor fi, în general, mai valoroase și mai semnificative, cu atât mai mare este incertitudinea sistemului înainte de a obține această informație ("a priori"). Se pune întrebarea firească: ce înseamnă gradul de incertitudine "mare" sau "mai mic" și cum poate fi măsurat?
Pentru a răspunde la această întrebare, să comparăm două sisteme, fiecare având o anumită incertitudine.
Ca primul sistem luăm o monedă, care ca rezultat al aruncării poate fi în una din cele două stări: 1) emblema a căzut și 2) cifra a căzut. Ca al doilea - un zar, care are șase stări posibile: 1, 2, 3, 4, 5 și 6. Întrebarea este: care este mai incert? Evident, al doilea, deoarece are mai multe stări posibile, în fiecare dintre care poate fi cu aceeași probabilitate.
Se pare că gradul de incertitudine este determinat de numărul de posibile stări ale sistemului. Cu toate acestea, în cazul general, acest lucru nu este valabil. Luați în considerare, de exemplu, un dispozitiv tehnic care poate fi în două stări: 1) în mod regulat și 2) refuzat. Să presupunem că până când informația este primită (a priori), probabilitatea funcționării dispozitivului este 0.99, iar probabilitatea de eșec este 0.01. Un astfel de sistem are doar un grad foarte mic de incertitudine: aproape sigur se poate prevedea că dispozitivul va funcționa corect. Atunci când aruncați o monedă, există și două stări posibile, dar gradul de incertitudine este mult mai mare. Vedem că gradul de incertitudine al unui sistem fizic este determinat nu numai de numărul de posibile stări, ci și de probabilitățile statelor.
Trecem la cazul general. Luați în considerare un sistem. care poate lua un set finit de stări: cu probabilități. unde
- probabilitatea ca sistemul să accepte starea (simbolul denotă evenimentul: sistemul este în stare). Evident.
Vom scrie aceste date sub forma unei tabele, în care linia de sus enumeră posibilele stări ale sistemului, iar în linia inferioară - probabilitățile corespunzătoare:
adică entropia unui sistem cu stări egale este egală cu logaritmul numărului de stări.
De exemplu, pentru un sistem cu opt state.
Să demonstrăm că în cazul în care starea sistemului este exact cunoscută în prealabil, entropia sa este zero. Într-adevăr, în acest caz toate probabilitățile din formula (18.2.2) dispare, cu excepția, de exemplu, unul. care este egal cu unul. Termenul dispare de atunci. Termenii rămași dispăreau, de asemenea
Să demonstrăm că entropia unui sistem cu un set de stări finite atinge un maxim atunci când toate stările sunt echivalente. În acest scop, considerăm entropia sistemului (18.2.2) ca o funcție a probabilităților și extrema nedeterminată a acestei funcții, sub condiția:
Folosind metoda multiplicatorilor Lagrange nedeterminati, cautam extrema functiei:
Diferențiind (18.2.5) în ceea ce privește și echivalând derivatele la zero, obținem un sistem de ecuații:
din care se poate observa că extrema (în acest caz, maximul) este atinsă atunci când valorile sunt egale. Din condiția (18.2.4) rezultă că în acest caz
și entropia maximă a sistemului este:
adică valoarea maximă a entropiei unui sistem cu un număr finit de state este egală cu logaritmul numărului de stări și este atinsă atunci când toate statele sunt echivalente.
Calculul entropiei prin formula (18.2.2) poate fi simplificat într-o oarecare măsură dacă introducem o funcție specială:
unde logaritmul este luat pe baza 2.
Formula (18.2.2) are forma:
Funcția este tabelată; în apendice (tabelul 7) valorile sale sunt date pentru 0 la 1 până la 0,01.
Exemplul 1. Determinați entropia unui sistem fizic format din două aeronave (un luptător și un bombardier) care participă la o luptă aeriană. Ca rezultat al bătăliei, sistemul poate fi în una din cele patru stări posibile:
1) ambele aeronave nu sunt doborâte;
2) luptătorul este împușcat, bombardierul nu este doborât;
3) luptătorul nu este împușcat, bombardierul este doborât;
4) ambele avioane sunt doborate.
Probabilitățile acestor stări sunt de 0,2; 0,3; 0,4 și 0,1.
Soluția. Înregistrăm condițiile sub forma unui tabel:
Exemplul 3. Determinați entropia maximă posibilă a unui sistem format din trei elemente, fiecare dintre ele putând fi în patru stări posibile.
Soluția. Numărul total de stări posibile ale sistemului este. Entropia maximă posibilă a sistemului este (două unități).
Exemplu 4. Determinați entropia maximă posibilă a unui mesaj format din cinci litere, numărul total de litere din alfabet fiind de 32.
Soluția. Numărul de stări posibile ale sistemului. Entropia maximă posibilă este (două unități).
Formula (18.2.2) (sau echivalentul acesteia (18.2.10)) servește pentru calcularea directă a entropiei. Cu toate acestea, atunci când se efectuează transformări, o altă formă de înregistrare a entropiei este adesea mai convenabilă, și anume reprezentarea ei sub forma unei așteptări matematice:
unde este logaritmul probabilității oricărei (aleatorii) stări a sistemului, considerată ca valoare aleatorie.
Când sistemul primește stări. variabila aleatoare ia valorile:
Valoarea medie (așteptarea matematică) a unei variabile aleatoare este, după cum nu este greu de văzut, entropia sistemului. Pentru a obține aceasta, valorile (18.2.12) sunt medii cu "greutăți" egale cu probabilitățile corespunzătoare.
Formule similare cu (18.2.11), unde entropia este reprezentată sub forma unei așteptări matematice, fac posibilă simplificarea transformărilor asociate cu entropia, reducându-le la aplicarea unor teoreme bine cunoscute privind așteptările matematice.
Trimiteți-le prietenilor: