Entropia ca măsură a incertitudinii unui sistem fizic
Informația care este un obiect de stocare, transfer și transformare se numește informație. Măsura măsurării cantității de informații se bazează pe conceptul de entropie. Entropia este o măsură a gradului de incertitudine în starea unui sistem X (variabilă aleatorie) cu un număr finit sau numărare de rezultate.
Ce înseamnă incertitudinea și cum să o măsurați?
Un exemplu. Să fie două sisteme: primul sistem este un zar (are 6 state), al doilea sistem este o monedă (are 2 stări).
Întrebarea este: care stare a sistemului este mai dificil de prezis (incertitudinea cărui sistem este mai mare)? Firește, incertitudinea primului sistem este mai mare. Prin urmare, gradul de incertitudine al sistemului depinde de numărul de posibile stări. Cu toate acestea, numărul de state nu este o caracteristică exhaustivă a gradului de incertitudine.
Să arătăm acest lucru ca exemplu pentru sisteme cu două stări stabile. Să presupunem că există 2 monede M1 și M2 (moneda are două stări posibile: vulturul 0 și torsul P):
P i - probabilitatea de a găsi monede în stare de vultur sau de cozi.
Nu este dificil să vedem că incertitudinea acestor două sisteme va fi diferită. Incertitudinea primului sistem este mai mare, deoarece se poate observa din tabel că a doua monedă este aproape întotdeauna în starea de vultur. Prima monedă nu este cunoscută în ce stare este, este la fel de probabil să fie fie în stare de vultur, fie într-o stare de coadă.
Astfel, vedem că gradul de incertitudine este, de asemenea, determinat de probabilitățile statelor sistemului. Ca măsură a incertitudinii a priori, teoria informațiilor oferă entropie.
Entropia Shannon este egală cu suma produselor probabile ale stărilor sistemului prin logaritmii acestor probabilități luate cu semnul opus:
unde X = (x 1. x2 ... x i, ... x n.) - o multitudine de posibile sistem X. stări primesc membru cu probabilități p (x 1), p (x 2), ... p (xi) ... p (xn),
n este numărul de stări posibile. Trebuie respectată următoarea condiție de normalizare:
În formula 1.1, baza logaritmului poate fi binară, zecimală sau naturală. Dacă se folosește o bază binară, poate fi omisă. Cu o bază binară, entropia este măsurată în unități binare sau biți. Formula (1.1) poate fi reprezentată în următoarea formă:
Entropia caracterizează valoarea medie și reprezintă așteptarea matematică a - log p. adică, H (X) = M [- log p (x)].
Să luăm în considerare proprietățile entropiei:
1. Entropia este o cantitate reală, limitată și ne-negativă: H # 8807; 0.
Această proprietate rezultă din (1.2).
Luați în considerare un termen - pk log pk. Când pk variază de la zero la unu, acest termen real pozitiv se modifică de la zero, atinge un maxim la pk =. apoi scade din nou la zero (vezi Fig.1.1)
De fapt, lasand pk sa ajunga la zero, obtinem
dacă se face o înlocuire
atunci obținem următoarea formulă: adică, termenul dispare atunci când pk = 0. Dacă pk = 1, atunci log pk = 0 și termenul este de asemenea zero: - pk log pk = 0.
Valoarea maximă este determinată de condiția:
- log pk e = 0. Prin urmare, pk × e = 1; Înlocuim în Hk
Valoarea maximă este de 0,531.
2. Entropia este minimă și zero dacă cel puțin una dintre stările sistemului este cunoscută în mod fiabil: H = Hmin = 0.
Fie ca sistemul să aibă trei stări, iar probabilitățile acestor stări vor fi egale: p 1 = p 2 = 0, p 1 = 1. Atunci
3. Entropia este maximă și egală cu logaritmul numărului de state dacă stările sistemului sunt la fel de probabile:
4. Entropia cantităților binare variază de la 0 la 1.
Fie p 1 = p; p2 = (1-p); Apoi H = - p × log p - (1-p) × log (1- p);
Entropy este zero, atunci când probabilitatea de una dintre stările este zero, atunci crește și atinge maximul la p = 0,5, adică atunci când p = 1 p 2 = 0,5. În același timp, incertitudinea mesajelor la recepție este cea mai mare.
Baza logaritmului poate fi exprimată în unități binare, zecime sau naturale. În cazul estimării entropiei în unități binare, baza poate fi omisă:
Calculul entropiei poate fi simplificat prin introducerea unei funcții speciale # 951; (p) =. apoi H (x) = # 931; # 951; (p).
Pentru a calcula entropia cu ajutorul acestei funcții, există tabele special compilate (vezi Tabelul 1 din Apendicele 1).
Articole similare
Trimiteți-le prietenilor: