Entropie și informații
Pentru practică, este important să puteți estima numeric gradul de incertitudine al celor mai diverse experimente pentru a le putea compara.
Să începem prin examinarea experimentelor rezultatelor K echiprobabile. Gradul de incertitudine al fiecărui astfel de experiment este determinat de numărul K. Pentru K = 1, rezultatul experimentului nu este accidental. Pentru o valoare mare a lui K, predicția rezultatului experimentului devine dificilă.
Astfel, caracteristica numerică necesară a gradului de incertitudine ar trebui să fie invidia lui K. adică să fie o funcție a f (k); f (1) = 0; pe măsură ce argumentul crește, funcția trebuie să crească. Pentru o definiție mai completă a funcției f (k), este necesar să se introducă cerințe suplimentare pentru aceasta.
Luați în considerare o experiență complexă. constând în executarea simultană a experimentelor și. Incertitudinea de a face o experiență complexă este o mai mare incertitudine a experienței. deoarece la incertitudinea sa este necesar să adăugăm incertitudinea experienței. Prin urmare, este normal să presupunem că gradul de incertitudine al experimentului este egal cu suma incertitudinilor care caracterizează și.
Să presupunem că are k ∋ l rezultate echiprobabile, k; l. Ajungem la următoarea condiție, care trebuie satisfăcută de funcția f (kl) = f (k) + f (l). Ultima condiție ne obligă să ne gândim la măsura incertitudinii experimentului, care are probabilități K egale, numărul log k. log (kl) = log k + log l. Această definiție a măsurii incertitudinii este în concordanță cu condițiile inițiale care f (1) = log 1 = 0; f (k) este o funcție în creștere. Se poate demonstra că funcția logaritmică este singura care satisface aceste condiții.
Notă: Trebuie remarcat faptul că alegerea bazei logaritmului nu joacă un rol important, poskol-ku datorita formulei bine-cunoscute de tranziție se poate scrie logb a = logc a / logc b ⇒ k logb = logb o ∋ LOGA k este redus la înmulțire cu o constantă, adică, echivalent cu o simplă schimbare în unitatea de măsură pentru gradul de incertitudine gradul neopredelonnosti.Obychno-Ness ia logaritmul în baza 2: log2k = logk. iar baza 2 nu este fixată. Ie pentru unitatea de măsură a gradului de incertitudine ia incertitudinea experimentului, care are 2 rezultate egale: log2 2 = 1 bit. Peste tot, vom folosi unități binare de măsură.
Tabela de probabilități pentru un experiment care are rezultate echivalente K:
Dacă experiența are rezultate K incompatibil, perechi H () = 0 este egal cu, de mult ca un rezultat - un eveniment semnificativ, iar toate celelalte - este imposibil, ca p (A1) +. + p (Ak) = 1. Această circumstanță este în acord cu cantitatea
H () - doar în acest caz, experimentul nu conține deloc incertitudine.
2. Din toate experimentele cu rezultatele K, cea mai incertă experiență este experiența cu rezultatele K la fel de probabile. Se poate demonstra că inegalitatea
Egalitatea se realizează cu probabilități egale P (Ai); i = [1; k]
Exemplu: Există două urne cu câte 20 de bile. Mai întâi, 10 albă, 5 roșu, 5 roșu. Al doilea - 8 alb, 8 negru, 4 roșu.
Din fiecare urnă scoateți o minge. Care dintre cele două experimente ar trebui considerate mai incerte?
Soluție: Indicați experimente ca A1 și A2
Trimiteți-le prietenilor: