1. Abordări privind măsurarea cantității de informații. Măsura lui Hartley.
Informațiile pot fi înțelese și interpretate în diferite probleme, subiecte în diferite moduri. În consecință, există diferite abordări pentru a determina măsurarea informațiilor și diferite modalități de introducere a unei mărimi a cantității de informații.
Cantitatea de informații este o valoare numerică care caracterizează în mod adecvat informațiile care trebuie actualizate cu privire la soi, complexitate, structură (ordonanță), certitudine, alegerea stărilor sistemului expus.
Dacă luăm în considerare un sistem care poate lua una dintre stările posibile, atunci sarcina reală este de a evalua această alegere, rezultatul. O astfel de estimare poate fi o măsură de informații (evenimente).
O măsură este o funcție reală ne-negativă reală definită pe setul de evenimente și este aditivă (măsura sumei este egală cu suma măsurilor).
Măsurile pot fi statice sau dinamice, în funcție de informațiile pe care le permit să se estimeze: static (non-actualizatã, în posturi de fapt evaluate, cu excepția resurselor și forme de actualizare) sau dinamice (de exemplu, costul actualizat estimat al resurselor, precum și pentru actualizarea informații).
Există diferite abordări pentru determinarea cantității de informații. Cele mai frecvent utilizate sunt următoarele două metode de măsurare a informațiilor: volumetrice și probabilistice.
Se folosește sistemul numeric binar, deoarece în dispozitivul tehnic este foarte simplu să se realizeze două stări fizice opuse: magnetizate / nu magnetizate, pornit / oprit. încărcat / descărcat, etc.
Cantitatea de informații înregistrate prin cifre binare în memoria calculatorului sau pe un mediu de stocare extern este considerată pur și simplu prin numărul de simboluri binare necesare pentru o astfel de înregistrare. În acest caz, este imposibil să aveți un număr non-integer de biți.
Pentru ușurința utilizării, sunt introduse unități mai mari de informații cantitative decât biții. Astfel, un cuvânt binar de opt caractere care conține un octet de informație, 1024 kilobytes formă octet (KB), 1024 kilobiți - megabytes (MB), și 1024 megabytes - gigaocteți (GO).
Entropia (probabilistică)
Această abordare este adoptată în teoria informării și codării. Această metodă de măsurare se bazează pe următorul model: destinatarul mesajului are o idee clară despre posibila apariție a anumitor evenimente. Aceste reprezentări sunt în general nesigure și sunt exprimate prin probabilitățile cu care se așteaptă un eveniment. Măsura generală a incertitudinii se numește entropie. Entropia este caracterizată de o anumită dependență matematică de totalitatea probabilității apariției acestor evenimente.
Cantitatea de informații din mesaj este determinată de măsura în care această măsură a scăzut după primirea mesajului: cu cât este mai mare entropia sistemului, cu atât este mai mare gradul de incertitudine al acestuia. Mesajul primitor înlătură total sau parțial această incertitudine, prin urmare, cantitatea de informații poate fi măsurată cu cât entropia sistemului a scăzut după primirea mesajului. Pentru măsurarea cantității de informații, aceeași entropie este acceptată, dar cu semnul opus.
Alte metode mai puțin cunoscute de măsurare a informațiilor sunt:
Metoda algoritmică. Deoarece există multe computere și limbi de programare diferite, adică modalități diferite de specificare a algoritmului, apoi pentru certitudine dată unei mașini specifice, cum ar fi o mașină Turing. Apoi, ca o caracteristică cantitativă a mesajului, puteți lua numărul minim de stări interne ale mașinii necesare pentru a reproduce mesajul.
Abordare semantică. Pentru a măsura conținutul semantic al informațiilor, adică valoarea sa la nivel semantic, cea mai înaltă recunoaștere a măsurii tezaur (tezaur - un set de informații care are polzo¬vatel sau sistem), care face legătura între informațiile despre proprietățile semanti¬cheskie de abilitatea utilizatorului de a primi mesajele primite.
Abordare pragmatică. Această măsură determină utilitatea informațiilor (valoare) pentru ca utilizatorul să atingă obiectivul.
În centrul tuturor teoriilor informaționale se află descoperirea făcută de R. Hartley în 1928, care constă în faptul că informațiile pot fi cuantificate.
Abordarea lui R. Hartley se bazează pe baze fundamentale teoretice, esențialmente combinatoriale, precum și pe câteva ipoteze clare și destul de evidente.
Dacă există mai multe elemente și unul dintre ele este selectat, atunci o anumită cantitate de informații este raportată sau generată. Această informație este că, dacă înainte de selecție nu sa știut care element ar fi selectat, atunci după selecție devine cunoscut. Este necesar să se găsească forma unei funcții care să conecteze cantitatea de informații obținute prin selectarea unui element din set cu numărul de elemente din acest set, adică cu puterea sa.
Dacă setul de elemente din care se face o selecție constă dintr-un singur element, atunci este clar că alegerea sa este predeterminată, adică nu există nici o incertitudine de alegere - cantitatea zero de informații.
Dacă setul este alcătuit din două elemente, atunci incertitudinea alegerii este minimă. În acest caz, cantitatea de informații este minimă.
Cu cât mai multe elemente din set, cu atât este mai incertă alegerea, cu atât mai multe informații.
Numărul acestor numere (elemente) din set este egal cu:
Din aceste considerente evidente, prima cerință urmează: informația este o funcție monotonă a cardinalității setului original.
Alegerea unui număr ne oferă următoarele informații:
Astfel, cantitatea de informații conținută într-un număr binar este egală cu numărul de cifre binare din acest număr.
Această expresie este formula Hartley pentru cantitatea de informații.
Prin creșterea lungimii de două ori cantitatea de informații pe care le, de asemenea, ar trebui să crească de două ori, în ciuda faptului că numărul de întregi din setul crește exponențial cu (pătrat, în cazul în care numărul binar), adică dacă
Acest lucru este imposibil dacă cantitatea de informații este exprimată printr-o funcție liniară a numărului de elemente din set. Dar o funcție cu această proprietate este cunoscută: este Log:
Log2 (N2) = Log2 (N1) 2 = 2 * Log2 (N1).
Această a doua cerință se numește cerința de aditivitate.
Astfel, măsura informație logaritmică propusă Hartley, îndeplinește simultan condițiile monotonia aditivitate. Sam Hartley a venit la măsura lui pe baza unor considerente euristice, astfel încât numai cele de mai sus, dar acum este riguros dovedit că măsura logaritmică pentru cantitatea de informații rezultă în mod clar din aceste două condiții le postulat.
Un exemplu. Există 192 de monede. Se știe că una dintre ele este falsă, de exemplu, mai ușoară în greutate. Vom determina câte cântăriri trebuie efectuate pentru a le dezvălui. Dacă ați pus pe o scară egal cu numărul de monede, veți obține 3 caracteristici independente: a) paharul din stânga jos; b) ceașcă dreaptă de mai jos; c) paharele sunt echilibrate. Astfel, fiecare cântărind dă numărul de informații I = log23, prin urmare, pentru a determina monede falsificate de a face cel puțin cântăriri k unde k îndeplinește condiția cea mai mică log23k log2192. Prin urmare, k sau 5, k = 4 (k = 5, sau - dacă numărul într-o cântărire și ultimul evident pentru a determina moneda). Deci, este necesar să se facă cel puțin 5 cântăriri (5 suficient).
Mai multă muncă în domeniul informaticii
Eseu despre informatică
Articole similare
Trimiteți-le prietenilor: