Metoda alfabetică pentru măsurarea informațiilor

Lucrări de laborator №1

În domeniul informaticii, se folosesc diferite metode de măsurare a informațiilor:

Cantitatea de informații este o măsură de diminuare a incertitudinii.







O abordare semnificativă a măsurării informațiilor.

Mesajul este un flux informațional, care în timpul transferului de informații ajunge la receptor. Mesajul transporta informații pentru persoana respectivă, dacă informațiile conținute în aceasta sunt noi și ușor de înțeles pentru el Informație - cunoașterea unei persoane. mesajul trebuie să fie informativ. Dacă mesajul nu este informativ, atunci cantitatea de informații din punctul de vedere al persoanei este 0. (Exemplu: un manual universitar de matematică superioară conține cunoștințe, dar acestea nu sunt disponibile pentru un student de gradul I).

Permiteți unui mesaj să conțină informații despre ce sa întâmplat cu unul dintre evenimentele N echiprobabile. Cantitatea de informații conținută în mesajul în care a apărut unul dintre evenimentele N echiprobabile poate fi determinată din formula Hartley:

Această formulă este o ecuație exponențială pentru i. Din matematică se știe că soluția unei astfel de ecuații are forma:

Dacă N este egal cu o putere întregă de două (2,4,8,16, etc.), atunci o astfel de ecuație poate fi rezolvată "în minte".

Tabla de șah este formată din 64 de câmpuri: 8 coloane pe 8 linii. Cât de multe biți poartă mesajul despre selectarea unei șase plăci de șah?

Deoarece alegerea oricăreia dintre cele 64 de celule este la fel de probabilă, numărul de biți se găsește din formula:



Metoda alfabetică pentru măsurarea informațiilor.

Alfabetul este setul de simboluri utilizate în limbă.

De obicei, alfabetul este înțeles nu numai ca litere, ci și prin numere, semne de punctuație și spații.

Puterea alfabetului (N) este numărul de caractere utilizate în alfabet.

De exemplu. Puterea alfabetului din litere rusești este de 32 (litera ё nu este folosită în mod normal).







Presupunând că toate simbolurile alfabetului apar în text cu aceeași frecvență (la fel de probabilă), cantitatea de informații pe care fiecare simbol o poartă este calculată prin formula Hartley:

unde N este puterea alfabetului.

Formula Hartley definește relația dintre numărul de evenimente posibile N și cantitatea de informații:

Din cursul de bază al informaticii se știe că codificarea binară a informațiilor este utilizată în computere. Pentru reprezentarea binară a textelor într-un computer, cel mai adesea este folosit un cod uniform pe 8 biți. Cu ajutorul acestuia, puteți codifica un alfabet de 256 de caractere, din moment ce 256 = 2 8.

În tabelul cu coduri standard (de exemplu, ASCII) sunt plasate toate simbolurile necesare: litere mari și mici în limba engleză și rusă, numere, semne de punctuație, semne de operațiuni aritmetice, toate tipurile de paranteze etc.

În codul binar, un bit poartă o unitate de informații, numită 1 biți.

De exemplu, într-un alfabet de 2 caractere, fiecare caracter "cântărește" un bit (log22 = 1); în alfabetul de 4 caractere, fiecare simbol poartă 2 biți de informație (log2 4 = 2); în cele 8 caractere - 3 biți (log2 8 = 3), etc.

Un caracter din alfabetul cu o capacitate de 256 (28) conține în text 8 biți de informație. Această cantitate de informații se numește octet.

Volumul de informații al textului din memoria calculatorului este măsurat în octeți. Este egal cu numărul de caractere dintr-o intrare de text.

Pentru a măsura informațiile, se utilizează și unități mai mari:

Nume unitate

Valoarea numerică în octeți

Dacă întregul text constă din simbolurile K, atunci în ordine alfabetică volumul V al informațiilor conținute în el este egal cu:

unde i este greutatea de informații a unui caracter în alfabetul utilizat.

Știind că i = log2 N, formula de mai sus poate fi reprezentată într-o altă formă:

dacă numărul de caractere din alfabet este N și numărul de caractere din înregistrarea mesajului este K, atunci volumul de informații V al acestui mesaj se calculează după formula:

În abordarea alfabetică a măsurării informațiilor, volumul de informații al textului depinde doar de mărimea textului și de puterea alfabetului, și nu de conținut. Prin urmare, este imposibil de comparat volumul de informații al textelor scrise în diferite limbi, în funcție de mărimea textului.

Considerând că fiecare caracter este codificat de un octet, estimați volumul de informații al următoarei propoziții: Sail Lonely Lingers In The Fog of the Blue Blue!

Deoarece în teză 44 de caractere (numărarea semnelor de punctuație și a spațiilor), volumul informației este calculat prin formula:

V = 44 # 8901; 1 octet = 44 octeți = 44 # 8901; 8 biți = 352 biți







Trimiteți-le prietenilor: