Lucrări de laborator 1
Numărul și unitățile de informații
Unități de informații
Informațiile pe care le primește o persoană pot fi considerate o măsură a scăderii incertitudinii cunoașterii (entropie). Dacă mesajul duce la o scădere a incertitudinii cunoștințelor noastre, atunci putem spune că un astfel de mesaj conține informații. Pentru unitatea de cantitate de informații, se acceptă o cantitate de informații care conține un mesaj care reduce incertitudinea cunoștințelor cu un factor de două. O astfel de unitate este minimă și un bit este numit. Există mai multe unități de informații:
1 Kilobyte = 1024 octeți = 2 10 octeți, 1 Megabyte = 1024 Kbytes = 2 20 octeți,
1 Gigabyte = 1024 MB = 2 30 octeți, 1 Terabyte = 1024 GB = 2 40 octeți,
1 Petabyte = 1024 TB = 2 50 octeți, 1Exabyte = 1024 PB = 2 60 octeți.
1) Aranjați semnele <, =,> în următorul lanț:
20 de octeți ... 1000 de biți ... 1 MB ... 1024 KB ... 1 GB.
2) Aranjați valorile în ordine crescătoare:
1025 octeți, 1 KB, 1 MB, 1,023 KB, 1,2 TB, 1025 biți.
3) Alegeți răspunsurile corecte: 5 MB - ... mai puțin de 5000 KB, egal 5120 KB, egal 512 KB, mai mult de 5000 KB, mai mult de 1 GB?
4) Se potrivesc unitățile de informații?
5) Găsiți x din relațiile:
a) 16 biți = 32 MB, b) 8 x KB = 16 GB
Cantitatea de informații (metoda entropiei)
1. Evenimente echitabile. Orice sistem este caracterizat de propriile sale stări, care apar ca urmare a anumitor evenimente. Evenimentele sunt la fel de probabile. dacă, cu un număr tot mai mare de experimente, numărul de state ale sistemului (de exemplu, "vultur" și "cozi" ale monedei) se converg treptat. Deci, atunci când aruncăm o piramidă tetraedrică echilaterală, există 4 evenimente echiprobabile, iar când aruncăm zaruri hexagonale există șase evenimente la fel de probabile.
Formula Hartley determină cantitatea de informații I în biți pentru numărul de posibile evenimente equiprobabile N după cum urmează:
Pentru a determina numărul de evenimente posibile, dacă cantitatea de informații este cunoscută, aplicați formula inversă:
Pentru a calcula valoarea logaritmului folosind calculatorul, puteți utiliza formula
1) Care este cel mai mare număr natural codificat de 7 biți, 128, 127, 256 sau 64?
2) Cât de multe informații sunt conținute într-un singur bit al unui număr binar?
3) Cât de multe informații conține mesajul, că fișierul dorit se află pe unul dintre cele 8 discuri laser?
4) Mesajul că prelegerea va fi la etajul 10 poartă 4 biți de informații. Câte etaje există în casă?
- Evenimente inegale. Dacă, ca rezultat al experimentului, evenimentele apar cu probabilități diferite, atunci evenimentele sunt inegale. De exemplu, dacă una dintre laturile monedei este mai grea, atunci ea va cădea mai des. Sau dacă 10 creioane sunt 2 roșii și 8 albastre, atunci probabilitatea de a obține un creion roșu va fi mult mai mare decât albastrul.
Cantitatea de informații pentru unul dintre evenimentele cu probabilități diferite este determinată de formula:
unde probabilitatea p = K / N, K este numărul evenimentului interesat, N este numărul total de evenimente.
Cantitatea de informații pentru evenimentele cu probabilități diferite este determinată de formula lui Shannon:
unde pi sunt probabilitățile evenimentelor individuale.
Exemplu: În cutie există 8 stilouri cu pastă neagră și 24 cu roșu. Cât de multe informații aduce mesajul, care are un stilou cu pastă neagră?
N = 8 + 24 = 32 pixuri totale
Рч = 8/32 = 1/4-probabilitatea de a obține un mâner negru
astfel mesajul că au scos un pix cu pastă neagră poartă 2 biți de informații.
1) Un student în primul an a primit 100 de note. Mesajul că a primit primii cinci poartă 2 biți de informații. Câte cinci au primit elevul în primul său an?
2) La examenul de informatică s-au obținut șase cincizeci, șaizeci, șapte triple și un leu. Cât de multe informații există în mesajul pe care Stepanov a primit-o?
3) În cutie sunt 10 creioane albe, 20 roșii, 30 albastre și 40 de verde. Cât de multe informații există în mesajul despre culoarea creionului desenat?
4) Au fost primite cereri pentru echipamente din trei orașe: A (10 cereri), 40 cereri), C (30 cereri). Doar unul dintre ei a eșuat. Cât de multe informații sunt conținute în mesajul că aplicația din orașul B nu a fost finalizată?
3. Abordarea alfabetică a măsurării informațiilor. Pentru o persoană, cantitatea de informații depinde de comprehensibilitatea și de noutatea sa, adică în ceea ce privește reducerea incertitudinii cunoștințelor noastre (entropie). Orice dispozitiv tehnic funcționează cu date și utilizează o abordare alfabetică pentru măsurarea informațiilor, deoarece semnalele codifică anumite simboluri în conformitate cu alfabetul. Puterea alfabetului este numărul total al simbolurilor sale, inclusiv literele, numerele, semnele de punctuație și simbolurile speciale. Cu cât este mai mare puterea alfabetului, cu atât mai multe informații sunt purtate de un singur personaj.
Să presupunem că simbolurile alfabetului se întâlnesc cu aceeași probabilitate și conțin aceeași cantitate de informații. Pentru a măsura informațiile din punctul de vedere al abordării alfabetice (atunci când cantitatea nu depinde de conținut, ci depinde de puterea alfabetului și de numărul de caractere din text), se utilizează algoritmul:
1) Găsiți puterea alfabetului - N.
2) Calculați volumul informațional al unui simbol Ic prin formula Hartley (1).
3) Găsiți numărul de caractere din mesajul K.
4) Calculați volumul informațional al întregului mesaj (cantitatea de informații) cu formula I = Ic # 8729; K, (5)
Exemplu: găsiți cantitatea de informații conținute în textul de 1000 de caractere scrise în litere ruse.
Pentru soluție folosim algoritmul:
1) Să găsim puterea alfabetului N = 33 litere rusești mari +33 litere rusești minuscule +21 caractere speciale = 87 caractere
2) Volumul de informații al unui simbol conform formulei (1):
3) Numărul de caractere din mesajul K = 1000
4) Volumul de informații al întregului mesaj conform formulei (5):
1) Textul de 1000 de caractere este scris în engleză, în rusă și în greacă. Comparați cantitatea de informații conținute în texte.
1. Abordare probabilă a măsurării cantității de informații.
2. Determinarea cantității de informații pentru stările echilibrabile ale sistemului (formula lui Hartley).
3. Determinarea cantității de informații pentru stările neechiprobabile ale sistemului (formula lui Shannon).
4. Diferențe în abordarea probabilistică a măsurării volumului de informații din volum.
5. Dați exemple de aplicare a abordării probabiliste pentru măsurarea cantității de informații.
Articole similare
Trimiteți-le prietenilor: