Entropia informației este o măsură a haosului de informație sau o măsură a dezordinii interne a sistemului informațional. Entropia crește odată cu distribuția haotică a resurselor informaționale și scade cu ordonarea lor.
Entropia informației este o măsură a haosului informațiilor, incertitudinea apariției unui simbol al alfabetului primar. În absența unei pierderi de informații este numeric egală cu cantitatea de informații pe simbol al mesajului transmis.
Entropia informației - incertitudinea apariției oricărui simbol al alfabetului primar. În absența unei pierderi de informații este numeric egală cu cantitatea de informații pe simbol al mesajului transmis.
De exemplu, în secvența de litere care compun o propoziție în limba rusă, diferite litere apar cu frecvențe diferite, astfel încât incertitudinea apariției pentru unele litere este mai mică decât pentru altele.
Dacă luăm în considerare faptul că unele combinații de litere (în acest caz vorbesc despre entropia ordinului n) sunt foarte rare, atunci incertitudinea scade și mai mult.
Conceptul entropiei informaționale este definit de Shannon pentru cazul datelor discrete și foarte asemănător cu conceptul de entropie termodinamică. Aceasta este o valoare care indică cantitatea de informații conținute într-un mesaj dat (sau o secvență de semnale).
Informația privind entropia informației este necesară pentru a îmbunătăți fiabilitatea transmiterii semnalului.
Pentru prima dată, conceptele de entropie și informație au fost legate de Shannon în 1948. De la prezentarea sa, entropia a început să fie folosită ca măsură de informație utilă în procesele de transmisie a semnalelor prin fire. Ar trebui subliniat că, sub informație, Shannon înțelege semnalele necesare, utile pentru destinatar.
Semnale inutile, din punctul de vedere al lui Shannon, sunt zgomotul, zgomotul. Dacă semnalul de la ieșirea canalului de comunicație este o copie exactă a semnalului la intrare, aceasta înseamnă că nu există entropie. Nici un zgomot nu înseamnă informații maxime.
Relația dintre entropie și informație se reflectă în formula: H + I = 1, unde H - entropia, I - informația.
Articole similare
-
Legături financiare și fluxuri de numerar în economie - stadopedia
-
Realizarea informațiilor ereditare în dezvoltarea individuală
Trimiteți-le prietenilor: