Rezumatul prelegerii privind evaluarea cantitativă a informațiilor - o bancă de rezumate, eseuri, rapoarte, cursuri

și nu poate fi specificată cu o singură cifră pe baza testelor statistice.

Deci, atunci când transmiteți cifre zecimale cu un cod binar, numai acele simboluri ale alfabetului secundar care transmit valori care sunt puteri întregi de două sunt încărcate maxim. În alte cazuri, numărul mai mare de cifre (mesaje) poate fi transmis prin același număr de caractere. De exemplu, cu trei cifre binare, putem transfera atât numărul 5, cât și numărul 8, adică transmiterea a cinci mesaje consumă cât mai multe simboluri ca cele cheltuite în opt mesaje.







De fapt, pentru a transmite un mesaj, este suficient să existe lungimea combinației de coduri

unde N este numărul total de mesaje transmise.

L poate fi de asemenea reprezentat ca

unde și sunt, respectiv, caracteristicile calitative ale alfabetelor primare și secundare. Prin urmare, pentru numărul 5 din codul binar, puteți scrie

Cu toate acestea, acest număr trebuie să fie rotunjit la cel mai apropiat număr întreg, deoarece lungimea codului nu poate fi exprimată în numere fracționare. În mod natural, rotunjirea este făcută în marele partid. În general, redundanța de la rotunjire

unde este valoarea rotunjită la cel mai apropiat număr întreg. Pentru exemplul nostru

Redundanța nu este întotdeauna un fenomen nedorit. Pentru a crește imunitatea la zgomot a codurilor, redundanța este necesară și este introdusă artificial sub formă de simboluri suplimentare (vezi subiectul 6). Dacă în codul tuturor biților n și din ei se efectuează o încărcare de informație, atunci = se caracterizează redundanța absolută de corecție, iar valoarea caracterizează redundanța corectivă relativă.

Redundanța informației este, de obicei, un fenomen natural, este încorporată în alfabetul primar. Corectarea redundanței este artificială, este încorporată în codurile reprezentate în alfabetul secundar.

Cea mai eficientă modalitate de a reduce redundanța mesajelor este de a construi coduri optime.

Codurile optime [5] sunt coduri cu practic redundanță. Codurile optimale au o lungime medie minimă de cuvinte cheie - L. Limitele superioare și inferioare ale lui L sunt determinate din inegalitate

unde H este entropia alfabetului primar, m este numărul de caracteristici calitative ale alfabetului secundar.

În cazul codării bloc, în care fiecare bloc constă din litere M independente. lungimea medie minimă a blocului de cod se află în intervalul

Expresia generală a numărului mediu de simboluri elementare pentru litera mesajului în codificarea blocului

Din punctul de vedere al încărcării informației pe simbolul mesajului, codificarea blocurilor este întotdeauna mai avantajoasă decât codarea literelor.

Esența codării bloc poate fi înțeleasă prin exemplul reprezentării cifrelor zecimale în cod binar. Astfel, atunci când transmite numărul 9 în codul binar trebuie consumat 4 simboluri, și anume 1001. Pentru transmisia figurile 99 când literă de codificare literă - 8, bloc cu bloc - 7, ca și cele 7 cifre binare suficiente pentru a transfera orice cifră de la 0 la 123 ..; atunci când transferul de numere de raport 999 ar fi de 12 - 10, atunci când transferul de numere de raport 9999 este de 16 - .. 13, etc. In general, se obține „câștig“ codare bloc și datorită faptului că blocurile sunt egalizate probabilitate caractere individuale, ceea ce conduce la măriți sarcina informațională a simbolului.

La construirea codurilor optime, metodele lui Shannon-Fano și Huffman au fost cele mai folosite.

Conform metodei Shannon-Fano, construirea codului optim al ansamblului din mesaje se reduce la următoarele:

Primul pas. Setul de mesaje este aranjat în ordinea descrescătoare a probabilității.

Al doilea pas. Ansamblul original de semnale codificate este împărțit în două grupe, astfel încât probabilitățile totale ale mesajelor ambelor grupuri să fie cât mai mult posibil. Dacă probabilitate egală în subgrupurile nu pot fi atinse, atunci ele sunt împărțite astfel încât porțiunea superioară (top subgrupă) au probabilitate simboluri sumă este mai mică decât probabilitatea totală a simbolurilor din partea de jos (subgrupa de jos).

Pasul 3. Primului grup i se atribuie simbolul 0, al doilea grup simbolul 1.

Pasul 4. Fiecare dintre subgrupurile formate este împărțită în două părți astfel încât probabilitățile totale ale subgrupurilor nou formate să fie cât mai egale.

Pasul 5. Primul grup al fiecărui subgrup este din nou alocat 0, iar cel de-al doilea este 1. Astfel, obținem a doua cifră a codului. Apoi, fiecare din cele patru grupuri este din nou împărțit în părți egale (din punctul de vedere al probabilității totale), până când o singură literă rămâne în fiecare dintre subgrupe.

Conform procedurii Huffman pentru construirea unui optim cod primar de cod N alfabetului sunt scrise în ordine descrescătoare a probabilității. Ultimul simbol, unde [6] - întreg combinat într-un nou simbol cu ​​probabilitate egală cu suma probabilităților combinate simboluri ultimele simboluri considerând simbol format recombinate pentru a da un nou, simbol auxiliar descărcat din nou caractere în ordinea descrescătoare probabilitate cu auxiliarul caracterul și așa. d., atâta timp cât suma probabilităților caractere rămase după prescriere, astfel th, în ordinea descrescătoare a probabilității nu va permite, în valoare de probabilitate egală cu 1. în practică nu de mai multe ori probabilităților de caractere lea de prescriere pe baza probabilității apariției simbolului auxiliar și de cost elementar construcții geometrice, care se reduce în esență la faptul că simbolurile codificate perechi alfabet împreună în personaje noi, începând cu caracterele care au cea mai mică probabilitate. Apoi, bazat pe personaje nou create, care este setat la probabilitatea totală a celor două anterioare, a construi arborele de cod, în vârful căruia se află un simbol cu ​​probabilitate 1. Aceasta elimină necesitatea de ordonare a simbolurilor codificate ale alfabetului, în ordinea de probabilitate descrescătoare.

Pe baza tehnicilor de mai sus (sau similare), codurile cu o distribuție neuniformă a simbolurilor având o lungime medie minimă de cod de cod se numesc coduri optime, neuniforme. Codurile uniforme pot fi optimizate numai pentru transmiterea mesajelor cu o distribuție uniformă a alfabetului inițial al simbolurilor, numărul de simboluri primare ale alfabetului trebuie să fie egal cu o putere întreagă a numărului egal cu numărul de atribute calitative secundare ale alfabetului, iar în cazul codurilor binare - puterea întreagă a doua.

Cele mai eficiente sunt acele MSC pentru care

Pentru codurile binare

deoarece log22 = 1. Evident, (52) este îndeplinită cu condiția că lungimea codului în alfabetul secundar

Valoarea este exact egală cu H, dacă, unde n este orice număr întreg. Daca n nu este un număr întreg pentru toate valorile literelor inițiale ale alfabetului, atunci, în conformitate cu teorema de codificare de bază [7], lungimea medie a cuvintelor de cod se apropie de entropie ca sursă de blocuri de mesaje codificate de extindere.

Eficiența DCS. se estimează utilizând coeficientul de comprimare statistic:

care caracterizează scăderea numărului de cifre binare pentru simbolul mesajului atunci când se utilizează OCK în comparație cu utilizarea metodelor de codificare nesestatică și a coeficientului de eficiență relativă







care arată cât de mult este utilizată redundanța statistică a mesajului transmis.

Pentru cel mai general caz de simboluri non-equiprobable și independente reciproc

În cazul simbolurilor neechiprobibile și interdependente

TEMA 6. DETECTAREA ȘI CORECTAREA ÎNCERCĂRILOR ÎN MESAJE

Conceptul de corectare a erorilor

Pentru ca mesajul primit ar putea detecta un mesaj de eroare ar trebui să aibă unele informații redundante care să permită să se facă distincția cod eronat de corect De exemplu, în cazul în care mesajul transmis este compus din trei părți absolut identice, a primit separare mesaj simbolurile corecte din eronate pot fi efectuate prin rezultatele acumulării de parcele de un fel, de exemplu 0 sau 1. Pentru codurile binare, această metodă poate fi ilustrată prin următorul exemplu:

10110 - combinație de coduri transmise;

10010 - prima combinație acceptată;

10100 - combinația adoptată;

00110 - A treia combinație primită;

10110 - combinație acumulată.

După cum vedem, în ciuda faptului că în cele trei combinații adoptate au existat erori, acumulatul nu conține erori [8].

Mesajul primit poate consta și în cod și inversarea acestuia. Codul și inversarea sunt trimise canalului de comunicare în ansamblu. O eroare la capătul de primire este alocată atunci când codul este comparat și inversarea acestuia.

Pentru denaturarea oricare dintre caractere ale mesajului avut ca rezultat un decalaj de o combinație, este necesar să se evidențieze combinațiile de cod, diferite unul de altul într-un număr de caractere, unele dintre aceste combinații să interzică și, prin urmare, intră într-o redundanță cod. De exemplu, într-un cod de bloc uniform, luați în considerare combinațiile de coduri cu un raport constant de zerouri și cele din fiecare combinație de coduri. Astfel de coduri sunt numite coduri cu greutate constantă. Pentru codurile binare, numărul de combinații de coduri în coduri cu o greutate constantă de n de caractere este egal cu

unde este numărul de unități din cuvântul de cod. Dacă nu există condiții pentru o greutate constantă, atunci numărul de combinații de coduri ar putea fi mult mai mare, Un exemplu de cod de greutate constantă este codul telegrafic standard nr. 3 (a se vedea apendicele 4). Combinațiile acestui cod sunt construite astfel încât să existe întotdeauna trei pachete curente și patru curente zero pentru 7 cicluri, în timpul cărora trebuie să se primească o combinație de coduri. Creșterea sau scăderea numărului de mesaje curente indică o eroare.

Un alt exemplu de introducere a redundanței în cod este metoda a cărei esență este aceea că, la codurile sursă, zero sau unul sunt adăugate astfel încât suma lor să fie întotdeauna. a fost chiar sau ciudat. Eșecul unui singur caracter va încălca întotdeauna condiția parității (ciudățenie) și va fi detectată o eroare. În acest caz, o combinație între un altul ar trebui să difere în cel puțin două simboluri, m. E., exact jumătate combinațiile de cod este interzisă (interzise sunt toate combinațiile impar de paritate de verificare sau invers).

În toate cazurile menționate mai sus, mesajele au informații redundante. Redundanța mesajului indică faptul că ar putea conține mai multe informații dacă nu a repetat în mod repetat același cod, fără a adăuga codului său inversiune, care nu conține nicio informație dacă. nu o interdicție artificială a unor combinații de coduri etc. Dar toate tipurile de redundanță de mai sus trebuie introduse pentru a distinge o combinație greșită de cea corectă.

Codurile fără redundanță pentru a detecta, și chiar mai mult pentru a corecta erorile nu pot [9]. Numărul minim de caractere în care două combinații de coduri diferă unul de celălalt se numește distanța de cod. Numărul minim de caractere în care toate combinațiile de coduri diferă unul de celălalt se numește distanța minimă de cod. Distanța minimă de cod este parametrul care determină imunitatea la zgomot a codului și redundanța inerentă codului. Distanța minimă de cod determină proprietățile corective ale codurilor.

În general, pentru detectarea erorilor r, distanța minimă de cod

Distanța minimă de cod necesară pentru detectarea simultană și corectarea erorilor,

unde s este numărul de erori care trebuie corectate.

Pentru codurile care corectează numai erorile,

Pentru a determina distanța de cod între două combinații ale codului binar, este suficientă însumarea acestor combinații modulo-2 și calcularea numărului de unități din combinația rezultată.

Conceptul de distanță a codului este bine înțeles prin exemplul de construire a modelelor de cod geometric. Pe modelele geometrice la nodurile n-gon, unde n-valoarea codului, sunt localizate combinațiile de coduri, iar numărul de margini ale n-gon care separă o combinație de celălalt este egal cu distanța de cod.

În cazul în care cuvântul de cod este un cod binar A este separat de cuvintele de cod la o distanță d, atunci înseamnă că codul A nevoie d caractere înlocuite de revers pentru a obține codul, dar aceasta nu înseamnă că trebuie să d de simboluri suplimentare codului avut date corectarea proprietăților. În codurile binare, pentru a detecta o singură eroare, este suficient să aveți un simbol suplimentar, indiferent de numărul de biți de informații ai codului și de distanța minimă de cod

Pentru a detecta și a corecta o singură eroare, relația dintre numărul de biți de informații și numărul de biți corectori trebuie să îndeplinească următoarele condiții:

se înțelege că lungimea totală a combinației de coduri

Pentru calculele practice, atunci când se determină numărul de biți de control ai codurilor cu distanța de cod minimă, este convenabil să se utilizeze expresiile:

dacă lungimea combinației complete de cod n este cunoscută și

dacă în calcule este mai convenabil să porniți de la un număr dat de simboluri de informație [10].

Pentru codurile care detectează toate erorile triplu

Pentru codurile cu o lungime de n simboluri care corectează una sau două erori

Pentru calcule practice, se poate folosi expresia

Pentru codurile care fixează 3 erori

Funcție condiționată. Expresii logice. Funcții logice încorporate IF. Caracteristicile operațiilor logice de înregistrare în procesoarele tabulare: mai întâi este scris numele operației logice (AND, OR, NOT).

Informația este numită proces care provine din stabilirea unei legături între două obiecte ale lumii materiale: sursa. sau generatorul de informații și receptorul acestuia sau destinatarul.

Schema și coeficientul de eficiență al unui canal discret. Funcțiile blocului, proprietățile matricei canalului, caracteristicile informației sursei mesajului și receptorului. Teoremele lui Shannon privind viteza critică, codificarea criptografică și imunitatea fonică.

Informatica este știința legilor și a metodelor de acumulare, prelucrare și transmitere a informațiilor. În forma cea mai generală, conceptul de informație poate fi exprimat după cum urmează: Informația este reflectarea lumii obiective prin semne și semnale.

Concepte și definiții de bază ale codării informațiilor. Combinația de coduri și lungimea acestora. Clasificarea codurilor pe diferite motive, metode de prezentare, scop. Reprezentare sub formă de arbori de cod sau polinoame, matrice și geometrice.

Bit, incertitudine, cantitate de informații și entropie. Formul lui Shannon. Formula lui Hartley. Logaritmi. Cantitatea de informații primite în timpul mesajului. Interacțiunea sursei și a receptorului de informații. Numărul, capacitatea de informare a celulelor de memorie.

Bazele teoriei transferului de informații. Studiul experimental al aspectelor cantitative ale informațiilor. Cantitatea de informații despre Hartley și C. Shannon. Caracteristicile de frecvență ale mesajelor text. Cantitatea de informații ca măsură a incertitudinii eliminate.

Informația este un obiect relativ nou ale cărui proprietăți sunt studiate de științele naturii și nu este nimic neobișnuit prin faptul că nu toate proprietățile sale au fost studiate pe deplin.

Codificare optimă statistică (economică). Concepte și definiții de bază ale teoriei codării. Principii de construire a codurilor optime. Abilitatea sistemului de a primi informații în prezența unor interferențe. Măriți puterea semnalului.

Mecanismul transferului de informații, numărul și criteriile de măsurare. Unități de informații, în funcție de baza logaritmului. Proprietățile de bază și caracteristicile cantității de informații, entropia sa. Determinarea entropiei, redundanța mesajelor de informare.

Sursa (transmițătorul) și receptorul (receptorul) servesc pentru schimbul de informații. Într-un caz, expeditorul și destinatarul informațiilor servește

Programul pentru caracteristicile rozrawnku informatsionnyh ale canalului zvoyazyku. Codul Pobudova pentru transmisie. Procedura koduvannya, decoduvania că otsynka efektivnosti kodiv. Programul de pe algoritmul maus Pascal. Matricea canalului, care este viznacha vtrati informație.

Caracteristicile calculului cantității de informații obținute prin schimbarea de fază a unui semnal, dacă este cunoscută amplitudinea acestuia. Calculul caracteristicilor informaționale ale surselor de mesaje discrete și ale unui canal discret. Caracteristicile aplicării eșantionării și cuantificării.

Schema generală a funcționării canalelor de comunicare, clasificarea și caracteristicile acestora. Canal de comunicare discret, binar și determinarea tranziției lor, trăsături ale acțiunii cu și fără interferență conform teoremei lui Shannon. Capacitate continuă a canalului.

2.2.2. Criteriul de informare pentru evaluarea incertitudinii fonetice. Când recunoaștem vorbirea orală, este necesar să ne străduim să ne asigurăm că toate fonemele sunt clasificate corect, deci suntem interesați să recunoaștem secvența completă a unităților fonetice care constituie o declarație.

Numărul total de mesaje care nu se repetă. Calculul ratei transferului de informații și a capacității canalelor de comunicare. Determinarea redundanței mesajelor și codarea optimă. Procedura de construire a codului optim folosind tehnica Shannon-Fano.

Soluții de sarcini tipice în domeniul telecomunicațiilor.

O analiză a probabilității intrării în sistem de către un atacator cu una sau trei încercări. Probabilitățile de conectare pentru o lungime probabilă fixă ​​și aleatorie. Investigarea și calcularea siguranței (fiabilității) metodei atunci când se păstrează. Optimizarea lungimii eșantionului.

Asociația este o colecție de mai multe ansambluri de evenimente discrete, aleatorii. Entropia necondiționată este cantitatea medie de informație pe simbol. Descrierea proprietăților informaționale ale unei surse continue. Conceptul de entropie diferențială.







Articole similare

Pagina anterioară

Pagina următoare

Trimiteți-le prietenilor: