lăsa <. . .> - setul de stări posibile ale unui anumit sistem fizic. În orice moment, sistemul poate fi într-o singură stare. În timp, sistemul se mută în mod consecvent de la o stare la alta. Fiecare astfel de tranziție se numește etapa procesului.
Pentru a descrie evoluția acestui sistem, introducem o secvență de variabile aleatoare discrete. . . Indicele n joacă rolul timpului. Dacă sistemul era în stare în momentul n. atunci vom presupune că = j. Astfel, variabilele aleatoare sunt numerele stărilor sistemului.
Secvență. . . formează un lanț Markov. dacă pentru orice n și orice. .
P (= j | =. = I) = P (= j | = i).
Pentru lanțurile Markov, probabilitatea la momentul n este în stare. dacă istoria anterioară a procesului studiat este cunoscută, depinde numai de starea procesului în momentul n-1; pe scurt: pentru un "prezent" fix, "viitorul" nu depinde de "trecut". Proprietatea independenței "viitorului" din "trecut" cu un "prezent" fix este numită proprietatea Markov.
Probabilitățile (= j | = i), i, j = 1,2. r se numesc matricile de tranziție de la stat la stat într-un singur pas.
Lanțul Markov este numit omogen. dacă probabilitățile de tranziție nu depind de n, adică dacă probabilitățile de tranziție nu depind de numărul pasului, ci depind numai de starea și de tranziția spre care. Pentru lanțuri omoloage Markov, în loc să scrie.
Probabilitățile de tranziție sunt convenabil aranjate sub forma unei matrice pătrate
Matricea P este numită matricea probabilității de tranziție pentru un lanț omogen Markov într-o singură etapă. Are următoarele proprietăți:
b) pentru toate i = 1.
Matricele pătrate pentru care condițiile a) și b) sunt satisfăcute se numesc matrice stochastice.
Vector. unde = P (), i = 1,2. r, se numește vectorul probabilităților inițiale.
Proprietățile lanturilor Markov omogene sunt determinate complet de vectorul probabilităților inițiale și de matricea de probabilitate de tranziție. În anumite cazuri, în loc de o descriere explicită a prescrie matrice P folosind lanțuri Markov a graficului evoluției ale căror vârfuri sunt stările de circuit, iar săgeata care merge de la stat la stat numărul de mai sus arată că, de la un stat la o probabilitate de tranziție. În acest caz, când. săgeata corespunzătoare nu este trasată.
Se poate demonstra că matricea de probabilitate de tranziție pentru lanțul Markov în etapele n este egală cu puterea nth a matricei P a probabilităților de tranziție într-o singură etapă.
Pentru un lant Markov omogen, pentru orice m, egalitate
Dar cea de-a doua probabilitate este probabilitatea trecerii de la stat la stat în n pași.
Teorema privind probabilitățile limită. Dacă pentru unii, toate elementele matricei = [] sunt pozitive, atunci există limite
Limitele probabilităților nu depind de starea inițială și sunt singura soluție a sistemului de ecuații
Sensul fizic al acestei teoreme este că probabilitatea găsirii unui sistem într-o stare este practic independentă de starea în care se afla în trecutul îndepărtat.
Lanțul Markov, pentru care există limite. se spune că este ergodică.
Soluția (...) a sistemului scris mai sus se numește distribuția staționară de probabilitate pentru lanțul Markov cu matricea de tranziție P = [].
Dacă un sistem poate merge dintr-o stare într-o stare cu o probabilitate pozitivă într-un număr finit de pași, atunci se spune că este accesibil de la.
O stare este numită esențială dacă pentru fiecare stat. realizabile de la. realizabile de la. Dacă pentru cel puțin un j este posibil. dar nu poate fi atins de la. atunci este un stat nesemnificativ.
(Vezi problemele din VP Chistyakov, Theory of Probability Curs: Proc., Ed. 3, Corrected by M. Nauka, Ed., Phys.-Math.Lit., 1987.)
Problema 1. Matricea probabilității de tranziție a lanțului Markov are forma
. Distribuția de stat la momentul t = 0 este determinată de vector. Caută:
1) distribuția asupra stărilor la momentul t = 2;
2) probabilitatea ca, în momentele t = 0, 1, 2, 3, lanțurile să fie 1, 3, 3, respectiv 2;
3) distribuția staționară.
Soluția. Definiți matricea P, vectorul probabilităților inițiale q și găsiți matricea de probabilitate de tranziție P2 pentru două etape ca.
2) Gasim distributia cu privire la stari la momentul t = 2
Gasim distributia cu privire la stari la momentul t = 1
Gasim distributia pe stari la momentul t = 3
Apoi, probabilitatea necesară este
Aici trebuie să multiplice prima coordonată q vectorul (probabilitatea ca sistemul de la momentul inițial într-o stare 1), a treia coordonate q1 vectorul (probabilitatea ca sistemul la momentul t = 1 este în starea 3), a treia coordonate q2 vectorul ( probabilitatea ca sistemul de la momentul t = 2 a fost la 3), a doua coordonată a q3 (probabilitatea ca la momentul t = 3, sistemul era în starea 2).
3) Să găsim distribuția staționară a lanțului Markov. Pentru aceasta, transpunem matricea P
> P: = linalg [matrice] ([[0,1, 0,5, 0,4], [0,6,2,2], [3,33]]); Pt: = linalg [transpunere] (P);
Pentru a găsi vectorul propriu al matricei transpuse a cărui sumă de coordonate este egală cu 1, vom forma un sistem de ecuații liniare
Să rezolvăm acest sistem
Astfel, vectorul v determină distribuția staționară a lanțului Markov.
Problema 2. Fie numărul de stare în lanțul Markov la momentul t, P () = 1 și matricea probabilității de tranziție pe unitate de timp este egală cu; . dacă și. în cazul în care. Arătați că secvența este un lanț Markov. Găsiți matricea corespunzătoare a probabilităților de tranziție.
Problema 3. Dice tot timpul mutat aleator cu probabilitate egală de la o față la oricare alta din cele patru fețe adiacente, indiferent de precedentul. La o limită t tinde la infinit probabilitatea ca la momentul t se află la marginea osului „6“, în cazul în care la momentul t = 0, a fost în aceeași poziție (t = 0, 1, 2, 3)?
Problema 4. Matricea de probabilitate de tranziție P și vectorul q al distribuției de stare inițiale au forma :. .
a) condiții nesemnificative;
b) așteptarea matematică - timpul de evadare din stările neesențiale;
c) Probabilități. lovit în seturi de state. . dacă starea inițială este de;
d) limitarea distribuției de stat, adică valoare.
Problema 4. Matricea probabilității de tranziție P = || || Lanțul Markov este definit de formule. . . . Dovedește asta
Găsiți probabilitățile staționare.
Notă. Pentru a demonstra formula, aplicați metoda de inducție matematică.
Articole similare
Trimiteți-le prietenilor: