Markov lanțuri
Problema 1. Se dă o matrice de probabilități pentru trecerea unui lanț Markov discret de la starea i la starea j într-o etapă (i. J = 1, 2). Distribuția probabilității peste stările la momentul inițial t = 0 este determinată de vectorul = (0,1; 0,9). Caută:
1. matricea P2 a tranziției lanțului de la starea i la starea j în două
pas;
2. repartizarea probabilității pe stări la momentul t = 2;
3. probabilitatea ca la momentul t = 1 starea lanțului să fie A2;
4. Distribuția staționară.
Soluția. Pentru un lanț Markov discret, în cazul omogenității sale,
unde P1 este matricea probabilităților de tranziție într-o singură etapă;
Pn este matricea probabilităților de tranziție în n trepte;
1. Gasim matricea de tranzitie P2 in doua etape
Fie ca vectorul să fie determinat de distribuția probabilității peste stadiile de la pasul S
.
Cunoscând matricea de tranziție Pn pentru n trepte, putem determina distribuția probabilității peste stările la pasul (S + n). (5)
2. Să găsim distribuția probabilității peste stările sistemului la momentul t = 2. Am stabilit S = 0 și n = 2 în (5). Apoi.
3. Să găsim distribuția probabilității peste stările sistemului la momentul t = 1.
Am setat s = 0 în (5) și n = 1, atunci.
Se observă că probabilitatea ca la momentul t = 1 starea lanțului să fie A2 este p2 (1) = 0,69.
Distribuția probabilităților pe stări este numită staționară dacă nu variază de la pas la pas, adică
Apoi rezultă din (5) pentru n = 1
4. Să găsim distribuția staționară. Deoarece = 2 avem = (p1; p2). Se scrie sistemul de ecuații liniare (6) în formă de coordonate
Ultima condiție se numește normalizare. În sistemul (6), întotdeauna o ecuație este o combinație liniară a celorlalte. Prin urmare, poate fi șters. Rezolvăm împreună prima ecuație a sistemului și normalizarea. Avem 0,6p1 = 0,3p2. adică, p2 = 2p1. Apoi p1 + 2 p1 = 1 sau, adică. În consecință ,.
răspundă:
1) matricea de tranziție în două etape pentru o anumită lanț Markov are forma;
2) distribuția probabilităților peste stările la momentul t = 2 este egală;
3) probabilitatea ca la momentul t = 1 starea lanțului să fie A2. este egal cu p2 (t) = 0,69;
4) distribuția staționară are forma
Se dă o matrice de intensități ale tranzițiilor unui lanț Markov continuu. Scrieți un grafic de stare marcat corespunzător matricei Λ; pentru a forma un sistem de ecuații diferențiale Kolmogorov pentru probabilitățile de stat; găsiți distribuția de probabilități limitativă. Soluția. Un lanț omogen Markov cu un număr finit de state A1. A2, ... A se caracterizează printr-o matrice de intensități de tranziție,
unde este intensitatea tranziției lanțului Markov de la statul Ai la statul Aj; pij (Δt) este probabilitatea trecerii Ai → Aj pe intervalul de timp Δt.
De tranziție de la stat pentru a stabili în mod convenabil, folosind semnul graficului de stat, care a marcat arcul corespunzător λij intensitate> 0. Se compune graficul de stare marcat pentru o matrice de intensitate a tranziției dată
Fie vectorul probabilităților pj (t).
j = 1, 2, ..., de a găsi un sistem în starea Aj la momentul t.
Este evident că 0≤pj (t) ≤1 și. Apoi, prin regula de diferențiere a funcției vectoriale a argumentului scalar, obținem. Probabilitățile pj (t) satisfac sistemul de ecuații diferențiale Kolmogorov (SDUC), care în formă matricică are forma. (7)
Dacă în momentul inițial sistemul era în starea Aj. SDUC ar trebui rezolvată în condițiile inițiale
pi (0) = 1, pj (0) = 0, j ≠ i, j = 1, 2, ...,. (8)
Setul SDDE (7) și condițiile inițiale (8) descriu în mod unic un lant Markov omogen cu timp continuu și un număr finit de stări.
Să compunem SDLC pentru un lanț Markov dat. Deoarece = 3, atunci j = 1, 2, 3.
Din relația (7) obținem
.
De aici avem
Ultima condiție se numește normalizare.
Distribuția probabilităților pe stări se numește staționare. dacă nu se schimbă în timp, adică unde pj = const. j = 1,2, ...,. Aici.
Apoi, din SDLC (7) obținem un sistem pentru găsirea distribuției staționare
(9)
Pentru această problemă vom avea de la SDLC
Din condiția de normalizare obținem 3p2 + p2 + p2 = 1 sau. În consecință, distribuția limitatoare are forma.
Rețineți că acest rezultat poate fi obținut direct din graficul de stare marcat folosind regula: pentru o distribuție staționară, suma produselor λjipi. j ≠ i. pentru săgețile emergente din starea i, este egală cu suma produselor λjipi. j ≠ i. pentru săgețile care intră în starea i. De fapt,
Evident, sistemul rezultat este echivalent cu cel care este compilat de SDUC. Prin urmare, are aceeași soluție.
Răspuns: Distribuția staționară are forma.
Tutoriale
Oferim cele mai bune manuale în opinia noastră pentru studiul independent al matematicii și economiei
Referințe
Materiale de referință compacte, formule pentru diferite secțiuni de matematică superioară și statistici economice.
Articole similare
Trimiteți-le prietenilor: