4. Stokastiset prosessit. lect4.tex 1. Sisältö. Peruskäsitteitä. Poisson-prosessi. Markov-prosessit. Syntymä-kuolema-prosessit

Transkriptio

1 4. Stokastiset prosessit lect4.tex 1 Sisältö Peruskäsitteitä Poisson-prosessi Markov-prosessit Syntymä-kuolema-prosessit 2

2 Stokastinen prosessi Tarkasteltavana oleva järjestelmä kehittyy ajan mukana ja meitä kiinnostaa sen dynaaminen, yleensä satunnaisuutta sisältävä käyttäytyminen. Esimerkkejä: onnistuminen n:nnessä Bernoulli-kokeessa varattujen kanavien lkm puhelinlinkissä hetkellä t (tai n:nnen kutsun saapuessa) pakettien lkm reitittimen puskurissa hetkellä t (tai n:nnen paketin saapuessa) Tätä kehitystä kuvataan stokastisella prosessilla. Kullakin yksittäisellä ajanhetkellä t (tai n) kyseessä on satunnaismuuttuja. Stokastinen prosessi on siis kokoelma satunnaismuuttujia. 3 Määritelmä Stokastinen prosessi (stochastic process) on kokoelma satunnaismuuttujia X =(X t ; t I), joita (aikaa kuvaava) parametri t indeksoi. Reaaliarvoisten indeksien joukkoa I R sanotaan parametriavaruudeksi. Käytetään myös nimitystä satunnaisprosessi. Monasti koko prosessista käytetään merkintää X t. Asiayhteydestä kyllä selviää tarkoittaako ko. merkintä yksittäistä satunnaismuuttujaa vai koko prosessia. Yleensä oletetaan, että satunnaismuuttujilla X t on yhteinen arvojoukko S. Tästä käytetään nimitystä tila-avaruus. 4

3 Reaaliarvoiset stokastiset prosessit Yksittäinen satunnaismuuttuja X t on kuvaus otosavaruudesta Ω reaaliluvuille R: X t :Ω R, ω X t (ω) Näin ollen stokastinen prosessi on kuvaus otosavaruudesta Ω reaaliarvoisten funktioiden joukkoon (argumenttina t I): X :Ω R I,ω X (ω) Jokaiseen alkeistapaukseen ω Ω liittyy siis funktio, joka saa arvot (X t (ω); t I). Tätä funktiota kutsutaan stokastisen prosessin realisaatioksi. Muita nimityksiä ovat polku ja trajektori. 5 Yhteenvetona Alkeistapaus ω Ω annettu; X t (ω) on t:n funktio, kun t I. Ajahetki t I annettu; X t (ω) on satunnaismuuttuja, kun ω Ω. ω ja t annettu; X t (ω) on reaaliluku. 6

4 Esimerkki: liikenneprosessi Tarkastellaan puhelinliikennettä yksittäisessä keskusten välisessä yhdysjohdossa aikavälillä [0,T]. Merkitään X t :llä varattujen kanavien lukumäärää hetkellä t [0,T]. Kyseessä on ns. liikenneprosessi. Alkeistapaus ω kertoo nyt mikä on varattujen kanavien lkm alkuhetkellä t =0 mitkä ovat alkuhetkellä käynnissä olevien kutsujen jäljelläolevat pitoajat millä ajanhetkillä saapuu uusia kutsuja mitkä ovat näiden uusien kutsujen kestot Näistä tiedoista voimme määrätä liikenneprosessin X t reaalisaation X t (ω) kyseisessä alkeistapauksessa ω. Prosessin reaalisaatiossa ei siis ole enää mitään satunnaisuutta! 7 Stokastisten prosesien luokittelu Parametriavaruus: t:n arvojen joukko I Tila-avaruus: X t :n arvojen joukko S Satunnaisprosesseja voidaan luokitella sen mukaan ovatko yo. avaruudet jatkuvia vai diskreettejä a Parametriavaruuden tyypin mukaan puhutaan diskreettiaikaisista ja jatkuva-aikaisista prosesseista. Tila-avaruuden tyypin mukaan vastaavasti diskreettitilaisista ja jatkuvatilaisista prosesseista. Tällä kurssilla keskitytään lähinnä diskreettitilaisiin prosesseihin. Yleensä kyseessä on lkm:ää kuvaavan sm:n kehitys ajassa. Tila-avaruus tässä tapauksessa on S = Z + = {0, 1, 2...} a diskreetti=äärellinen tai numeroituva 8

5 Esimerkkejä diskreettiaikaisista ja diskreettitilaisista prosesseista onnistuminen n:nnessä Bernoulli-kokeessa n =1, 2,... varattujen kanavien lkm puhelinlinkissä n:nnen kutsun saapuessa n =1, 2,... pakettien lkm reitittimen puskurissa n:nnen paketin saapuessa n =1, 2,... Esimerkkejä jatkuva-aikaisista ja diskreettitilaisista prosesseista varattujen kanavien lkm puhelinlinkissä hetkellä t, t [0,T] tai t R + pakettien lkm reitittimessä hetkellä t, t [0,T] tai t R + 9 Merkintöjä Diskreettiaikaisille prosesseille parametriavaruus on yleensä ei negatiiviset kokonaisluvut I = Z + = {0, 1,...}. Tällöin käytetään usein indeksin t sijaan indeksiä n: X n,x n (ω). Jatkuva-aikaisille prosesseille parametriavaruus on yleensä jokin suljettu väli tai sitten koko ei-negatiivinen puoliakseli: I =[0,T], T>0 tai I = R + =[0, ). Tällöin taas indeksi t sijoitetaan monasti alaindeksin sijasta X:n jälkeen sulkuihin (kuten tavallisesti tehdään funktioden yhteydessä): X(t), X(t; ω) 10

6 Stokastisen prosessin jakauma Olkoon n =1, 2,... Stokastisen prosessin X t n:nnen kertaluvun statistiikan (äärellisulotteisen jakauman) määräävät todennäköisyydet P(X t1 x 1,...,X tn x n ) missä (t 1,...,t n ) I n ja (x 1,...,x n ) R n. Prosessin täydellinen stokastien karakterisointi edellyttää kaikkien kertalukujen äärellisulotteisten jakaumien tuntemista. Tehtävän tekee vaikeaksi eri ajanhetkiin liittyvien sm:ien välinen riippuvuus. 11 Satunnaismuuttujien välinen riippuvuus Esimerkiksi diskreettiaikaisessa tapauksessa on tietysti mahdollista tarkastella jonoa riippumattomia sm:ia stokastisena prosessina. Tällöin yhteisjakauman määrääminen ei tuota ongelmia: P(X t1 x 1,...,X tn x n )=P(X t1 x 1 ) P(X tn x n ) Yksinkertaisin aidosti riippuva tapaus saadaan ns. Markov-ominaisuudesta: tiettyyn ajanhetkeen liittyvä muuttuja riippuu vain välittömästi edellisestä: P(X t1 x 1,...,X tn x n )= P(X t1 x 1 )P(X t2 x 2 X t1 x 1 ) P(X tn x n X tn 1 x n 1 ), missä t 1 t 2... t n. Näin syntyvät ns Markov-prosessit. 12

7 Stokastisen prosessin stationaarisuus Stokastista prosessia X t sanotaan stationaariseksi (stationary), jos äärellisulotteiset jakaumat ovat invariantteja ajan siirron suhteen, ts. P(X t1+ x 1,...,X tn+ x n )=P(X t1 x 1,...,X tn x n ) kaikilla > 0, n, (t 1,...,t n ) ja (x 1,...,x n ). Seuraus: Valitsemalla n =1, voimme päätellä, että stationaarisen prosessin yksittäiset arvot X t,t I ovat samoin jakautuneita: kaikilla t I (olettaen, että 0 I). P(X t x) =P(X 0 x) Kyseistä (yksiulotteista) jakaumaa sanotaan stationaariseksi jakaumaksi (stationary distribution). Diskreettiaikaisen prosessin tapauksessa sen määräävät pistetn:t π i = P(X t = i), i S. 13 Stokastiset prosessit liikenneteoriassa Tällä kurssilla (ja liikenneteoriassa yleisimminkin) stokastisia prosesseja tarvitaan kuvaamaan asiakkaiden saapumisia järjestelmään (saapumisprosessi) järjestelmän tilaa (tilaprosessi, esim. varattujen kanavien lkm tai pakettien lkm, verkkotapauksessa käynnissä olevien kutsujen lkm:t luokkakohtaisesti) 14

8 Saapumisprosessi Saapumisprosessi voidaan kuvata pisteprosessina (τ n ; n =1, 2,...) olettamalla esim., että saapumisten väliajat τ n τ n 1 ovat riippumattomia ja samoin jakautuneita (eksponentiaaliset väliajat Poisson-prosessi) laskuriprosessina (A(t) ; t [0, )), missä A(t) kertoo hetkeen t mennessä saapuneiden asiakkaiden lkm:n (riippumattomat ja Poisson-jakautuneet lisäykset A(t + ) A(t) Poisson-prosessi) Jälkimmäisessä tapauksessa kyseessä on kokonaislukuarvoinen (siis diskreettitilainen) jatkuva-aikainen stokastinen prosessi, joka kasvaa ajan myötä Näin ollen se ei voi olla stationaarinen. s<t A(s) A(t). 15 Tilaprosessi Yksinkertaisissa tapauksissa järjestelmän tila ilmoitetaan esim. kutsujen tai pakettien lkm:nä X(t) eri ajanhetkinä t. Tilaprosessi (state process) on tässä tapauksessa kokonaislukuarvoinen (siis diskreettitilainen) ja jatkuva-aikainen stokastinen prosessi Tässä tapauksessa on järkevää kysyä, onko ko. prosessi stationaarinen (jolloin systeemin tila X(t) noudattaa samaa jakaumaa, so. stationaarista jakaumaa π i kullakin ajanhetkellä t). Vaikka systeemin tila alkuhetkellä ei noudattaisikaan ko. stationaarijakaumaa monasti käy niin, että tilajakauma lähestyy sitä ajan t kasvaessa (ns. steady state) 16

9 Bernoulli-prosessi Toistetaan riippumattomasti Bernoulli-koetta, jossa onnistumustodennäköisyys on p. Merkitään X n :llä n:ttä koetta vastaavaa Bernoulli-muuttujaa, ts. 1, jos n:s koe onnistui X n = 0, jos n:s koe epäonnistui Kokoelmaa (X n ; n =1, 2,...) sanotaan Bernoulli-prosessiksi. Kyseessä on selvästikin diskreettiaikainen ja diskreettitilainen prosessi. Parametriavaruus: I = {1, 2,...} Tila-avaruus: S = {0, 1} Äärellisulotteiset jakaumat: n P(X 1 = x 1,...,X n = x n ) = P(X 1 = x 1 ) P(X n = x n )= p xi (1 p) 1 xi Näin kuvattuna prosessi on selvästikin stationaarinen, stationaarisena jakaumanaan π 0 = P(X n =0)=1 p, i=1 π 1 = P(X n =1)=p. 17 Poisson-prosessi Bernoulli-prosessin jatkuva-aikainen vastine on Poisson-prosessi. Näin ajatellen kyseessä on pisteprosessi (τ n ; n =1, 2,...), missä τ n kertoo n:nnen tapahtuman (n:s onnistuminen, n:nnen asiakkaan saapuminen, yms.) tapahtumishetken. Määritelmä 1: Pisteprosessi τ n on Poisson-prosessi intesiteettinään λ, jos lyhyellä aikavälillä (t, t + h] havaitaanyksitapahtumamuistaaikaväleistäriippumattatn:llä λh + o(h) Tapahtumaintensiteetti (esim. saapumisia aikayksikköä kohti) on siis vakio λ: lim (λh + o(h)) = λ h h 0 1 Todennäköisyys, että välille (t, t + h] ei satu yhtään tapahtumaa on 1 λ + o(h) Huom: Yllä merkintä o(h) tarkoittaa mv. funktiota, jolle pätee lim h 0 o(h) h =0 18

10 Poisson-prosessin karakterisointi väliaikojen avulla Tarkastellaan kahden tapahtuman väliaikaa τ n τ n 1 (merk. τ 0 =0). Koska tapahtumaintensiteetti pysyy vakiona, väliajan päättyminen lyhyellä aikavälillä (t, t + h], kun se on jo kestänyt ajan t, ei riipu t:stä eikä aiemmista tapahtumista. Näin ollen väliajat ovat toisistaan riippumattomia ja lisäksi niillä on unohtavaisuusominaisuus. Toisaalta voidaan osoittaa, että ainoa jatkuva jakauma, jolla on ko. ominaisuus, on eksponenttijakauma. Määritelmä 2: Pisteprosessi τ n on Poisson-prosessi intesiteettinään λ, jos tapahtuminen väliajat τ n τ n 1 ovat riippumattomia toisistaan ja samoinjakautuneita τ n τ n 1 Exp(λ). 19 Poisson-prosessin karakterisointi laskuriprosessina Merkitään A(t):llä hetkeen t mennessäsattuneiden tapahtumien lukumäärää. A(0) = 0. Bernoulli-prosessilla kiinteällä aikavälillä sattuneiden onnistumisten lkm noudattaa binomijakaumaa (parametreinään välinpituus ja onnistumistn.). Ajatellen, että Poisson-jakauma saadaan binomijakauman rajajakaumana, on luonnollista olettaa, että Poisson-prosessissa kiinteällä aikavälillä sattuneiden tapahtumien lku olisi Poisson-jakautunut. Määritelmä 3: Laskuriprosessi A(t) on Poisson-prosessi intensiteettinään λ, jos ko. prosessin lisäyksen yhteispisteettömillä väleillä ovat riippumattomat ja noudattavat Poisson-jakaumaa: A(t + ) A(t) Poisson(λ ) 20

11 Kolme tapaa karakterisoida Poisson-prosessi A(t) Kaikki kolme Poisson-prosessin määritelmää ovat yhtäpitäviä. Tod. Sivuutetaan tällä kurssilla h } τ τ 2 1 τ 1 τ 2 τ 3 τ 4 τ 5 h h } } t t ei onnistumisia tn:llä 1 λh onnistuminen tn:llä λh 21 Poisson-prosessin ominaisuuksia Tarkastellaan ensin laskuriprosessia A(t). Parametriavaruus: I = R + =[0, ) Tila-avaruus: S = Z + = {0, 1, 2,...} Yksiulotteiset jakaumat: Äärellisulotteiset jakaumat: A(t) Poisson(λt) E[A(t)] = λt Var[A(t)] = λt P(A(t 1 )=i 1,...,A(t n )=i n ) = P (A(t 1 )=i 1,A(t 2 ) A(t 1 )=i 2 i 1,...,A(t n ) A(t n 1 )=i n i n 1 ) = P (A(t 1 )=i 1 ) P (A(t 2 ) A(t 1 )=i 2 i 1 ) P (A(t n ) A(t n 1 )=i n i n 1 ) = (λt 1) i1 i 1! (λ(t 2 t 1 )) i2 i1 (i 2 i 1 )! Huom: Ei stationaarista jakaumaa! (λ(t n t n 1 )) in in 1 (i n i n 1 )! e λtn 22

12 Väite: Olkoon A 1 (t) ja A 2 (t) riippumattomia Poisson-prosesseja intensiteeteillä λ 1 ja λ 2. Tällöin niiden summaprosessi eli superpositio A 1 (t)+a 2 (t) on Poisson-prosessi intensiteettinään λ 1 + λ 2. Tod. Tarkastellaan lyhyttä aikaväliä (t, t + h]. Todennäköisyys, että superpositiossa ei ole tapahtumia tällä välillä, on (1 λ 1 h + o(h))(1 λ 2 h + o(h)) = 1 (λ 1 + λ 2 )h + o(h). Toisaalta täsmälleen yhden tapahtuman tn on (λ 1 h + o(h))(1 λ 2 h + o(h)) + (λ 2 h + o(h))(1 λ 2 h + o(h)) = (λ 1 + λ 2 )h + o(h). λ 1 λ 1 λ 2 + λ 2 23 Väite: Olkoon A(t) Poisson-prosessi intensiteettinään λ. Satunnaisotanta tn:llä p (ts. valitaan yksittäiset tapahtumat toisistaan riippumatta uuteen osaprosessiin tn:llä p) tuottaa Poisson-prosessin intensiteettinään pλ. Tod. Tarkastellaan lyhyttä aikaväliä (t, t + h]. Tn, että satunnaispoiminnanjälkeen ei ole tapahtumia ko. välillä on (1 λh + o(h)) + (1 p)(λh + o(h)) = 1 pλh + o(h) Toisaalta täsmälleen yhden onnistumisen tn on p(λh + o(h)) = pλh + o(h). λ p λ 24

13 Väite: Olkoon A(t) Poisson-prosessi intensiteetillä λ. Satunnaishajoitus kahteen osaprosessiin todennäköisyyksin p ja 1 p tuottaa kaksi riippumatonta Poisson-prosessia intensiteetein λp ja λ(1 p). Tod. Edellisen väitteen perusteella riittää osoittaa prosessien välinen riippumattomuus. Todistus kuitenkin sivuutetaan tällä kurssilla. λ p λ (1-p) λ 25 Tarkastellaan järjestelmää, johon saapuu uusia asiakkaita Poisson-prosessin mukaisesti. Tällöin on voimassa ns. PASTA-ominaisuus (PASTA=Poisson Arrivals See Time Averages). Tämä tarkoittaa sitä, että tarkasteltaessa systeemin tilaa diskreetisti pelkästään uusien asiakkaiden saapumishetkillä sillä on sama stationaarinen jakauma kuin systeemin tilalla jatkuva-aikaisesti tarkasteluna. Voidaan siis sanoa, että saapuva asiakas näkee systeemin tasapainotilassa. PASTA on Poisson-prosessien erityisominaisuus. Tarkastaessa esim. systeemiä, jossa on vain yksi asiakas ( oma PC ), joka poistuttuaan systeemistä palaa sinne satunnaisen ajan kuluttua. Tälläinen asiakas näkee systeemin aina tyhjänä. Sen sijaan jatkuvassa ajassa tarkasteltuna systeemi ei ole aina tyhjä! 26

14 Markov-prosessi Tarkastellaan jatkuva-aikaista ja diskreettitilaista stokastista prosessia X =(X t ; t 0) tila-avaruudella {0, 1, 2,...,n}, missä n voi olla myös ääretön. Prosessia X sanotaan Markov-prosessiksi, jos sillä on Markov-ominaisuus: P(X tn+1 = x n+1 X t1 = x 1,...,X tn = x n )=P(X tn+1 = x n+1 X tn = x n ) kaikilla n, t 1 < <t n+1 ja (x 1,...,x n+1 ) S n+1. Markov-prosessin tuleva kehitys ehdollistettuna prosessin nykyiseen X tn ja menneisiin tiloihin (X t1,...,x tn 1 ) tilohin riippuu vain sen nykytilasta X tn (eikä siitä miten tähän on tultu). Nykytila siis sisältää kaiken jatkon kannalta tarpeellisen informaation. 27 Esimerkki: riippumattomien lisäysten prosessi Riippumattomien lisäysten prosessi on aina Markov-prosessi: X tn = X tn 1 +(X tn X tn 1 ). Yo. kaavassa lisäys on riippumaton kaikista edellisistä lisäyksistä, jotka ovat johtaneet tilaan X tn 1. Seuraus: Poisson-prosessi on Markov-prosessi, sillä määritelmän 3 mukaan Poisson-prosessin lisäykset yhteispisteettömillä väleillä ovat riippumattomat. 28

15 Aikahomogeenisuus Markov-prosessiasanotaanaikahomogeeniseksi, jos kaikilla t, 0 ja x, y S pätee P(X t+ = y X t = x) =P(X = y X 0 = x) Siirtymäintensiteetit Siirtymäintensiteetit 1 q ij = lim h 0 h P(X h = j X 0 = i), i,j S, määrittelevät täydellisesti aikahomogeenisen Markov-prosessin TilatodennäköisyydetP(X(t) =x), t 0, x S, määräytyvät yksikäsitteisesti siirtymäintensiteeteistä q ij, kunhan alkujakauma eli tn:t P(X(0) = x), x S, on annettu. Huom! Jatkossa rajoitamme tarkastelumme aikahomogeenisiin Markov-prosesseihin. 29 Eksponentiaaliset elinajat Markov-ominaisuuden nojalla aika, jonka järjestelmä viettää annetussa tilassa, on muistiton: jäljelläolevan ajan jakauma riippuu vain ko. tilasta, muttei kauanko siinä tilassa ollaan jo oltu. = Tilassa vietetty aika on eksponentiaalisesti jakautunut. Siirtymät tilasta i muihin tiloihin j tapahtuvat intensiteetein q ij. Näin ollen kokonaissiirtymäintensiteetti pois tilasta i on q i = q ij. j i Tilassa i vietetty aika (elinaika) on siis eksponentiaalisesti jakautunut intensiteetillä q i. (Vrt. riippumattomien Exp-jakautuneiden muuttujien minimi on Exp-jakautunut satunnaismuuttuja intensiteettinään ko. intensiteettien summa.) 30

16 Tilasiirtymätodennäköisyydet Voidaan ajatella, että kutakin mahdollista yhden askeleen tilasiirtymää i j, vastaa satunnaismuuttuja T ij Exp(q ij ). Mahdolliset siirtymät ovat toisistaan riippumattomia. Lopulta toteutunut siirtymä on näiden minimissä T i =min j i T ij T i Exp(q i ) Merkitään p ij :llä todennäköisyyttä, että toteutunut siirtymä on tilasta i tilaan j. Aiemmin johdettujen Exp-jakauman ominaisuuksien nojalla p ij = P(T i = T ij )= q ij q i 31 Tilakaavio Aikahomogeeninen Markov-prosessi esitetään usein ns. tilasiirtymäkaavion a (state transition diagram) avulla. Prosessin tilat x S piirretäänpallukoina,joista lähtevätnuolet kuvaavat mahdollisia yhden askeleen siirtymiä. Näin ollen tilasta i piirretään nuoli tilaan j, jos q ij > 0 ja nuoleen liitetään usein ko. intensiteetin arvo. Esim. Kolmitilainen Markov-prosessi, S = {0, 1, 2}. q 01 > 0 0 q 02 =0 q 10 =0 q 12 > 0 q 20 > 0 q 01 1 q 12 q 20 2 q 21 > 0 q 21 a lyhyemmin: tilakaavio (state diagram) 32

17 Pelkistymättömyys Sanotaan, että tilasta i pääsee tilaan j (i j), jos tilakaaviosta löytyy suunnattuna polku i:stä j:hin. Toisin sanoen on olemassa tilat i 1,...,i n 1 siten, että q i,i1,q i1,i 2,...,q in 2,i n 1,q in 1,j > 0. Jos näin on, niin lähdettäessä tilasta i tilassa j käydään (joskus tulevaisuudessa) positiivisella tn:llä. Tilojen i ja j sanotaan kommunikoivan (i j), jos tilasta i pääsee tilaan j ja kääntäen. Markov-prosessiasanotaanpelkistymättömäksi (irreducible), jos kaikki tilat x S kommunikoivat keskenään. Huom. Edellisellä sivulla esitetty esimerkki on selvästikin pelkistymätön. 33 Tasapainojakauma Tarkastellaan pelkistymätöntä Markov-prosessia. Jos tila-avaruudessa S on määritelty jakauma π =(π i,i S), so. (N) π i =1, π i 0 i S, jolle pätevät ns. globaalit tasapainoehdot (global balance equations) (GTE) i S π j q ji = π i q ij i j i j kaikilla j S, niin ko. jakaumaa π sanotaan prosessin tasapainojakaumaksi (equilibrium distribution). Voidaan osoittaa, että valittaessa alkujakaumaksi tasapainojakauma, ts. P(X 0 = i) =π i, Markov-prosessista tulee stationaarinen (stationaarisena jakaumanaan π). 34

18 Lokaalit tasapainoehdot Tarkastellaan edelleen pelkistymätöntä Markov-prosessia. Jos tila-avaruudessa S on määritelty jakauma π =(π i,i S),so. (N) π i =1, π i 0 i S, jolle pätevät ns. lokaalit tasapainoehdot (local balance equations) i S (LTE) π j q ji = π i q ij, i, j S niin ko. jakauma π on prosessin tasapainojakauma (ja siten myös stationaarinen jakauma). Tämä on helppo nähdä summaamalla (LTE) yli tilojen i j. Prosessi on tässä tapauksessa a kääntyvä (reversible), ts. se näyttää stokastisesti samanlaiselta kuljettiinpa ajassa eteen- tai taaksepäin. a ehto: valitaan stationaarinen jakauma alkujakaumaksi 35 Huomatus (LTE):n voimassaolosta Ehdoton edellytys lokaalien tasapainoehtojen (LTE) voimassaololle on, että joko q ij > 0 ja q ji > 0 tai sitten q ij =0ja q ji =0 Ts. tilakaaviossa tilojen i jaj välillä on joko kaksi erisuuntaista nuolta tai sitten ei yhtään. 36

19 Esimerkki tasapainojakauman laskemisesta Selvästikään lokaalit tasapainoehdot eivät ole voimassa. Miksei? µ (N) π 0 + π 2 + π 2 =1 (GTE) π 0 1 = π 2 1 (j =0) π 1 1 = π 0 1+π 2 µ (j =1) π 2 (1 + µ) = π 1 1 (j =2) Yo. yhtälöiden ratkaisu on π 0 = 1 3+µ π 1 = 1+µ 3+µ π 2 = 1 3+µ Huom. Miten käy kun, µ 0 tai µ. 37 Syntymä-kuolema-prosessi Tarkastellaan jatkuva-aikaista ja diskreettitilaista Markov-prosessia X =(X(t); t 0) tila-avaruudessa S = {0, 1, 2,...,n} (sallitaan myös n = ). Prosessia X sanotaan syntymä-kuolema-prosessiksi (birth-dead-process, sk-prosessi), jos (yhden askeleen) tilasiirtymät ovat mahdollisia vain naapuritilojen välillä. Toisin sanoen kaikilla i S: q i,i 1 = µ i 0 q i,i+1 = λ i 0 q i,j = 0, jos i j > 1. Lisäksi µ 0 =0ja äärellisen tila-avaruuden tapauksessa λ n =0. 38

20 Pelkistymättömyys Selvästikin sk-prosessi on pelkistymätön jos ja vain jos λ i > 0 kaikilla i S (kaikilla i<n, kun S äärellinen) ja µ i > 0 kaikilla i S \{0}. Kun S on ääretön, pelkistymättömän sk-prosessin tilakaavio on seuraavanlainen: λ 0 λ 1 λ µ 1 µ 2 µ 3 Kun S on äärellinen, pelkistymättömän sk-prosessin tilakaavio on seuraavanlainen: λ 0 λ 1 λn-2 λn-1 0 µ 1 1 µ 2 µ n-1 n µ n-1 n 39 Puhdas syntymäprosessi Sellaista sk-prosessia, jolle µ i =0kaikilla i S ja λ i > 0 kaikilla i S (kaikilla i<n, kun S äärellinen), sanotaan puhtaaksi syntymäprosessiksi (pure birth process). Tilakaavio (kun S ääretön ja äärellinen) 0 λ 0 1 λ 1 λ 2 2 λ 0 λ 1 λ n-2 λ n n-1 n Esim. Poisson-prosessi on puhdas syntymäprosessi vakiointensiteetein λ i = λ kaikilla i S = {0, 1, 2,...}. Huom. Puhdas syntymäprosessi ei ole pelkistymätön! 40

21 Puhdas kuolemaprosessi Sellaista sk-prosessia, jolle λ i =0kaikilla i S ja µ i > 0 kaikilla i S \{0}, sanotaan puhtaaksi kuolemaprosessiksi (pure dead process). Tilakaavio (kun S ääretön ja äärellinen) µ µ 2 µ µ 1 µ 2 µ n-1 µ n 0 1 n-1 n Esim. Puhtaalla kuolemaprosessilla voitaisiin mallinta sellaista jonotus- tai menetysjärjestelmää, johon ei enää saavu uusia asiakkaita. Huom. Puhdas kuolemaprosessi ei ole pelkistymätön! 41 Tasapainojakauma Tarkastellaan pelkistymätöntä sk-prosessia. Tasapainojakauma voidaan tässä tapauksessa laskea lokaaleista tasapainoehdoista: (LTE) π i+1 µ i+1 = π i λ i, i S (tai i < n jos S äärellinen). Tästä saadaan rekursiokaava Näin ollen Normeerausehto: (N) π i = π 0 π i+1 = i j=1 λ i µ i+1 π i π i = π 0 i S λ j 1 µ j, i S. i i S j=1 λ j 1 µ j =1 Tasapainojakauma on siis olemassa täsmälleen silloin, kun yo. summa suppenee. 42

22 Äärellinen tila-avaruus S = {0, 1, 2...,n} Jos tila-avaruus on äärellinen summa suppenee aina. Tasapainojakaumaksi tulee silloin π 0 = 1+ π i = π 0 n i i=1 j=1 i j=1 λ j 1 µ j 1 λ j 1 µ j, i > 0. Ääretön tila-avaruus S = {0, 1, 2...} Jos tila-avaruus on ääretön ja ko. summa suppenee saamme tasapainojakaumaksi: π 0 = 1+ π i = π 0 i i=1 j=1 i j=1 λ j 1 µ j 1 λ j 1 µ j, i > Esimerkki tasapainojakauman laskemisesta λ λ 0 µ 1 µ 2 Merkitään ρ = λ µ. (LTE) π i+1 µ = π i λ π i+1 = λ µ π i = ρπ i π i = π 0 ρ i (N) π 0 + π 1 + π 2 = π 0 (1 + ρ + ρ 2 )=1 π 0 =(1+ρ + ρ 2 ) 1 π i = ρi 1+ρ+ρ 2, i =0, 1, 2 44