2 STOKASTISET PROSESSIT 0. Johdanto 0.1. Satunnaisuudesta ja sen mallintamimisesta. Tällä urssilla äsittelemme urssin nimen muaisesti stoastisia prosesseja. Tulitsemme sanan stoastinen taroittavan satunnaista ja sanan prosessi taroittavan ilmiötä, joa muuttuu ajan uluessa eli riippuu ajasta. Stoastisilla prosesseilla taroitamme siis satunnaisia ilmiöitä, jota muuttuvat ajan uluessa. 1 Kurssilla tulemme tarastelemaan muutamia ysinertaisia satunnaisia malleja. Nämä mallit ovat ysinertaistusia meitä iinnostavista ilmiöistä, joita esiintyy esimerisi luonnossa, aupanäynnissä tai vaia uhapeleissä. Misi haluamme tarastella ilmiöitä satunnaisina, sillä varsin yleinen ysymys onin, että ono satunnaisia ilmiöitä tai satunnaisuutta oieasti olemassaaan. Tätä ysymystä väistämme äytännöllisistä syistä, sillä joa tapausessa maailma on pullollaan tapahtumia, joiden tulevaa äytöstä on vaiuttaa olevan täysin mahdotonta ennaoida. Kuitenin näitä tapahtumia tai niiden tiettyjä iinnostavia piirteitä pyritään mallintamaan, jotta tapahtumista saataisiin edes jotain seloa. Tällaisia ysinertaistusia (eli malleja) voidaan luoitella niiden toteuttamistavan muaan. On orean tason äsitteellisiä malleja, joista tehtävät päätelmät ovat heuristisia. Yleensä tällaisten mallien pohjalta ei ole taroitusen muaista tehdä päätelmiä, vaan malleja pyritään saamaan lasettavampaan muotoon. Tällöin voimme puhua esimerisi matemaattisista, stoastisista tai tilastollisista malleista. Kuina nämä viimesi mainitut mallit sitten eroavat toisistaan? Vastaus tähän ysymyseen vaihtelee yleensä vastaajan muaan. Stoastiset (eli satunnaiset) ja matemaattiset mallit ymmärrämme tällä urssilla molemmat matemaattisisi malleisi, mutta erottavana teijänä pidämme satunnaisuuden muanaoloa tai sen puuttumista. Tilastollisessa mallissa mittaustapahtuma seä mittausdata on yleensä muana tarastelussa, mutta muuten tilastollinen malli on myös satunnaismalli. Tarastellaan lyhyesti äsitteellisellä tasolla erään ilmiön matemaattista seä satunnaista mallia ja niiden yhteysiä. Lämpöyhtälö on(eräs) fysiiasta tuttu matemaattinen malli lämmön johtumiselle. Tämä malli osoittaa, että lämpötila appaleessa pyrii tasoittumaan siten, että lämpö virtaa uumemmista ohdista ylmempiin. 2 Matemaattisesti lämpöyhtälö on toisen ertaluvun lineaarinen 1 Yleisestiin tämä tulinta on oiea, mutta aia ei yleisessä tilanteessa vastaa intuitiivista äsitystämme ajasta 2 tai ylmyys virtaa ylmemmistä ohdista uumempiin
STOKASTISET PROSESSIT 3 osittaisdifferentiaaliyhtälö t u = 2 x 1 u +... 2 x n u ja mallin antamat ennusteet saadaan tarastelemalla tätä yhtälöä ja sen rataisujen äyttäytymistä. Lähemmin tarasteltuna lämpötila on uitenin seuraustaappaleen pienimpien raennusosasten lämpöliieestä, joa on raennusosasten hyvin epäsäännöllistä liiettä appaleen idehilassa. Kappaleen ohta on sitä uumempi, mitä voimaaammin sen osaset liiuvat. Lämmön johtuminen seuraa nyt osasten törmäysistä naapureihinsa, sillä voimaaimmin liiuvat osat törmäävät vieressä oleviin osiin voimaaammin uin hitaammin liiuvat ja luovuttavat vastaavasti enemmän liie-energiaansa törmäysissä uin sitä törmäysessä saavat. Tämä saa esiarvomielessä aiaan samanlaisen mallin uin edellä ollut osittaisdifferentiaaliyhtälömalli. Ysittäisen pienen raennusosasen liiettä on äytännössä paras mallintaa puhtaasti satunnaisena liieenä. Voimme siis pitää tätä lämpömallia stoastisena mallina. Tämä on ysi esimeri tilanteesta, milloin mallia on järevää pitää satunnaisena. Seuraavassa esitämme muutaman tyypillisen satunnaisuuden lähteen. Lähtötilanteen epävarmuus. Käytännön malleissa on usein hanalaa saada mitattua tarasti mallinnettavan systeemin lähtötilanne. Josus vain erilaisten lähtötilanteiden esiintymisertojen suhteita voidaan mitata tai arvioida. Tällöin malli on satunnainen, sillä lähtötilanne voidaan mallintaa vain satunnaisena. Heryys lähtötilanteen muutosille. Jos tarasteltava ilmiö on luonteeltaan aoottinen eli pienet muutoset lähtötilanteessa voivat saada aiaan suuria muutosia mittaustulosissa, niin vaia malli olisiin deterministinen, niin äytännössä se vaiuttaisi lähes satunnaiselta. Ilmiötä voi olla tällöin järevää mallintaa ysinertaisemmin analysoitavana stoastisena mallina. Epätäydellinen mallinnus. Usein mallin teoreettinen pohja on hatara eli vain osia mallinnettavan ilmiön piirteistä yetään uvailemaan deterministisellä mallilla. Tällöin varsinaisen mallin äytös muuttuu ennustamattomasi ja sisi sitä on parempi mallintaa satunnaisena ilmiönä. Oleellinen mallin satunnaisuus. Viimeisenä ohtana voi pitää tilanteita, jota vastaavat ysymyseen Ono satunnaisuutta olemassa? myönteisesti. Esimerisi nyyaiainen vanttiteoria perustuu ajatuseen ilmiöiden perinpohjaisesta satunnaisuudesta. Esimerisi ysittäisen fotonin päätöstä heijastua tai olla heijastumatta lasin pinnasta ei voi mitenään ennustaa, joten sitä on pidettävä puhtaan satunnaisena.
4 STOKASTISET PROSESSIT Tällä ursilla emme jatossa ota enää antaa mallinusellisiin ysymysiin vaan esitymme ysinertaisiin stoastisiin malleihin. Jotta saisimme niissä olevan satunnaisuuden uriin, tulemme tarastelemaan aiea satunnaisuutta ysinertaisen todennäöisyyslasennan einoin. 0.2. Todennäöisyyslasennasta ja merinnöistä. Palautamme seuraavassa lyhyesti mieleen todennäöisyyslasennan äsitteitä ja esittelemme myös muutamia urssilla äytettäviä merintätapoja. Kaien satunnaisuuden äsittelyn taana on (mahdollisesti suuri) musta laatio, jota nimitetään todennäöisyysavaruudesi. Tämä on olmio (Ω, F, P). Jouo Ω on aiien aleistapahtumien muodostama jouo. Kurssin annalta tällä jouolla ei ole juuriaan meritystä eli suurimmasi osasi jouoa Ω voi pitää äärellisenä tai numeroituvasti äärettömänä jouona. Jouo F on aleistapahtumien jouon osajouojen P(Ω) osajouo, eli niin sanottujen tapahtumien jouo. Käytännössä tällä urssilla aii mahdolliset jouon Ω osajouot ovat tapahtumia. Yleisessä tilanteessa aleistapahtumia voi olla liiaa, joten välttämättä aiien aleistapahtumien osajouojen ei tarvitse olla tapahtumia, mutta ainain Ω on aina tapahtuma. Yleisestiin tapahtumat on uvailtavissa seuraavilla säännöillä. 0.1. Määrittelevät ominaisuudet. jouo Ω on varma tapahtuma jos A on tapahtuma, niin jouo A C := Ω \ A on myös tapahtuma (ns. omplementtitapahtuma) jos { A : = 0, 1, 2,... } ovat tapahtumia, niin niiden yhdiste {A tapahtuu jollain = 0, 1, 2,... } on tapahtuma jos { A : = 0, 1, 2,... } ovat tapahtumia, niin niiden leiaus on tapahtuma. {A tapahtuu joaisella = 0, 1, 2,... } Kosa tapahtumat {A 1, A 2,... ja A d } ovat varsin yleisiä, niin äytämme näille lyhennysmerintää 0.2. Merintä. Kun A 1,..., A d ovat tapahtumia, niin äytämme merintää A 1 A 2... A d := {A 1, A 2,... ja A d }. Kuvaus P liittää uhunin tapahtumaan sen todennäöisyyden, miä on luu suljetulla välillä [0, 1] ja se toteuttaa seuraavat ehdot:
0.3. Määrittelevät ominaisuudet. STOKASTISET PROSESSIT 5 varman tapahtuman Ω todennäöisyys P ( Ω ) = 1 jos A on tapahtuma, niin omplementtitapahtuman A C := Ω \ A todennäöisyys on P ( A C ) = 1 P ( A ) ja jos (A ) N ovat pistevieraita tapahtumia, niin P ( A tapahtuu jollain N ) = N P ( A ) Mallintaasemme stoastisia ilmiöitä tarvitsemme vielä satunnaismuuttujan seä ehdollisen todennäöisyyden äsitteet. Palautamme ensin mieleen satunnaismuuttujat. Satunnaismuuttuja X on (lähes) mielivaltainen uvaus todennäöisyysavaruudesta tilajouoon S. Kurssilla S on yleensä join äärellinen tai numeroituvasti ääretön jouo. Tällöin satunnaismuuttuja X voidaan tulita mielivaltaisesi uvausi Ω S. Yleisemmässä tapausessa, meidän tulisi asettaa myös tilajouoon sen säännölliset eli mitattavat tapahtumat. Tällöin vaatimus olisi vain: jos A S on tilajouon miä tahansa säännöllinen tapahtuma, niin jouon {X A} on oltava tapahtuma todennäöisyysavaruudessa Ω. Olemme nyt saaneet errattua todennäöisyysavaruuden ja satunnaismuuttujan äsitteet. Jatossa emme enää irjoita allaolevaa todennäöisyysavaruutta Ω näyviin lainaan. Puhumme vain tapahtumista ja todennäöisyysistä. Satunnaismuuttujien ohdalla tarvitsemme vain tiedon tilajouosta S ja siten satunnaismuuttujaa X voimme pitää tilajouon tuntemattomana aliona X S ja jota voimme äsitellä taralleen samoin uin tilajouon aliota. Tarvitsemme vielä muutaman äsitteen seä merinnän. Kun satunnaismuuttujan X tilajouo S = {i 0, i 1,... } on join positiivisten reaaliluujen R + numeroituva osajouo, niin satunnaismuuttujan X odotusarvo E X on positiivinen reaaliluu (tai mahdollisesti ääretön ) (0.4) E X := i P ( X = i ). =0 Jos tilajouo S C on äärellinen, niin sama määritelmä on voimassa, mutta jos tilajouo on numeroituvasti ääretön omplesiluujen osajouo, niin satunnaismuuttujalla on odotusarvo, jos myös itseisarvolla X on äärellinen odotusarvo. Käytännössä urssilla satunnaismuuttujat ovat positiivisia 3 tai niillä on odotusarvo. Yleisessä tapausessa tilajouo S voi olla ylinumeroituva omplesiluujen osajouo, ja tällöin tarvitsisimme hieman lisätietoja odotusarvosta. Tällaisia 3 eli tilajouo on R + :n osajouo
6 STOKASTISET PROSESSIT tietoja äsitellään lähemmin todennäöisyysteorian urssilla, mutta myös Mitta- ja integraali urssilla, sillä yleisesti odotusarvo on vain mittaintegraali todennäöisyysmitan P suhteen. Tällaista oneistoa emme uitenaan urssilla tule tarvitsemaan, sillä rajoitumme ysymysiin, joita pystymme tarastelemaan ysinertaisimmilla äsitteillä. Odotusarvolla on seuraavia ominaisuusia: odotusarvo on lineaarinen eli jos α, β C ja X seä Y ovat satunnaismuuttujia, niin E (αx + βy ) = αe X + βe Y jos 0 X 0 X 1,... ovat satunnaismuuttujia ja lim X n = X, niin (0.5) E X = lim n E X n. Näitä ahta ominaisuutta tulemme jatossa tarvitsemaan usein. Tulemme myös äyttämään seuraavaa niin sanotun Iversonin 4 notaatiota tai haasulumerinnän. Jotain vastaavaa merintää tarvitaan eri tilanteissa niin usein, että on järevää äyttää mahdollisimman lyhyttä, seleää seä yhtenevää merintää oo ajan. 0.6. Merintä. Iversonin haasulumerintä taroittaa uvausta väitteiltä luvuille {0, 1}, joa määritellään seuraavasti: 1, jos väite on tosi, [ väite ] := 0, jos väite ei ole tosi. Tämän merinnän erioistapausena saamme esimerisi Kronecerin deltan, sillä δ ij = [ i = j ]. Tutustutaan lyhyesti tämän merinnän ominaisuusiin. Voimme esimerisi irjoittaa joaisen satunnaismuuttujan X, jona tilajouo on join luujouo, ysinertaisena summana X = S [ X = ]. Yleistämme merinnän tapahtumille A seuraavasti 0.7. Merintä. Jos A on tapahtuma, niin [ A ] on satunnaismuuttuja, jolle 1, jos ω A, [ A ](ω) := [ ω A ] = 0, jos ω / A, 4 Kenneth Eugene Iversonin muaan lähteenä Donald Erwin Knuthin The Art of Computer Progamming, Vol I
STOKASTISET PROSESSIT 7 Jatossa emme tule irjoittamaan aleistapahtumaa ω näyviin, joten jos A on tapahtuma, niin [ A ] on satunnaismuuttuja, jona tilajouona on asio {0, 1}. Erityisesti havaitsemme, että odotusarvon määritelmän muaan (0.8) E [ A ] = 0 P ( [ A ] = 0 ) + 1 P ( [ A ] = 1 ) = P ( A ), sillä {[ A ] = 1} = A. Siispä indutioilla voimme päätellä, että jos satunnaismuuttujan X tilajouo S = {i 0, i 1,..., i d }, niin odotusarvon lineaarisuuden seä identiteetin (0.8) avulla voimme johtaa esittämämme odotusarvon määritelmän, sillä ( ) E X = E i [ X = i ] = i E [ X = i ] = i P ( X = i ). Myös suorana sovellusena Iversonin notaatiosta voimme lasea satunnaismuuttujan f(x) odotusarvon, sillä ( ) E f(x) = E f(i )[ X = i ] = f(i )P ( X = i ). Summausen ja odotusarvon järjestystä voi aina vaihtaa, un tilajouo S on äärellinen. Äärettömän tilajouon tapausessa voimme yleensä perustella summausen ja odotusarvon järjestysen vaihdon soveltamalla odotusarvon rajaarvo-ominaisuutta (0.5). Todennäöisyyslasennan piaertausessa tarvitsemme vielä ehdollisen todennäöisyyden äsitteen. 0.9. Merintä. Meritsemme tapahtuman A todennäöisyyttä ehdolla, että tapahtuma B on tapahtunut, seuraavasti P ( A B ) := P ( AB ) P ( B ) Ehdollinen todennäöisyydellä on samat ominaisuudet uin tavallisella todennäöisyydellä, joten sitä vastaa myös ehdollinen odotusarvo: 0.10. Merintä. Meritsemme satunnaismuuttujajan X ehdollista odotusarvo ehdolla, että tapahtuma B on tapahtunut, seuraavasti E (X B) := i P ( X = i B ). Ehdollisen todennäöisyyden avulla voimme määritellä tapahtumien riippumattomuuden. 0.11. Määritelmä. Sanomme, että tapahtumajouo { A λ : λ I } on riippumaton, jos joaisella äärellisellä osajouolla {λ 0,..., λ d } I on voimassa P ( A λd A λ0 A λ1... A λd 1 ) = P ( Aλd ).
8 STOKASTISET PROSESSIT Sanomme, että satunnaismuuttujajouo { X λ : λ I } on riippumaton, jos aina, un { B λ : λ I } on perhe tilajouon tapahtumia, niin vastaava tapahtumajouo on riippumaton. { {X λ B λ } : λ I } Olemme nyt äsitelleet lyhyesti tarvittavat todennäöisyyslasennan äsitteet. Johdatus todennäöisyyslasentaan urssilla esitettyjä malleja ja jaaumia emme tässä ertaa vaan palautamme ne mieleen tarpeen tullessa. 0.3. Ensimmäinen stoastinen malli. Voimme nyt aloittaa urssin pääsisällön, eli stoastisten prosesien tarastelun. Aloitamme esimerillä, jossa mallinnetaan sadepäiviä ja niiden todennäöisyysiä. Seuraava esimeri on Guttorpin irjasta. Mallin pohjana olevat havainnot on tehty Yhdysvaltoissa, paiassa nimeltä Snoqualmie Falls, joa sijaitsee Länsi-Washingtonissa. 0.12. Esimeri (Sadepäivämalli). Jaamme päivät areasti ahteen luoaan: sadepäiviin ja poutapäiviin. Päivä on sadepäivä, jos päivänä aiana sataa ennalta määrätty vähimmäismäärä vettä, muuten päivä on poutapäivä. Snoqualmie Fallsissa tehtyjen sademäärämittausten perusteella vuosien 1948 1983 tammiuun päivistä poutapäiviä oli 325 ja sadepäiviä 791. Kosa sää on tunnetusti vaieasti ennustettavissa oleva tapahtuma, yritämme mallintaa sitä stoastisena prosessina. Meritään X ij = [ tammiuun i. päivänä vuonna j satoi ]. Tässä i = 1, 2,..., 31, j = 1948,..., 1983 ja unin satunnaismuuttujan X ij tilajouona on {0, 1} = {pouta, sade}. Ysinertaisin satunnaismalli, jolla sateensattumistodennäöisyyttä voisi selittää, on seuraava: oletamme, että aii päivät ovat samanlaisia ja täysin toisistaan riippumattomia ja X ij Bin(1, p), missä p on sateen todennäöisyys. Tätä mallia voitaisiin nimittää Bernoullin mallisi. Ysinertainen lasu antaa mittaustulosen usottavuusfuntion ( ) ( ) L(p) = P X ij = 791 p 791 (1 p) 325. ij Tästä saamme suurimman usottavuuden estimaatin ˆp todennäöisyydelle p, joa on tässä tapausessa ˆp = i,j X ij /n = 791/1116 0, 709.
STOKASTISET PROSESSIT 9 Tänään pouta Tänään sataa Yhteensä Eilen pouta 186 (91) 123 (223) 309 Eilen satoi 128 (223) 643 (543) 771 Yhteensä 314 766 1080 Kuva 1. Sademääräjaaumahavainnot Tämän avulla voimme arvioida otosesihajontaa p(1 p)/n ja saamme ˆp(1 ˆp)/n 0, 709 0, 291/1116 0, 014. Kuina hyvin tämä Bernoullin malli sopii mittausdataan? Tämän selvittämisesi mallin avulla voi lasea ennusteita tapahtumille ja verrata näitä todellisiin tulosiin. Eräs on määrätä ennuste niiden päivien luumäärälle, jolloin päivänä i on pouta ja myös päivänä i + 1 on pouta, päivänä i sataa ja myös päivänä i + 1 sataa. Bernoullin mallin muaan P ( tänään ja huomenna poutaa ) = (1 p) 2, joten arviolta 36 30 (1 ˆp) 2 91 päivää 1080:sta toteuttaisi tämän. Kuitenin havaintotauluon muaan on helppo havaita, että metsään menee. Tauluossa suleissa oleva arvo on Bernoullin mallin antama ennuste. Havaitsemme, että havainnot tuevat väitettä, että sadepäivän jäleen seuraava päivä on useammin myös sadepäivä, uin mitä riippumattomuusoletus ehdottaisi. Sama pätee myös poutapäiville. Voimme siis pitää riippumattomuusoletusta varsin epäilyttävänä tässä tapausessa. Voiin ysyä, että uina tätä mallia voisi muuttaa, jotta se selittäisi sadejaaumahavainnoissa esiintyvän orrelaation paremmin? Jos luovumme riippumattomuusoletusesta, niin emme voi äyttää aavaa P ( X 0 = i 0, X 1 = i 1,..., X n = i n ) = P ( X 0 = i 1 ) P ( X n = i n ) satunnaismuuttujien yhteisjaauman määräämisesi. Ehdollisen todennäöisyyden määritelmän muaan voisimme yllä irjoittaa P ( X 0 = i 0, X 1 = i 1,..., X n+1 = i n+1 ) = P ( X 0 = i 1,..., X n = i n ) P ( X n+1 = i n+1 X 0 = i 1,..., X n = i n ), eli meidän tulisi määrätä ehdolliset todennäöisyydet (0.13) P ( X n+1 = i n+1 X 0 = i 1,..., X n = i n ).
10 STOKASTISET PROSESSIT Tulemmein oo urssin ajan tarastelemaan sademallia vastaavaa tilanetta, un oletamme, että ehdollinen todennäöisyys (0.13) riippuuin vain tiedosta {X n = i n }. Esimerissämme tämä oletus taroittaa seuraavaa: sen sijaan, että olettaisimme satunnaismuuttujien X ij Bin(1, p) olevan riippumattomia, oletamme että p 00 := P ( X (n+1),j = 0 X nj = 0 ) = 186/309 0, 602 p 01 := P ( X (n+1),j = 1 X nj = 0 ) = 123/309 0, 398 p 10 := P ( X (n+1),j = 0 X nj = 1 ) = 128/771 0, 166 p 11 := P ( X (n+1),j = 1 X nj = 1 ) = 643/771 0, 834 un n = 1,..., 30. Edelleen oletamme, että P ( X (n+1),j = i n+1 X 1j = i 1,..., X nj = i n ) = P ( X(n+1),j = i n+1 X nj = i n ). Vuosien ajattelemme (ainain vielä) olevan riippumattomat.