Periodiset kovarianssifunktiot gaussisissa prosesseissa

Koko: px
Aloita esitys sivulta:

Download "Periodiset kovarianssifunktiot gaussisissa prosesseissa"

Transkriptio

1 TEKNILLINEN KORKEAKOULU Informaatio- ja luonnontieteiden tiedekunta Matematiikan ja systeemianalyysin laitos Mat Sovelletun matematiikan erikoistyöt Periodiset kovarianssifunktiot gaussisissa prosesseissa 1. joulukuuta 2009 Heikki Peura 62678U

2 Sisältö 1 Johdanto 2 2 Bayesilainen mallintaminen Bayesilainen lähestymistapa Päättely ja integrointi Gaussiset prosessit Regressio normaalijakautuneella uskottavuudella Mielivaltainen uskottavuus Kovarianssifunktioista Jaksolliset kovarianssifunktiot Mallin rakentaminen Hukkumiskuolemat Suomessa Auringonpilkut Mallirakenteen valinta Implementointi Tulokset Hukkumiskuolemat Auringonpilkut Pohdinnat ja yhteenveto 20 1

3 1 Johdanto Bayesilainen tilastotiede perustuu ns. subjektiivisen todennäköisyyden käsitteeseen, eli kaikki todennäköisyydet arvioidaan paitsi havaintoaineiston, myös ennakolta muodostettujen priori-uskomusten perusteella. Tämä poikkeaa selvästi frekventistisestä lähestymistavasta, jossa todennäköisyys on yksinkertaisesti suotuisien tulosten määrä äärettömän monta kertaa toistetussa kokeessa. Bayesilaisen lähestymistavan kautta tilastollisen mallin rakentaja pystyy sen sijaan yhdistämään oman ennakkotietonsa mallin rakenteesta havaintojen informaatioon. Suosituksi tavaksi ilmentää priori-tietoa ovat viime aikoina nousseet gaussiset prosessit, joiden avulla voidaan rakentaa monipuolisia malleja suhteellisen yksinkertaisin laskutoimituksin. Gaussinen prosessi yleistää normaalijakauman funktioavaruuteen: sen määräävät odotusarvofunktio ja kovarianssifunktio, joiden muotoa varioimalla voidaan mallintaa laajasti erilaisia funktiomuotoja. Sopivasti valitulla kovarianssifunktiolla gaussinen prosessi voidaan myös saada vastaamaan muita mallirakenteita, kuten neuroverkkoa[?]. Gaussisilla prosesseilla mallinnetaan tyypillisesti erilaisia regressio- ja luokitusongelmia. Priori-uskomuksilla tarkoitetaan oletuksia mm. jakaumien muodoista tai jaksollisuudesta. Perinteisissä regressiomalleissa esimerkiksi epäsäännöllisesti jaksollisten ilmiöiden huomioiminen voi olla vaikeaa, kun taas gaussisessa prosessissa nämä oletukset voidaan sisällyttää suoraan mallin kovarianssifunktioon. Tämän yksinkertaisuuden vastapainona on mallin tulkittavuus: kyseessä on epäparametrinen menetelmä, joten esimerkiksi mahdollisten selittävien muuttujien vaikutusten arviointi on vaikeampaa. Eräs säännöllisesti mediassa huomiota saava jaksollinen ilmiö on hukkumiskuolemien määrä, joka seuraa vuodenaikojen kiertoa niin, että sydäntalven aikaan hukkumisia on vähiten, mutta keväällä jäiden sulamisen myötä määrä lähtee kasvuun ja saavuttaa huippunsa heinäkuussa. Hukkumiskuolemat nousevat otsikoihin erityisesti kesäisin, jolloin hukkuneiden määrää verrataan helposti vain edelliseen vuoteen, jolloin johtopäätökset poikkeuksellisen suuresta tai pienestä määrästä ovat usein lyhytnäköisiä. Suomessa hukkumiskuolemien määrä on kansainvälisesti verrattuna korkea, vaikka trendi onkin viime vuosikymmeninä 2

4 ollut laskeva. Tässä työssä tarkastellaan regressio-ongelmaa jaksollisella havaintoaineistolla. Työssä rakennetaan bayesilainen tilastollinen malli hukkumiskuolemille ja tutkitaan miten hyvin jaksollisen kovarianssifunktion sisältävä gaussinen prosessi pystyy kuvaamaan ja ennustamaan kyseistä jaksolliseksi epäiltyä aikasarjaa. Työssä esitellään ensin lyhyesti bayesilainen lähestymistapa tilastolliseen mallintamiseen ja gaussisten prosessien metodologia, minkä jälkeen tarkastellaan lähemmin erityisesti jaksollisia kovarianssifunktioita. Esiteltyjä menetelmiä sovelletaan paitsi hukkumiskuolemien, myös epäsäännöllisesti jaksollisen auringonpilkkuaikasarjan mallintamiseen. Havaintoaineistona käytetään Suomen vuosien kuukausittaisia hukkumiskuolematietoja sekä auringonpilkkujen vuotuista esiintymismäärää vuosilta Bayesilainen mallintaminen 2.1 Bayesilainen lähestymistapa Bayesilainen mallintaminen perustuu subjektiivisen todennäköisyyden käsitteeseen, jossa havaintoaineiston informaatio yhdistetään mallin rakentajan ennakko- eli prioriuskomuksiin. Malliin liittyvä epävarmuus voidaan jakaa aleatoriseen (satunnaiseen) sekä episteemiseen (tiedon puutteesta johtuvaan) epävarmuuteen. Bayesilaisessa mallintamisessa näitä epävarmuuksia käsitellään yhtä aikaa: episteemistä epävarmuutta ennen havaintoja kuvaa prioritodennäköisyys, ja aleatorista epävarmuutta mallin uskottavuus, joka kuvaa havaintoaineistoa mallin parametrien avulla. Bayesin säännön avulla nämä yhdistetään ns. posterioritodennäköisyydeksi.seuraavat bayesilaisen päättelyn peruskäsitteet löytyvät laajemmin käsiteltyinä esimerkiksi Gelmanin [?] teoksesta. Bayesilaisen analyysin tavoitteena on rakentaa posterioritodennäköisyydet kaikille kiinnostuksen kohteena oleville parametreille, joita voivat olla esimerkiksi lineaarisen regression kertoimet tai epäparametrisen mallin ennusteet. Toden- 3

5 näköisyydet saadaan Bayesin säännöstä posteriori {}}{ p(w D, M) = priori uskottavuus {}}{{}}{ p(w M) p(d w, M), (1) p(d M) }{{} evidenssi missä w kuvaa mallin stokastisia parametreja, D havaintoaineistoa ja M valittua mallia, joka sisältää kaikki hypoteesit ja oletukset joita mallia määriteltäessä tehdään, ja jonka suhteen kaikki todennäköisyydet ovat ehdollisia. Evidenssi p(d M) = p(w M)p(D w, M)dw on normalisointivakio joka voidaan tulkita mallin marginaaliseksi todennäköisyydeksi. Posteriori siis yhdistää prioritietämyksen parametrien jakaumista p(w M) havaintoaineiston informaatioon p(d w, M). 2.2 Päättely ja integrointi Tyypillisesti mallintamisen tavoitteena on mallin sovittamisen jälkeen ennustaa kohdemuuttujan käyttäytymistä uusilla selittävien muuttujien arvoilla. Bayesilaisessa päättelyssä voidaan parametrien ohella määrätä jakaumat myös näille arvoille. Ne muuttujat, joiden jakaumista ei olla kiinnostuneita, voidaan päättelyssä marginalisoida eli integroida niiden yli. Seurauksena mallit kuitenkin sisältävät usein paljon integraaleja, jotka eivät ratkea analyyttisesti. Tutkitaan esimerkkinä yleistä regressio-ongelmaa, jossa tuntemattomasta latentista funktiosta f on kohinaisia havaintoja D = {(x 1, y 1 ),..., (x n, y n )}, missä x i on l-ulotteinen selittävien muuttujien vektori ja y i selitettävä skalaarimuuttuja. Haluamme rakentaa mallin datalle sekä ennustaa uusilla syötteillä x arvojen y jakauman. Regressiomalli on muotoa y i = f(x i, w) + ɛ i, (2) missä ɛ on kohinatermi. Kun tarkastellaan havaintoja kohinaisena otoksena taustaprosessista, yhteinen uskottavuus saadaan yksittäisten havaintojen uskottavuuksien tulona n p(d w) = p(y i f(x i, w)), (3) i=1 regressiomallin tapauksessa siis suoraan kohinatermin jakaumasta. Funktion f posteriorijakauma syötteellä x saadaan integroimalla yhteisjakaumaa p(f, w) 4

6 parametrien yli p(f x, D, M) = p(f x, w)p(w D, M)dw, (4) missä p(w D, M) p(d w, M)p(w M) kaavan (1) mukaisesti. Ennustava jakauma p(f f, D, w) saadaan vastaavasti marginalisoimalla f yhteisjakaumasta p(f, f D, w), ja y voidaan päätellä tästä mallin uskottavuuden avulla. Yleensä ennakkotietämys mallin parametreista ei ole riittävää yksiselitteisen jakauman määräämiseksi, jolloin malliin lisätään ns. hyperpriori, eli priorin parametreille määrätään omat jakaumat. Bayesilaisessa mallintamisessa mallirakenne onkin tyypillisesti hierarkkinen: alimmalla tasolla ovat mallin parametrit, joiden jakaumia säätelevät mallintajan ennakkouskomusten mukaisesti valitut hyperparametrit, joita voi olla monta tasoa, ja ylimmällä tasolla valittavana on joukko erilaisia mallirakenteita M i. Hyperpriorin myörä parametrien posteriorijakauma saa muodon p(w i, θ D, M i ) = p(d w i, θ, M i )p(w i θ)p(θ M i ). (5) p(d M i ) Hierarkkinen mallirakenne sisältää huomattavan määrän integrointia, ja mallin yksityiskohtaisuudesta riippuen integraalit eivät välttämättä ratkea analyyttisesti. Tällöin vaihtoehtona on piste-estimointi: klassisessa suurimman uskottavuuden menetelmässä optimaaliset parametrit löydetään piste-estimaatista, joka maksimoi mallin uskottavuuden p(d θ, M). Tämä lähestymistapa ei kuitenkaan ole bayesilainen, sillä priorioletukset jäävät huomioimatta. Lisäksi tässä päättelyssä arvioidaan datan sopivuus parametreihin, eikä toisinpäin, mikä sotii bayesilaista filosofiaa vastaan. Lähimpänä suurimman uskottavuuden menetelmää bayesilaisessa metodiikassa on maximum a posterior (MAP)-lähestymistapa, jossa piste-estimaatti maksimoi hyperparametrien posteriorijakauman p(θ D, M) eli minimoi negatiivisen log posteriorijakauman E = log(p(d θ)) log(p(θ)). (6) MAP-lähestymistavassa integrointi korvataan siis osittain optimointitehtävällä. Tyypillisessä ratkaisutavassa esiintyy sekä integrointia että optimointia: tehtävä integroidaan siltä osin kuin se on tehokkaasti mahdollista, ja loput parametrit etsitään optimoinnilla. Vaihtoehtoisesti voidaan käyttää erilaisia integraaliapproksimaatiomenetelmiä. 5

7 3 Gaussiset prosessit Satunnaismuuttujien ominaisuuksia kuvataan todennäköisyysjakaumilla, funktioiden puolestaan stokastisilla prosesseilla. Gaussinen prosessi on normaalijakauman yleistys funktioille: jos selittävä muuttuja X = {x 1, x 2,..., x n } kuvautuu funktioksi f(x i ), jokaisen funktion arvon f(x i ) todennäköisyys annetulla x i voidaan siis laskea normaalijakaumasta. Gaussinen prosessi GP määrittelee näiden yhteisjakauman. Multinormaalijakauman tiheysfunktio on muotoa p(x m, K) = N(m, K) = (2π) D/2 K 1/2 exp ( 1 2 (x m)t K 1 (x m) ), (7) missä K on kovarianssimatriisi ja m D:n pituinen keskiarvovektori. Gaussisen prosessin määrittelevät vastaavasti sen keskiarvofunktio m(x) ja kovarianssifunktio k(x i, x j ): m(x) = E[f(x)] (8) k(x i, x j ) = E[(f(x i ) m(x i ))(f(x j ) m(x j ))]. (9) Bayesilaisen lähestymistavan mukaisesti f(x):lle määrätään priorijakauma f(x) = f x 1, x 2,..., x n GP(m(x), k(x, x )) (10) Käytännössä m(x) valitaan yksinkertaisuuden vuoksi usein nollaksi ja gaussisen prosessin ominaisuuksia varioidaan valitsemalla sopivia kovarianssifunktioita. 3.1 Regressio normaalijakautuneella uskottavuudella Tarkastellaan nyt regressio-ongelmaa, jossa kohinatermi on normaalijakautunut: y i = f(x i ) + ɛ i, ɛ i N (0, σkohina 2 ), (11) missä σ 2 kohina on kohinan varianssi. Havaintojen D = {(x 1, y 1 ),..., (x n, y n )} perusteella halutaan määrittää ennustava jakauma funktion arvoille f syötteillä x. Havaintoaineistoa vastaavien funktion arvojen priorijakauma saa nyt muodon f x 1, x 2,..., x n N (0, K), (12) 6

8 missä K:n alkiot vastaavat kovarianssifunktion k arvoja. Vastaava priorijakauma saadaan myös ennustetuille f, ja näiden yhteisjakauma saa muodon ( p(f, f ) = N 0, K ) f,f K,f, (13) K f, K, missä esimerkiksi K,f on uusia syötteitä vastaavien f ja havaintoja vastaavien f välinen kovarianssimatriisi. Yhteisposteriorijakauma saadaan priorijakauman ja uskottavuuden p(y f) avulla Bayesin säännöstä: p(f, f y) = p(f, f )p(y f), (14) p(y) missä p(y) = p(y f)p(f)df on marginaalinen uskottavuus ja uskottavuustermi on valitun regressiomallin mukaisesti normaalinen: p(y f) = N(f, σ 2 kohina I). Haluttu posterioriprediktiivinen jakauma saadaan marginalisoimalla f p(f y) = 1 p(f, f )p(y f)df, (15) p(y) joka pystytään laskemaan, sillä molemmat integroitavat jakaumat ovat gaussisia. Posterioriprediktiivinen jakauma saa muodon [?] p(f y) = N(µ x, σ 2 x), missä µ x = K,f (K f,f + σ 2 kohina I) 1 y (16) σ 2 x = K, K,f (K f,f + σ 2 kohina I) 1 K f, (17) Kun ylläolevaan päättelyyn lisätään mallin hyperparametrien priori, saavat yhtälöt (14) ja (15) muodon p(f, f, θ y) = p(y f)p(f, f θ)p(θ) (18) p(y) p(f y) = 1 p(y f)p(f, f θ)p(θ)dfdθ, (19) p(y) jossa integraali voidaan jälleen evaluoida f:n suhteen, muttei yleisesti θ:n suhteen. Niinpä joudutaan turvautumaan approksimatiivisiin menetelmiin (luku x). GP-regressiossa uskottavuuden ja priorin tulo noudattaa gaussista jakaumaa p(y f)p(f) = N(0, K f,f + σkohina 2 I) ja kaavan (6) marginaalinen log posteriorijakauma saa muodon E = log(p(y f)p(f θ)) log(p(θ)) = 1 2 log K f,f + σ 2 kohina I 1 2 yt (K f,f + σ 2 kohina I ) 1 y n log(2π) log(p(θ)) (20) 2 7

9 Etsimällä kaavan (20) minimi hyperparametrien suhteen saadaan siis optimaalinen MAP-piste-estimaatti. Termit voidaan tulkita niin, että ainoa havaintopisteet sisältävä termi kuvaa mallin sovittumista dataan ja kovarianssimatriisin determinantin logaritmi mallin kompleksisuutta, n 2 log(2π) on normalisointitermi ja log(p(θ)) parametrien priorin osuus. 3.2 Mielivaltainen uskottavuus Yllä on oletettu uskottavuusfunktion noudattavan normaalijakaumaa. Menetelmä voidaan yleistää koskemaan mielivaltaista uskottavuusmallia y p(g(f x)), (21) missä kohinatermi ei enää ole additiivinen vaan sisältyy malliin. Kuten regressio-ongelmassa, funktion f priori on gaussinen f x 1, x 2,..., x n GP(0, K), mutta posterioriprediktiivinen jakauma p(f y) = 1 p(f, f )p(y g(f))df (22) p(y) ei ratkea analyyttisesti, vaan on ratkaistava approksimatiivisesti, kuten hyperparametrien tapauksessa. Suosittuja approksimaatiomenetelmiä ovat Markov-ketju-Monte Carlo eli MCMCmenetelmät, kuten Metropolis-Hastings- tai Gibbs-näytteistäminen (esim [?]. MCMC-menetelmissä integroinnin sijaan poimitaan näytteitä jakaumasta niin, että syntyy ergodinen Markovin ketju, jonka stationaarinen jakauma on haluttu jakauma. Stationaariseen jakaumaan konvergoitumisen nopeudesta ei kuitenkaan ole varmuutta ja peräkkäiset näytteet korreloivat usein keskenään. MCMC-menetelmille on esitetty vaihtoehtoja, kuten odotusarvojen propagointi-menetelmä (Expectation propagation, EP, Minka (2001) [?]), jonka avulla monimutkaisille todennäköisyysjakaumille luodaan integroitavia approksimaatioita. Menetelmää voidaan soveltaa gaussisiin prosesseihin approksimoimalla uskottavuutta p(y i f i ) paikallisesti normaalijakaumalla pisteissä, joista ollaan kiinnostuneita. Algoritmi lähtee jostakin approksimatiivisesta posteriorijakaumasta ja käy pisteitä läpi vuorotellen hakien paikallisen jakauman t i, joka minimoi Kullback-Leibler (KL)-divergenssin KL(p q) = p(x) log p(x) q(x) ( ) Q(f) t uusi i = arg min KL p(y i f i ) Q(f) t i t i, (23) t vanha i 8 t vanha i

10 missä Q(f) = tf(x)p(f) on approksimoitu posteriorijakauma, joka on eksponentiaalista muotoa. KL-divergenssiä esittelee tarkemmin mm. [?] ja EP-algoritmin implementointia gaussisille prosesseille [?]. 3.3 Kovarianssifunktioista Funktiota k, joka kuvaa kaksi vektoria x R n, x R n skalaariksi y kutsutaan kerneliksi. Mielivaltainen x:n ja x :n funktio ei kuitenkaan yleensä ole sopiva kovarianssifunktio, vaan kernelin on oltava positiivisesti semidefiniitti [?]. Kovarianssifunktiot ovat määritelmänsä nojalla symmetrisiä. Stationaariset kovarianssifunktiot ovat x x :n funktioita ja siten invariantteja syötteiden translaatioille, isotrooppiset kovarianssifunktiot puolestaan x x :n funktioita ja siten invariantteja translaatioiden lisäksi rotaatioille. Kovarianssifunktiota regressio-ongelmaan valittaessa on muistettava, että useimmissa regressio-ongelmissa voidaan olettaa lähellä toisiaan olevien selittävien muuttujan x:n arvojen korrelaation olevan suurinta. Samoin havaintoaineiston ollessa kohinaista kovarianssifunktioon on lisättävä kohinatermi. Koska kovarianssifunktioiden summa (ja tulo) ovat myös kovarianssifunktioita[?], voidaan funktio jakaa kahteen osaan, joista toinen kuvaa dataa ja toinen kohinaa. Yleisimmin käytetty kovarianssifunktio on neliöllinen eksponentiaalinen (squared exponential, SE) funktio, joka on muotoa ( k(x, x ) = σm 2 exp L l=1 (x l x ) l )2 rl 2, (24) missä r l on funktiolle ominainen pituusmitta (lengthscale) ja σ 2 M magnitudi. Pituusmitta määrää kuinka kaukana toisistaan olevat funktion arvot korreloivat keskenään. Magnitudi taas kuvaa kovarianssifunktion vaikutuksen suuruutta. Esimerkiksi kahden kernelin summana muodostetussa kovarianssifunktiossa magnitudit kertovat kuinka suuren osan kovarianssista kumpikin osa selittää. SE-kovarianssifunktio on äärettömästi differentioituva, joten sen kautta määritelty GP on vastaavasti hyvin sileä, mikä selittää sen suosiota. SE-kovarianssifunktio on stationaarinen ja isotrooppinen, mutta se voidaan muokata ei-isotrooppiseksi valitsemalla kullekin x:n ulottuvuudelle l oma pituusmitta. 9

11 Enemmistö gaussisissa prosesseissa käytetyistä kovarianssifunktioista on stationaarisia. Stationaarisuus kuitenkin rajoittaa jossain määrin mallin sovittumista esimerkiksi aineistoihin, joiden korrelaation voimakkuus muuttuu aineiston sisällä. Eräs esimerkki epästationaarisesta kovarianssifunktiosta on neuroverkkoihin (esim. [?]) perustuva funktio, jonka esitteli Neal [?]. Neal näytti, että neuronien määrän kasvaessa yksikerroksinen verkko lähestyy tietyin oletuksin gaussista prosessia. Jos siirtofunktio valitaan muotoa h(z) = 2/ π z 0 e t2, voidaan johtaa kovarianssifunktio [?] k(x, x ) = 2 ( 2 x T Σ x ) π sin 1, (25) (1 + 2 x T Σ x)( x T Σ x ) missä x = (1, x 1,..., x d ) T on kasvatettu sisäänmenovektori ja Σ = diag(σ 2 b, σ2 w) kuvaa neuroverkon vakion (bias) ja painojen (weights) variansseja. 3.4 Jaksolliset kovarianssifunktiot Kun yksiulotteinen selittävä muuttuja x kuvataan kaksiulotteiseksi u(x) = (cos(x), sin(x)), saadaan jaksollinen satunnainen funktio x:n suhteen. Soveltamalla tätä SE-kovarianssifunktioon (24) saadaan aallonpituudella λ l jaksollista funktiota kuvaava kovarianssifunktio [?] ( k(x, x ) = σm 2 exp L 2 sin 2 ( π λ l (x l x l )) ), (26) l=1 kun huomataan, että (cos(x) cos(x )) 2 + (sin(x) sin(x )) 2 = 4 sin 2 ( x x 2 ). Yllä oletetaan jaksollisuuden säilyvän koko ajan samanmuotoisena. Todellisuudessa jaksollisuuden voimakkuus ja muoto säilyvät harvoin täsmälleen samanlaisina. Mikäli on syytä epäillä jaksollisuuden esimerkiksi vaimenevan ajan myötä, voidaan kovarianssifunktioon lisätä SE-termi kuvaamaan tätä kehitystä, ja funktio saa muodon k(x, x ) = σ 2 M ( ( exp L l=1 r 2 l (x l x ) ( l )2 rl,se 2 + exp L 2 sin 2 ( π λ i (x l x l )) )), l=1 r 2 l,p ER (27) missä jaksolliselle ja SE-osalle on annettu erilliset pituusmitat, mutta yhteinen magnitudi. Jaksollisia kovarianssifunktioita on toistaiseksi sovellettu kirjallisuudessa harvakseltaan. Viime vuosina huomiota on saanut esimerkiksi langattomien senso- 10

12 riverkkojen optimaalinen ohjaaminen. Kho et al. pystyivät parantamaan GPregression ennustuskykyä merkittävästi sensoriverkkotutkimuksessaan [?] soveltamalla yllä kuvattua periodista kovarianssifunktiota. Vastaavasti sensoriverkkoja tutkineet Osborne et al. [?] mallintavat jaksollista sääaineistoa jaksollisella kovarianssifunktiolla, joka on SE-muunnoksen (27) sijaan jaksollinen versio ns. Matérnin kovarianssifunktiosta (esim. [?]). Muita sovelluskohteita ovat olleet mm. ihmisen pulssin mallintaminen jälkiprosessointi [?] ja tähtien kirkkauden jaksollisten komponenttien etsintä[?]. 4 Mallin rakentaminen 4.1 Hukkumiskuolemat Suomessa Vuosina Suomessa hukkui 9279 ihmistä, keskimäärin noin 300 vuodessa [?]. Hukkumiskuolemien trendi on mm. uimataidon ja vesiturvallisuuden parantumisen takia pitkään ollut laskeva (vuosittain 9,9 hukkunutta ihmistä kohden vuosina ja 4,5 vuosina ), mutta taso on kansainvälisesti verrattuna edelleen korkea. Hukkumiskuolemat nousevat säännöllisesti median huomioon erityisesti kesäisin. Hukkuneiden määrä seuraa vuodenaikojen kiertoa niin, että sydäntalvella hukkuneiden määrä on vähäinen, mutta kasvaa keväällä jäiden heiketessä. Suurin osa kuolemista sattuu vuoden lämpimimpinä kuukausina touko-elokuussa, piikkinä heinäkuun lomakausi. Hajonta eri vuosien välillä on kuitenkin varsin suurta, johtuen esimerkiksi sääolojen vaihtelusta. Tässä työssä on käytetty aineistona kuukausittaista hukkumiskuolema-aikasarjaa vuosilta Tuona aikana Suomessa hukkui 1193 ihmistä (vuosittain keskimäärin noin 170). Aineisto on esitetty kuvassa 1, mistä näkyy selvästi niin havaintojen jaksollisuus kuin vuosien välinen hajontakin. Vuotta 2008 lukuunottamatta hukkuneita on ollut selvästi eniten heinäkuussa. Eräs hukkumiskuolemien kanssa korreloiva tekijä on säätila: helteisimpinä kesinä ihmiset liikkuvat enemmän vesillä, jolloin hukkumistapauksiakin on yleensä selvästi koleita kesiä enemmän. Kaurasen ja Summalan [?] mukaan yhden asteen nousu kesäkuukauden lämpötilassa lisää hukkuneita keskimäärin seit- 11

13 Kuva 1: Hukkumiskuolemat kuukausittain semällä. Selittävänä tekijänä mallissa voitaisiin siis huomioida sää esimerkiksi keskilämpötilan tai hellepäivien määrän muodossa. Samoin jäiden lähdön ajankohta voi vaikuttaa kevään hukkumisten ajoittumiseen. Tässä työssä näiden selittävien tekijöiden vaikutusta ei arvioida, vaan keskitytään jaksollisen ilmiön mallintamiseen. Toisaalta sääselittäjien lisääminen malliin hankaloittaa ennusteiden luomista, sillä tuleva sää ei ole tiedossa. Näin muodoin ennusteissa jouduttaisiin joka tapauksessa käyttämään jonkinlaisia keskiarvoja. 4.2 Auringonpilkut Auringonpilkut ovat paikallisista magneettikentistä aiheutuvia Auringon pinnassa tummina näkyviä ympäristöään viileämpiä alueita. Niiden määrän havaittu vaihtelevan keskimäärin 11 vuoden jaksoissa, sekä toisaalta pidemmissä satojen vuosien jaksoissa. Auringonpilkkujen määrää on pyritty ennustamaan esimerkiksi ARMA- ja Wavelet-malleilla [?,?,?], mutta jakson pituuden ja magnitudin vaihtelu on tehnyt niistä vaikean mallinnettavan. Auringonpilkkujen uskotaan vaikuttavan maapallon ilmastoon niiden mukana vaihtelevan ultraviolettisäteilyn määrän myötä: korkean Auringon aktiivisuuden epäillään nostavan lämpötilaa. Auringonpilkkujen esiintymistä on tutkittu jo kauan: ensimmäiset havainnot ovat vuodelta 800 ekr. ja luotettavaa havaintoaineistoa auringonpilkkujen määrästä on saatavilla jo vuodesta Radiohiilimenetelmällä on pystytty mää- 12

14 rittämään auringonpilkkujen esiintyminen yli vuoden ajalta. Tämän työn aineistona on käytetty vuosittaista auringonpilkkujen määrää vuosilta , ja tavoitteena on siten lyhyen 11 vuoden jakson mallintaminen. 4.3 Mallirakenteen valinta Molemmat tutkitut aineistot ovat aikasarjoja, jotka kuvaavat tapahtumien lukumäärää ajanjaksoa kohden. Näin ollen uskottavuus on normaalijakauman sijaan luonnollista olettaa Poisson-jakautuneeksi. Mallirakenne on siten y i Poisson(e i µ i ), (28) missä Poisson(λ, y) = 1 y! λy e λ, y = 0, 1, 2,... ja e i on odotettu tapahtumien määrä ja µ i ajanjakson i suhteellinen riski, jota pyritään mallintamaan. Koska µ i on nyt rajattu positiiviseksi, riskiä kuvataan mallissa latenttien muuttujien f i = log(µ i ). Mallin uskottavuus saa tällöin muodon n n p(y f) = p(y i f i ) = Poisson(e i exp(f i )). (29) i=1 i=1 Kun havaintoaineiston varianssi on odotusarvoon nähden suuri eli havainnot ovat ylidispersoituneita, vaihtoehto Poisson-jakaumalle on negatiivinen binomijakauma, joka kuvaa toistetun Bernoulli-kokeen epäsuotuisien tulosten määrää ennen tiettyä onnistumisten määrää. Poisson-mallissa havaintojen odotusarvoa ja varianssia kuvataan samalla parametrilla, jolloin mallissa odotusarvo ja varianssi ovat samat, vaikka havainnot olisivat ylidispersoituneita[?], ja malli on siten puutteellinen. Tällöin on parempi käyttää negatiivista binomijakaumaa, jonka dispersioparametrilla voidaan säädellä varianssia odotusarvoon puuttumatta. Dispersioparametrin lähestyessä ääretöntä negatiivinen binomijakauma lähestyy Poisson-jakaumaa. Latenteille muuttujille f valitaan gaussinen priori, joka koostuu summattavista kovarianssifunktioista. Funktioiden valinnan perustana ovat ennakko-oletuksen aikasarjan ominaisuuksista. Jaksollista osuutta kuvaamaan valitaan siis periodinen kovarianssifunktio k p (27). Pitkän aikavälin trendiä voidaan mallintaa suuren aikaskaalan SE-kovarianssifunktiolla k se (24) tai vaihtoehtoisesti NNkovarianssifunktiolla k nn (25). Nopeita vaihteluita kuvataan taas lyhyemmän 13

15 skaalan SE-funktiolla. Esimerkiksi kahden SE-funktion ja periodisen funktion tapauksessa priori saa siis muodon p(f X) = N(f 0, K se1 + K se2 + K p ) (30) Valittujen kovarianssifunktioiden parametrit ovat mallin hyperparametreja, joita varioimalla optimointi tapahtuu. Mallirakenteessa on vielä määriteltävä hyperparametrien priorijakaumat eli mallin hyperpriori. Priorin tulisi sallia mallin varianssin olevan pientä, joten parametrien on oltava mahdollista lähestyä nollaa. Toisaalta aikaskaalojen on mahdollistettava kaukanakin toisistaan olevien pisteiden korrelaatio. Nämä ominaisuudet voidaan yhdistää antamalla kovarianssifunktioiden parametreille prioriksi puolikas Studentin t-jakauma 0 jos θ k < 0, p(θ k ν, A) ( ( ) ) 2 (ν+1)/ θka ν muuten, (31) missä vapausasteiden määrä ν ja hajonta A määräävät jakauman muodon. Esimerkiksi pituusskaalan priorijakauma on, jos tarkempaa tietoa ei ole saatavilla, syytä määrittää siten, että suure ei saa juuri havaintojen määrää suurempaa arvoa. Merkittävästi suurempi pituusskaala merkitsisi, ettei havaintojen etäisyydellä ole merkitystä, ja viittaa mallin puutteisiin mallin rakenteessa. 4.4 Implementointi Työssä toteutettiin jaksollinen kovarianssifunktio Matlab-ympäristössä osaksi gaussisten prosessien mallintamiseen tarkoitettua GPstuff-toolboxia, joka on saatavilla osoitteessa Kyseessä on laaja modulaarinen ohjelmistopaketti, jossa on toteutukset useille kovarianssifunktioille sekä integraaliapproksimaatioille ja optimointitavoille. Jaksollinen kovarianssifunktio tehtiin monikäyttöiseksi, ja sitä voidaan käyttää prioritietämyksen mukaisesti joko säännöllisenä tai vaimenemistermin kanssa. Funktio on myös tarpeen mukaan joko isotrooppinen tai eri selittäjille voidaan määritellä omat pituusskaalansa. Eräs mielenkiintoinen osa implementointia on jakson pituuden λ optimointi. Usein esimerkiksi regressio-ongelmissa jakson pituus on ennakolta tiedossa, mutta se voidaan myös optimoida parhaiten 14

16 havaintoaineistoa vastaavaksi. Tässä työssä hukkumiskuolemien osalta vuosikierto on säännöllinen, joten jakso voidaan valita ennalta, mutta auringonpilkkujen osalta tarkka jakson pituus on haettava optimoimalla hyperparametria. Molempia havaintoaineistoja tutkittiin useilla jaksollisen kovarianssifunktion ja muiden kovarianssifunktioiden yhdistelmillä, jotka on esitetty havaintoaineistoittain tulososiossa. Uskottavuusfunktiona käytettiin hukkumiskuolemille Poisson-jakaumaa ja ylidispersoituneelle auringonpilkkudatalle negatiivista binomijakaumaa. Ei-normaalisen uskottavuusfunktion vuoksi optimoinnissa sovellettiin EP-algoritmia integraaliapproksimaatioiden tekemiseen. Malli määritettiin osalle dataa, minkä jälkeen arvioitiin sen soveltuvuutta lopun havaintoaineiston ennustamiseen. 5 Tulokset 5.1 Hukkumiskuolemat Ennakkotietämyksen perusteella hukkumiskuolemien oletettua jaksollisuutta kuvaamaan valittiin periodinen kovarianssifunktio vuoden jaksonajalla. Pitkän aikavälin muutoksia kuvattiin sekä neuroverkko- että SE-kovarianssifunktioilla ja nopeampia muutoksia lyhyemmän aikaskaalan SE-funktiolla. Uskottavuutena käytettiin Poisson-mallia. Seitsemän vuoden ( ) kuukausittaisesta havaintoaineistosta kuutta ensimmäistä käytettiin mallin sovittamiseen ja viimeisen avulla tutkittiin mallin ex post -ennusteen hyvyyttä. Havaintoaineisto ja mallin ennuste on esitetty kuvassa 2. Lyhyehkössä aikasarjassa ei ole havaittavissa selkeää pitkän aikavälin trendiä; sen sijaan vaihtelu kuukausien ja vuosien välillä on suurta. Erityisesti mallin ennustamiskyvyn arvioimiseen käytetty vuosi 2008 on luonteeltaan poikkeuksellinen: eniten kuolemantapauksia oli huhtikuussa, kun muina vuosina huippu on ollut heinä-elokuussa. Vaihtelua selittäviä tekijöitä lienee useita, tärkeimpänä sääolot, esimerkiksi hellepäivien määrä kesäisin ja jäiden lähdön ajankohta keväisin. Selvää kuitenkin on, että myös sattuman vaikutus kuukausittaiseen hukkumiskuolemien määrään on suuri. Malli sovittuu hyvin havaintoaineistoon, mutta yksittäisten havaintojen ennus- 15

17 80 70 Datapisteet Validointipisteet Mallin ennuste 2σ epävarmuus Kuva 2: Hukkumiskuolemat ja mallin ennuste kuukausittain. 250 Datapisteet Mallin ennuste 2σ epävarmuus Kuva 3: Kumulatiiviset hukkumiskuolemat vuosittain 16

18 tamiseen siitä ei ole. Se ei pysty ennakoimaan vuoden 2008 hukkumiskuolemien poikkeuksellista jakautumista ja vuoden 2009 ennuste poikkeaa hyvin vähän vuodesta Mallia voidaankin kuukausittaisten havaintojen ennustamisen sijaan juuri käyttää arvioimaan, onko hukkumiskuolemien määrän kehitys ollut tavanomaisesta merkittävästi poikkeavaa ja siten arvottamaan esimerkiksi tiedotusvälineissä toistuvasti esiintyviä väitteitä määrän hälyttävästä kasvusta. Vuosi 2008 sisältää todellakin varsin poikkeavia havaintoja: tammikuussa hukkumisia on ollut merkittävästi totuttua enemmän, heinäkuussa taas vähemmän. Muut havainnot sen sijaan osuvat luottamusvälien sisään. Yksittäisten havaintojen ohella on kuitenkin kiinnostavaa tutkia myös vuoden aikana hukkuneiden kokonaismäärää. Kuvassa 3 on esitetty hukkumisten kumulatiivinen summa vuosittain epävarmuuksineen. Näin voidaan arvioida, onko esimerkiksi tarkastelun kohteena olevan vuoden ensi puoliskolla hukkunut poikkeuksellisen paljon ihmisiä. Kuvan 2 perusteella voidaan todeta, että hukkuneiden määrä huhtikuuhun saakka on merkittävästi ennustetta korkeampi, mutta loppuvuoden vähäiset hukkumiset vievät koko vuoden summan selvästi tarkasteltavista vuosista pienimmäksi. Määrä kuitenkin mahtuu 2σ-epävarmuuden sisälle. Epävarmuus luonnollisesti kasvaa vuoden loppua kohden summattavien kuukausien lisääntyessä, vaikka sitä pienentääkin termien keskinäinen riippuvuus. Kuvassa 4(b) on esitetty mallin epävarmuus kuukausittain: huomionarvoista on epävarmuuden huomattava kasvu erityisesti kesäkuukausina mallin ennusteessa. Toisaalta ennuste näyttää olevan hyvin samanlainen kuin sovitettujen vuosien keskiarvo (sovitteet on esitetty yhdessä kuvassa 4(a)). Tämä viittaa siihen, ettei mallissa ole voimakasta pitkän aikavälin trendiä, ja toisaalta lyhyen aikavälin vaihtelun aikaskaala on niin lyhyt, että sen vaikutus lakkaa jo muutaman havainnon jälkeen. Sama ilmiö huomataan tutkimalla eri kovarianssikomponenttien vaikutuksia mallin ennusteeseen ja sen varianssiin (kuva 5). Vaikutukset ovat multiplikatiivisia: kuvissa olevien neljän kovarianssikomponentin vaikutusten tulona voitaisiin toistaa kuvan 2 malli. Suurimman vaihtelun kuvaajien tuo jaksollisen komponentti, jonka muoto säilyy lähes identtisenä vuosittain vaimeten vain vä- 17

19 ennuste dataan sovitettu malli ennuste (a) Vuosivaihtelu kuukausittain (b) Ennusteen epävarmuus kuukausittain Kuva 4: Hukkumiskuolemien kuukausivaihtelu 4 jaksollinen SE pitkä NN SE lyhyt 4 jaksollinen SE pitkä NN SE lyhyt (a) Odotusarvo (b) Varianssi Kuva 5: Kovarianssikomponenttien vaikutus hukkumiskuolemamallin ennusteeseen hän aikasarjan loppua kohden. Pitkäaikaisten neuroverkko- ja SE-komponenttien vaikutukset ovat miltei suoria: kuvaajan perusteella voisi siis kyseenalaistaa niiden läsnäolon mallissa. Jos vaikutus ei muutu ajan myötä, komponentin poistamisen ei pitäisi heikentää mallia. Mallin multiplikatiivisen luonteen vuoksi pieni muutos ajan myötä voi kuitenkin olla merkittävä lopputuloksen kannalta. Sekä NN- että SE-komponentin vaikutus kasvaa hitaasti: aineistossa on siis pieni nouseva trendi. Kuvan multiplikatiivisuuden vaikutuksesta saa tutkimalla kuvan 3 epävarmuuden selvää kasvua vuodesta 2007 vuoteen Tämä selittyy kuvassa 5(b) lyhyen aikaskaalan SE-funktion tasoittumisella: kun havaintoja vuodesta 2008 ei enää ole, vaikutus vakiintuu nopeasti. Vaikka muutos ei kuvaajassa ole suuri, se on merkittävin tekijä mallin varianssin kasvussa. 18

20 60 Datapisteet Mallin ennuste Validointipisteet 2σ epävarmuus Kuva 6: Auringonpilkut ja mallin ennuste 5.2 Auringonpilkut Myös auringonpilkkujen tapauksessa pitkän aikavälin ilmiötä kuvattiin sekä NN- että SE-komponentin avulla. Periodisen komponentin jaksonaika optimoitiin parhaiten havaintoaineistoa vastaavaksi ja lyhyen ajan vaihtelua kuvaamaan käytettiin jälleen SE-funktiota. Havaintojen hajonta oli odotusarvoa suurempi, joten havaintomallina käytettiin negatiivista binomijakaumaa. Aikasarja on hukkumiskuolemia pidempi, 241 havaintoa, joista 216 ensimmäistä valittiin mallin sovittamiseen ja loput 25 validointiin. Malli sovittuu jälleen hyvin havaintoaineistoon. EP-algoritmin tuloksena syntynyt ennuste epävarmuuksineen on esitetty kuvassa 6. Ennustamisen tekee vaikeaksi periodisuuden epäsäännöllisyys esimerkiksi hukkumiskuolemiin nähden: jakson pituus vaihtelee hieman ja amplitudi hyvinkin voimakkaasti. Kuvasta huomataan, että periodinen komponentti ei pysty mukautumaan tähän vaihteluun, vaan ennusteen epävarmuus kasvaa nopeasti suureksi. Vaikka malli ennustaakin ensimmäisen datapisteiden jälkeisen syklin hyvin, varianssin suuruudesta johtuen tulos ei ole luotettava. 19

21 Auringonpilkkuaikasarjan epäsäännöllisesti jaksollisen komponentin käytöksen vangitseminen kovarianssifunktiolla vaatisi ajan myötä muuttuvan jaksonajan implementoinnin, mikä rajattiin tämän työn ulkopuolelle. 6 Pohdinnat ja yhteenveto Tässä työssä tutkittiin jaksollisten aikasarjojen regressioanalyysiä gaussisten prosessien avulla. Bayesilaisen tilastollisen mallintamisen ja gaussisten prosessien metodologian esittelyn jälkeen perehdyttiin jaksollisuuden ilmentämiseen näissä malleissa kovarianssifunktioiden kautta. Regressioanalyysiä varten implementoitiin periodinen kovarianssifunktio, jota sovellettiin kahden jaksollisen aikasarjan, hukkumiskuolemien ja auringonpilkkujen, mallintamiseen. Koska molemmat aikasarjat kuvaavat tapahtumien lukumääriä ja ovat siten einegatiivisia, GP-regressiosta esiteltiin laajennus mielivaltaiselle uskottavuusfunktiolle. Gaussisten prosessien etu moniin kilpaileviin regressiomenetelmiin nähden on mallin epäparametrisuus, jolloin mallin rakenne ei aseta havaintoaineistoon sovittumiselle hankalia rajoituksia. Ennakkotietämys tutkittavasta aineistosta voidaan kuitenkin haluttaessa tuoda malliin monipuolisesti kovarianssifunktiorakenteen, hyperparametrien ja edelleen näiden priorirakenteen kautta. Epäparametrisuus toisaalta kuitenkin rajoittaa mallin tulkittavuutta esimerkiksi useamman selittävän muuttujan merkitsevyyttä arvioitaessa. Työssä tutkittaviksi esimerkkiaikasarjoiksi valittiin varsin vähälle huomiolle tilastotutkimuksessa jäänyt mutta tiedotusvälineissä sitäkin useammin pohdittu vuoden sisällä jaksollinen hukkumiskuolemien kuukausiaikasarja sekä monissa tutkimuksissa vaikeasti ennustettavaksi todettu epäsäännöllisesti jaksollinen auringonpilkkujen vuosittainen määrä. Työn laajuus rajattiin yhden selittäjän, eli havainnon paikan aikasarjassa, regressio-ongelman ratkaisemiseen, eikä esimerkiksi hukkumiskuolemien tapauksessa tutkittu sääolojen vaikutusta hukkumisten määrään. Tarkempi hukkumisten aikasarja-analyysi vaatisi laajan perehtymisen esimerkiksi lämpötilan, hellepäivien määrän ja jäätilanteen vaikutuksiin. Työssä on lisäksi rajauduttu tutkimaan ajassa vakioisia hyperparametreja, mikä vaikeuttaa epäsäännöllisesti jaksollisen auringonpilkkuaika- 20

22 sarjan tutkimista. Rakennettuja malleja käytettiin lisäksi ennustamaan mainittuja aikasarjoja. Yksittäisten havaintojen tarkan ennustamisen todettiin olevan vaikeaa aikasarjojen suuren varianssin takia. Tarkan ennustamisen asemesta hukkumiskuolemamallin avulla voidaan kuitenkin tehdä päätelmiä poikkeavien havaintojen esiintymisestä aikasarjassa ja siten esimerkiksi arvottaa tiedotusvälineiden hukkumisuutisointia. Auringonpilkkuaikasarjan ennustamiseen liittyvän epävarmuuden vähentämiseksi jaksollisen kovarianssifunktion jaksonaikaparametri olisi implementoitava ajasta riippuvana. Gaussisten prosessien todettiin soveltuvan jaksollisen aikasarjan kuvaamiseen. Implementoitu kovarianssifunktio oppi havaintoaineiston jaksollisuuden, mutta monimutkaisen kovarianssirakenteen yhteydessä kasvavan hyperparametrien määrän todettiin vaikeuttavan optimin löytymistä. Todellisten, epäsäännöllisten aineistojen ennustamiseen työssä implementoitu funktio osoittautui tällaisenaan melko jäykäksi. Hukkumiskuolemien kohdalla haaste olisi yrittää rakentaa täydellisempi malli selittävine muuttujineen (joskaan säämuuttujien lisääminen ei tuo apua ennustamiseen), auringonpilkkujen osalta taas ajassa riippuvien parametrien lisääminen. Samoin mallin ennustuskykyä voitaisiin verrata esimerkiksi SARIMA- tai neuroverkkomalleihin. 21

23 Viitteet [1] Barnes, J. A., Sargent, H. H., and Tryon, P. V. Sunspot cycle simulation using random noise. In The Ancient Sun (1980), R. O. Pepin, J. A. Eddy, and R. B. Merrill, Eds., Pergamon. [2] Beale, R., and Jackson, T. Neural Computing: An Introduction. CRC Press, [3] Berk, R., and MacDonald, J. M. Overdispersion and poisson regression. Journal of Quantitative Criminology 24, 3 (2008). [4] Brewer, B. J., and Stello, D. Gaussian process modelling of asteroseismic data. Monthly Notices of the Royal Astronomical Society 395, 4 (2009). [5] Frick, P., Galyagin, D., Hoyt, D. V., Nesme-Ribes, E., Schatten, K. H., Sokoloff, D., and Zakharov, V. Wavelet analysis of solar activity recorded by sunspot groups. Astronomy and Astrophysics 328 (1997). [6] Gelman, A., Carlin, J. B., Stern, H. S., and Rubin, D. B. Bayesian Data Analysis, second ed. Chapman and Hall, [7] Kauranen, T., and Summala, H. Suomessa hukkuneet Liikenneministeriö, [8] Kho, J., Rogers, A., and Jennings, N. R. Decentralised control of adaptive sampling in wireless sensor networks. ACM Transactions on Sensor Networks 5, 3 (2009). [9] Kullback, S., and Leibler, R. A. On information and sufficiency. The Annals of Mathematical Statistics 22, 1 (1951). [10] Lunetta, P., Smith, G. S., Penttilä, A., and Sajantila, A. Unintentional drowning in finland : a population-based study. International Journal of Epidemiology 33, 5 (2004). [11] MacKay, D. J. C. Introduction to gaussian processes. In Neural Networks and Machine Learning (1998), C. M. Bishop, Ed. 22

24 [12] Minka, T. P. A Family of Algorithms for Approximate Bayesian Inference. PhD thesis, Massachusetts Institute of Technology, [13] Neal, R. M. Bayesian Learning for Neural Networks. Lecture Notes in Statistics 118. Springer, [14] Osborne, M. A., Roberts, S. J., Rogers, A., Ramchum, S. D., and Jennings, N. R. Towards real-time information processing of sensor network data using computationally efficient multi-output gaussian processes. In Proceedings of the 7th international conference on Information processing in sensor networks (2008), IEEE Computer Society. [15] Rasmussen, C. E., and Williams, C. K. I. Gaussian Processes for Machine Learning. MIT Press, [16] Soltani, S. On the use of the wavelet decomposition for time series prediction. Neurocomputing 48, 1-4 (2002). [17] Stegle, O., Fallert, S. V., MacKay, D. J. C., and Brage, S. Gaussian process robust regression for noisy heart rate data. IEEE Transactions on Biomedical Engineering 55, 9 (2008). [18] Stein, M. L. Interpolation of Spatial Data. Springer-Verlag, [19] Williams, C. K. I. Computation with infinite neural networks. Neural Computation 10, 5 (1998). 23

Gaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely)

Gaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely) Gaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely) Ohjaaja: TkT Aki Vehtari Valvoja: Prof. Harri Ehtamo Kandidaattiseminaari 21 1.11.21 Esityksen rakenne Tausta Derivaattahavaintojen

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Bayesläinen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy

Lisätiedot

Pikajohdatus bayesilaiseen tilastoanalyysiin ja monimuuttuja-analyysiin

Pikajohdatus bayesilaiseen tilastoanalyysiin ja monimuuttuja-analyysiin ja monimuuttuja-analyysiin Loppuseminaari: Terveydenhuollon uudet analyysimenetelmät (TERANA) Aki Vehtari AB HELSINKI UNIVERSITY OF TECHNOLOGY Department of Biomedical Engineering and Computational Science

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Bayesläiset piste- ja väliestimaatit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

805306A Johdatus monimuuttujamenetelmiin, 5 op

805306A Johdatus monimuuttujamenetelmiin, 5 op monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi

Lisätiedot

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu 1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi

Lisätiedot

1. Tilastollinen malli??

1. Tilastollinen malli?? 1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen

Lisätiedot

Maximum likelihood-estimointi Alkeet

Maximum likelihood-estimointi Alkeet Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy

Lisätiedot

Osa 2: Otokset, otosjakaumat ja estimointi

Osa 2: Otokset, otosjakaumat ja estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Mallipohjainen klusterointi

Mallipohjainen klusterointi Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio

Lisätiedot

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1 Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin

Lisätiedot

Luento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori.

Luento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori. Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali

Lisätiedot

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Frekventistiset vs. bayeslaiset menetelmät Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

Tilastotieteen aihehakemisto

Tilastotieteen aihehakemisto Tilastotieteen aihehakemisto hakusana ARIMA ARMA autokorrelaatio autokovarianssi autoregressiivinen malli Bayes-verkot, alkeet TILS350 Bayes-tilastotiede 2 Bayes-verkot, kausaalitulkinta bootstrap, alkeet

Lisätiedot

P (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.

P (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx. Yhteenveto: Satunnaisvektorit ovat kuvauksia tn-avaruudelta seillaiselle avaruudelle, johon sisältyy satunnaisvektorin kaikki mahdolliset reaalisaatiot. Satunnaisvektorin realisaatio eli otos on jokin

Lisätiedot

Estimointi. Vilkkumaa / Kuusinen 1

Estimointi. Vilkkumaa / Kuusinen 1 Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman

Lisätiedot

Harjoitus 2: Matlab - Statistical Toolbox

Harjoitus 2: Matlab - Statistical Toolbox Harjoitus 2: Matlab - Statistical Toolbox Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen tavoitteet Satunnaismuuttujat ja todennäköisyysjakaumat

Lisätiedot

Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

Tilastollinen aineisto Luottamusväli

Tilastollinen aineisto Luottamusväli Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf

Lisätiedot

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

Tilastotieteen kertaus. Kuusinen/Heliövaara 1 Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo

Lisätiedot

Tilastollinen päättely, 10 op, 4 ov

Tilastollinen päättely, 10 op, 4 ov Tilastollinen päättely, 0 op, 4 ov Arto Luoma Matematiikan, tilastotieteen ja filosofian laitos Tilastotiede 3304 TAMPEREEN YLIOPISTO Syksy 2006 Kirjallisuutta Garthwaite, Jolliffe, Jones Statistical Inference,

Lisätiedot

Bayesilainen päätöksenteko / Bayesian decision theory

Bayesilainen päätöksenteko / Bayesian decision theory Bayesilainen päätöksenteko / Bayesian decision theory Todennäköisyysteoria voidaan perustella ilman päätösteoriaa, mutta vasta päätösteorian avulla siitä on oikeasti hyötyä Todennäköisyyteoriassa tavoitteena

Lisätiedot

T Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1

T Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1 T-61.281 Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti 10.2.2004, 8:30-10:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:

Lisätiedot

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:

Lisätiedot

- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten

- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen

Lisätiedot

tilastotieteen kertaus

tilastotieteen kertaus tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla

Lisätiedot

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1 Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen

Lisätiedot

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme? TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman

Lisätiedot

Väliestimointi (jatkoa) Heliövaara 1

Väliestimointi (jatkoa) Heliövaara 1 Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).

Lisätiedot

Mallin arviointi ja valinta. Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL

Mallin arviointi ja valinta. Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL Mallin arviointi ja valinta Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL Sisältö Otoksen ennustevirheen estimointi AIC - Akaiken informaatiokriteeri mallin valintaan Parametrimäärän

Lisätiedot

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Tilastollinen testaus. Vilkkumaa / Kuusinen 1 Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää

Lisätiedot

Ryhmäfaktorianalyysi neurotiedesovelluksissa (Valmiin työn esittely) Sami Remes Ohjaaja: TkT Arto Klami Valvoja: Prof.

Ryhmäfaktorianalyysi neurotiedesovelluksissa (Valmiin työn esittely) Sami Remes Ohjaaja: TkT Arto Klami Valvoja: Prof. Ryhmäfaktorianalyysi neurotiedesovelluksissa (Valmiin työn esittely) Sami Remes 11.06.2012 Ohjaaja: TkT Arto Klami Valvoja: Prof. Harri Ehtamo Työn saa tallentaa ja julkistaa Aalto-yliopiston avoimilla

Lisätiedot

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),

Lisätiedot

Kun datasta halutaan muodostaa malleja, ne ovat yleensä tilastollisia (esim. regressio, luokittelu, ryhmittely...) F(x 0 ) = P(x x 0 ) (1)

Kun datasta halutaan muodostaa malleja, ne ovat yleensä tilastollisia (esim. regressio, luokittelu, ryhmittely...) F(x 0 ) = P(x x 0 ) (1) 5. ESTIMOINTITEORIAN PERUSTEITA 5.1. Perusjakaumat 1-ulotteisina Kun datasta halutaan muodostaa malleja, ne ovat yleensä tilastollisia (esim. regressio, luokittelu, ryhmittely...) Siksi tarvitaan todennäköisyyslaskentaa

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

Todennäköisyyden ominaisuuksia

Todennäköisyyden ominaisuuksia Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset

Lisätiedot

Bayes-mallinnus siltana teorian ja empiirisen evidenssin välillä

Bayes-mallinnus siltana teorian ja empiirisen evidenssin välillä Bayes-mallinnus siltana teorian ja empiirisen evidenssin välillä Antti Penttinen Jyväskylän yliopisto Matematiikan ja tilastotieteen laitos Metodifestivaalit Jyväskylän yliopisto 21.5.2013 Suunnitelma

Lisätiedot

Regressioanalyysi. Kuusinen/Heliövaara 1

Regressioanalyysi. Kuusinen/Heliövaara 1 Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 18. lokakuuta 2007 Antti Rasila () TodB 18. lokakuuta 2007 1 / 19 1 Tilastollinen aineisto 2 Tilastollinen malli Yksinkertainen satunnaisotos 3 Otostunnusluvut

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Harjoitus 7: NCSS - Tilastollinen analyysi

Harjoitus 7: NCSS - Tilastollinen analyysi Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen

Lisätiedot

TILASTOLLINEN OPPIMINEN

TILASTOLLINEN OPPIMINEN 301 TILASTOLLINEN OPPIMINEN Salmiakki- ja hedelmämakeisia on pakattu samanlaisiin käärepapereihin suurissa säkeissä, joissa on seuraavat sekoitussuhteet h 1 : 100% salmiakkia h 2 : 75% salmiakkia + 25%

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 28. syyskuuta 2007 Antti Rasila () TodB 28. syyskuuta 2007 1 / 20 1 Jatkoa diskreeteille jakaumille Negatiivinen binomijakauma Poisson-jakauma Diskreettien

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon

Lisätiedot

Tentin materiaali. Sivia: luvut 1,2, , ,5. MacKay: luku 30. Gelman, 1995: Inference and monitoring convergence

Tentin materiaali. Sivia: luvut 1,2, , ,5. MacKay: luku 30. Gelman, 1995: Inference and monitoring convergence Tentin materiaali Sivia: luvut 1,2,3.1-3.3,4.1-4.2,5 MacKay: luku 30 Gelman, 1995: Inference and monitoring convergence Gelman & Meng, 1995: Model checking and model improvement Kalvot Harjoitustyöt Tentin

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Tilastollisen merkitsevyyden testaus Osa II Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x

1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 017 Harjoitus 5 Ratkaisuehdotuksia Tehtäväsarja I 1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 6: 1 Kalmanin suodatin Aiemmin käsitellyt

Lisätiedot

Luku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017

Luku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017 Luku 1 Bayesläiset estimaattorit Lasse Leskelä Aalto-yliopisto 18. lokakuuta 217 1.1 Bayesläiset piste-estimaatit Tarkastellaan datalähdettä, joka tuottaa tiheysfunktion f(x θ) mukaan jakautuneita riippumattomia

Lisätiedot

1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI

1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI 1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia

Lisätiedot

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin

Lisätiedot

Tutkimustiedonhallinnan peruskurssi

Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan peruskurssi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo hannu.toivonen, marko.salmenkivi, inkeri.verkamo@cs.helsinki.fi Helsingin yliopisto Hannu Toivonen, Marko Salmenkivi,

Lisätiedot

3.6 Su-estimaattorien asymptotiikka

3.6 Su-estimaattorien asymptotiikka 3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä

Lisätiedot

1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI

1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI 1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia

Lisätiedot

Jatkuvat satunnaismuuttujat

Jatkuvat satunnaismuuttujat Jatkuvat satunnaismuuttujat Satunnaismuuttuja on jatkuva jos se voi ainakin periaatteessa saada kaikkia mahdollisia reaalilukuarvoja ainakin tietyltä väliltä. Täytyy ymmärtää, että tällä ei ole mitään

Lisätiedot

Aki Taanila YHDEN SELITTÄJÄN REGRESSIO

Aki Taanila YHDEN SELITTÄJÄN REGRESSIO Aki Taanila YHDEN SELITTÄJÄN REGRESSIO 26.4.2011 SISÄLLYS JOHDANTO... 1 LINEAARINEN MALLI... 1 Selityskerroin... 3 Excelin funktioita... 4 EKSPONENTIAALINEN MALLI... 4 MALLIN KÄYTTÄMINEN ENNUSTAMISEEN...

Lisätiedot

T Luonnollisten kielten tilastollinen käsittely

T Luonnollisten kielten tilastollinen käsittely T-61.281 Luonnollisten kielten tilastollinen käsittely Vastaukset 3, ti 11.2.2003, 16:15-18:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:

Lisätiedot

l (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on

l (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 018 Harjoitus B Ratkaisuehdotuksia Tehtäväsarja I 1 (Monisteen tehtävä 14) Olkoon f Y (y; θ) tilastollinen malli, jonka

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Tilastollisen merkitsevyyden testaus (+ jatkuvan parametrin Bayes-päättely) Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden

Lisätiedot

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka

Lisätiedot

Tilastollisia peruskäsitteitä ja Monte Carlo

Tilastollisia peruskäsitteitä ja Monte Carlo Tilastollisia peruskäsitteitä ja Monte Carlo Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tilastollisia peruskäsitteitä ja Monte Carlo 1/13 Kevät 2003 Tilastollisia

Lisätiedot

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme? TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä

Lisätiedot

Harjoitus 9: Excel - Tilastollinen analyysi

Harjoitus 9: Excel - Tilastollinen analyysi Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin

Lisätiedot

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio Ilkka Mellin Todennäköisyyslaskenta Osa : Satunnaismuuttujat ja todennäköisyysjakaumat Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (7) 1 Momenttiemäfunktio ja karakteristinen funktio

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A050 Todennäköisyyslaskennan ja tilastotieteen peruskurssi B Satunnaismuuttujat ja todennäköisyysjakaumat Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

Tilastollinen päättely II, kevät 2017 Harjoitus 2A

Tilastollinen päättely II, kevät 2017 Harjoitus 2A Tilastollinen päättely II, kevät 07 Harjoitus A Heikki Korpela 3. tammikuuta 07 Tehtävä. (Monisteen tehtävä.3 Olkoot Y,..., Y n Exp(λ. Kirjoita vastaava tilastollisen mallin lauseke (ytf. Muodosta sitten

Lisätiedot

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman

Lisätiedot

Tämän luvun sisältö. Luku 5. Estimointiteorian perusteita. Perusjakaumat 1-ulotteisina (2) Perusjakaumat 1-ulotteisina

Tämän luvun sisältö. Luku 5. Estimointiteorian perusteita. Perusjakaumat 1-ulotteisina (2) Perusjakaumat 1-ulotteisina Tämän luvun sisältö Luku 5. T-6. Datasta tietoon, syksy professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto.. Luku käydään läpi kahdella luennolla. Perusjakaumat -ulotteisina Yleistys

Lisätiedot

4.2.2 Uskottavuusfunktio f Y (y 0 X = x)

4.2.2 Uskottavuusfunktio f Y (y 0 X = x) Kuva 4.6: Elektroniikassa esiintyvän lämpökohinan periaate. Lämpökohinaa ε mallinnetaan additiivisella häiriöllä y = Mx + ε. 4.2.2 Uskottavuusfunktio f Y (y 0 X = x) Tarkastellaan tilastollista inversio-ongelmaa,

Lisätiedot

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1 Todennäköisyyslaskun kertaus Vilkkumaa / Kuusinen 1 Satunnaismuuttujat ja todennäköisyysjakaumat Vilkkumaa / Kuusinen 2 Motivointi Kokeellisessa tutkimuksessa tutkittaviin ilmiöihin liittyvien havaintojen

Lisätiedot

Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi

Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum C222, 5.-7.11.2008. 1 Tällä viikolla Sisältösuunnitelma: Ennustamisstrategioista Koneoppimismenetelmiä: k-nn (luokittelu

Lisätiedot

Esimerkki: Tietoliikennekytkin

Esimerkki: Tietoliikennekytkin Esimerkki: Tietoliikennekytkin Tämä Mathematica - notebook sisältää luennolla 2A (2..26) käsitellyn esimerkin laskut. Esimerkin kuvailu Tarkastellaan yksinkertaista mallia tietoliikennekytkimelle. Kytkimeen

Lisätiedot

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n

Lisätiedot

MTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)

MTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu) 21.11.2017/1 MTTTP5, luento 21.11.2017 Otossuureita ja niiden jakaumia (jatkuu) 4) Olkoot X 1, X 2,..., X n satunnaisotos (, ):sta ja Y 1, Y 2,..., Y m satunnaisotos (, ):sta sekä otokset riippumattomia.

Lisätiedot

30A02000 Tilastotieteen perusteet

30A02000 Tilastotieteen perusteet 30A02000 Tilastotieteen perusteet Kertaus 1. välikokeeseen Lauri Viitasaari Tieto- ja palvelujohtamisen laitos Kauppatieteiden korkeakoulu Aalto-yliopisto Syksy 2019 Periodi I-II Sisältö Välikokeesta Joukko-oppi

Lisätiedot

Epäyhtälöt ovat yksi matemaatikon voimakkaimmista

Epäyhtälöt ovat yksi matemaatikon voimakkaimmista 6 Epäyhtälöitä Epäyhtälöt ovat yksi matemaatikon voimakkaimmista työvälineistä. Yhtälö a = b kertoo sen, että kaksi ehkä näennäisesti erilaista asiaa ovat samoja. Epäyhtälö a b saattaa antaa keinon analysoida

Lisätiedot

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (5) 1 Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita

Lisätiedot

Yleistä tietoa kokeesta

Yleistä tietoa kokeesta Yleistä tietoa kokeesta Kurssikoe on ma 18.12. klo 12.00-14.30 (jossakin auditorioista). Huomaa tasatunti! Seuraava erilliskoe on ke 10.1.2018 klo 10-14, johon ilmoittaudutaan Oodissa (ilmoittautumisaika

Lisätiedot

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla

Lisätiedot

Mat Sovellettu todennäköisyyslasku A

Mat Sovellettu todennäköisyyslasku A TKK / Systeemianalyysin laboratorio Nordlund Mat-.090 Sovellettu todennäköisyyslasku A Harjoitus 7 (vko 44/003) (Aihe: odotusarvon ja varianssin ominaisuuksia, satunnaismuuttujien lineaarikombinaatioita,

Lisätiedot

4.1. Olkoon X mielivaltainen positiivinen satunnaismuuttuja, jonka odotusarvo on

4.1. Olkoon X mielivaltainen positiivinen satunnaismuuttuja, jonka odotusarvo on Mat-2.090 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Otanta Poisson- Jakaumien tunnusluvut Diskreetit jakaumat Binomijakauma, Diskreetti tasainen jakauma, Geometrinen jakauma, Hypergeometrinen

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A050 Todennäköisyyslaskennan ja tilastotieteen peruskurssi B Satunnaismuuttujat ja todennäköisyysjakaumat Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

The Metropolis-Hastings Algorithm

The Metropolis-Hastings Algorithm The Metropolis-Hastings Algorithm Chapters 6.1 6.3 from Monte Carlo Statistical Methods by Christian P. Robert and George Casella 08.03.2004 Harri Lähdesmäki The Metropolis-Hastings Algorithm p. 1/21 Taustaa

Lisätiedot

Normaalijakaumasta johdettuja jakaumia

Normaalijakaumasta johdettuja jakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2007) 1 Normaalijakaumasta johdettuja jakaumia >> Johdanto χ 2 -jakauma F-jakauma

Lisätiedot

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa 6. luento Pertti Palo 1.11.2012 Käytännön asioita Harjoitustöiden palautus sittenkin sähköpostilla. PalautusDL:n jälkeen tiistaina netistä löytyy

Lisätiedot

Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia

Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia KE (2014) 1 Hypergeometrinen jakauma Hypergeometrinen jakauma

Lisätiedot

Harha mallin arvioinnissa

Harha mallin arvioinnissa Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö

Lisätiedot

Missä mennään. systeemi. identifiointi. mallikandidaatti. validointi. malli. (fysikaalinen) mallintaminen. mallin mallin käyttötarkoitus, reunaehdot

Missä mennään. systeemi. identifiointi. mallikandidaatti. validointi. malli. (fysikaalinen) mallintaminen. mallin mallin käyttötarkoitus, reunaehdot Missä mennään systeemi mallin mallin käyttötarkoitus, reunaehdot käyttö- (fysikaalinen) mallintaminen luonnonlait yms. yms. identifiointi kokeita kokeita + päättely päättely vertailu mallikandidaatti validointi

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 6A Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,

Lisätiedot

(b) Onko hyvä idea laske pinta-alan odotusarvo lähetmällä oletuksesta, että keppi katkeaa katkaisukohdan odotusarvon kohdalla?

(b) Onko hyvä idea laske pinta-alan odotusarvo lähetmällä oletuksesta, että keppi katkeaa katkaisukohdan odotusarvon kohdalla? 6.10.2006 1. Keppi, jonka pituus on m, taitetaan kahtia täysin satunnaisesti valitusta kohdasta ja muodostetaan kolmio, jonka kateetteina ovat syntyneet palaset. Kolmion pinta-ala on satunnaismuuttuja.

Lisätiedot

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio. Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi

Lisätiedot