Tilastollie päättely 6.1. Johdato Bayesi kaava, Bayeslaie lähestymistapa, Eakkotieto, Estimoiti, Frekvetistie lähestymistapa, Frekvessitulkita, Klassie lähestymistapa, Luottamustaso, Luottamusväli, Merkitsevyystaso, Otos, Otostieto, Parametri, Posteriorijakauma, Priorijakauma, Prioritieto, Testaus, Todeäköisyys, Todeäköisyysjakauma, Uskomus, Väliestimoiti 6.2. Bayesi kaava Bayesi kaava, Diskreetti jakauma, Ehdollie jakauma, Ehdollie todeäköisyys, Jatkuva jakauma, Kokoaistodeäköisyyde kaava, Ositus, Pistetodeäköisyysfuktio, Posterioritodeäköisyys, Prioritodeäköisyys, Tiheysfuktio 6.3. Priorijakaumat ja posteriorijakaumat Bayesi kaava, Bayes uskottavuus, Diskreetti jakauma, Ehdollie jakauma, Epäiformatiivie priorijakauma, Epäoleellie priorijakauma, Jatkuva jakauma, Kojugaattiperhe, Kojugaattipriorijakauma, Otos, Otostieto, Parametri, Posteriorijakauma, Priorijakauma, Prioritieto, Uskottavuusfuktio 6.4. Bayes estimoiti Estimaattori, Estimoiti, Mediaai, Moodi, Odotusarvo, Parametri, Posteriorijakauma, Tuusluku 6.5. Bayes testit Hylkäysalue, Nollahypoteesi, Parametri, Posteriorijakauma, Testaus, Testi, Testisuure, Vaihtoehtoie hypoteesi 6.6. Bayes luottamusvälit Bayeslaie optimaalisuus, Luottamustaso, Luottamusväli, Parametri, Peittotodeäköisyys, Posteriorijakauma, Uskottavuusjoukko, Uskottavuustodeäköisyys, Uskottavuusväli TKK @ Ilkka Melli (2007) 1/13
TKK @ Ilkka Melli (2007) 2/13
6.1. Johdato Klassisessa eli frekvetistisessä lähestymistavassa tilastollisee päättelyy oletetaa, että havaiot oudattavat jakaumaa, joka ideksoiva parametri o kiiteä, ei satuaie vakio. Klassisessa lähestymistavassa ajatellaa, että otos sisältää kaike parametria koskeva iformaatio ja site kaikki parametria koskevat johtopäätökset voidaa perustaa otoksee ja se jakaumaa. Lisäksi klassisessa lähestymistavassa estimoitii ja testauksee sovelletaa todeäköisyyde frekvessitulkitaa siitä imitys frekvetistie lähestymistapa: (i) (ii) Väliestimoiissa luottamusväli luottamustasolle 1 α aetaa seuraava tulkita: Jos otataa toistetaa, ii luottamusväli peittäisi parametri kiiteä, mutta tutemattoma arvo (1 α) %:ssa otoksia. Testauksessa testi merkitsevyystasolle α aetaa seuraava tulkita: Jos otataa toistetaa tilateessa, ollahypoteesi H 0 koko aja pätee, ii se jouduttaisii hylkäämää virheellisesti α %:ssa otoksia. Bayeslaisessa lähestymistavassa tilastollisee päättelyy ajatellaa, että parametri o satuaismuuttuja, joka arvoje vaihtelua voidaa kuvata todeäköisyysjakaumalla, jota kutsutaa priorijakaumaksi. Priorijakauma o subjektiivie jakauma, joka kuvastaa tutkimukse tekijä uskomuksia para metri käyttäytymisestä. Tutkimukse tekijä o pystyttävä formuloimaa priorijakaumasa ilma otostietoje apua (so. ee havaitoje keräämistä). Otokse poimimise jälkee parametri priorijakauma päivitetää s. posteriorijakaumaksi käyttämällä Bayesi kaavaa. Posteriorijakauma yhdistää parametria koskeva prioritiedo ja otostiedo toisiisa. Bayeslaisessa lähestymistavassa kaikki parametria koskevat johtopäätökset voidaa perustaa se posteriorijakaumaa. Matemaattisissa tieteissä ei yleesä ole koulukutia. Tilastotiede o kuiteki jakautuut frekvetisteihi ja bayeslaisii. Frekvetistisestä äkökulmasta prioritiedo liittämie mallii tuo tutkimuksee mukaa epätoivottava subjektiivise elemeti. Lisäksi vaikka prioritietoa parametrista olisiki, se formuloiti priorijakauma muodossa saattaa olla hyvi vaikeata. Bayeslaiset ovat huomauttaeet tähä, että o parempi pyrkiä formulomaa tutkija subjektiiviset käsitykset priorijakauma muotoo, kui yrittää piilottaa e mato alle. Lisäksi bayeslaiset ovat kiiittäeet huomiota siihe, että todeäköisyyde frekvessitulkia käyttöö estimoiissa ja testauksessa sisältyy hakalasti tulkittavaa puhetta siitä, mitä tapahtuu, jos otataa toistetaa, ku todellisuudessa päättelyssä käytettävissä o vai yksi aioa otos se otos, joka o poimittu. 6.2. Bayesi kaava Ositus Jouko S osajoukot B 1, B 2,, B muodostavat jouko S ositukse, jos seuraavat ehdot pätevät: TKK @ Ilkka Melli (2007) 3/13
(i) B, i 1,2, K, i (ii) B B, i j i (iii) S B1 B2 L B j Kokoaistodeäköisyyde kaava Olkoo A epätyhjä otosavaruude S osajoukko: A S, A Oletetaa, että joukot B 1, B 2,, B muodostavat otosavaruude S ositukse. Tällöi pätee kokoaistodeäköisyyde kaava Pr( A) Pr( Bi) Pr( A Bi) i 1 Bayesi kaava Olkoo A epätyhjä otosavaruude S osajoukko: Oletetaa, että joukot A S, A B 1, B 2,, B muodostavat otosavaruude S ositukse. Tällöi pätee Bayesi kaava Pr( Bi)Pr( A Bi) Pr( Bi A), i 1,2, K, Pr( B)Pr( A B) i 1 i i Bayesi kaava kertoo mite prioritodeäköisyydet Pr(B i ) (lat. prior edeltävä) voidaa tapahtuma A havaitsemise jälkee päivittää posterioritodeäköisyyksiksi Pr(B i A) (lat. posterior jälkee tuleva). Bayesi kaava diskreeteille todeäköisyysjakaumille Olkoo f XY (x,y) diskreettie satuaismuuttujie X ja Y yhteisjakauma pistetodeäköisyysfuktio. Olkoo lisäksi f Y (y) satuaismuuttuja Y reuajakauma pistetodeäköisyysfuktio ja f X Y (x y) satuaismuuttuja x ehdollise jakauma (ehdolla y) pistetodeäköisyysfuktio. Tällöi f ( x, y) f ( x y) f ( y) XY X Y Y ja satuaismuuttuja y ehdollise jakauma (ehdolla x) pistetodeäköisyysfuktio f(y x) saadaa kaavasta f YX fx Y( x y) fy( y) ( y x) f ( x) X TKK @ Ilkka Melli (2007) 4/13
f ( x) f ( x y) f ( y) X X Y Y y satuaismuuttuja X reuajakauma pistetodeäköisyysfuktio. Summa lasketaa yli kaikkie satuaismuuttuja Y mahdolliste arvoje. Bayesi kaava jatkuville todeäköisyysjakaumille Olkoo f XY (x,y) jatkuvie satuaismuuttujie X ja Y yhteisjakauma tiheysfuktio. Olkoo lisäksi f Y (y) satuaismuuttuja Y reuajakauma tiheysfuktio ja f X Y (x y) satuaismuuttuja x ehdollise jakauma (ehdolla y) tiheysfuktio. Tällöi f ( x, y) f ( x y) f ( y) XY X Y Y ja satuaismuuttuja y ehdollise jakauma (ehdolla x) tiheysfuktio f(y x) saadaa kaavasta f YX ( y x) f ( x y) f ( y) X Y f X ( x) f ( x) f ( x y) f ( y) dy X X Y Y satuaismuuttuja X reuajakauma tiheysfuktio. Huomautus: Y Bayesi kaava todeäköisyysjakaumille voidaa ilmeisellä tavalla formuloida myös sekamuodoille, joissa toie satuaismuuttujista X ja Y o diskreetti ja toie o jatkuva. 6.3. Priorijakaumat ja posteriorijakaumat Otosiformaatio Olkoo X 1, X 2,, X satuaisotos satuaismuuttuja X jakaumasta, joka pistetodeäköisyys tai tiheysfuktio f(x;) riippuu parametrista. Tällöi havaiot X 1, X 2,, X ovat riippumattomia, idettisesti jakautueita satuaismuuttujia, joilla o sama pistetodeäköisyys tai tiheysfuktio f(x;): X, X, K, X 1 2 X f( x; ), i 1,2, K, i Koska parametria pidetää Bayeslaisessa lähestymistavassa satuaismuuttujaa, havaitoje jakauma f(x;) tulkitaa satuaismuuttuja X ehdolliseksi jakaumaksi ehdolla. Kirjoitamme siksi jatkossa X f( x ) TKK @ Ilkka Melli (2007) 5/13
Koska havaiot X 1, X 2,, X muodostavat satuaisotokse jakaumasta f(x ), ii otokse X ( X, X, K, X ) 1 2 yhteisjakauma pistetodeäköisyys tai tiheysfuktio voidaa esittää muodossa f( x ) f( x, x, K, x ) f( x ) f( x ) L f( x ) f( x ), i 1,2, K, i 1 2 1 2 o yksittäisee havaitoo X i, i 1, 2,, liittyvä pistetodeäköisyys tai tiheysfuktio ja x ( x, x, K, x ) 1 2 Otokse X uskottavuusfuktio L( x) f( x ) o otokse yhteisjakauma pistetodeäköisyys tai tiheysfuktio f arvo pisteessä x tulkittua parametri arvoje fuktioksi. Uskottavuusperiaattee mukaa uskottavuusfuktio L() sisältää kaike otosiformaatio parametrista. Priorijakauma Oletetaa yt, että parametri o satuaismuuttuja, joka pistetodeäköisyys tai tiheysfuktio o π(): π ( ) Kutsumme todeäköisyysjakaumaa π() parametri priorijakaumaksi ja se sisältää prioriiformaatio eli eakkotiedo parametrista. Posteriorijakauma Parametri posteriorijakauma π ( x) x ( x, x, K, x ) 1 2 saadaa otokse X (X 1, X 2,, X ) yhteisjakaumasta ja parametri priorijakaumasta Bayesi kaavalla. Parametri posteriorijakauma o parametri ehdollie jakauma ehdolla X x. Ehdo muodostaa siis poimittu otos eli e havaiot, jotka todella o saatu. Diskreettie jakaumie tapauksessa posteriorijakauma saadaa kaavasta π ( x) f( x π ) ( ) f( x) f( x π ) ( ) f( x π ) ( ) TKK @ Ilkka Melli (2007) 6/13
f( x ) f( x ) π( ) f( x, ) o otokse X reuajakauma, s. Bayes uskottavuus. Summa lasketaa yli kaikkie satuaismuuttuja mahdolliste arvoje. Huomaa, että f( x ) π( ) E [ f( x )] Jatkuvie jakaumie tapauksessa posteriorijakauma saadaa kaavasta π ( x) f( x π ) ( ) f( x) f( x π ) ( ) f( x ) π( ) d f( x ) f( x ) π( ) d f( x, ) d o otokse X reuajakauma, s. Bayes uskottavuus. Huomaa, että Huomautus: f( x ) π( ) d E [ f( x )] Posteriori jakaumie kaava voidaa ilmeisellä tavalla formuloida myös sekamuodoille, joissa toie satuaismuuttujista X ja o diskreetti ja toie o jatkuva. Bayeslaisessa lähestymistavassa kaikki parametria koskeva tilastollie päättely perustetaa se posteriorijakaumaa. Koska π ( x) f ( x π ) ( ) ii posteriorijakaumaa johdettaessa voidaa toimia site, että muodostetaa otokse yhteisjakauma f(x ) ja priorijakauma π() tulo ja ormeerataa tulo todeäköisyysjakaumaksi. Itse asiassa posteriorijakaumaa π ( x ) muodostettaessa riittää käsitellä otokse yhteisjakauma ja priorijakauma ytimiä eli iitä jakaumie pistetodeäkköisyys tai tiheysfuktioide osia, jotka jäävät jäljelle, ku fuktioide lausekkeista jätetää pois vakio osat, so. e osat, jotka eivät riipu ko. fuktioide argumeteista. O syytä huomata, että ei ole välttämätötä, että priorijakauma oikea todeäköisyysjakauma. Silti posteriorijakaumaksi saadaa oikea todeäköisyysjakauma. Tällä tarkoitetaa sitä, että ehdo + ei tarvitse päteä, kuha π( ) d 1 π ( ) > 0 kaikille ja silti Bayesi kaava ataa (sopiva ormeeraukse jälkee) posteriorijakaumaksi ( ) f x oikea todeäköisyysjakauma. TKK @ Ilkka Melli (2007) 7/13
Jos π ( ) > 0 ja + π( )d fuktiota π() o tapaa kutsua epäoleelliseksi priorijakaumaksi. Bayslaisessa lähestymistavassa o tapaa käyttää tällaisia epäoleellisia priorijakaumia esimerkiksi silloi, ku halutaa kuvata sitä, että prioritieto parametri käyttäytymisestä o ii heikkoa, että kaikkia vaihtoehtoja voidaa pitää yhtä epämääräisiä. Kojugaattiperheet Posteriori jakauma ei tarvitse olla mitää tuettua tyyppiä, jolloi se hallitsemie saattaa olla hyvi vaikeata. Jos posteriori jakauma o samaa tyyppiä kui priorijakauma, ii tällaista ogelmaa ei ole. Saomme, että tällaisessa tapauksessa priorijakauma kuuluu havaitoje jakauma kojugaattiperheesee. Olkoo F parametri ideksoima tiheys tai pistetodeäköisyysfuktioide f(x ) perhe. Priorijakaumie perhe Π o perhee F kojugaattiperhe, jos parametri posteriorijakauma kuuluu jokaiselle f F ja jokaiselle priorijakaumalle π Π perheesee Π. Alla olevaa taulukkoo o kerätty eräide keskeiste jakaumie parametrie kojugaattipriorijakaumat. Havaitoje jakauma Parametri Kojugaattipriorijakauma Beroulli jakauma p E(X) Beta jakauma Biomi jakauma p E(X) Beta jakauma Poisso jakauma λ E(X) Gamma jakauma Ekspoettijakauma λ 1/E(X) Gamma jakauma Normaalijakauma (σ 2 o tuettu) µ E(X)/ Normaalijakauma Normaalijakauma (µ o tuettu) σ 2 E[(X µ) 2 ] Ivertoitu gamma jakauma Epäiformatiiviset priorijakaumat Jos parametri käyttäytymisestä ei ole käytettävissä sellaista eakkotietoa, joka mahdollistaa priorijakauma tarka formuloii, Bayeslaisessa lähestymistavassa pyritää kuvaamaa kaikkie vaihtoehtoje epämääräisyyttä epäiformatiivise priorijakauma avulla. Tämä voidaa tehdä määrittelemällä parametrille (tai jolleki se muuokselle) lokaalisti tasaie jakauma. Jos parametriavaruutea Θ o reaalilukuje joukko epäiformatiivie priorijakauma kaavalla π( )d d, ii parametrille voidaa määritellä TKK @ Ilkka Melli (2007) 8/13
jolloi k o vakio. π ( ) k Jos parametriavaruutea Θ o positiiviste reaalilukuje joukko +, ii parametri logaritmimuuokselle φ log() voidaa määritellä epäiformatiivie priorijakauma kaavalla jolloi koska π( φ)dφ dφ π ( ) 1 d dϕ Kummassaki tapauksessa priorijakauma o epäoleellie eli Θ π( )d Lisäksi molemmat priorijakaumat kuvaavat vaihtoehtoje epämääräisyyttä seuraavassa mielessä: (i) Tapauksessa Θ suhde [ a ] [ a + ] Pr (, ) Pr (, ) d Pr ( d, ) π( ) d, d, {, + }, < d [ ] o määrittelemätö eli muotoa / kaikille a. (ii) Tapauksessa + Θ suhde [ a ] [ a + ] Pr (0, ) Pr (, ) d Pr (, d) π( ) d,, d { + }, < d [ ] o määrittelemätö eli muotoa / kaikille a. 6.4. Bayes estimoiti Puhdasverie Bayeslaie ei estimoi todeäköisyysjakaumie parametreja samassa mielessä kui frekvetisti. Ku frekvetisti o tyytyväie, ku hä o voiut tuottaa parametrille piste estimaati, ii Bayeslaie haluaa kostruoida parametrille kokoaise posteriorijakauma. TKK @ Ilkka Melli (2007) 9/13
Parametri Bayes estimaattoria käytetää kuiteki yleisesti jotaki posteriorijakauma sijaitia kuvaavaa tuuslukua. Tällöi kyseesee tulevat posteriorijakauma odotusarvo, mediaai tai moodi. Varsiki moodi o suosittu valita, koska posteriorijakauma moodi asettuu todeäköisimpie parametri arvoje kohdalle. 6.5. Bayes testit Olkoo otokse f ( x ) X 1, X 2,, X yhteisjakauma tiheysfuktio, π ( ) parametri priorijakauma ja π ( x) parametri posteriorijakauma. Olkoo testaukse kohteea oleva ollahypoteesi H 0 muotoa H 0 : Θ0 Θ Θ 0 o joki parametriavaruude Θ osajoukko ja olkoo vaihtoehtoie hypoteesi H 1 muotoa H: Θ Θ 1 0 Θ 0 o jouko Θ 0 komplemetti. Määritellää todeäköisyydet ja Pr( Θ X x) Pr(H pätee X x) 0 0 Pr( Θ X x) Pr(H pätee X x) 0 1 Huomaa, että ämä todeäköisyydet eivät ole mielekkäitä frekvetistille, koska klassisessa lähestymistavassa parametri ei ole satuaismuuttuja vaa kiiteä luku ja lisäksi hypoteesit ovat joko tosia tai epätosia ja site iihi ei voida liittää ollasta ja ykkösestä poikkeavia todeäköisyyksiä. Bayeslaisessa lähestymistavassa testauksee voidaa toimia esimerkiksi seuraavalla tavalla: Hyväksytää ollahypoteesi H 0, jos ja hylätää ollahypoteesi H 0, jos Pr( Θ X x) Pr( Θ X x) 0 0 Pr( Θ X x) < Pr( Θ X x) 0 0 Tämä merkitsee sitä, että testisuureea käytetää otokse fuktiota TKK @ Ilkka Melli (2007) 10/13
κ( X) Pr( Θ X) ja testi hylkäysalue o muotoa 0 { x Pr( Θ X x) > } 1 0 2 jolloi testi hyväksymisalue o muotoa { x Pr( Θ X x) } 1 0 2 Jos haluamme erityisesti suojautua ollahypoteesi H 0 virheellistä hylkäystä vastaa, voimme ottaa hylkäysalueeksi jouko { Pr( x Θ ) 0 X x > γ} γ o joki ykköstä lähellä oleva luku kute 0.95 tai 0.99. 6.6. Bayes luottamusvälit Ku frekvetistisessä lähestymistavassa puhutaa parametri ja se luottamusväli suhteesta, olisi aia hyvä käyttää saotaa Otoksesta kostruoitu luottamusväli peittää parametri arvo luottamustaso ilmaisemalla todeäköisyydellä. Näi tulisi korostetuksi sitä, että frekvetistille luottamisväli o satuaissuure, joka päätepisteet vaihtelevat satuaisesti otoksesta toisee ja parametri o kiiteä, ei satuaie vakio. Näi ei kuitekaa useikaa saota, vaa saotaa, että Parametri arvo o otoksesta kostruoidu luottamusväli sisällä luottamustaso ilmaisemalla todeäköisyydellä. Tähä saotaa liittyy se epätäsmällisyys, että luottamusväli o satuaissuure, jolle o realisoituut poimitussa otoksessa yksi se mahdollisista arvoista ja koska parametri o kiiteä, se arvo o realisoituee väli sisällä joko todeäköisyydellä 0 tai todeäköisyydellä 1. Ku saomme, että realisoituut luottamusväli peittää parametri arvo luottamustasolla (1 α), ii tarkasti ottae ilmaisu tarkoittaa sitä, että (1 α) % mahdollisista havaitopisteistä johtaa luottamusvälii, joka peittää parametri ja α % mahdollisista havaitopisteistä johtaa luottamusvälii, joka ei sitä tee. Koska erilaisia käsitteitä ei haluta sekottaa toisiisa, Bayeslaisessa lähestymistavassa o tapaa puhua luottamusjoukkoje tai välie sijasta uskottavuusjoukoista tai väleistä. Olkoo π ( x) parametri posteriorijakauma ehdolla X x (ku otostietoa o X x). Olkoo A joki parametriavaruude Θ osajoukko: A Θ TKK @ Ilkka Melli (2007) 11/13
Tällöi jouko A uskottavuustodeäköisyys o Pr( A x) π( x) d A ja A o uskottavuusjoukko parametrille. Jos posteriorijakauma π ( x ) o joki diskreeti jakauma pistetodeäköisyysfuktio, ii yo. kaava itegraali o korvattava summalla. Uskottavuusjoukkoje uskottavuustodeäköisyydet määrätää posteriorijakaumasta. Posteriorijakauma todeäköisyysmekaismi perustuu priorijakauma todeäköisyysmekaismii. Priorijakauma avulla tutkija o kuvaut parametria koskevie eakkokäsitystesä varmuutta. Tämä o tapahtuut ee kui häellä o ollut käytettävissää otostietoa. Uskottavuustodeäköisyydet kuvaavat tutkija parametria koskevie käsityste varmuutta se jälkee, ku hä o päivittäyt eakkokäsityksesä parametrista otostiedolla. Ku bayeslaie saoo, että parametri kuuluu 90 %: todeäköisyydellä kostruoituu uskottavuusjoukkoo, hä tarkoittaa sillä itse asiassa seuraavaa: Se jälkee ku otostieto o yhdistetty priori tietoo, hä o 90 %:se varma siitä, että parametri kuuluu uskottavuusjoukkoo. O syytä huomata, että luottamusjoukkoje peittotodeäkäisyydet kuvaavat otataa liittyvää epävarmuutta ja siihe liittyvä todeäköisyysmekaismi perustuu siihe, että ajatellaa, että otataa voidaa aiaki hypoteettisesti toistaa. Ku frekvetisti saoo, että luottamusjoukko peittää 90 %: todeäköisyydellä parametri arvo, hä tarkoittaa sillä itse asiassa seuraavaa: Jos otataa toistetaa, ii 90 % kostruoiduista luottamusjoukoista peittää parametri todellise arvo. Bayeslaie optimaalisuus Klassisise lähestymistava luottamusjoukkoja kostruoitaessa haluttii iistä joukoista, joilla o sama peittotodeäköisyys, valita mahdollisimma piei. Sama ajatus voidaa liittää myös bayeslaisii uskottavuusjoukkoihi. Olkoo π ( x ) parametri posteriorijakauma ehdolla X x (so. ku otostietoa o X x). Haluamme siis löytää jouko C(x), joka toteuttaa seuraavat kaksi ehtoa: (i) C( x) π( x) d 1 α (ii) Jouko C(x) koko Jouko C (x) koko kaikille joukoille C (x), jotka toteuttavat ehdo C ( x) π( x) d 1 α Jos uskottavuusjoukkoa o väli ja jouko kokoa mitataa väli pituudella, pätee seuraava lause (vrt. luvu 5. Välisestimoiti, kappale 5.3. Luottamusvälie vertailu kohda Peittotodeäköisyys ja luottamusjouko koko esitettyy lauseesee): TKK @ Ilkka Melli (2007) 12/13
Lause: Olkoo posteriorijakauma π ( x) uimodaalie. Valitaa luku α [0,1]. Tällöi lyhyi uskottavuusväli parametrille toteuttaa ehdo { π ( x) k} { π( x) k} π( x) d 1 α Lausee määrittelemää uskottavuusjoukkoa kutsutaa korkeimma posterioritiheyde alueeksi. TKK @ Ilkka Melli (2007) 13/13