p(y θ, M) p(θ M)dθ p(θ y, M) = p(y M) Luento 10 Marginaaliuskottavuus Bayes-tekijä Mallin odotettu hyöty DIC (Deviance Information Criterion)
|
|
- Sofia Hakola
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Luento 10 Bayes-tekijä Mallin odotettu hyöty DIC (Deviance Information Criterion) Mallin valinta Slide 1 Marginaaliuskottavuus Bayesin kaava missä p(θ y, M) = p(y M) = p(y θ, M)p(θ M) p(y M) p(y θ, M) p(θ M)dθ Slide 2 - p(y M) on normalisointitermi - p(y M) on myös marginaaliuskottavuus (marginal likelihood), josta marginalisoitu parametrit pois
2 Mallin posterioritodennäköisyys Entä jos vaihtoehtoiset mallit M 1 ja M 2? - ja muu taustatieto I, joka sisältää mallivaihtoehtojen prioritodennäköisyydet Voisimme laskea posterioritodennäköisyydet p(m j y, I) = p(y M j, I)p(M j I) p(y I) Slide 3 missä p(y M j, I) on mallin M j marginaaliuskottavuus (evidenssi) Jos vertailemme kahta mallia laskemalla posterioritodennäköisyyksien suhteen, normalisointitermi p(y I) kumoutuu pois (jätetään myös I merkitsemättä) p(m 2 y) p(m 1 y) = p(y M 2) p(m 2 ) p(y M 1 ) p(m 1 ) Mallin posterioritodennäköisyys ja Bayes-tekijä (Bayes factor) Mallien posterioritodennäköisyyksien suhde p(m 2 y) p(m 1 y) = p(y M 2) p(m 2 ) p(y M 1 ) p(m 1 ) p(m 2 )/p(m 1 ) määräytyy priorista ja p(y M 2 )/p(y M 1 ) määräytyy likelihoodien kautta datasta Slide 4 Jos prioritodennäköisyydet oletetaan p(m 1 ) p(m 2 ) jää jäljelle vain termi, jota kutsutaan Bayes-tekijäksi p(y M 2 ) p(y M 1 ) = BF(M 2; M 1 ) Bayes-tekijän termit ovat Bayesin kaavasta tutut normalisointitermit - marginaaliuskottavuuksien (evidenssien) suhde
3 Mallin posterioritodennäköisyys Useimmiten tutkitaan Bayes-tekijää, mutta silti puhutaan myös mallien posterioritodennäköisyyksistä Kuullostaa mukavalta idealta, että voidaan laskea mallin tai hypoteesin posterioritodennäköisyys, mutta... Slide 5 Mallin posterioritodennäköisyys Tarkoittaako p(m 1 y) todennäköisyyttä, että M 1 on totta? - hups, unohtuiko I? Slide 6 Tarkoittaako p(m 1 y, I) todennäköisyyttä, että M 1 on ehdolla I totta? - hups, unohtuiko normalisointi p(y I) = p(y M j, I)p(M j I)? - montako mallia on olemassa joukossa M? M j M - jos p(y I) ei ole laskettu, posterioritodenäköisyyksistä ei voi puhua posterioritodenäköisyyksien suhteista voi edelleen puhua
4 Mallin posterioritodennäköisyys Verrataanpa parametrien posterioriin - voimme lisätä malliin parametrin M, joka saa arvoja j = 1, 2,... - kuinkas parametrien käsittely menikään Bayesilaisessa mallintamisessa? Integroidaan kaikkien tuntemattomien yli! - jos epävarmuutta mallista, integroidaan M:n yli, eli eri mallivaihtoehtojen yli Slide 7 - asymptoottiset frekvenssiominaisuudet vastaavasti posteriorin asymptoottinen konsistenttisuus ja vastaesimerkit Posteriorin asymptoottisesta konsistenttisuudesta (poislukien vastaesimerkit) seuraa myös Bayes-tekijän asymptoottinen konsistenttisuus - posteriori suppenee yhteen malliin, jonka posterioritodennäköisyys 1 - mutta kenellä on ääretön määrä dataa? Mallin posterioritodennäköisyys ja Bayes-tekijä Mallien posterioritodennäköisyyksiä voidaan käyttää integroimaan yli eri mallivaihtoehtojen (Bayesian model averaging (BMA)) - BMA ei eroa tavallisesta mallin parametrien yli integroinnista, vaikka sille on erillinen termi keksitty - jos mahdollista usein järkevämpää laajentaa erilliset mallit jatkuvaksi malliperheeksi Slide 8 - esim. valmennuskurssiesimerkissä voitaisiin integroida yli erillis- ja yhteismallin, mutta hierarkkinen malli sisältää molemmat ja jatkuvuuden niiden välillä
5 Mallin posterioritodennäköisyys ja Bayes-tekijä Mallien posterioritodennäköisyyksiä voidaan käyttää valitsemaan todennäköisin malli - todennäköisimmän mallin valinta vastaa marginaalisen posterioritiheyden maksimointia - toimii hyvin jos mallissa vähän (tai ei ollenkaan) parametreja Slide 9 - mitä enemmän mallissa on dataan sovitettavia parametreja sitä huonommin Bayes-tekijä toimii Mallin posterioritodennäköisyys ja Bayes-tekijä Esim. geeni-esimerkki kirjan luvussa 1 - ainoana parametrina oli onko äiti kantaja - vaihtoehtoisesti voidaan ajatella olevan kaksi mallia: M 1 äiti on kantaja, M 2 äiti ei kantaja - laskut samat kuin ennenkin Slide 10
6 Mallin posterioritodennäköisyys ja Bayes-tekijä Bayes-tekijän prioriherkkyys johtuu priorijakauman yli integroinnista p(y M 1 ) = p(y θ 1, M 1 )p(θ 1 M 1 )dθ 1 - jos p(θ 1 M 1 ) ei aito, BF ei määritelty - vaikka p(θ 1 M 1 ) aito, termi silti herkkä priorille Slide 11 - ongelma pahenee θ:n ulottuvuuksien määrän kasvaessa - ongelma pahenee jos priori-informaatio ei tarkkaa Bayes-tekijän prioriherkkyyttä voi hahmottaa myös ketjusäännön avulla p(y M 1 ) = p(y 1 M 1 )p(y 2 y 1, M 1 ),..., p(y n y 1,..., y n 1, M 1 ) tässä tulossa ensimmäiset termit ovat herkkiä priorille Jos dataa paljon suhteessa mallin kompleksisuuteen, Bayes-tekijä toimii ok - asymptoottisesti posteriorimassa keskittyy moodiin Bayes-tekijän laskeminen Evidenssitermin laskeminen usein hyvin vaikeaa p(y M 1 ) = p(y θ 1, M 1 )p(θ 1 M 1 )dθ 1 Joitakin vaihtoehtoja - analyyttinen ratkaisu vain suljettua muotoa oleville posteriorijakaumille Slide 12 - normaalijakauma-approksimaatio - variaatiolaskenta - expectation propagation - lukuisat Monte Carlo -menetelmät Evidenssitermin arvioiminen MCMC:llä huomattavasti vaikeampaa kuin vain posteriorijakaumasta näytteiden poimiminen - tällä hetkellä suosituin tapa on käyttää trans-dimensionaalisia MCMC-menetelmiä (esim. RJMCMC) tai painotuspoimintaa (luento 11)
7 Bayes-tekijän laskemisen ongelmasta MCMC:llä Evidenssitermin laskeminen usein hyvin vaikeaa p(y M 1 ) = p(y θ 1, M 1 )p(θ 1 M 1 )dθ 1 Suora Monte Carlo-approksimaatio olisi Slide 13 p(y M 1 ) 1 L L l=1 p(y θ (l) 1, M 1) missä θ (l) 1 poimittu priorijakaumasta. - usein priori-informaatio vähäistä, joten priori väljä - jos dataa edes kohtuullisesti, on likelihood keskittynyt paljon pienemälle alueelle hyvin pieni osa poimituista näytteistä osuu kiinnostavalle alueelle Bayes-tekijä Kaikesta huolimatta Bayes-tekijä on edelleen paljon käytetty mallinvalinnassa - kuullostaa mukavalta, että voidaan laskea mallin tai hypoteesin posterioritodennäköisyys - Jeffreyskin teki niin (Jeffreys oli kova jätkä + muutoshitaus) - yksinkertaisilla malleilla ei niin herkkä, etteikö huolellisella priorinvalinnalla ja herkkyysanalyysilla saataisi käyttökelpoisia tuloksia Slide 14 - vaihtoehdotkaan eivät aina triviaaleja käyttää Käyttö mallin valinnassa vähenemässä - kompleksisimmalla malleilla ongelmat tulevat selvemmin esiin - prediktiiviset menetelmät parempia
8 Bayes-tekijä ja BMA Algoritmeja joita on kehitetty Bayes-tekijän laskemiseen, voidaan käyttää myös malli-avaruuden yli integrointiin BMA:ssakin ongelmana prioriherkkyys mutta vähäisempänä - parametrit ovat ehdolla mallirakenne, joten parametrien ja mallirakenteen epävarmuus a priori riippuva Slide 15 jos mallin rakenteesta on epävarmuutta, on parametrien prioriin kiinnitettävä enemmän huomiota Viime kerralla Päätösanalyysi (luku 22) Mallin tarkistus (luku 6) Mallin herkkyysanalyysi (luku 6) Slide 16
9 Mallin tarkistus ja herkkyysanalyysi Malli on muodostettu (mahdollisesti integroiden yli erilaisten mallivaihtoehtojen) - onko mallin puutteilla havaittava vaikutus oleelliseen päättelyyn? - kuinka paljon päättely muuttuu jos mallioletuksia muutetaan? Slide 17 Posterioriprediktiivinen tarkistus Simuloi ulkoista validointia Toistettu data y rep p(y rep y) = p(y rep θ)p(θ y)dθ Slide 18 Toistettua dataa verrataan alkuperäiseen dataan - osalle testisuureista sama kuin jos mallin ennustavaa jakaumaa verrataan alkuperäiseen dataan Ongelmana datan käyttö kahteen kertaan - voidaan parantaa osa- ja ristiinvalidoinilla *
10 Muut konflikti-mittaukset* Ennustavien jakaumien lisäksi voidaan vastaavaa konfliktimittausta tehdä hierarkkisessa mallissa poistamalla vaihtokelpoisia noodeja ja tutkimalla vaikutusta noodien yhteiseen posteriorijakaumaan - esim. O Hagan (2003). HSSS model criticism, in Green et al, eds, Highly Structured Stochastic Systems, pp Oxford University Press. Tarkemmin keväällä Slide 19 Mallin parantaminen Mallin rakentaminen on usein iteratiivista 1. Tehdään malli 2. Mallin tarkistus ja herkkyysanalyysi jos vikaa mene kohtaan 3 jos ei vikaa mene kohtaan 4 3. Parannetaan mallia ja mennään kohtaan 2. Slide Ennustetaan tai tehdään johtopäätöksiä ja päätöksiä
11 Mallin iteratiivinen parantaminen Merkitään alkuperäistä priorinformaatiota I :llä Merkitään C:llä mallin tarkistuksessa saatua uutta tietoa Uusi parannettu malli M ja posteriori on ehdolla I ja C p(θ y, M, C, I) Slide 21 mutta koska C perustuu mallin tarkistukseen (eli on ehdolla y), on y:tä käytetty kahteen kertaan Periaatteessa iteratiivinen mallinrakentaminen rikkoo bayesilaisen päättelyn periaatteita Käytännössä usein rike pieni, vaikkakin vaikea arvioida kuinka pieni - esim. jos parannetun mallin marginaaliuskottavuus huomattavasti suurempi, voisi ajatella, että ei eroa tilanteesta, missä integroidaan yli mallien ja alkuperäisen mallin vaikutus olematon Mallin hyöty Kun malli vihdoin kelpaa meille, toivottovasti tulee mieleen kysymys: "Kuinka hyvä malli on?" - ennenkuin mallia käytetään oikeasti tulevaisuuden ennustamiseen (vrt. ulkoinen validointi) - voidaan laskea mallin odotettu hyöty, eli kuinka paljon mallin ennusteista hyödytään Slide 22 - voidaan puhua myös ennustustarkkuudesta
12 Bayesilainen päätöksenteko Odotettu hyöty E[U(x) d] = U(x)p(x d)dx Slide 23 Mallin odotettu hyöty Mallin odotettu hyötyä arvioitaessa voidaan käyttää vapaavalintaista hyötyfunktiota Sovelluskohtaiset hyötyfunktiot tärkeitä - esim. raha, elinvuodet, jne. Slide 24 Jos kiinnostuksen kohteena on prediktiivisen jakauman yleinen tarkkuus, yleinen tieteellinen päättely, tai sovelluskohtaista hyötyfunktiota ei ole tiedossa, sopiva hyötyfunktio on prediktiivinen log-tiheys - eli ennustavan jakauman log-tiheys tuleville havainnoille log p(ỹ y, M) tälle myös informaatioteoreettinen perustelu
13 Mallin odotettu hyöty Usein ennustava jakauma korvattu plug-in estimaatilla log p(ỹ ˆθ(y), M), missä ˆθ(y) esim. posterioriodotusarvo - helpottanut joitakin laskuja, mutta ei bayesilaisesti perusteltua Slide 25 Usein log-tiheys kerrotaan 2:lla, jota merkataan devianssilla D(y, θ) = 2 log p(y θ, M) - kerroin 2 historiallisista normaalijakaumaan liityvistä syistä Mallin odotettu hyöty ja ulkoinen validointi Mallin todellinen hyöty selviää käyttämällä sitä ennustamiseen ja havaitsemalla miten oikeasti käy - vastaa ulkoista validointia Mallin odotettu hyöty - vastaa ulkoisen validoinnin approksimointia Slide 26
14 Mallin odotettu hyöty ja y rep Odotettu devianssi (kirjan kaava 6.11) missä odotusarvo y rep :in jakauman yli D pred avg (y) = E[D(y rep, ˆθ(y))], - y rep :in jakaumaksi oletetaan "oikea" datan generoiva jakauma Slide 27 Ulkoisessa validoinnissa y rep korvattaisiin tulevilla havainnoilla Useita tapoja approksimoida ko. odotusarvo Mallin odotetun hyödyn estimaatteja Dataestimaatti - y rep sama kuin y, jolloin y käytetään kahteen kertaan - vastaa koneoppimisen "opetusvirhettä" Osaprediktiivinen - jaetaan data kahtia Slide 28 - y rep on osa jota ei käytetty posteriorin laskentaan - vastaa koneoppimisen "testivirhettä" Ristiinvalidointiprediktiivinen * - osaprediktiivisen parannus (keväällä) DIC - lasketaan dataestimaatille korjauskerroin
15 Mallin odotettu hyöty ja prediktiiviset replikaatit* Mihinkäs Gelman ja kumppanit ovat unohtaneet ennustavasta jakaumasta replikaattien poimimisen? Posterioriprediktiivinen (replikaatti) - poimitaan y rep ennustavasta jakaumasta Slide 29 Kun vielä plug-in jakauman sijasta oikea ennustava jakauma ja jätetään kerroin 2 pois, saadaan E[log p(y rep y, M)] Replikaattien sijasta voidaan myös integroida p(y rep y, M) log p(y rep y, M)dy rep joka on sama kuin ennustavan jakauman entropia Mallin odotettu hyöty ja prediktiiviset replikaatit* Posterioriprediktiivinen - helpohko laskea nykykoneilla - useissa tapauksissa y rep :in yli integrointi laskettavissa tehokkaammin kuin Monte Carlolla analyyttisesti tai kvadratuurimenetelmillä - bayesilaisittain perusteltu Slide 30 - odotettua hyötyä laskettaesaa mallia käytetään kahteen kertaan, joten muita menetelmiä tarvitaan mallin tarkistukseen - ei kovin yleisessä käytössä, vaikka ekat analyyttiset versiot jo 1960-luvulla (Lindley)
16 Efektiivinen parametrien määrä Dataestimaatissa y rep sama kuin y - kun lisäksi käytetään plug-in devianssia Dˆθ (y) = D(y, ˆθ(y)) - data käytetään kahteen kertaan ja tulos ylioptimistinen (jo nähtyä on helpompi ennustaa) Slide 31 - ylioptimistisuus seuraa parametrien sovittumisesta dataan - dataan sovittumisen määrää voidaan mitata efektiivisten parametrien määrällä Efektiivinen parametrien määrä Efektiiviiseen parametrien määrään vaikuttaa - kokonaisparametrien määrä (olemassa myös ääretönparametrisia malleja) - priorin vaikutus - parametrien välinen riippuvuus - havaintojen määrä (p eff n) Slide 32 - epävarmuuden määrä ja allaolevan ilmiön kompleksisuus - eli kuinka paljon parametrit ovat sovittuneet dataan
17 Informaatiokriteerit* Saivat alkunsa Akaiken paperista (1973), jossa Akaike perusteli hyötyfunktion valintaa ja "odotetun hyödyn" approksimaation johtamista informaatioteoreettisesti - Akaike mainitsee termin an information criterium Akaike tiivisti informaatiokriteerin muotoon Slide 33 IC = fit + complexity - mistä seurasi, että alkuperäinen idea odotetun hyödyn estimoinnista usein valitettavasti unohtuu AIC:ssä mallin kompleksisuus on mallin parametrien määrä p - lähtökohtana maximum likelihood ja n - oletuksena, että θ 0 kuuluu parametriavaruuteen Deviance Information Criterion (DIC) Ehdotus bayesilaiseksi informaatiokriteeriksi DIC:ssä kustannusfunktiona käytetään devianssia D(y, θ M) = 2 log p(y θ, M) Jos posteriorijakauma p(θ y) lähestyy normaalijakaumaa, Slide 34 lähestyy (D D min ):n jakauma χ 2 ν -jakaumaa Tietyille malleille voidaan osoittaa, että kun n, niin ν p, missä p on mallin parametrien määrä Tietyille malleille voidaan osoittaa, että kun n, niin ν p eff, missä p eff on mallin efektiivinen parametrien määrä
18 Deviance Information Criterion (DIC) DIC approksimoi odotetun hyödyn laskemista tulevalla datalla Efektiivinen parametrien määrä mittaa datan perusteella lasketun ennusteen ylioptimismia (eli kuinka paljon malli sovittunut juuri kyseiseen dataan) fit-osa on datan (plug-in) devianssi D(y, E θ [θ]) Slide 35 complexity-osa on 2p eff (kerroin 2 koska devianssi on 2 kertaa -log-likelihhod) DIC DIC = D(y, E θ [θ]) + 2p eff Deviance Information Criterion (DIC) χν 2 -jakauman ominaisuuksista (kirja s. 575) E[θ] = ν ja Var[θ] = 2ν Slide 36 Efektiivinen parametrien määrä kahdella tavalla - siirretyn χν 2 -jakauman odotusarvo p (1) eff = E θ[d(y, θ)] D(y, E θ [θ]) - siirretyn χν 2 -jakauman varianssi p (2) eff = 1 2 Var[D(y, θ) y] = 1 1 L ( 2 L 1 l=1 D(y, θ l ) E θ [D(y, θ)] ) 2 Näillä hieman erilaiset ominaisuudet - p (1) eff on riippuvainen parametrisoinnista (johtuen termistä D(y, E θ[θ])) - p (2) eff :ssä varianssin estimointi voi olla herkkä, koska χ ν 2 -jakauma vain asymptoottisesti, ja oikealla jakaumalla voi olla pitkä häntä - myös muita eroja, koska χ 2 ν vain asymptoottisesti - ei vielä konsensusta kumpi parempi
19 Deviance Information Criterion (DIC) DIC esitettävissä myös muodossa DIC = E θ [D(y, θ)] + p eff mistä erityisesti iloa jos käytetään efektiivstä parametrien määrän estimaattia p (2) eff, jolloin DIC kokonaan riippumaton parametrisoinnista Slide 37 Toisaalta kirjassa esitetty muoto saadaan kun p eff :n paikalle sijoitetaan p (1) eff = E θ[d(y, θ)] D(y, E θ [θ]) DIC = 2 E θ [D(y, θ)] D(y, E θ [θ]) Yleistetty DIC* DIC approksimoi odotetun hyödyn laskemista tulevalla datalla Yleistetty DIC vapaavalintaiselle hyötyfunktiolle (Vehtari, 2001) - kohtuullisen väljillä ehdoilla muitakin hyötyfunktioita kuin devianssia voidaan käyttää ū DIC = ū(y, E θ [θ]) + 2 (E θ [ū(y, θ)] ū(y, E θ [θ])) Slide 38 Voidaan käyttää myös sovellusasiantuntijan ymmärtämää hyöty/kustannusfunktiota
20 Deviance Information Criterion (DIC) DIC on nopea ja helppo laskea posteriorinäytteiden avulla - suosittu helppouden vuoksi - valmiina esim. WinBUGS-ohjelmistossa - käyttökelpoinen approksimaatio, kunhan ongelmat tiedostaa Slide 39 Deviance Information Criterion (DIC) DIC:n ongelmia - piste-estimaatin käyttö prediktiivisessä jakaumassa aliarvioi epävarmuuden - asymptoottisessa approksimaatiossa tehdyt oletukset eivät pidä paikkansa, pahimmat ongelmat ovat jos posteriorijakauma kaukana normaalista jos havainnot eivät riippumattomia Slide 40 - tulos voi riippua parametrisoinnista, vaatii tapauskohtaista miettimistä - odotetun hyödyn epävarmuuden arviointi vaikeaa - voi arvioida p eff :n negatiiviseksi - voi toimia huonosti jos kovariaatti x voi saada muita arvoja kuin jo havaitut - perustelu ei puhtaasti bayesilainen
21 Deviance Information Criterion (DIC) DIC:ssä devianssi evaluoidaan vain havaituissa pisteissä - vastaa sitä, että teeme tulevalle datalle tiheysjakaumaestimaatin pistetiheys vain havaituissa pisteissä - tulevan datan jakauman epävarmuuden yli integroinnissa suuri varianssi jos havaintoja ei paljon Slide 41 Deviance Information Criterion (DIC) Kuinka suuri ero DIC-arvoissa on merkittävä? Voidaan approksimoida karkeasti (vrt. Bayes-tekijä) DF(M 1, M 2 ) = exp((dic 2 DIC 1 )/2) p(dic 1 < DIC 2 ) DF/(1 + DF) Slide 42 - eli ero on merkittävä, jos suurempi kuin 6 Spiegelhalter kirjoittaa DIC FAQ:ssa - yli 10 ero merkittävä - alle 5 ero ei merkittävä
22 Posterioriprediktiivinen* Verrattuna DIC:hen - bayesilaisempi perustelu - lähes yhtä helppo laskea - käyttää oikeaa ennustavaa jakaumaa (ei plug-in) - invariantti parametrisoinille Slide 43 - tarkempi tulevan datan jakauman estimaatti estimaatilla pienempi varianssi - log-tiheyttä käytettäessä mallien välinen vertailu vastaa KL-divergenssiä hyvä informaatioteoreettinen perustelu Lisää keväällä Bayesian Information Criterion (BIC)* Bayesian information criterion aka Schwarz criterion - ei sama tavoite kuin muilla informaatiokriteereillä - evidenssin approksimaatio BIC = D(y, ˆθ(y)) + log(n)p Slide 44 BIC:n ongelmia - samat kuin evidenssillä ja Bayes-tekijällä - toimii vain jos normaalijakauma-approksimaatio hyvä - vain jos priori-informaatio väljä
23 Mallin valinta Oikea TM bayesilainen tapa on integroida kaiken tuntemattoman yli - ei tarvetta mallin valinnalle - iteratiivisen mallin rakentamisen jossain vaiheessa olemme malliin tyytyväisiä Käytännössä usein haluamme karsia mallia - sisäkkäiset mallit (nested models) Slide 45 - tarve tehdä mallista helpommin tulkittava - tarve vähentää selittävien muuttujien mittauskustannuksia - tarve vähentää laskenta-aikaa Käytännössä joskus mallien yli integrointi vaikeaa, jolloin voimme jättää huomoioimatta sellaiset mallit, joiden odotettu hyöty selvästi huonompi - ei-sisäkkäiset mallit (non-nested) Mallien vertailu ja valinta Valmennuskurssiesimerkki - 8 koulua - jokaisessa koulussa osa oppilaista sai valmennusta ja osa ei, ja näistä tuloksista laskettiin koululle kurssin tehon odotusarvo ja hajonta voitaisiin olettaa, että tulokset koulujen sisällä vaihtokelpoisia ja koulujen kurssien tuntemattomat oikeat vaikutukset keskenään vaihtokelpoisia Slide 46 Mallivaihtoehdot - erillismalli 7 koulun tuloksen tietäminen ei vaikuta arvioomme 8. koulun tuloksesta - yhteismalli kaikkien koulujen kurssit yhtä tehokkaita - hierarkkinen malli koulujen välillä voi olla eroja, koulujen kurssien tuntemattomille vaikutuksille yhteinen populaatiopriori
24 Mallien vertailu ja valinta Valmennuskurssiesimerkki Slide 47 Mitä mallilta halutaan? - haluammeko tutkia vain näitä 8 koulua? y rep näille kouluille - haluammeko tutkia muita kouluja? y rep uusille kouluille DIC vastaa tilannetta, jossa y rep näille kouluille Deviance Information Criterion (DIC) Valmennuskurssiesimerkki Malli D(E θ [θ]) p eff DIC erillismalli (τ = ) yhteismalli (τ = 0) hierarkkinen Slide 48 Onko mallien välillä merkittävää eroa? - erillismallilla yli 6 eroa - yhteismallin ja hierarkkisen mallin välillä ei eroa
25 Yhteenveto Täysi (BMA) malli tarkistuksen jälkeen paras vaihtoehto Mallin ennustustarkkuus voidaan arvioida - osavalidointi robusti, jos dataa paljon - DIC nopea ja helppo - muita keväällä Slide 49 Ennustustarkkuuden perusteella asiantuntija voi arvioida onko mallista käytännössä hyötyä Täyttä mallia voidaan karsia testaamalla heikkeneekö ennustustarkkuus oleellisesti - tarve tehdä mallista helpommin tulkittava - tarve vähentää selittävien muuttujien mittauskustannuksia - tarve vähentää laskenta-aikaa Mallien yli integrointi voidaan joskus korvata mallin valinnalla
Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - odotettu hyöty tai kustannus (expected utility or cost)
Viime kerralla Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - kuinka monta riippuvaa simulaationäytettä tarvitaan - joitakin perus-mcmc-menetelmien parannuksia Slide 1
LisätiedotBayesilainen päätöksenteko / Bayesian decision theory
Bayesilainen päätöksenteko / Bayesian decision theory Todennäköisyysteoria voidaan perustella ilman päätösteoriaa, mutta vasta päätösteorian avulla siitä on oikeasti hyötyä Todennäköisyyteoriassa tavoitteena
LisätiedotTentin materiaali. Sivia: luvut 1,2, , ,5. MacKay: luku 30. Gelman, 1995: Inference and monitoring convergence
Tentin materiaali Sivia: luvut 1,2,3.1-3.3,4.1-4.2,5 MacKay: luku 30 Gelman, 1995: Inference and monitoring convergence Gelman & Meng, 1995: Model checking and model improvement Kalvot Harjoitustyöt Tentin
LisätiedotLuento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori.
Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali
LisätiedotMallin tarkistus - onko mallin puutteilla havaittava vaikutus oleelliseen päättelyyn?
Viime kerralla Mallin tarkistus - onko mallin puutteilla havaittava vaikutus oleelliseen päättelyyn? Mallin herkkyysanalyysi - kuinka paljon päättely muuttuu jos mallioletuksia muutetaan? Mallien vertailu
LisätiedotLuento 11. Muutama hyödyllinen Monte Carlo-menetelmä. Muutama hyödyllinen Monte Carlo-menetelmä. Mitä muuta hyödyllistä Gelman et al kirjasta löytyy
Luento 11 Muutama hyödyllinen Monte Carlo-menetelmä Mitä muuta hyödyllistä Gelman et al kirjasta löytyy Kertaus koko kurssiin - tenttiinlukuohjeet Slide 1 Muutama hyödyllinen Monte Carlo-menetelmä Hylkäyspoiminta
LisätiedotMallin arviointi ja valinta. Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL
Mallin arviointi ja valinta Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL Sisältö Otoksen ennustevirheen estimointi AIC - Akaiken informaatiokriteeri mallin valintaan Parametrimäärän
LisätiedotMallin tarkistus (luku 6) - onko mallin puutteilla havaittava vaikutus oleelliseen päättelyyn?
Luento 9 Päätösanalyysi (luku 22) - hyöty- ja kustannusfunktiot (utility and cost functions) - odotettu hyöty tai kustannus (expected utility or cost) Mallin tarkistus (luku 6) - onko mallin puutteilla
Lisätiedotp(θ 1 y) on marginaalijakauma p(θ 1 θ 2, y) on ehdollinen posteriorijakauma Viime kerralla Termejä viime kerralta Marginalisointi Marginaalijakauma
Viime kerralla Marginalisointi Marginaalijakauma Posteriorijakauman faktorointi Ehdollinen posteriorijakauma Slide 1 Posteriorijakaumasta simulointi Normaalijakauma - tuntematon keskiarvo ja varianssi
Lisätiedot- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten
Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen
LisätiedotPosteriorijakauman normaalijakauma-approksimaatio. Usein posteriorijakauma lähestyy normaalijakaumaa kun n
Luento 5 Päättely suurten otosten tapauksessa, n - normaalijakauma-approksimaatio - suurten otosten teoria - asymptoottinen normaalius ja konsistenttisuus - vastaesimerkkejä Slide 1 Bayesilaisen päättelyn
LisätiedotBayesilaisen mallintamisen perusteet
Bayesilaisen mallintamisen perusteet Johdanto Yksiparametrisia malleja Moniparametrisia malleja Slide 1 Päättely suurten otosten tapauksessa ja bayesilaisen päättelyn frekvenssiominaisuudet Hierarkiset
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotP(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu
1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)
LisätiedotViime kerralla. Luento 6. Normaalijakauma-approksimaatio - moodi. - havaittu informaatio
Viime kerralla Normaalijakauma-approksimaatio - moodi - havaittu informaatio Suurten otosten teoria - asymptoottinen normaalius ja konsistenttisuus Slide 1 - vastaesimerkkejä Bayesilaisen päättelyn frekvenssiarviointi
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
Lisätiedotexp p(y θ) = 1 2πσ θ)2 2σ 2(y y N(θ, σ 2 ) Luento 3 Normaalijakauma (Gaussian) Normaalijakauma tunnetulla varianssilla
Luento 3 Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-malli Exponentiaalinen malli Slide 1 Cauchy-jakauma Lisää konjugaattiprioreista Ei-informatiivisista priorijakaumista
LisätiedotPikajohdatus bayesilaiseen tilastoanalyysiin ja monimuuttuja-analyysiin
ja monimuuttuja-analyysiin Loppuseminaari: Terveydenhuollon uudet analyysimenetelmät (TERANA) Aki Vehtari AB HELSINKI UNIVERSITY OF TECHNOLOGY Department of Biomedical Engineering and Computational Science
LisätiedotBinomi Jacob Bernoulli ( ), Bayes ( ) Normaali de Moivre ( ), Laplace ( ), Gauss ( )
Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali
LisätiedotS-114.600 Bayesilaisen mallintamisen perusteet
S-114.600 Bayesilaisen mallintamisen perusteet Laajuus: 2 ov Opettajat: TkT Aki Vehtari, DI Toni Tamminen Slide 1 Sisältö: Bayesilainen todennäköisyysteoria ja bayesilainen päättely. Bayesilaiset mallit
LisätiedotViikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi
Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum C222, 5.-7.11.2008. 1 Tällä viikolla Sisältösuunnitelma: Ennustamisstrategioista Koneoppimismenetelmiä: k-nn (luokittelu
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Bayesläinen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
LisätiedotT Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1
T-61.281 Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti 10.2.2004, 8:30-10:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:
Lisätiedotθ 1 θ 2 θ n y i1 y i2 y in Luento 6 Hierarkkinen malli Johdatus hierarkkisiin malleihin - joskus myös termillä multilevel model
Luento 6 Johdatus hierarkkisiin malleihin - joskus myös termillä multilevel model Vaihtokelpoisuus (exchangeability) Slide 1 Hierarkkinen malli Esimerkki: sydäntautien hoidon tehokkuus - sairaalassa j
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotMallipohjainen klusterointi
Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio
LisätiedotTilastotieteen aihehakemisto
Tilastotieteen aihehakemisto hakusana ARIMA ARMA autokorrelaatio autokovarianssi autoregressiivinen malli Bayes-verkot, alkeet TILS350 Bayes-tilastotiede 2 Bayes-verkot, kausaalitulkinta bootstrap, alkeet
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi
LisätiedotIdentifiointiprosessi
Alustavia kokeita Identifiointiprosessi Koesuunnittelu, identifiointikoe Mittaustulosten / datan esikäsittely Ei-parametriset menetelmät: - Transientti-, korrelaatio-, taajuus-, Fourier- ja spektraalianalyysi
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Bayesläiset piste- ja väliestimaatit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotParametrin estimointi ja bootstrap-otanta
Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista
LisätiedotTILASTOLLINEN OPPIMINEN
301 TILASTOLLINEN OPPIMINEN Salmiakki- ja hedelmämakeisia on pakattu samanlaisiin käärepapereihin suurissa säkeissä, joissa on seuraavat sekoitussuhteet h 1 : 100% salmiakkia h 2 : 75% salmiakkia + 25%
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf
Lisätiedotexp Luento 3 Normaalijakauma (Gaussian) Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli
Luento 3 Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide Cauchy-jakauma Ei-informatiivisista priorijakaumista *-merkatut kalvot
LisätiedotKuinka monta riippumatonta simulaationäytettä tarvitaan. - tämä varianssi on riippumaton jakauman ulottuvuuksien määrästä
Viime kerralla Karkea laskenta Kuinka monta riippumatonta simulaationäytettä tarvitaan Monte Carlo (luku 11) - suora simulointi - hiladiskretointi Slide 1 - hylkäyspoiminta Markov-ketju Monte Carlo - Gibbs-poiminta
Lisätiedot3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin
3 Yleistä estimointiteoriaa Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin 3.1 Johdanto Tähän mennessä olemme tarkastelleet estimointia
LisätiedotGaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely)
Gaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely) Ohjaaja: TkT Aki Vehtari Valvoja: Prof. Harri Ehtamo Kandidaattiseminaari 21 1.11.21 Esityksen rakenne Tausta Derivaattahavaintojen
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotTilastollinen päättely, 10 op, 4 ov
Tilastollinen päättely, 0 op, 4 ov Arto Luoma Matematiikan, tilastotieteen ja filosofian laitos Tilastotiede 3304 TAMPEREEN YLIOPISTO Syksy 2006 Kirjallisuutta Garthwaite, Jolliffe, Jones Statistical Inference,
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
LisätiedotMaximum likelihood-estimointi Alkeet
Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon
LisätiedotIdentifiointiprosessi
Alustavia kokeita Identifiointiprosessi Koesuunnittelu, identifiointikoe Mittaustulosten / datan esikäsittely Ei-parametriset menetelmät: - Transientti-, korrelaatio-, taajuus-, Fourier- ja spektraalianalyysi
LisätiedotLog-tiheydet - yli- ja alivuotojen välttämiseksi laskenta usein suoritettava log-tiheyksillä
Luento 7 Yleistä laskennasta mm. (luvut 10 ja 12) - karkea estimointi - posteriorimoodit - kuinka monta simulaationäytettä tarvitaan Monte Carlo (luku 11) Slide 1 - suora simulointi - hiladiskretointi
LisätiedotBayes-mallinnus siltana teorian ja empiirisen evidenssin välillä
Bayes-mallinnus siltana teorian ja empiirisen evidenssin välillä Antti Penttinen Jyväskylän yliopisto Matematiikan ja tilastotieteen laitos Metodifestivaalit Jyväskylän yliopisto 21.5.2013 Suunnitelma
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotMikrobikriteereiden arviointi esimerkkinä kampylobakteeri
Mikrobikriteereiden arviointi esimerkkinä kampylobakteeri Taustaa: NMDD-projekti 2011-2012 Rahoitus: pohjoismaiden ministerineuvosto Vast.tutkija: Maarten Nauta, DTU Epävarmuusanalyysin Bayes-mallinnus,
LisätiedotMitä on bayesilainen päättely?
Metodifestivaali 29.5.2009 Aki Vehtari AB TEKNILLINEN KORKEAKOULU Lääketieteellisen tekniikan ja laskennallisen tieteen laitos Esityksen sisältö Miksi? Epävarmuuden esittäminen Tietämyksen päivittäminen
LisätiedotTutkimustiedonhallinnan peruskurssi
Tutkimustiedonhallinnan peruskurssi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo hannu.toivonen, marko.salmenkivi, inkeri.verkamo@cs.helsinki.fi Helsingin yliopisto Hannu Toivonen, Marko Salmenkivi,
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
Lisätiedot5.7 Uskottavuusfunktioon perustuvia testejä II
5.7 Uskottavuusfunktioon perustuvia testejä II Tässä pykälässä pohditaan edellä tarkasteltujen kolmen testisuureen yleistystä malleihin, joiden parametri on useampiulotteinen, ja testausasetelmiin, joissa
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotT Luonnollisten kielten tilastollinen käsittely
T-61.281 Luonnollisten kielten tilastollinen käsittely Vastaukset 3, ti 11.2.2003, 16:15-18:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Aluksi käsittelemme uskottavuus- ja log-uskottavuusfunktioita Seuraavaksi esittelemme suurimman uskottavuuden estimointimenetelmän Ensi viikolla perehdymme aiheeseen lisääkö
LisätiedotS Bayesilaisen mallintamisen perusteet
S-114.2601 Bayesilaisen mallintamisen perusteet Laajuus: 5 op, L Opettajat: TkT Aki Vehtari, DI Simo Särkkä Slide 1 Sisältö: Bayesilainen todennäköisyysteoria ja bayesilainen päättely. Bayesilaiset mallit
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotBayesilaisen mallintamisen perusteet kurssin sisältö
S-114.2601 Bayesilaisen mallintamisen perusteet Laajuus: 5 op, L Opettajat: Dos. TkT Aki Vehtari, DI Jarno Vanhatalo Slide 1 Sisältö: Bayesilainen todennäköisyysteoria ja bayesilainen päättely. Bayesilaiset
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 2. luento: Tilastolliset testit Kai Virtanen 1 Tilastollinen testaus Tutkimuksen kohteena olevasta perusjoukosta esitetään väitteitä oletuksia joita
LisätiedotMittaustulosten tilastollinen käsittely
Mittaustulosten tilastollinen käsittely n kertaa toistetun mittauksen tulos lasketaan aritmeettisena keskiarvona n 1 x = x i n i= 1 Mittaustuloksen hajonnasta aiheutuvaa epävarmuutta kuvaa keskiarvon keskivirhe
LisätiedotLaskennallinen data-analyysi II
Laskennallinen data-analyysi II Patrik Hoyer Epävarmuuden mallintaminen 16 17.4.2008 LDA II, osa 3: epävarmuuden mallintaminen Luennot (16.4 ja 17.4) - ongelma, menetelmät, esimerkkejä (kalvot verkossa
LisätiedotBayesin pelit. Kalle Siukola. MS-E2142 Optimointiopin seminaari: Peliteoria ja tekoäly
Bayesin pelit Kalle Siukola MS-E2142 Optimointiopin seminaari: Peliteoria ja tekoäly 12.10.2016 Toistetun pelin esittäminen automaatin avulla Ekstensiivisen muodon puu on tehoton esitystapa, jos peliä
LisätiedotFoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo
FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa 6. luento Pertti Palo 1.11.2012 Käytännön asioita Harjoitustöiden palautus sittenkin sähköpostilla. PalautusDL:n jälkeen tiistaina netistä löytyy
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotBayesiläinen tilastollinen vaihtelu
Bayesiläinen tilastollinen vaihtelu Janne Pitkäniemi FT, dos. (biometria), joht. til. tiet Suomen Syöpärekisteri Hjelt-instituutti /Helsingin yliopisto Periaatteet Tilastollinen vaihtelu koskee perusjoukon
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
Lisätiedotl (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on
HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 018 Harjoitus B Ratkaisuehdotuksia Tehtäväsarja I 1 (Monisteen tehtävä 14) Olkoon f Y (y; θ) tilastollinen malli, jonka
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Frekventistiset vs. bayeslaiset menetelmät Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotRyhmäfaktorianalyysi neurotiedesovelluksissa (Valmiin työn esittely) Sami Remes Ohjaaja: TkT Arto Klami Valvoja: Prof.
Ryhmäfaktorianalyysi neurotiedesovelluksissa (Valmiin työn esittely) Sami Remes 11.06.2012 Ohjaaja: TkT Arto Klami Valvoja: Prof. Harri Ehtamo Työn saa tallentaa ja julkistaa Aalto-yliopiston avoimilla
Lisätiedot- kuinka monta riippuvaa simulaationäytettä tarvitaan. - hyödyllisiä perus-mcmc-menetelmien parannuksia
Luento 8 Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - simulaationäytteiden käyttö - kuinka monta riippuvaa simulaationäytettä tarvitaan - hyödyllisiä perus-mcmc-menetelmien
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
Lisätiedot6. laskuharjoitusten vastaukset (viikot 10 11)
6. laskuharjoitusten vastaukset (viikot 10 11) 1. a) Sivun 102 hypergeometrisen jakauman määritelmästä saadaan µ µ 13 39 13! 13 12 11 10 9 µ 0! 8! 1! 2 2! 2 1 0 49 48! 47!! 14440 120 31187200 120 1287
LisätiedotTilastotieteen kertaus. Vilkkumaa / Kuusinen 1
Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin
LisätiedotLUKU 3. Ulkoinen derivaatta. dx i 1. dx i 2. ω i1,i 2,...,i k
LUKU 3 Ulkoinen derivaatta Olkoot A R n alue k n ja ω jatkuvasti derivoituva k-muoto alueessa A Muoto ω voidaan esittää summana ω = ω i1 i 2 i k dx i 1 dx i 2 1 i 1
LisätiedotTilastollisia peruskäsitteitä ja Monte Carlo
Tilastollisia peruskäsitteitä ja Monte Carlo Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tilastollisia peruskäsitteitä ja Monte Carlo 1/13 Kevät 2003 Tilastollisia
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3
LisätiedotYhteistyötä sisältämätön peliteoria jatkuu
Yhteistyötä sisältämätön peliteoria jatkuu Tommi Lehtonen Optimointiopin seminaari - Syksy 2000 / 1 Bayesilainen tasapaino Täysi informaatio Vajaa informaatio Staattinen Nash Bayes Dynaaminen Täydellinen
LisätiedotNollasummapelit ja bayesilaiset pelit
Nollasummapelit ja bayesilaiset pelit Kristian Ovaska HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Seminaari: Peliteoria Helsinki 18. syyskuuta 2006 Sisältö 1 Johdanto 1 2 Nollasummapelit 1 2.1
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
LisätiedotMittausepävarmuuden laskeminen
Mittausepävarmuuden laskeminen Mittausepävarmuuden laskemisesta on useita standardeja ja suosituksia Yleisimmin hyväksytty on International Organization for Standardization (ISO): Guide to the epression
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Tilastollisen merkitsevyyden testaus (+ jatkuvan parametrin Bayes-päättely) Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden
LisätiedotMat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:
Mat-.9 Sovellettu todennäköisyyslasku A Mat-.9 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Moniulotteiset jakaumat Diskreetti jakauma, Ehdollinen jakauma, Ehdollinen odotusarvo, Jatkuva
LisätiedotGeenikartoitusmenetelmät. Kytkentäanalyysin teoriaa. Suurimman uskottavuuden menetelmä ML (maximum likelihood) Uskottavuusfunktio: koko aineisto
Kytkentäanalyysin teoriaa Pyritään selvittämään tiettyyn ominaisuuteen vaikuttavien eenien paikka enomissa Perustavoite: löytää markkerilokus jonka alleelit ja tutkittava ominaisuus (esim. sairaus) periytyvät
LisätiedotJos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia keskenään
Viime kerralla Johdatus hierarkisiin malleihin Vaihtokelpoisuus Slide 1 Hierarkinen malli Esimerkki: sydäntautien hoidon tehokkuus Jos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia
LisätiedotP (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.
Yhteenveto: Satunnaisvektorit ovat kuvauksia tn-avaruudelta seillaiselle avaruudelle, johon sisältyy satunnaisvektorin kaikki mahdolliset reaalisaatiot. Satunnaisvektorin realisaatio eli otos on jokin
LisätiedotBatch means -menetelmä
S-38.148 Tietoverkkojen simulointi / Tulosten keruu ja analyysi 1(9) Batch means -menetelmä Batch means -menetelmää käytetään hyvin yleisesti Simulointi suoritetaan tässä yhtenä pitkänä ajona olkoon simuloinnin
LisätiedotTeema 8: Parametrien estimointi ja luottamusvälit
Teema 8: Parametrien estimointi ja luottamusvälit Todennäköisyyslaskennan perusteet (Teemat 6 ja 7) antavat hyvän pohjan siirtyä kurssin viimeiseen laajempaan kokonaisuuteen, nimittäin tilastolliseen päättelyyn.
Lisätiedot