Kuinka monta riippumatonta simulaationäytettä tarvitaan. - tämä varianssi on riippumaton jakauman ulottuvuuksien määrästä

Koko: px
Aloita esitys sivulta:

Download "Kuinka monta riippumatonta simulaationäytettä tarvitaan. - tämä varianssi on riippumaton jakauman ulottuvuuksien määrästä"

Transkriptio

1 Viime kerralla Karkea laskenta Kuinka monta riippumatonta simulaationäytettä tarvitaan Monte Carlo (luku 11) - suora simulointi - hiladiskretointi Slide 1 - hylkäyspoiminta Markov-ketju Monte Carlo - Gibbs-poiminta - Metropolis- ja Metropolis-Hastings-algoritmit Montako simulaationäytettä tarvitaan? Tuntemattoman suureen odotusarvo E(θ) 1 L l θ (l) jos L suuri ja θ (l) riippumattomia näytteitä, voidaan olettaa tämän odotusarvon olevan normaalijakautunut varianssilla σ 2 θ /L Slide 2 - tämä varianssi on riippumaton jakauman ulottuvuuksien määrästä - yhteenlaskettu varianssi on summa datasta johtuvasta epävarmuudesta ja Monte Carlosta johtuvasta epävarmuudesta σθ 2 + σ θ 2 /L = σ θ 2 (1 + 1/L) - jos L = 100, hajonta kasvaa kertoimella 1 + 1/L = eli Monte Carlo -virhe on lähes olematon

2 Luento 8 Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - simulaationäytteiden käyttö - kuinka monta riippuvaa simulaationäytettä tarvitaan - joitakin perus-mcmc-menetelmien parannuksia Slide 3 Päätösanalyysi - hyöty- ja kustannusfunktiot (utility and cost functions) - odotettu hyöty tai kustannus (expected utility or cost) Päättely MCMC-näytteistä Slide 4 MCMC-ketjun alkupää ei käyttökelpoinen ennenkuin alkupiste unohtunut - kun ketju konvergoitunut saadaan näytteitä halutusta jakaumasta - kovergoitumista voidaan tutkia konvergenssidiagnostiikalla rinnakkaisten riippumattomien ketjujen vertailu yhden ketjun alku- ja loppupään vertailu - ennen konvergenssia simuloidut näytteet heitettävä pois sisäänajo (burn-in) MCMC-näytteet eivät riippumattomia - Monte Carlo -estimaatit silti päteviä - Monte Carlo -estimaatin epävarmuuden arviointi vaikeampaa - mahdollista arvioida efektiivinen näytteiden määrä ajamalla rinnakkaisia riippumattomia ketjuja käyttämällä aikasarja-analyysin menetelmiä

3 Useiden ketjujen käyttö Useiden riippumattomien käyttö turvallisempaa kuin yhden Ketjujen alustus - aloita eri ketjut eri alkupisteistä Slide 5 - pyri valitsemaan alkupisteet suuremalla hajonnalla kuin posteriorin oletettu hajonta (overdispersed starting points) onnistuu helposti vain kun hyvä arvaus posteriorin massan muodosta ja sijainnista - aloita jokainen ketju eri satunnaislukusiemenellä Ketjujen vertailu - vertaa kaikkia estimoitavia skalaariarvoja parametrit parametreista laskettavat muut kiinnostavat tulevien havaintojen ennusteet log-posterioritiheys log-prediktiivinen tiheys Visuaalinen tarkastelu Gelman et al. aivan oikein varoittavat luottamasta visuaaliseen trendien tarkasteluun - visuaalinen tarkastelu ei riittävä konvergenssin hyväksymiseksi - visuaalinen tarkastelu kuitenkin usein riittävä konvergenssin hylkäämiseksi - visuaalinen tarkastelu antaa vihjeitä mikä voisi olla vialla Slide 6 - ihmisen näköjärjestelmä on tehokas huomaamaan poikkeavia asioita, joita vaikea muotoilla matemaattisesti - mitä enemmän tarkasteltavia suureita, sitä vaikeampaa on visuaalinen tarkastelu

4 Ketjujen odotusarvojen ja varianssien vertailu m riippumatonta ketjua, jokaisen pituus n (kun ensimmäinen puolisko poistettu) - estimoitavien skalaarien simulaationäytteet ψ i j (i = 1,..., n; j = 1,..., m) Gelman et al.: potential scale reduction factor (PSRF) - perustuu ketjujen odotusarvojen ja varianssien vertailuun Slide 7 - sopii jatkuville jakaumille ja diskreeteille jakaumille, joita voidaan hyvin approksimoida normaalijakaumalla - estimoitavat skaalarit hyvä muuntaa siten, että olisivat mahdollisimman normaalijakautuneita esim. ottamalla logaritmi aidosti positiivisesta suureesta - Gelman et al. poistavat ensimmäisen puoliskon ja vertailevat jälkimmäisiä puoliskoja Ketjujen odotusarvojen ja varianssien vertailu Lasketaan ketjujen välinen varianssi B (between) B = n m 1 m ( ψ. j ψ.. ) 2, missä ψ. j = 1 n j=1 n ψ i j, ψ.. = 1 m i=1 m j=1 ψ. j - B/n on ketjujen keskiarvojen varianssi Slide 8 Lasketaan ketjujen sisäinen varianssi W (within) W = 1 m m j=1 s 2 j, missä s2 j = 1 n 1 n (ψ i j ψ. j ) 2 j=1 Estimoidaan estimoitavan marginaaliposteriorivarianssi var(ψ y) W :n ja B:n painotettuna keskiarvona var + (ψ y) = n 1 W + 1 n n B

5 Ketjujen odotusarvojen ja varianssien vertailu Slide 9 Estimoidaan var(ψ y) W :n ja B:n painotettuna keskiarvona var + (ψ y) = n 1 W + 1 n n B - tämä yliarvioi marginaaliposteriorivarianssin jos alkupisteet ovat riittävän ylihajonneita, koska silloin B suurempi - harhaton stationäärisessä tilassa tai kun n Äärellisellä n, W aliarvioi marginaaliposteriorivarianssin - yksittäiset ketjut eivät ole ehtineet käydä jakauman joka pisteessä, joten niissä on vähemmän vaihtelua - kun n, E(W) var(ψ y) Koska var + (ψ y) yliarvioi ja W aliarvioi, lasketaan var ˆR + = W Ketjujen odotusarvojen ja varianssien vertailu Potentiaalinen skaalanpienennyskerroin (potential scale reduction factor) ˆR = var + W Slide 10 - estimoi kuinka paljon ψ:n tämänhetkisen jakauman skaala voisi pienentyä jos simulaatiota jatkettaisiin rajalle n - R 1, kun n - jos R on iso, on syytä uskoa, että lisäsimulaatio voi parantaa arviota kyseisen estimoitavan skalaarin jakaumasta - jos R ei ole kaikille estimoitaville skalaareille lähes 1, jatka simulaatiota - lähes 1 tarkoittaa usein alle 1.1, mutta joskus voi olla tarvetta tarkempaankin Esim8_1.m Vaikka R lähes 1, ketju ei ole välttämättä konvergoitunut

6 Simulaationäytteisiin perustuvat konvergenssidiagnostiikat Simulaationäytteisiin perustuvat konvergenssidiagnostiikat voivat paljastaa vain jos konvergenssia ei ole tapahtunut - vaikka diagnostiikan mukaan konvergenssi olisi mahdollinen, on myös aina mahdollista, että lähtöpisteiden ja algoritmin yhteisvalinnan sekä sattuman vuoksi yksikään ketju ei ole käynyt alueilla joissa merkittävästi massaa - tyypillinen ongelmatapaus on multimodaalinen jakauma Slide 11 Joidenkin skalaarien marginaalijakauma voi näyttää konvergoituneelta vaikka yhteisjakauma ei olisi - moniulotteisen ei-normaalijakautuneen jakauman konvergenssidiagnostiikka on vaikeaa Lisäksi PSRF:ssä - jos ketjujen alkupisteet lähekkäin, voi R olla lähes 1, vaikka ei konvergenssia Täydellinen poiminta (perfect sampling)* Joillekin malleille on algoritmeja joissa tiedetään varmasti milloin konvergenssi tapahtunut - mahdollista poimia varmasti riippumattomia näytteitä - algoritmeja kehitetään jatkuvasti eri mallivaihtoehdoille Slide 12

7 Konvergenssidiagnostiikoita* Konvergenssidiagnostiikoita on lukuisia, itse olen käyttänyt pääasiassa - useiden ketjujen ajo - visuaalinen tarkastelu - potential scale reduction factor Slide 13 - Kolmogorov-Smirnov goodness-of-fit hypothesis test sopii myös ei normaalijakautuneille Sisäänajo (burn-in) Gelman et al. tutkivat konvergenssia ketjun loppupuoliskolle - arvioidun konvergenssin jälkeen voidaan alkupuolisko heittää pois ja jatkaa ketjuja kunnes saatu haluttu määrä näytteitä - puoliksi jakaminen ei välttämättä tehokasta kuten demossa näkyi Slide 14

8 Efektiivinen näytteiden määrä Jos ketjun n simulaationäytettä olisivat riippumatomia, ketjujen välinen varianssi B olisi posteriorivarianssin var(ψ y) harhaton estimaatti ja meillä olisi yhteensä mn riippumatonta näytettä Yleisesti MCMC-ketjujen näytteet korreloivat ja B on odotusarvoisesti suurempi kuin var(ψ y) Slide 15 Efektiivinen näytteiden määrä voidaan arvioida seuraavasti n eff = mn var+ (ψ y) B - jos m pieni, tämä on varsin karkea estimaatti - supertehokas simulaatio, missä n eff > mn, mahdollinen, mutta käytännössä epätodennäköinen - Gelman et al. ilmoittavat varmuudeksi min(n eff, mn) Montako simulaationäytettä tarvitaan? Lasketaan tarvittavien näytteiden määrä riippumattomille näytteille Simuloidaan kunnes efektiivinen näytteiden määrä riittävän suuri Slide 16

9 Ohennus (thinning) Ei välttämätöntä Ohennuksessa talletetaan vain joka k:s MCMC-näyte - valitsemalla k riittävän isoksi jäljelle jääneet näytteet lähes riippumattomia k > mn/n eff Slide 17 - säästää muistia ja levytilaa - nopeuttaa simulaationäytteisiin perustuvaa päättelyä - helpottaa Monte Carlo -epävarmuuden arvioimista (jos k arvioitu oikein) Aikasarja-analyysi* Autokorrelaatioita tutkimalla nähdään riippuvuuksien määrä - algoritmien tehokkuuksia vertailtaessa usein verrataan autokorrelaatiosarjoja Efektiivisten näytteiden määrää voidaan arvioida autokorrelaatioista - Geyer s initial convex/monotone sequence estimator arvioi k:n, josta voi arvioida n eff :n Slide 18 - Esim8_2.m Monte Carlo tarkkuuksia voidaan arvioida helposti osalle yhteenvetoarvoista (esim. odotusarvo) ilman ohennusta

10 Gibbs-poiminta (luku 11.8) Muunnokset ja uudelleen parametrisoinnit - jos muuttujat olisivat riippumattomia olisi Gibbs-poiminnan tehokkuus 1/d - pyritään saamaan parametrit mahdollisimman riippumattomiksi Apumuuttujat - esim. t-jakauman esittäminen sekaskaalanormaalijakaumana Slide 19 Parametriavaruuden laajentaminen - lisäparametri jonka avulla voidaan hypätä pidempiä matkoja parametriavaruudessa ja siten saavuttaa nopeampi konvergenssi - lisäparametrin takia malli ali-identifioituva, mutta kiinnostavat suureet edelleen identifioituvia Over-relaxation* - poimitaan uusi piste mielummin ehdollisen jakauman vastakkaiselta puolelta Metropolis-algoritmi (luku 11.9) Muunnokset ja uudelleen parametrisoinnit "Optimaalinen" hylkäystaajuus - jos ehdotusjakauma samanmuotoinen kuin kohdejakauma (mikä harvinaista) - optimaalinen skaala c 2.4/ d - tehokkuus olisi 0.3/d Slide 20 - hylkäystaajuus riippuen ulottuvuuksien määrästä Adaptiivisuus - aloitetaan esim. normaalijakauma-approksimaatiolla - poimitaan näytteitä - valitaan uusi ehdotusjakauma näytteiden perusteella esim. normaalijakauma jonka kovarianssi valitaan näytteiden perusteella myös hylkäystaajus voidaan adaptoida - suoritetaan varsinainen poiminta

11 Adaptiivisista menetelmistä Adaptiiviset menetelmät hyviä, mutta oltava huolellinen, ettei adaptiivisuus estä konvergenssia haluttuun jakaumaan - esim. edellä mainittu yksinkertainen adaptiivinen Metropolis ok, kun adaptointi suoritetaan ennen varsinaista ajoa, joka ei ole adaptiivinen Slide 21 Muita menetelmiä* Erilaisia kehittyneempiä menetelmiä hyvin paljon Kirjan luvussa 13 mainitaan muutama hyödyllisimmistä - hybrid Monte Carlo hyödyntää gradientti-informaatiota Slide 22 - slice sampling sopii erityisesti 1-ulotteisille (vrt. Gibbs) täydellisesti paikallisesti adaptoituva - simulated tempering korkeammassa lämpötilassa moodinvaihto onnistuu helpommin - reversible jump MCMC sallii hypyt parametriavaruudesta toiseen myös ulottuvuuksien määrä voi vaihtua sopii mallin rakenteen valintaan

12 Päätösanalyysi (decision analysis) Gelman et al. väheksyvät päätösanalyysin merkitystä - ehkä koska heidän ongelmissaan hyötyfunktioiden valinta hyvin vaikeaa ja siksi niihin ei ole haluttu ottaa kantaa, tai eivät ole ymmärtäneet asiaa - kirjan ensimmäisessä painoksessa päätösanalyysia ei ollut ollenkaan Slide 23 Moni muu pitää päätösanalyysia erottamattomana osana bayesilaista todennäköisyysteoriaa - todennäköisyydet ja hyödyt (utilities) erottamattomia - päätösten vaikutusten arviointi ei poikkea muusta bayesilaisesta päättelystä - mallien posteriorijakaumien ja yhteenvetolukujen ilmoittaminen perusteltavissa päätösanalyysilla - tilastollisesti merkittävä vs. käytännössä merkittävä - mallien arviointi, vertailu ja valinta on päätösanalyysia - "Todennäköisyysteoria ilman päätösteoriaa on kuin auto ilman polttoainetta. Se on olemassa, mutta sillä ei pääse minnekään." Bayesilainen päätöksenteko Mahdolliset päätökset d (decision) - usein myös puhutaan toimenpiteistä a (action) Mahdolliset seuraamukset x - x voi olla nominaalinen, ordinaalinen, reaalinen, skalaari, vektori,... Seuraamuksien todennäköisyysjakaumat annettuna päätökset p(x d) Slide 24 - päätöksenteossa päätökset ovat kontrolloituja, joten p(d) ei määritelty Hyötyfunktio U(x) (utility function) kuvaa seuraamuksen reaaliluvuksi - esim. euroiksi tai odotettavaksi elinajaksi - joskus puhutaan erikseen hyödyistä (utility) ja kustannuksista (cost) Hyödyn todennäköisyysjakauma p(u(x) d) Odotettu hyöty E(U(x) d) (expected utility) - voidaan ilmoittaa myös koko jakauma tai muu yhteenvetoarvo Valitaan päätös d, joka maksimoi odotetun hyödyn E(U(x) d)

13 Päätösanalyysin ja päätösteorian erosta Gelman et al. lepertelevät sekavia päätösanalyysin ja päätösteorian eroista -... statistical decision theory, a mathematical framework that is formally Bayesian but which we find too abstract to be directly useful for real decision problems. - These mathematical results are interesting but we do not see their relevance in practice. Slide 25 Aivan oikein piste-estimaattien sijasta mielummin esittävät koko posteriorijakauman tai intervalleja, mutta unohtavat, että joskus on pakko valita yksi luku - esim. tehtaassa koneen säätöä varten valittava yksi luku ja lopputuloksena saadaan yhtä lopputuotetta - jos muita hyötyfunktioita ei ole käytettävissä, on parempi käyttää edes yleiskäyttöisiä "abstrakteja" hyötyfunktioita Muissa yhteyksissä ainakin Gelman puhunut järkevämpiäkin Esimerkki päätöksenteosta Matti on lähdössä sienimetsään kun huomaa matkalla suuren käpälän jäljen, joka näyttää koiran tai suden jäljeltä Slide 26 Matti mittaa jäljen pituudeksi 14 cm ja menee kotiin tarkistamaan eläinkirjasta eläinten jalkojen kokoja ja sen perusteella yritää päätellä onko otus susi vai koira Todennäköisyys p(x C) C= Susi C= Iso koira Jäljen pituus x (cm) havaitun jäljen pituus on merkitty kuvaan pystyviivalla Pelkästään tämän perusteella suden todennäköisyys 0.92

14 Esimerkki päätöksenteosta Matti olettaa lisäksi, että irrallaan juoksevia koiria on sata kertaa enemmän kuin susia, tällöin siis a priori todennäköisyys sudelle, kun mitään piirteitä ei ole havaittu, on n. 1%. Eri luokkien uskottavuudet ja posteriori-todennäköisyydet Luokitus Uskottavuus Posteriori-todennäköisyys Slide 27 Susi Koira Tämän perusteella suden todennäköisyys 0.10 Esimerkki päätöksenteosta Matti miettii uskaltaako lähteä poimimaan sieniä Oikealle luokitukselle voitaisiin asettaa nollariski Jos otus on koira ja pysytään kotona, seuraa pieni tappio, kun sieniretki jää aiheettomasti tekemättä Slide 28 Jos taas otus on susi, mutta sitä luullaan koiraksi ja lähdetään sienimetsään, on tappio paljon suurempi, koska susi voi syödä Matin suihinsa Otuksen luokka Toiminta Susi Koira Toiminta Ehdollinen riski Pysytään kotona 1 1 Lähdetään metsään Tappiomatriisi Pysytään kotona 1 Lähdetään metsään 100 Eri toimintojen ehdolliset riskit

15 Esimerkki päätöksenteosta Sudesta jää havaitun kokoinen jälki paljon todennäköisemmin kuin koirasta, joten suurimman uskottavuuden luokitus on susi Havaitun kokoinen jälki on paljon todennäköisemmin jäänyt koirasta, koska koirat ovat niin paljon yleisempiä, ja suurimman todennäköisyyden luokitus on koira Minimiriskipäätös on pysyä kotona, vaikka otus on todennäköisemmin koira Slide 29 - lähtöoletusten mukaan suden tapaaminen metsässä aiheuttaa suuren odotetun tappion, ja se huomioon ottaen otukseen kannattaa suhtautua kuin se olisi susi, jotta kokonaisriski minimoituu Esimerkistä näkyy selvästi, että kaikkien vaihtoehtojen todennäköisyydet täytyy pitää mukana lopulliseen päätöksentekoon asti - jos luokkien todennäköisyyksien perusteella tehdään päätös, että kyseessä on koira, ei sen jälkeen ole enää mahdollista tehdä minimiriskipäätöstä, jossa otetaan huomioon väärän luokituksen aiheuttamat riskit Esimerkki päätöksenteosta Professori Gelmanilla on purkillinen neljännedollareita - purkkiin ensin vedetty viiva ja sitten purkki täytetty viivaan asti kolikoilla, joten kolikoiden määrää ei ole valittu etukäteen - Prof. Gelman ei itse tiedä kolikoiden määrää - Prof. Gelman tarjoaa luokalle mahdollisuutta voittaa kaikki purkin kolikot jos luokaa arvaa kolikoiden määrän oikein Slide 30 - niille tiedoksi, jotka eivät olleet luennolla, esimerkki käsiteltiin loppuun suullisesti ja taululla

16 Hyötyfunktion valinnan vaikeudesta 1) Varmasti 1 tai todennäköisyydellä p ja 1 p 1 0 2) Varmasti 1 tai p 2 10 Varmasti 10 tai p Varmasti 100 tai p Varmasti 1000 tai p Slide 31 Hyötyfunktion valinnan vaikeudesta Jos seuraavat vaihtoehdot samanarvoiset henkilölle Varmasti 10 tai todennäköisyydellä 55% 20 ja 45% 0 Varmasti 20 tai todennäköisyydellä 55% 30 ja 45% 10 Slide 32 Varmasti x tai todennäköisyydellä 55% (x+10) ja 45% (x-10), x=30,40,50,... niin mikä on y Varmasti y tai todennäköisyydellä 50% 1 miljardi ja 50% 0 y on jotain välillä 30 40!

17 Hyötyfunktion valinnan vaikeudesta Ihmiset huonoja arvioimaan todennäköisyyksiä Extrapolointi tuottaa outoja tuloksia Epävarmuuden pelkoa eli riskin välttämistä ei voida selittää odotetun hyödyn maksimoinilla ja konkaavilla hyötyfunktiolla Slide 33 Epävarmuuden kustannukset ovat vaikeita määritellä Hyötyjä ja kustannuksia on vaikea arvioida esim. terveydenhoidossa. - mitä sairauksia ja millä kustanuksilla niitä pitäisi hoitaa? - yksittäisen ihmisen hyöty on, että hän ja hänen läheisensä ovat terveitä - lääkärin hyödystä osa voi tulla bonuksina jos syntyy säästöjä, jne Paljonko ympäristön puhtaus tai maapallon lämpeneminen maksaa rahassa Usein lopullisessa päätöksenteossa niin monenlaiset ihmisarvot, että siinä matemaattinen teoria on pulassa Esimerkki Monivaiheinen päätöksenteko: lääketieteellinen seulonta - kirja luku vuotiaalla kasvain joka mahdollisesti pahalaatuinen - esimerkissä laskettiin odotettua elinaikaa Slide 34 - mitä jos hoitojen kustannukset olisivat mukana? kuinka paljon 95-vuotiaan odotettu lisäelinkuukausi voisi maksaa kuinka paljon 5-vuotiaan odotettu lisäelinkuukausi voisi maksaa

18 Elämän hinta? 1) Kuinka paljon pitäisi sinulle maksaa, että suostuisit kuolemaan? 2) Saat valita (a) jatkat elämistä (b) todennäköisyydellä p kuolet ja todennäköisyydellä (1- p) saat ) Onko autossasi turvatyyny? Slide 35 - turvatyyny maksaa auto käytössä 10 vuotta - amerikkalaisen tutkimuksen mukaan turvatyyny pelastaa n. 2% tapauksista - Suomessa kuolee liikenteessä n. 300 vuodessa - oletetaan, että ajat varovasti, etkä aja humalassa - todennäköisyys, että turvatyyny pelastaa henkesi, on n. 1e-8 - odotusarvohinta hengellesi n. 100 miljardia euroa - vrt. Gelman et al. s. 566 odotusarvohinta hengelle radonmittauksissa ja -korjauksissa n. 1 miljoona dollaria Yhteys mallien arviointiin ja valintaan Mikä on odotettu hyöty jos käytämme mallia ennustamiseen ja päätöksentekoon tulevaisuudessa - mallin odotettu hyöty - voidaan arvioida onko mallista käytännön hyötyä - voidaan vertailla mallien odotettuja hyötyjä Slide 36

Bayesilainen päätöksenteko / Bayesian decision theory

Bayesilainen päätöksenteko / Bayesian decision theory Bayesilainen päätöksenteko / Bayesian decision theory Todennäköisyysteoria voidaan perustella ilman päätösteoriaa, mutta vasta päätösteorian avulla siitä on oikeasti hyötyä Todennäköisyyteoriassa tavoitteena

Lisätiedot

- kuinka monta riippuvaa simulaationäytettä tarvitaan. - hyödyllisiä perus-mcmc-menetelmien parannuksia

- kuinka monta riippuvaa simulaationäytettä tarvitaan. - hyödyllisiä perus-mcmc-menetelmien parannuksia Luento 8 Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - simulaationäytteiden käyttö - kuinka monta riippuvaa simulaationäytettä tarvitaan - hyödyllisiä perus-mcmc-menetelmien

Lisätiedot

Mallin tarkistus (luku 6) - onko mallin puutteilla havaittava vaikutus oleelliseen päättelyyn?

Mallin tarkistus (luku 6) - onko mallin puutteilla havaittava vaikutus oleelliseen päättelyyn? Luento 9 Päätösanalyysi (luku 22) - hyöty- ja kustannusfunktiot (utility and cost functions) - odotettu hyöty tai kustannus (expected utility or cost) Mallin tarkistus (luku 6) - onko mallin puutteilla

Lisätiedot

Tentin materiaali. Sivia: luvut 1,2, , ,5. MacKay: luku 30. Gelman, 1995: Inference and monitoring convergence

Tentin materiaali. Sivia: luvut 1,2, , ,5. MacKay: luku 30. Gelman, 1995: Inference and monitoring convergence Tentin materiaali Sivia: luvut 1,2,3.1-3.3,4.1-4.2,5 MacKay: luku 30 Gelman, 1995: Inference and monitoring convergence Gelman & Meng, 1995: Model checking and model improvement Kalvot Harjoitustyöt Tentin

Lisätiedot

Luento 11. Muutama hyödyllinen Monte Carlo-menetelmä. Muutama hyödyllinen Monte Carlo-menetelmä. Mitä muuta hyödyllistä Gelman et al kirjasta löytyy

Luento 11. Muutama hyödyllinen Monte Carlo-menetelmä. Muutama hyödyllinen Monte Carlo-menetelmä. Mitä muuta hyödyllistä Gelman et al kirjasta löytyy Luento 11 Muutama hyödyllinen Monte Carlo-menetelmä Mitä muuta hyödyllistä Gelman et al kirjasta löytyy Kertaus koko kurssiin - tenttiinlukuohjeet Slide 1 Muutama hyödyllinen Monte Carlo-menetelmä Hylkäyspoiminta

Lisätiedot

Bayesilaisen mallintamisen perusteet

Bayesilaisen mallintamisen perusteet Bayesilaisen mallintamisen perusteet Johdanto Yksiparametrisia malleja Moniparametrisia malleja Slide 1 Päättely suurten otosten tapauksessa ja bayesilaisen päättelyn frekvenssiominaisuudet Hierarkiset

Lisätiedot

Log-tiheydet - yli- ja alivuotojen välttämiseksi laskenta usein suoritettava log-tiheyksillä

Log-tiheydet - yli- ja alivuotojen välttämiseksi laskenta usein suoritettava log-tiheyksillä Luento 7 Yleistä laskennasta mm. (luvut 10 ja 12) - karkea estimointi - posteriorimoodit - kuinka monta simulaationäytettä tarvitaan Monte Carlo (luku 11) Slide 1 - suora simulointi - hiladiskretointi

Lisätiedot

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman

Lisätiedot

Osa 2: Otokset, otosjakaumat ja estimointi

Osa 2: Otokset, otosjakaumat ja estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Jos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia keskenään

Jos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia keskenään Viime kerralla Johdatus hierarkisiin malleihin Vaihtokelpoisuus Slide 1 Hierarkinen malli Esimerkki: sydäntautien hoidon tehokkuus Jos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia

Lisätiedot

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme? TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman

Lisätiedot

Todennäköisyyden ominaisuuksia

Todennäköisyyden ominaisuuksia Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset

Lisätiedot

1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI

1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI 1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia

Lisätiedot

Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - odotettu hyöty tai kustannus (expected utility or cost)

Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - odotettu hyöty tai kustannus (expected utility or cost) Viime kerralla Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - kuinka monta riippuvaa simulaationäytettä tarvitaan - joitakin perus-mcmc-menetelmien parannuksia Slide 1

Lisätiedot

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 6A Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:

Lisätiedot

Tilastotieteen aihehakemisto

Tilastotieteen aihehakemisto Tilastotieteen aihehakemisto hakusana ARIMA ARMA autokorrelaatio autokovarianssi autoregressiivinen malli Bayes-verkot, alkeet TILS350 Bayes-tilastotiede 2 Bayes-verkot, kausaalitulkinta bootstrap, alkeet

Lisätiedot

Luento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori.

Luento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori. Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo

Lisätiedot

Mallipohjainen klusterointi

Mallipohjainen klusterointi Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio

Lisätiedot

Tilastollinen aineisto Luottamusväli

Tilastollinen aineisto Luottamusväli Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden

Lisätiedot

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Tilastollinen testaus. Vilkkumaa / Kuusinen 1 Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää

Lisätiedot

tilastotieteen kertaus

tilastotieteen kertaus tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla

Lisätiedot

Teema 8: Parametrien estimointi ja luottamusvälit

Teema 8: Parametrien estimointi ja luottamusvälit Teema 8: Parametrien estimointi ja luottamusvälit Todennäköisyyslaskennan perusteet (Teemat 6 ja 7) antavat hyvän pohjan siirtyä kurssin viimeiseen laajempaan kokonaisuuteen, nimittäin tilastolliseen päättelyyn.

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A050 Todennäköisyyslaskennan ja tilastotieteen peruskurssi B Satunnaismuuttujat ja todennäköisyysjakaumat Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

Jatkuvat satunnaismuuttujat

Jatkuvat satunnaismuuttujat Jatkuvat satunnaismuuttujat Satunnaismuuttuja on jatkuva jos se voi ainakin periaatteessa saada kaikkia mahdollisia reaalilukuarvoja ainakin tietyltä väliltä. Täytyy ymmärtää, että tällä ei ole mitään

Lisätiedot

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1 Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin

Lisätiedot

Nollasummapelit ja bayesilaiset pelit

Nollasummapelit ja bayesilaiset pelit Nollasummapelit ja bayesilaiset pelit Kristian Ovaska HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Seminaari: Peliteoria Helsinki 18. syyskuuta 2006 Sisältö 1 Johdanto 1 2 Nollasummapelit 1 2.1

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf

Lisätiedot

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa 6. luento Pertti Palo 1.11.2012 Käytännön asioita Harjoitustöiden palautus sittenkin sähköpostilla. PalautusDL:n jälkeen tiistaina netistä löytyy

Lisätiedot

Tutkimustiedonhallinnan peruskurssi

Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan peruskurssi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo hannu.toivonen, marko.salmenkivi, inkeri.verkamo@cs.helsinki.fi Helsingin yliopisto Hannu Toivonen, Marko Salmenkivi,

Lisätiedot

Kynä-paperi -harjoitukset. Taina Lehtinen Taina I Lehtinen Helsingin yliopisto

Kynä-paperi -harjoitukset. Taina Lehtinen Taina I Lehtinen Helsingin yliopisto Kynä-paperi -harjoitukset Taina Lehtinen 43 Loput ratkaisut harjoitustehtäviin 44 Stressitestin = 40 s = 8 Kalle = 34 pistettä Ville = 5 pistettä Z Kalle 34 8 40 0.75 Z Ville 5 8 40 1.5 Kalle sijoittuu

Lisätiedot

Harjoitus 7: NCSS - Tilastollinen analyysi

Harjoitus 7: NCSS - Tilastollinen analyysi Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen

Lisätiedot

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden 1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon

Lisätiedot

Estimointi. Vilkkumaa / Kuusinen 1

Estimointi. Vilkkumaa / Kuusinen 1 Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,

Lisätiedot

Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi

Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum C222, 5.-7.11.2008. 1 Tällä viikolla Sisältösuunnitelma: Ennustamisstrategioista Koneoppimismenetelmiä: k-nn (luokittelu

Lisätiedot

TILASTOLLINEN OPPIMINEN

TILASTOLLINEN OPPIMINEN 301 TILASTOLLINEN OPPIMINEN Salmiakki- ja hedelmämakeisia on pakattu samanlaisiin käärepapereihin suurissa säkeissä, joissa on seuraavat sekoitussuhteet h 1 : 100% salmiakkia h 2 : 75% salmiakkia + 25%

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen 1 Jakaumaoletuksien testaamiseen soveltuvat testit χ 2 -yhteensopivuustesti yksi otos otoksen

Lisätiedot

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.04 Tilastollisen analyysin perusteet, kevät 007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen Jakaumaoletuksien testaamiseen soveltuvat testit χ -yhteensopivuustesti yksi otos otoksen vertaaminen

Lisätiedot

INTERVALLIPÄÄTÖSPUUT JANNE GUSTAFSSON 45433E. Mat Optimointiopin seminaari Referaatti

INTERVALLIPÄÄTÖSPUUT JANNE GUSTAFSSON 45433E. Mat Optimointiopin seminaari Referaatti 12.11.1999 INTERVALLIPÄÄTÖSPUUT JANNE GUSTAFSSON 45433E Mat-2.142 Optimointiopin seminaari Referaatti Syksy 1999 1. JOHDANTO Thomas M. Stratin artikkeli Decision Analysis Using Belief Functions käsittelee

Lisätiedot

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman

Lisätiedot

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Frekventistiset vs. bayeslaiset menetelmät Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

3.7 Todennäköisyysjakaumia

3.7 Todennäköisyysjakaumia MAB5: Todennäköisyyden lähtökohdat 4 Luvussa 3 Tunnusluvut perehdyimme jo jakauman käsitteeseen yleensä ja normaalijakaumaan vähän tarkemmin. Lähdetään nyt tutustumaan binomijakaumaan ja otetaan sen jälkeen

Lisätiedot

Lisätehtäviä ratkaisuineen luentomonisteen lukuihin 2-4 liittyen

Lisätehtäviä ratkaisuineen luentomonisteen lukuihin 2-4 liittyen MTTTP5, kevät 2016 4.2.2016/RL Lisätehtäviä ratkaisuineen luentomonisteen lukuihin 2-4 liittyen 1. Laitosneuvostoon valitaan 2 professoria, 4 muuta henkilökuntaan kuuluvaa jäsentä sekä 4 opiskelijaa. Laitosneuvostoon

Lisätiedot

Binomi Jacob Bernoulli ( ), Bayes ( ) Normaali de Moivre ( ), Laplace ( ), Gauss ( )

Binomi Jacob Bernoulli ( ), Bayes ( ) Normaali de Moivre ( ), Laplace ( ), Gauss ( ) Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali

Lisätiedot

/1. MTTTP1, luento Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

/1. MTTTP1, luento Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti: 4.10.2016/1 MTTTP1, luento 4.10.2016 7.4 Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti: Samoin z /2 siten, että P(Z > z /2 ) = /2, graafisesti: 4.10.2016/2

Lisätiedot

S-114.600 Bayesilaisen mallintamisen perusteet

S-114.600 Bayesilaisen mallintamisen perusteet S-114.600 Bayesilaisen mallintamisen perusteet Laajuus: 2 ov Opettajat: TkT Aki Vehtari, DI Toni Tamminen Slide 1 Sisältö: Bayesilainen todennäköisyysteoria ja bayesilainen päättely. Bayesilaiset mallit

Lisätiedot

Luento KERTAUSTA Kaksiulotteinen jakauma Pisteparvi, Toyota Avensis -farmariautoja

Luento KERTAUSTA Kaksiulotteinen jakauma Pisteparvi, Toyota Avensis -farmariautoja 1 Luento 23.9.2014 KERTAUSTA Kaksiulotteinen jakauma Pisteparvi, Toyota Avensis -farmariautoja 2 Ristiintaulukko Esim. Toyota Avensis farmariautoja, nelikenttä (2x2-taulukko) 3 Esim. 5.2.6. Markkinointisuunnitelma

Lisätiedot

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu 1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)

Lisätiedot

Otoskeskiarvo on otossuure, jonka todennäköisyysjakauma tiedetään. Se on normaalijakauma, havainnollistaminen simuloiden

Otoskeskiarvo on otossuure, jonka todennäköisyysjakauma tiedetään. Se on normaalijakauma, havainnollistaminen simuloiden 1 KERTAUSTA JA TÄYDENNYSTÄ Luento 30.9.2014 Olkoon satunnaisotos X 1, X 2,, X n normaalijakaumasta N(µ, σ 2 ), tällöin ~ N(µ, σ 2 /n), kaava (6). Otoskeskiarvo on otossuure, jonka todennäköisyysjakauma

Lisätiedot

- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten

- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen

Lisätiedot

Matemaatikot ja tilastotieteilijät

Matemaatikot ja tilastotieteilijät Matemaatikot ja tilastotieteilijät Matematiikka/tilastotiede ammattina Tilastotiede on matematiikan osa-alue, lähinnä todennäköisyyslaskentaa, mutta se on myös itsenäinen tieteenala. Tilastotieteen tutkijat

Lisätiedot

p(θ 1 y) on marginaalijakauma p(θ 1 θ 2, y) on ehdollinen posteriorijakauma Viime kerralla Termejä viime kerralta Marginalisointi Marginaalijakauma

p(θ 1 y) on marginaalijakauma p(θ 1 θ 2, y) on ehdollinen posteriorijakauma Viime kerralla Termejä viime kerralta Marginalisointi Marginaalijakauma Viime kerralla Marginalisointi Marginaalijakauma Posteriorijakauman faktorointi Ehdollinen posteriorijakauma Slide 1 Posteriorijakaumasta simulointi Normaalijakauma - tuntematon keskiarvo ja varianssi

Lisätiedot

P (A)P (B A). P (B) P (A B) = P (A = 0)P (B = 1 A = 0) P (B = 1) P (A = 1)P (B = 1 A = 1) P (B = 1)

P (A)P (B A). P (B) P (A B) = P (A = 0)P (B = 1 A = 0) P (B = 1) P (A = 1)P (B = 1 A = 1) P (B = 1) Harjoitustehtäviä (erä 1) 1 1. Käytetään yksinkertaisesti Bayesin kaavaa: P (A B) = P (A)P (B A). P (B) Tapauksessa B = 1 saadaan P (A = 0 B = 1) = P (A = 1 B = 1) = P (A = 0)P (B = 1 A = 0) P (A = 1)P

Lisätiedot

Korvausvastuun ennustejakauma bootstrap-menetelmän avulla

Korvausvastuun ennustejakauma bootstrap-menetelmän avulla Korvausvastuun ennustejakauma bootstrap-menetelmän avulla Sari Ropponen 13.5.2009 1 Agenda Korvausvastuu vahinkovakuutuksessa Korvausvastuun arviointi Ennustevirhe Ennustejakauma Bootstrap-/simulointimenetelmä

Lisätiedot

Otoskoko 107 kpl. a) 27 b) 2654

Otoskoko 107 kpl. a) 27 b) 2654 1. Tietyllä koneella valmistettavien tiivisterenkaiden halkaisijan keskihajonnan tiedetään olevan 0.04 tuumaa. Kyseisellä koneella valmistettujen 100 renkaan halkaisijoiden keskiarvo oli 0.60 tuumaa. Määrää

Lisätiedot

Yhteistyötä sisältämätön peliteoria jatkuu

Yhteistyötä sisältämätön peliteoria jatkuu Yhteistyötä sisältämätön peliteoria jatkuu Tommi Lehtonen Optimointiopin seminaari - Syksy 2000 / 1 Bayesilainen tasapaino Täysi informaatio Vajaa informaatio Staattinen Nash Bayes Dynaaminen Täydellinen

Lisätiedot

Johdatus tn-laskentaan perjantai 17.2.2012

Johdatus tn-laskentaan perjantai 17.2.2012 Johdatus tn-laskentaan perjantai 17.2.2012 Kahden diskreetin muuttujan yhteisjakauma On olemassa myös monen muuttujan yhteisjakauma, ja jatkuvien muuttujien yhteisjakauma (jota ei käsitellä tällä kurssilla;

Lisätiedot

b) Arvonnan, jossa 50 % mahdollisuus saada 15 euroa ja 50 % mahdollisuus saada 5 euroa.

b) Arvonnan, jossa 50 % mahdollisuus saada 15 euroa ja 50 % mahdollisuus saada 5 euroa. 2.9. Epävarmuus ja odotetun hyödyn teoria Testi. Kumman valitset a) 10 euroa varmasti. b) Arvonnan, jossa 50 % mahdollisuus saada 15 euroa ja 50 % mahdollisuus saada 5 euroa. Odotettu arvo 0,5* 15 + 0,5*5

Lisätiedot

Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio

Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio 17.11.2015/1 MTTTP5, luento 17.11.2015 Luku 5 Parametrien estimointi 5.1 Piste-estimointi Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla

Lisätiedot

Mat Sovellettu todennäköisyyslasku A

Mat Sovellettu todennäköisyyslasku A TKK / Systeemianalyysin laboratorio Nordlund Mat-.090 Sovellettu todennäköisyyslasku A Harjoitus 7 (vko 44/003) (Aihe: odotusarvon ja varianssin ominaisuuksia, satunnaismuuttujien lineaarikombinaatioita,

Lisätiedot

Testejä suhdeasteikollisille muuttujille

Testejä suhdeasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman

Lisätiedot

Maximum likelihood-estimointi Alkeet

Maximum likelihood-estimointi Alkeet Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X

Lisätiedot

4. laskuharjoituskierros, vko 7, ratkaisut

4. laskuharjoituskierros, vko 7, ratkaisut 4. laskuharjoituskierros, vko 7, ratkaisut D1. Kone valmistaa kuulalaakerin kuulia, joiden halkaisija vaihtelee satunnaisesti. Halkaisijan on oltava tiettyjen rajojen sisällä, jotta kuula olisi käyttökelpoinen.

Lisätiedot

Muuttujien eliminointi

Muuttujien eliminointi 228 Muuttujien eliminointi Toistuvat alilauseet voidaan evaluoida kerran ja niiden arvo talletetaan käytettäväksi aina tarvittaessa Tarkastellaan muuttujien eliminointi -algoritmia lausekkeen P(Murto jussikäy,

Lisätiedot

Käytetään satunnaismuuttujaa samoin kuin tilastotieteen puolella:

Käytetään satunnaismuuttujaa samoin kuin tilastotieteen puolella: 8.1 Satunnaismuuttuja Käytetään satunnaismuuttujaa samoin kuin tilastotieteen puolella: Esim. Nopanheitossa (d6) satunnaismuuttuja X kertoo silmäluvun arvon. a) listaa kaikki satunnaismuuttujan arvot b)

Lisätiedot

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. Luentokuulustelujen esimerkkivastauksia. Pertti Palo. 30.

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. Luentokuulustelujen esimerkkivastauksia. Pertti Palo. 30. FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa Luentokuulustelujen esimerkkivastauksia Pertti Palo 30. marraskuuta 2012 Saatteeksi Näiden vastausten ei ole tarkoitus olla malleja vaan esimerkkejä.

Lisätiedot

Matemaattinen tilastotiede. Erkki Liski Matematiikan, Tilastotieteen ja Filosofian Laitos Tampereen Yliopisto

Matemaattinen tilastotiede. Erkki Liski Matematiikan, Tilastotieteen ja Filosofian Laitos Tampereen Yliopisto Matemaattinen tilastotiede Erkki Liski Matematiikan, Tilastotieteen ja Filosofian Laitos Tampereen Yliopisto Alkusanat Tämä moniste perustuu vuosina 2002-2004 pitämiini matemaattisen tilastotieteen luentoihin

Lisätiedot

Tilastollinen päättely, 10 op, 4 ov

Tilastollinen päättely, 10 op, 4 ov Tilastollinen päättely, 0 op, 4 ov Arto Luoma Matematiikan, tilastotieteen ja filosofian laitos Tilastotiede 3304 TAMPEREEN YLIOPISTO Syksy 2006 Kirjallisuutta Garthwaite, Jolliffe, Jones Statistical Inference,

Lisätiedot

Väliestimointi (jatkoa) Heliövaara 1

Väliestimointi (jatkoa) Heliövaara 1 Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).

Lisätiedot

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een 031021P Tilastomatematiikka (5 op) kertausta 2. vk:een Jukka Kemppainen Mathematics Division 2. välikokeeseen Toinen välikoe on la 5.4.2014 klo. 9.00-12.00 saleissa L1,L3 Koealue: luentojen luvut 7-11

Lisätiedot

Parametrin estimointi ja bootstrap-otanta

Parametrin estimointi ja bootstrap-otanta Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista

Lisätiedot

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 9. luento. Pertti Palo

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 9. luento. Pertti Palo FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa 9. luento Pertti Palo 22.11.2012 Käytännön asioita Eihän kukaan paikallaolijoista tee 3 op kurssia? 2. seminaarin ilmoittautuminen. 2. harjoitustyön

Lisätiedot

Jos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan

Jos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan 17.11.2006 1. Kahdesta kohteesta (A ja K) kerättiin maanäytteitä ja näistä mitattiin SiO -pitoisuus. Tulokset (otoskoot ja otosten tunnusluvut): A K 10 16 Ü 64.94 57.06 9.0 7.29 Oletetaan mittaustulosten

Lisätiedot

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een 031021P Tilastomatematiikka (5 op) kertausta 2. vk:een Jukka Kemppainen Mathematics Division 2. välikokeeseen Toinen välikoe on la 31.03.2012 klo. 9.00-12.00 saleissa L1,L3 Jukka Kemppainen Mathematics

Lisätiedot

Harjoitus 2: Matlab - Statistical Toolbox

Harjoitus 2: Matlab - Statistical Toolbox Harjoitus 2: Matlab - Statistical Toolbox Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen tavoitteet Satunnaismuuttujat ja todennäköisyysjakaumat

Lisätiedot

Monte Carlo -menetelmä optioiden hinnoittelussa (valmiin työn esittely)

Monte Carlo -menetelmä optioiden hinnoittelussa (valmiin työn esittely) Monte Carlo -menetelmä optioiden hinnoittelussa (valmiin työn esittely) 17.09.2015 Ohjaaja: TkT Eeva Vilkkumaa Valvoja: Prof. Harri Ehtamo Työn saa tallentaa ja julkistaa Aalto-yliopiston avoimilla verkkosivuilla.

Lisätiedot

Mat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:

Mat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat: Mat-.9 Sovellettu todennäköisyyslasku A Mat-.9 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Moniulotteiset jakaumat Diskreetti jakauma, Ehdollinen jakauma, Ehdollinen odotusarvo, Jatkuva

Lisätiedot

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut Mat-2.091 Sovellettu todennäköisyyslasku /Ratkaisut Aiheet: Yhteensopivuuden testaaminen Homogeenisuuden testaaminen Riippumattomuuden testaaminen Avainsanat: Estimointi, Havaittu frekvenssi, Homogeenisuus,

Lisätiedot

Pohdiskeleva ajattelu ja tasapainotarkennukset

Pohdiskeleva ajattelu ja tasapainotarkennukset Pohdiskeleva ajattelu ja tasapainotarkennukset Sanna Hanhikoski 24.3.2010 Sisältö Pohdiskeleva ajattelu Nashin tasapainotarkennukset Täydellinen tasapaino Täydellinen bayesiläinen tasapaino Vaiheittainen

Lisätiedot

Tilastollisia peruskäsitteitä ja Monte Carlo

Tilastollisia peruskäsitteitä ja Monte Carlo Tilastollisia peruskäsitteitä ja Monte Carlo Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tilastollisia peruskäsitteitä ja Monte Carlo 1/13 Kevät 2003 Tilastollisia

Lisätiedot

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1 Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että

Lisätiedot

1. TILASTOLLINEN HAHMONTUNNISTUS

1. TILASTOLLINEN HAHMONTUNNISTUS 1. TILASTOLLINEN HAHMONTUNNISTUS Tilastollisissa hahmontunnistusmenetelmissä piirteitä tarkastellaan tilastollisina muuttujina Luokittelussa käytetään hyväksi seuraavia tietoja: luokkien a priori tn:iä,

Lisätiedot

Järvitesti Ympäristöteknologia T571SA 7.5.2013

Järvitesti Ympäristöteknologia T571SA 7.5.2013 Hans Laihia Mika Tuukkanen 1 LASKENNALLISET JA TILASTOLLISET MENETELMÄT Järvitesti Ympäristöteknologia T571SA 7.5.2013 Sarkola Eino JÄRVITESTI Johdanto Järvien kuntoa tutkitaan monenlaisilla eri menetelmillä.

Lisätiedot

The Metropolis-Hastings Algorithm

The Metropolis-Hastings Algorithm The Metropolis-Hastings Algorithm Chapters 6.1 6.3 from Monte Carlo Statistical Methods by Christian P. Robert and George Casella 08.03.2004 Harri Lähdesmäki The Metropolis-Hastings Algorithm p. 1/21 Taustaa

Lisätiedot

2. TILASTOLLINEN TESTAAMINEN...

2. TILASTOLLINEN TESTAAMINEN... !" # 1. 1. JOHDANTO... 3 2. 2. TILASTOLLINEN TESTAAMINEN... 4 2.1. T-TESTI... 4 2.2. RANDOMISAATIOTESTI... 5 3. SIMULOINTI... 6 3.1. OTOSTEN POIMINTA... 6 3.2. TESTAUS... 7 3.3. TESTIEN TULOSTEN VERTAILU...

Lisätiedot

4.0.2 Kuinka hyvä ennuste on?

4.0.2 Kuinka hyvä ennuste on? Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki

Lisätiedot

Esimerkki: Tietoliikennekytkin

Esimerkki: Tietoliikennekytkin Esimerkki: Tietoliikennekytkin Tämä Mathematica - notebook sisältää luennolla 2A (2..26) käsitellyn esimerkin laskut. Esimerkin kuvailu Tarkastellaan yksinkertaista mallia tietoliikennekytkimelle. Kytkimeen

Lisätiedot

ORMS2020 Päätöksenteko epävarmuuden vallitessa Syksy 2008

ORMS2020 Päätöksenteko epävarmuuden vallitessa Syksy 2008 ORMS2020 Päätöksenteko epävarmuuden vallitessa Syksy 2008 Harjoitus 4 Ratkaisuehdotuksia 1. Olkoon herra K.:n hyötyfunktio u(x) = ln x. (a) Onko herra K. riskinkaihtaja, riskinrakastaja vai riskineutraali?

Lisätiedot

/1. MTTTP5, luento Normaalijakauma (jatkuu) Binomijakaumaa voidaan approksimoida normaalijakaumalla

/1. MTTTP5, luento Normaalijakauma (jatkuu) Binomijakaumaa voidaan approksimoida normaalijakaumalla 17.11.2016/1 MTTTP5, luento 17.11.2016 3.5.5 Normaalijakauma (jatkuu) Binomijakaumaa voidaan approksimoida normaalijakaumalla likimain Jos X ~ Bin(n, p), niin X ~ N(np, np(1 p)), kun n suuri. 17.11.2016/2

Lisätiedot

Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle

Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle - Sisältö - - - Varianssianalyysi Varianssianalyysissä (ANOVA) testataan oletusta normaalijakautuneiden otosten odotusarvojen

Lisätiedot

6. laskuharjoitusten vastaukset (viikot 10 11)

6. laskuharjoitusten vastaukset (viikot 10 11) 6. laskuharjoitusten vastaukset (viikot 10 11) 1. a) Sivun 102 hypergeometrisen jakauman määritelmästä saadaan µ µ 13 39 13! 13 12 11 10 9 µ 0! 8! 1! 2 2! 2 1 0 49 48! 47!! 14440 120 31187200 120 1287

Lisätiedot

Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot