Jos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia keskenään
|
|
- Timo-Pekka Laine
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Viime kerralla Johdatus hierarkisiin malleihin Vaihtokelpoisuus Slide 1 Hierarkinen malli Esimerkki: sydäntautien hoidon tehokkuus Jos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia keskenään Hierarkinen malli - oletetaan sairaalat vaihtokelpoisiksi Slide 2 - oletetaan samassa sairaalassa hoidetut potilaat vaihtokelpoisiksi keskenään
2 Vaihtokelpoisuus Havainnot y 1,..., y n ovat vaihtokelpoisia yhteisjakaumassaan jos p(y 1,..., y n ) on invariantti indeksien (1,..., n) permutaatioille Parametrit θ 1,..., θ J ovat vaihtokelpoisia yhteisjakaumassaan jos p(θ 1,..., θ J ) on invariantti indeksien (1,..., J ) permutaatioille Slide 3 Vaihtokelpoisuuden yksinkertaisin muoto (ei ainoa) on riippumattomat näytteet priori- tai populaatiojakaumasta J p(θ φ) = p(θ j φ) j=1 Luento 7 Yleistä laskennasta mm. (luvut 10 ja 12) - karkea estimointi - posteriorimoodit - kuinka monta simulaationäytettä tarvitaan Slide 4 Monte Carlo (luku 11) - suora simulointi - hiladiskretointi - hylkäyspoiminta Markov-ketju Monte Carlo (luku 11) - Gibbs-poiminta - Metropolis- ja Metropolis-Hastings-algoritmit - simulaationäytteiden käyttö - konvergenssidiagnostiikka
3 Jakaumista Yhteisjakauman faktorointi erilaisiin osiin - ehdollinen posteriorijakauma - marginaalinen posteriorijakauma - esim. p(θ y) = p(γ, φ y) = p(γ φ, y)p(φ y) Normalisoidut ja normalisoimattomat jakaumat Slide 5 - usein laskennassa riittää normalisoimaton jakauma - q(θ y) on normalisoimaton tiheysjakauma jos q(θ y)/ p(θ y) on vakio joka rippuu vain y:stä - esim. p(y θ) p(θ) on normalisoimaton posteriorijakauma Log-tiheydet - yli- ja alivuotojen välttämiseksi laskenta usein suoritettava log-tiheyksillä - potenssiin korotus kannattaa tehdä mahdollisimman myöhään - esim. Metropolis-algoritmissa tiheyksien suhde lasketaan log-tiheyksien erotuksena Karkea estimointi Ennen tarkeampien laskennallisten menetelmien käyttöä on usein hyvä muodostaa karkea estimaatti - alkuarvaus monimutkaisemmalle algoritmille - monimutkaisemman algoritmin järkevyystarkastus - joillekin monimutkaisille malleille karkean estimaatin muodostaminen voi olla vaikeampaa kuin suoraan monimutkaisemman menetelmän käyttö Slide 6 Hierarkiset mallit - approksimoidaan hyperparametrit karkeasti Posteriorimoodit - etsitään yhteis- tai marginaalijakauman moodi(t) optimointialgoritmilla - muodostetaan normaali-, sekanormaali- tai vastaava approksimaatio - käytetään suoraan, ehdotusjakaumana tai alkuarvausten muodostamisessa - monimutkaisemmilla malleilla posteriorijakauma voi olla hvyin vino ja moodi ei kuvaa hyvin posteriorijakaumaa
4 Variaatiolaskenta* Valitaan parametrisoitu approksimaatio joka analyttisesti mielyttävää muotoa ja etsitään parametrit joiden avulla approksimaatio mahdollisimman hyvä - ensemble learning - mean field approach - muita Slide 7 Monte Carlo menetelmiin verrattuna sopivan approksimaation valitseminen uuteen ongelmaan työläämpää, mutta kun approksimaatio valittu ja validoitu, laskenta on paljon nopeampaa Soveltuvat erityisesti hyvin kun dataa hyvin paljon ja uuden datan saapuessa laskentanopeus kriittinen Voidaan käyttää yhdessä Monte Carlon kanssa Monte Carlo - historiaa* Käytetty jo ennen tietokoneita, esim. - Buffon (1700-luku) - De Forest, Darwin, Galton (1800-luku) - Pearson (1800-luku) - Gosset (eli Student, 1908) Slide 8 "Monte Carlo method" termiä ehdotti von Neumann, Ulam tai Metropolis 1940-luvun lopulla - von Neumann, Ulam ja Metropolis työskentelivät yhdessä atomipommi-projektissa - Metropolis ja Ulam, "The Monte Carlo Method", 1949 Bayes-menetelmien käyttäjille vasta 1990 luvulla riittävästi halpaa laskenta-aikaa - tätä ennen käyttö vähäistä, vaikka bayesilaisakin osallistui teorian ja menetelmien kehittämiseen
5 Monte Carlo Perusidea on poimia simulaationäytteitä jakaumasta - näitä näytteitä voidaan käsitellä aivan samalla tavalla kuin havaintoja yleensäkin Näytteiden avulla helppo - laskea odotusarvoja ja hajontoja Slide 9 - laskea kvantiileja - piirtää histogrammeja - marginalisoida - jne. Suora simulointi (direct simulation) Olette jo suoraa simulointia käyttäneet Perusoletus, että mahdollisuus tuottaa (pseudo)satunnaislukuja uniformijakaumasta - bayesilaisessa mallintamisessa hyvät pseudosatunnaislukugenerattorit oikein käytettynä riittäviä (esim. Matlabin generaattori on hyvä) Slide 10 Perusjakaumista voidaan poimia suoraan perusalgoritmeilla Yksiulotteista voidaan poimia inverse-cdf-menetelmällä Jakauma voidaan myös faktroida, jolloin poimitaan ensin marginaalijakaumasta ja sitten ehdollisista jakaumista
6 Simulointi perusjakaumista* Esim: Box-Muller -menetelmä: Jos U 1 ja U 2 ovat riippumattomia näytteitä jakaumasta U(0, 1), ja X 1 = 2 log(u 1 ) cos(2πu 2 ) X 2 = 2 log(u 1 ) sin(2πu 2 ) niin X 1 ja X 2 ovat riippumattomia näytteitä jakaumasta N(0, 1) Slide 11 - ei nopein vaihtoehto trigonometristen laskutoimitusten vuoksi - erilaisia vaihtoehtoja normaalijakaumalle reilu kymmenen - Matlabissa käytetään nopeaa Ziggurat-menetelmää Usein perusjakaumille valmiit funktiot - valitettavasti Matlabissa uniformia ja normaalia lukuunottamatta todella hitaat toteutukset hyvistä algoritmeista huolimatta Perusjakaumille algoritmeja kirjoissa - valitettavasti painovirheiden vuoksi tulokset aina tarkistettava Montako simulaationäytettä tarvitaan? Tuntemattoman suureen odotusarvo E(θ) 1 L l θ (l) jos L suuri ja θ (l) riippumattomia näytteitä, voidaan olettaa tämän odotusarvon olevan normaalijakautunut varianssilla σ 2 θ /L Slide 12 - tämä varianssi on riippumaton jakauman ulottuvuuksien määrästä - yhteenlaskettu varianssi on summa datasta johtuvasta epävarmuudesta ja Monte Carlosta johtuvasta epävarmuudesta σθ 2 + σ θ 2 /L = σ θ 2 (1 + 1/L) - jos L = 100, hajonta kasvaa kertoimella 1 + 1/L = eli Monte Carlo -virhe on lähes olematon
7 Montako simulaationäytettä tarvitaan? Posterioritodennäköisyys p(θ A) 1 L I (θ (l) A) l Slide 13 missä I (θ (l) A) = 1 jos θ (l) A - I ( ) binomijakautuneita parametrilla p(θ A) - binomijakauman hajonta on p(1 p)/l - jos L = 100 ja p noin 0.5, p(1 p)/l = 0.05 eli saadaan 5%-yksikön tarkkuus - tarvitaan L = 2500 simulaationäytettä, jotta tarkkuus 1%-yksikkö Pienten todennäköisyyksien arvioimiseen tarvitaan paljon näytteitä - jotta p voidaan approksimoida hyvin, pitää riittävän monen näyteeen toteuttaa θ (l) A, joten oltava L 1/p Montako simulaationäytettä tarvitaan? Kvantiilit - kun halutaan q-kvantiili, valitaan a siten, että p(θ < a) = q eli Slide 14 1 I (θ (l) < a) q L l - jotta a voidaan approksimoida hyvin, pitää riittävän monen näyteeen toteuttaa θ (l) < a tai θ (l) > a, joten oltava L 1/q ja L 1 1/q
8 Montako simulaationäytettä tarvitaan?* Tapauskohtaisesti voidaan approksimoida hajonta Monte Carlon epävarmuus voidaan approksimoida tietenkin myös simuloimalla - käytetään approksimoivaa jakaumaa simulaationäytteille, jonka avulla voidaan poimia näytteitä yhteenvetolukujen jakaumista Slide 15 Esim. approksimoidaan diskreetillä-jakaumalla, jonka todennäköisyydet Dirichlet-jakautuneita - toimii myös jos yhteenvetojakauma ei-normaali - Rubin (1981) nimesi tämän Bayesian bootstrap:iksi Montako simulaationäytettä tarvitaan? Osittain analyyttisesti laskeminen - usein jakauma faktoroitu siten, että alin taso laskettavissa myös suljetussa muodossa annettuna hyperparametrit E(θ) 1 E(θ φ (l) ) L l Slide 16 missä φ (l) näytteitä hyperparametrien jakaumasta - erityisesti prediktiivisille jakaumille usein käytettävissä Valmennuskurssiesimerkki - todennäköisyys, että A-koulun efekti suurempi kuin 50 - pelkästään simuloimalla 10000:sta simulaationäytteestä vain 3 suurempia kuin 50 - Pr(θ 1 > 50 µ, τ, y) voidaan laskea analyytisesti (normaalijakauma), jolloin suhteelliseen hyvään tarkkuuteen riittää 200 simulaationäytettä
9 Hiladiskretointi Olette jo hiladiskretointia käyttäneet Diskretoidaan paramteriavaruus hilassa ja lasketaan diskreetin jakauman normalisointitermi Diskreetistä jakaumasta helppo poimia näytteitä Slide 17 Ulottuvuuksien kasvaessa hilassa olevien pisteiden määrä kasvaa exponentialisesti Hylkäyspoiminta (rejection sampling) Valitaan ehdotusjakauma g(θ) (proposal distribution) josta helppo simuloida näytteitä ja joka muistuttaa kiinnostavaa jakaumaa p(θ y) q(θ y) - molempien jakaumien on oltava aitoja (proper), mutta voivat olla normalisoimattomia - on oltava olemassa tunnettu vakio M siten, että kaikille θ pätee Slide 18 q(θ y) Mg(θ) 1 Algoritmi 1. poimi θ ehdotusjakaumasta g(θ) 2. hyväksy θ todennäköisyydellä q(θ y)/(mg(θ)) jos θ hylätään, palaa askeleeseen 1 - hyväksytyt θ:t ovat näytteitä jakaumasta p(θ y) Esim7_1.m
10 Hylkäyspoiminta (rejection sampling) Toimii jos ehdotusjakauma g on hyvä approksimaatio q:lle - jos ehdotusjakauma g on hyvin erilainen, hylkäysten määrä on suuri ja todellisia näytteitä saadaan hitaasti - keskimäärinen hylkäystodennäköisyys kertoo menetelmän toimivuuden Slide 19 Yksiulotteisille log-konkaaveille ja lähes log-konkaaveille jakaumille tehokkaita adaptiivisia ehdotusjakauman muodostusalgoritmeja Ulottuvuuksien määrän kasvaessa hyvän ehdotusjakauman valitseminen vaikeampaa - esim: q ja p molemmat normaalijakaumia σ q = 1.01σ p - jos N = 1000 pitää olla M hyväksymistodennäköisyys on 1/M Painotuspoiminta (importance sampling) (s. 342)* Muistuttaa hylkäyspoimintaa, mutta painot voivat olla myös suurempia kuin 1 Perusmenetelmä ei tuota näytteitä kiinnostavasta jakaumasta vaan estimoi f (θ):n odotusarvon seuraavasti l E( f (θ)) w l f (θ (l) ) l w, missä w l q(θ (l) ) l g(θ (l) ) Slide 20 Esim7_2.m Luotettavuuden arviointi vaikeaa, jos ehdotusjakauman tiheys hyvin pieni alueilla, missä kiinnostavan jakauman tiheys ei ole hyvin pieni - painojen varianssista voidaan yrittää arvioida efektiivisten näytteiden määrä Painotuspoiminta uudelleen-poiminalla - p(θ y) approksimoidaan diskreetillä jakaumalla, joka saa arvoja pisteissä jotka poimittu ehdotujakaumasta g(θ) ja tiheysarvot ovat normalisoidut painot - tuottaa näytteitä kiinnostavasta jakaumasta
11 Markov-ketju Monte Carlo (MCMC) Markov-ketju - Markov-ketjujen ominaisuuksia käsitellään mm. Stokastiset prosessit -kurssilla - satunnaismuuttujien sarja θ 1, θ 2,..., jolle pätee kaikilla t:n arvoilla, että θ t :n jakauma riippuu vain θ t 1 :stä (ensimmäisen asteen) - aloituspiste θ 0 Slide 21 - siirtymäjakauma T t (θ t θ t 1 ) (voi riippua t:stä) - sopivasti valitun Markov-ketjun stationäärinen jakauma on p(θ y) - peräkkäiset simulaationäytteet eivät ole riippumattomia Kirjan perustelut MCMC-menetelmille hyvin pintapuolisia - tällä kurssilla oletetaan, että esitetyt menetelmät toimivat - jatkokurssilla voidaan tutkia tarkemmin miksi ne toimivat ja millä säännöillä voidaan yhdistellä ja muokata menetelmiä ja luoda uusia menetelmiä Gibbs-poiminta Tämän nimen antoivat Geman & Geman (1984) fysiikassa tunnetaan myös nimellä heat bath method Poimitaan näytteitä vuorotellen jokaisen parametrin täydellisestä ehdollisesta jakaumasta (full condtional distribution) annettuna kaikki muut parametrit Slide 22 missä θ t 1 j p(θ j θ t 1 j, y) on kaikki muut parametrit paitsi θ j sen hetkisillä arvoillaan θ t 1 j = (θ t 1,..., θ t j 1, θ t 1 j+1,..., θ t 1 d ) - yhden aika-askeleen t aikana päivitetään vuorotellen jokainen θ j
12 Gibbs-poiminta Esimerkki: yksi kaksiulotteinen havainto (y 1, y 2 ) - normaalijakaumamalli tuntemattomalla keskiarvolla ja tunnettulla kovarianssilla θ 1 y N y 1, 1 ρ ρ 1 θ 2 y 2 Slide 23 - ehdolliset jakaumat θ 1 θ 2, y N(y 1 + ρ(θ 2 y 2 ), 1 ρ 2 ) θ 2 θ 1, y N(y 2 + ρ(θ 1 y 1 ), 1 ρ 2 ) Matlab-demo Gibbs-poiminta Käytettäessä semikonjugaattisia prioreja (ja hyperprioreja) voidaan monille malleille laskea täydet ehdolliset jakaumat analyyttisesti ja voidaan poimia näytteitä suoraan - esim. hierarkinen normaalijakaumamalli - BUGS-ohjelma Slide 24 Jos joku ehdollinen jakauma ei helppoa muotoa, voidaan käyttää myös monia tehokkaita yleisalgoritmeja yksiulotteisesta jakaumasta poimimiseen Joskus päivitetään yhtäaikaa useampaa parametria annettuna muut paramterit (blocking)
13 Metropolis-algoritmi Metropolis-algoritmi ja sen yleistykset ovat kaikkien MCMC-algoritmien perusta Algoritmi Slide alkupiste θ 0 2. t = 1, 2,... (a) poimi ehdotus θ ehdotusjakaumasta J t (θ θ t 1 ) ehdotusjakauman pitää olla symmetrinen, eli J t (θ a θ b ) = J t (θ b θ a ), kaikille θ a, θ b (b) laske suhde (c) aseta r = p(θ y) p(θ t 1 y) θ t θ todennäköisyydellä min(r, 1) = θ t 1 muuten - siirtymäjakauma on sekoitus pistemassaa pisteessä θ t = θ t 1 ja ehdotusjakaumaa J t (θ θ t 1 ) Metropolis-algoritmi Algoritmi Slide alkupiste θ 0 2. t = 1, 2,... (a) poimi ehdotus θ ehdotusjakaumasta J t (θ θ t 1 ) ehdotusjakauman pitää olla symmetrinen, eli J t (θ a θ b ) = J t (θ b θ a ), kaikille θ a, θ b (b) laske suhde (c) aseta r = p(θ y) p(θ t 1 y) θ t θ todennäköisyydellä min(r, 1) = θ t 1 muuten - p(θ y):n sijasta kelpaa normalisoimaton q(θ y) - c-kohta suoritetaan arpomalla yksi luku jakaumasta U(0, 1) - ehdotuksen hylkääminen on myös yksi iteraatio (eli t kasvaa yhdellä)
14 Metropolis-algoritmi Esimerkki: yksi kaksiulotteinen havainto (y 1, y 2 ) - normaalijakaumamalli tuntemattomalla keskiarvolla ja tunnettulla kovarianssilla θ 1 y N y 1, 1 ρ ρ 1 θ 2 y 2 Slide 27 - ehdotusjakauma J t (θ θ t 1 ) = N(θ θ t 1, ) Matlab-demo Metropolis-algoritmi Suhde stokastiseen optimointiin - simuloidussa jäähdytyksessä samankaltainen idea: hyppy todennäköisempään hyväksytään aina, mutta hyppy pienempään todennäköisyyteen hyväksytään jollakin todennäköisyydellä - simuloidussa jäähdytyksessä lämpötilan laskiessa yhä harvempi hyppy pienempään todennäköisyyteen hyväksytään Slide 28 - simuloidun jäähdytyksen tarkoitus löytää moodi Metropolis-algoritmilla näytteitä jakaumasta
15 Miksi Metropolis-algoritmi toimii 1. Todistettava, että simuloitu sarja on Markov-ketju, jolla yksikäsitteinen stationaarinen jakauma 2. Todistettava, että stationaarinen jakauma on haluttu kohdejakauma Slide 29 Miksi Metropolis-algoritmi toimii 1. Todistettava, että simuloitu sarja on Markov-ketju, jolla yksikäsitteinen stationaarinen jakauma; tämä voidaan todistaa osoittamalla että ketju toteuttaa seuraavat ominaisuudet - pelkistymätön (irreducible) - jaksoton (aperiodic) - ei transientti (not transient) Slide 30 näistä kaksi viimeistä pätevät satunnaiskävelylle mille tahansa aidolle jakaumalle triviaaleja poikkeuksia lukuunottamatta ja ensimmäinen pätee jos kaikista tiloista voidaan päästä kaikkiin muihin tiloihin positiivisella todennäköisyydellä
16 Miksi Metropolis-algoritmi toimii Slide Todistettava, että stationaarinen jakauma on haluttu kohdejakauma - aloitetaan algoritmi hetkellä t 1 poimimalla θ t 1 kohdejakaumasta p(θ y) - valitaan kaksi pistettä θ a ja θ b jotka poimittu jakaumasta p(θ y) ja nimetty siten, että p(θ b y) p(θ a y) - todennäköisyystiheys siirtymälle θ a :sta θ b :hen p(θ t 1 = θ a, θ t = θ b ) = p(θ a y)j t (θ b θ a ) missä hyväksymistodennäköisyys on 1 valitun nimeämisen vuoksi - todennäköisyystiheys siirtymälle θ b :stä θ a :han ( ) p(θ t = θ a, θ t 1 p(θa y) = θ b ) = p(θ b y)j t (θ a θ b ) p(θ b y) = p(θ a y)j t (θ a θ b ) mikä on sama kuin siirtymälle θ a :sta θ b :hen, koska J t ( ) symmetrinen - koska yhteisjakauma symmetrinen, θ t :n ja θ t 1 :n marginaalijakaumat ovat sama ja siten p(θ y) on Markov-ketjun stationaarinen jakauma Metropolis-Hastings -algoritmi Metropolis-algoritmin yleistys epäsymmetriselle ehdotusjakaumalle - joskus Hastingsin nimi jätetään mainitsematta - epäsymmetrisyys otetaan huomioon hyppytodennäköisyyttä laskettaessa r = p(θ y)/j t (θ θ t 1 ) p(θ t 1 y)/j t (θ t 1 θ ) = p(θ y)j t (θ t 1 θ ) p(θ t 1 y)j t (θ θ t 1 ) Slide 32 - mahdollistaa tehokkaampia algoritmeja - todistus vastaavasti kuten edellä, mutta nimetään pisteet θ a ja θ b siten, että p(θ b y)j t (θ a θ b ) p(θ a y)j t (θ b θ a )
17 Metropolis-Hastings-Green -algoritmi* Yleisemmin nimellä Reversible jump Markov chain Monte Carlo (RJMCMC) Metropolis-Hastings -algoritmin yleistys kun parametriavarus voi vaihtua - trans-dimensional method - parametriavaruuden muuttuminen otetaan huomioon hyppytodennäköisyyttä laskettaessa Slide 33 - mahdollistaa epävarmuuden mallin rakenteesta Metropolis-algoritmi Ideaalinen ehdotusjakauma on kohdejakauma itse - J (θ θ) p(θ y) kaikille θ - hyväksymistodennäköisyys on 1 - simulaationäytteet riippumattomia - käytännössä ei tietenkään yleensä mahdollista Slide 34 Metropolis-algoritmin optimaalinen hylkäystaajuus on 55 77%, ulottuvuuksien määrästä riippuen Metropolis-algoritmissa voidaan päivittää parametreja yhtäaikaa, ryhmissä tai yksittäin (vrt. Gibbs-poiminta)
18 Gibbs-poiminta Gibbs-poiminta on Metropolis-algoritmin erikoistapaus - ehdotusjakaumana ehdollinen jakauma - hyväksymistodennäköisyys 1 (ks. kirja s. 293) Gibbs-poiminnassa ehdollisista jakaumista voidaan poimia esim. Metropolis-algoritmilla, jos ehdollinen jakauma ei helppoa muotoa Slide 35 Satunnaiskävely* Satunnaiskävelyn vuoksi keskimäärinen näytteiden määrä T, joka tarvitaan matkaan jakauman laidasta toiseen - Gibbs: T (σ marginal /σ conditional ) 2 esimerkissä T 3 - Metropolis: T (σ max /σ min ) 2 esimerkissä T 9 Slide 36 Satunnaiskävelyä voidaan vähentää - uudelleen parametrisoimalla - satunnaiskävelyä vähentävillä algoritmeilla
19 Päättely MCMC-näytteistä MCMC-ketjun alkupää ei käyttökelpoinen ennenkuin alkupiste unohtunut - jätetään ketjun alkupäästä näytteitä käyttämätä (burn-in) MCMC-näytteet eivät riippumattomia - Monte Carlo -estimaatit silti päteviä - Monte Carlo -estimaatin epävarmuuden arviointi vaikeampaa Slide 37 - tästä olikin jo esimerkissä - mahdollista arvioida efektiivinen näytteiden määrä ajamalla rinnakkaisia riippumattomia ketjuja käyttämällä aikasarja-analyysin menetelmiä Sisäänajo (burn-in) Yhden ketjun tapauksessa poista alkupäästä niin monta näytettä, että jäljelle jääneestä ketjusta mikä tahansa (riittävän pitkä) pätkä ei erotu muista Usean ketjun tapauksessa poista alkupäästä niin monta näytettä, että eri ketjut eivät erotu toisistaan Slide 38
20 Ohennus (thinning) Ei välttämätöntä Ohennuksessa talletetaan vain joka k:s MCMC-näyte - valitsemalla k riittävän isoksi jäljelle jääneet näytteet lähes riippumattomia - säästää muistia ja levytilaa - nopeuttaa simulaationäytteisiin perustuvaa päättelyä Slide 39 - helpottaa Monte Carlo -epävarmuuden arvioimista (jos k osattu arvioida oikein) Yksinkertainen tapa on tutkia autokorrelaatioita ja valita k siten, että ohennetun ketjun autokorrelaatio on nollaa suuremmille etäisyyksille (lähes) nolla - tästä enemmän ensi viikolla Useita ketjua eri alkuarvoilla Eri alkuarvoilla aloitettujen ketjujen pitäisi konvergoiduttua ei ketjuja (tai niihin perustuvia päättelyitä) voi erottaa toisistaan Matlab-esimerkki Verrataan yksittäisten ketjujen variansseja (within) ja ketjuen välistä varianssia (between) Slide 40 Jatkuu ensi viikolla...
Log-tiheydet - yli- ja alivuotojen välttämiseksi laskenta usein suoritettava log-tiheyksillä
Luento 7 Yleistä laskennasta mm. (luvut 10 ja 12) - karkea estimointi - posteriorimoodit - kuinka monta simulaationäytettä tarvitaan Monte Carlo (luku 11) Slide 1 - suora simulointi - hiladiskretointi
LisätiedotLuento 11. Muutama hyödyllinen Monte Carlo-menetelmä. Muutama hyödyllinen Monte Carlo-menetelmä. Mitä muuta hyödyllistä Gelman et al kirjasta löytyy
Luento 11 Muutama hyödyllinen Monte Carlo-menetelmä Mitä muuta hyödyllistä Gelman et al kirjasta löytyy Kertaus koko kurssiin - tenttiinlukuohjeet Slide 1 Muutama hyödyllinen Monte Carlo-menetelmä Hylkäyspoiminta
Lisätiedot- kuinka monta riippuvaa simulaationäytettä tarvitaan. - hyödyllisiä perus-mcmc-menetelmien parannuksia
Luento 8 Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - simulaationäytteiden käyttö - kuinka monta riippuvaa simulaationäytettä tarvitaan - hyödyllisiä perus-mcmc-menetelmien
LisätiedotLuento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori.
Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali
LisätiedotViime kerralla. Luento 6. Normaalijakauma-approksimaatio - moodi. - havaittu informaatio
Viime kerralla Normaalijakauma-approksimaatio - moodi - havaittu informaatio Suurten otosten teoria - asymptoottinen normaalius ja konsistenttisuus Slide 1 - vastaesimerkkejä Bayesilaisen päättelyn frekvenssiarviointi
LisätiedotTentin materiaali. Sivia: luvut 1,2, , ,5. MacKay: luku 30. Gelman, 1995: Inference and monitoring convergence
Tentin materiaali Sivia: luvut 1,2,3.1-3.3,4.1-4.2,5 MacKay: luku 30 Gelman, 1995: Inference and monitoring convergence Gelman & Meng, 1995: Model checking and model improvement Kalvot Harjoitustyöt Tentin
LisätiedotBayesilaisen mallintamisen perusteet
Bayesilaisen mallintamisen perusteet Johdanto Yksiparametrisia malleja Moniparametrisia malleja Slide 1 Päättely suurten otosten tapauksessa ja bayesilaisen päättelyn frekvenssiominaisuudet Hierarkiset
Lisätiedot- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten
Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen
LisätiedotKuinka monta riippumatonta simulaationäytettä tarvitaan. - tämä varianssi on riippumaton jakauman ulottuvuuksien määrästä
Viime kerralla Karkea laskenta Kuinka monta riippumatonta simulaationäytettä tarvitaan Monte Carlo (luku 11) - suora simulointi - hiladiskretointi Slide 1 - hylkäyspoiminta Markov-ketju Monte Carlo - Gibbs-poiminta
Lisätiedotp(θ 1 y) on marginaalijakauma p(θ 1 θ 2, y) on ehdollinen posteriorijakauma Viime kerralla Termejä viime kerralta Marginalisointi Marginaalijakauma
Viime kerralla Marginalisointi Marginaalijakauma Posteriorijakauman faktorointi Ehdollinen posteriorijakauma Slide 1 Posteriorijakaumasta simulointi Normaalijakauma - tuntematon keskiarvo ja varianssi
LisätiedotBinomi Jacob Bernoulli ( ), Bayes ( ) Normaali de Moivre ( ), Laplace ( ), Gauss ( )
Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Bayesläiset piste- ja väliestimaatit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
Lisätiedotθ 1 θ 2 θ n y i1 y i2 y in Luento 6 Hierarkkinen malli Johdatus hierarkkisiin malleihin - joskus myös termillä multilevel model
Luento 6 Johdatus hierarkkisiin malleihin - joskus myös termillä multilevel model Vaihtokelpoisuus (exchangeability) Slide 1 Hierarkkinen malli Esimerkki: sydäntautien hoidon tehokkuus - sairaalassa j
LisätiedotP (A)P (B A). P (B) P (A B) = P (A = 0)P (B = 1 A = 0) P (B = 1) P (A = 1)P (B = 1 A = 1) P (B = 1)
Harjoitustehtäviä (erä 1) 1 1. Käytetään yksinkertaisesti Bayesin kaavaa: P (A B) = P (A)P (B A). P (B) Tapauksessa B = 1 saadaan P (A = 0 B = 1) = P (A = 1 B = 1) = P (A = 0)P (B = 1 A = 0) P (A = 1)P
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
LisätiedotMarkov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - odotettu hyöty tai kustannus (expected utility or cost)
Viime kerralla Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - kuinka monta riippuvaa simulaationäytettä tarvitaan - joitakin perus-mcmc-menetelmien parannuksia Slide 1
LisätiedotParametrin estimointi ja bootstrap-otanta
Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista
LisätiedotPosteriorijakauman normaalijakauma-approksimaatio. Usein posteriorijakauma lähestyy normaalijakaumaa kun n
Luento 5 Päättely suurten otosten tapauksessa, n - normaalijakauma-approksimaatio - suurten otosten teoria - asymptoottinen normaalius ja konsistenttisuus - vastaesimerkkejä Slide 1 Bayesilaisen päättelyn
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Frekventistiset vs. bayeslaiset menetelmät Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
LisätiedotTilastotieteen aihehakemisto
Tilastotieteen aihehakemisto hakusana ARIMA ARMA autokorrelaatio autokovarianssi autoregressiivinen malli Bayes-verkot, alkeet TILS350 Bayes-tilastotiede 2 Bayes-verkot, kausaalitulkinta bootstrap, alkeet
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotThe Metropolis-Hastings Algorithm
The Metropolis-Hastings Algorithm Chapters 6.1 6.3 from Monte Carlo Statistical Methods by Christian P. Robert and George Casella 08.03.2004 Harri Lähdesmäki The Metropolis-Hastings Algorithm p. 1/21 Taustaa
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotTutkimustiedonhallinnan peruskurssi
Tutkimustiedonhallinnan peruskurssi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo hannu.toivonen, marko.salmenkivi, inkeri.verkamo@cs.helsinki.fi Helsingin yliopisto Hannu Toivonen, Marko Salmenkivi,
LisätiedotSatunnaislukujen generointi
Satunnaislukujen generointi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Satunnaislukujen generointi 1/27 Kevät 2003 Lähteet Knuth, D., The Art of Computer Programming,
LisätiedotBayesilainen päätöksenteko / Bayesian decision theory
Bayesilainen päätöksenteko / Bayesian decision theory Todennäköisyysteoria voidaan perustella ilman päätösteoriaa, mutta vasta päätösteorian avulla siitä on oikeasti hyötyä Todennäköisyyteoriassa tavoitteena
Lisätiedot6. laskuharjoitusten vastaukset (viikot 10 11)
6. laskuharjoitusten vastaukset (viikot 10 11) 1. a) Sivun 102 hypergeometrisen jakauman määritelmästä saadaan µ µ 13 39 13! 13 12 11 10 9 µ 0! 8! 1! 2 2! 2 1 0 49 48! 47!! 14440 120 31187200 120 1287
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3
Lisätiedot1 + b t (i, j). Olkoon b t (i, j) todennäköisyys, että B t (i, j) = 1. Siis operaation access(j) odotusarvoinen kustannus ajanhetkellä t olisi.
Algoritmien DP ja MF vertaileminen tapahtuu suoraviivaisesti kirjoittamalla kummankin leskimääräinen kustannus eksplisiittisesti todennäköisyyksien avulla. Lause T MF ave = 1 + 2 1 i
LisätiedotTässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:
4. Tyhjentyvyys Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä: Voidaanko päätelmät perustaa johonkin tunnuslukuun t = t(y) koko aineiston y sijasta? Mitä
LisätiedotMTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)
21.11.2017/1 MTTTP5, luento 21.11.2017 Otossuureita ja niiden jakaumia (jatkuu) 4) Olkoot X 1, X 2,..., X n satunnaisotos (, ):sta ja Y 1, Y 2,..., Y m satunnaisotos (, ):sta sekä otokset riippumattomia.
LisätiedotMat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:
Mat-.9 Sovellettu todennäköisyyslasku A Mat-.9 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Moniulotteiset jakaumat Diskreetti jakauma, Ehdollinen jakauma, Ehdollinen odotusarvo, Jatkuva
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotLuku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017
Luku 1 Bayesläiset estimaattorit Lasse Leskelä Aalto-yliopisto 18. lokakuuta 217 1.1 Bayesläiset piste-estimaatit Tarkastellaan datalähdettä, joka tuottaa tiheysfunktion f(x θ) mukaan jakautuneita riippumattomia
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotTeema 8: Parametrien estimointi ja luottamusvälit
Teema 8: Parametrien estimointi ja luottamusvälit Todennäköisyyslaskennan perusteet (Teemat 6 ja 7) antavat hyvän pohjan siirtyä kurssin viimeiseen laajempaan kokonaisuuteen, nimittäin tilastolliseen päättelyyn.
Lisätiedotexp Luento 3 Normaalijakauma (Gaussian) Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli
Luento 3 Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide Cauchy-jakauma Ei-informatiivisista priorijakaumista *-merkatut kalvot
Lisätiedot30A02000 Tilastotieteen perusteet
30A02000 Tilastotieteen perusteet Kertaus 1. välikokeeseen Lauri Viitasaari Tieto- ja palvelujohtamisen laitos Kauppatieteiden korkeakoulu Aalto-yliopisto Syksy 2019 Periodi I-II Sisältö Välikokeesta Joukko-oppi
Lisätiedot8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH
8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH Osa aikasarjoista kehittyy hyvin erityyppisesti erilaisissa tilanteissa. Esimerkiksi pörssikurssien epävakaus keskittyy usein lyhyisiin
LisätiedotMaximum likelihood-estimointi Alkeet
Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotEstimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio
17.11.2015/1 MTTTP5, luento 17.11.2015 Luku 5 Parametrien estimointi 5.1 Piste-estimointi Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotTilastotieteen kertaus. Vilkkumaa / Kuusinen 1
Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotJohdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Bayesläinen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotMoniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?
TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotJohdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka
LisätiedotP(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu
1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)
LisätiedotTilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta
Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 3A Satunnaismuuttujien summa ja keskihajonta Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotLASKENNALLISEN TIETEEN OHJELMATYÖ: Diffuusion Monte Carlo -simulointi yksiulotteisessa systeemissä
LASKENNALLISEN TIETEEN OHJELMATYÖ: Diffuusion Monte Carlo -simulointi yksiulotteisessa systeemissä. Diffuusio yksiulotteisessa epäjärjestäytyneessä hilassa E J ii, J ii, + 0 E b, i E i i i i+ x Kuva.:
Lisätiedot2. Jatkoa HT 4.5:teen ja edelliseen tehtavään: Määrää X:n kertymäfunktio F (x) ja laske sen avulla todennäköisyydet
Tilastotieteen jatkokurssi Sosiaalitieteiden laitos Harjoitus 5 (viikko 9) Ratkaisuehdotuksia (Laura Tuohilampi). Jatkoa HT 4.5:teen. Määrää E(X) ja D (X). E(X) = 5X p i x i =0.8 0+0.39 +0.4 +0.4 3+0.04
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 6A Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotFoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo
FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa 6. luento Pertti Palo 1.11.2012 Käytännön asioita Harjoitustöiden palautus sittenkin sähköpostilla. PalautusDL:n jälkeen tiistaina netistä löytyy
LisätiedotTilastollinen päättely, 10 op, 4 ov
Tilastollinen päättely, 0 op, 4 ov Arto Luoma Matematiikan, tilastotieteen ja filosofian laitos Tilastotiede 3304 TAMPEREEN YLIOPISTO Syksy 2006 Kirjallisuutta Garthwaite, Jolliffe, Jones Statistical Inference,
LisätiedotTilastollinen päättely II, kevät 2017 Harjoitus 1A
Tilastollinen päättely II, kevät 207 Harjoitus A Heikki Korpela 23. tammikuuta 207 Tehtävä. Kertausta todennäköisyyslaskennasta. Ilmoita satunnaismuuttujan Y jakauman nimi ja pistetodennäköisyys- tai tiheysfunktio
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
LisätiedotTilastollinen päättömyys, kevät 2017 Harjoitus 6B
Tilastollinen päättömyys, kevät 7 Harjoitus 6B Heikki Korpela 8. helmikuuta 7 Tehtävä. Monisteen teht. 6... Olkoot Y,..., Y 5 Nµ, σ, ja merkitään S 5 i Y i Y /4. Näytä, että S/σ on saranasuure eli sen
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 3A Normaaliapproksimaatio Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi 2016
LisätiedotBECS Bayesilainen mallintaminen Lyhyt englanti-suomi sanasto
BECS-114.2601 Bayesilainen mallintaminen Lyhyt englanti-suomi sanasto Aki Vehtari ja Jarno Vanhatalo September 23, 2013 Lyhyt englanti-suomi-sanasto kurssin termeistä. Osalle termeistä emme tiedä virallista
Lisätiedotl (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on
HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 018 Harjoitus B Ratkaisuehdotuksia Tehtäväsarja I 1 (Monisteen tehtävä 14) Olkoon f Y (y; θ) tilastollinen malli, jonka
LisätiedotS-114.600 Bayesilaisen mallintamisen perusteet
S-114.600 Bayesilaisen mallintamisen perusteet Laajuus: 2 ov Opettajat: TkT Aki Vehtari, DI Toni Tamminen Slide 1 Sisältö: Bayesilainen todennäköisyysteoria ja bayesilainen päättely. Bayesilaiset mallit
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi
Lisätiedot3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin
3 Yleistä estimointiteoriaa Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin 3.1 Johdanto Tähän mennessä olemme tarkastelleet estimointia
LisätiedotMartingaalit ja informaatioprosessit
4A Martingaalit ja informaatioprosessit Tämän harjoituksen tavoitteena on tutustua satunnaisvektorin informaation suhteen lasketun ehdollisen odotusarvon käsitteeseen sekä oppia tunnistamaan, milloin annettu
Lisätiedotexp p(y θ) = 1 2πσ θ)2 2σ 2(y y N(θ, σ 2 ) Luento 3 Normaalijakauma (Gaussian) Normaalijakauma tunnetulla varianssilla
Luento 3 Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-malli Exponentiaalinen malli Slide 1 Cauchy-jakauma Lisää konjugaattiprioreista Ei-informatiivisista priorijakaumista
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai
Lisätiedot11 Raja-arvolauseita ja approksimaatioita
11 Raja-arvolauseita ja approksimaatioita Tässä luvussa esitellään sellaisia kuuluisia todennäköisyysteorian raja-arvolauseita, joita sovelletaan usein tilastollisessa päättelyssä. Näiden raja-arvolauseiden
LisätiedotKorvausvastuun ennustejakauma bootstrap-menetelmän avulla
Korvausvastuun ennustejakauma bootstrap-menetelmän avulla Sari Ropponen 13.5.2009 1 Agenda Korvausvastuu vahinkovakuutuksessa Korvausvastuun arviointi Ennustevirhe Ennustejakauma Bootstrap-/simulointimenetelmä
LisätiedotTilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä
Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon
LisätiedotOletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen
Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä
LisätiedotPOPULAATIO. Oikeastaan arvot, joista ollaan kiinnostuneita (mitatut numeeriset suureet, luokittelut).
KÄSITTEITÄ POPULAATIO Joukko, jota tutkitaan (äärellinen, ääretön). Oikeastaan arvot, joista ollaan kiinnostuneita (mitatut numeeriset suureet, luokittelut). Näiden välillä ei aina tehdä eroa, kun puhutaan
LisätiedotTilastollisia peruskäsitteitä ja Monte Carlo
Tilastollisia peruskäsitteitä ja Monte Carlo Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tilastollisia peruskäsitteitä ja Monte Carlo 1/13 Kevät 2003 Tilastollisia
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
Lisätiedot/1. MTTTP5, luento Normaalijakauma (jatkuu) Binomijakaumaa voidaan approksimoida normaalijakaumalla
17.11.2016/1 MTTTP5, luento 17.11.2016 3.5.5 Normaalijakauma (jatkuu) Binomijakaumaa voidaan approksimoida normaalijakaumalla likimain Jos X ~ Bin(n, p), niin X ~ N(np, np(1 p)), kun n suuri. 17.11.2016/2
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Tilastollisen merkitsevyyden testaus (+ jatkuvan parametrin Bayes-päättely) Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden
LisätiedotLisätehtäviä ratkaisuineen luentomonisteen lukuihin 2-4 liittyen
MTTTP5, kevät 2016 4.2.2016/RL Lisätehtäviä ratkaisuineen luentomonisteen lukuihin 2-4 liittyen 1. Laitosneuvostoon valitaan 2 professoria, 4 muuta henkilökuntaan kuuluvaa jäsentä sekä 4 opiskelijaa. Laitosneuvostoon
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti
LisätiedotKuva 3.1: Näyte Gaussisesta valkoisest kohinasta ε t N(0, 1) Aika t
Kuva 3.1: Näyte Gaussisesta valkoisest kohinasta ε t N(0, 1) Valkoinen kohina ε t 2 1 0 1 2 Voimme tehdä saman laskun myös yleiselle välille [ a, a], missä 0 < a
LisätiedotTodennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1
Todennäköisyyslaskun kertaus Vilkkumaa / Kuusinen 1 Satunnaismuuttujat ja todennäköisyysjakaumat Vilkkumaa / Kuusinen 2 Motivointi Kokeellisessa tutkimuksessa tutkittaviin ilmiöihin liittyvien havaintojen
LisätiedotYleistetyistä lineaarisista malleista
Yleistetyistä lineaarisista malleista Tilastotiede käytännön tutkimuksessa -kurssi, kesä 2001 Reijo Sund Klassinen lineaarinen malli y = Xb + e eli E(Y) = m, jossa m = Xb Satunnaiskomponentti: Y:n komponentit
LisätiedotEpäyhtälöt ovat yksi matemaatikon voimakkaimmista
6 Epäyhtälöitä Epäyhtälöt ovat yksi matemaatikon voimakkaimmista työvälineistä. Yhtälö a = b kertoo sen, että kaksi ehkä näennäisesti erilaista asiaa ovat samoja. Epäyhtälö a b saattaa antaa keinon analysoida
LisätiedotMatematiikan kotitehtävä 2, MAA 10 Todennäköisyys ja tilastot
Matematiikan kotitehtävä 2, MAA 10 Todennäköisyys ja tilastot Sievin lukio Tehtävien ratkaisut tulee olla esim. Libre officen -writer ohjelmalla tehtyjä. Liitä vastauksiisi kuvia GeoGebrasta ja esim. TI-nSpire
Lisätiedot