- kuinka monta riippuvaa simulaationäytettä tarvitaan. - hyödyllisiä perus-mcmc-menetelmien parannuksia
|
|
- Heidi Hiltunen
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Luento 8 Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - simulaationäytteiden käyttö - kuinka monta riippuvaa simulaationäytettä tarvitaan - hyödyllisiä perus-mcmc-menetelmien parannuksia Slide 1 Konvergenssidiagnostiikka ja sisäänajo MCMC-ketjun alkupää ei käyttökelpoinen ennenkuin alkupiste unohtunut Kun ketju konvergoitunut saadaan näytteitä halutusta jakaumasta Konvergoitumista voidaan tutkia konvergenssidiagnostiikalla - rinnakkaisten riippumattomien ketjujen vertailu Slide 2 - yhden ketjun eri osien vertailu Ennen konvergenssia simuloidut näytteet heitettävä pois - sisäänajo (burn-in)
2 MCMC-näytteet eivät riippumattomia Monte Carlo -estimaatit silti päteviä Monte Carlo -estimaatin epävarmuuden arviointi vaikeampaa - aikasarja-analyysi - ohennus - niputus Slide 3 Mahdollista arvioida efektiivinen näytteiden määrä - ajamalla rinnakkaisia riippumattomia ketjuja - käyttämällä aikasarja-analyysin menetelmiä Useiden ketjujen käyttö Useiden riippumattomien käyttö turvallisempaa kuin yhden Ketjujen alustus - aloita eri ketjut eri alkupisteistä Slide 4 - pyri valitsemaan alkupisteet suuremalla hajonnalla kuin posteriorin oletettu hajonta (overdispersed starting points) onnistuu helposti vain kun hyvä arvaus posteriorin massan muodosta ja sijainnista - aloita jokainen ketju eri satunnaislukusiemenellä
3 Yksittäisen ketjun käyttö Jos simulaatioaika hyvin pitkä voidaan laskentateho käyttää yhteen ketjuun - vältetään useampi sisäänajo Konvergenssidiagnostiikassa sisäänajon poiston jälkeen voidaan vertailla esimerkiksi ketjun ensimmäistä ja viimeistä kolmannesta Slide 5 Ketjujen vertailu Vertaa kiinnostavia skalaariarvoja - parametrit - parametreista laskettavat muut kiinnostavat - tulevien havaintojen ennusteet - log-posterioritiheys Slide 6 - log-prediktiivinen tiheys
4 Visuaalinen tarkastelu Gelman et al. aivan oikein varoittavat luottamasta visuaaliseen trendien tarkasteluun - visuaalinen tarkastelu ei riittävä konvergenssin hyväksymiseksi - visuaalinen tarkastelu kuitenkin usein riittävä konvergenssin hylkäämiseksi - visuaalinen tarkastelu antaa vihjeitä mikä voisi olla vialla Slide 7 - ihmisen näköjärjestelmä on tehokas huomaamaan poikkeavia asioita, joita vaikea muotoilla matemaattisesti - mitä enemmän tarkasteltavia suureita, sitä vaikeampaa on visuaalinen tarkastelu Ketjujen odotusarvojen ja varianssien vertailu (PSRF) m riippumatonta ketjua, jokaisen pituus n (kun ensimmäinen puolisko poistettu) - estimoitavien skalaarien simulaationäytteet ψ i j (i = 1,..., n; j = 1,...,m) Gelman et al.: potential scale reduction factor (PSRF) - perustuu ketjujen odotusarvojen ja varianssien vertailuun Slide 8 - sopii jatkuville jakaumille ja diskreeteille jakaumille, joita voidaan hyvin approksimoida normaalijakaumalla - estimoitavat skaalarit hyvä muuntaa siten, että olisivat mahdollisimman normaalijakautuneita esim. ottamalla logaritmi aidosti positiivisesta suureesta - Gelman et al. poistavat ensimmäisen puoliskon ja vertailevat jälkimmäisiä puoliskoja
5 Ketjujen odotusarvojen ja varianssien vertailu Lasketaan ketjujen välinen varianssi B (between) B = n m 1 m ( ψ. j ψ.. ) 2, missä ψ. j = 1 n j=1 - B/n on ketjujen keskiarvojen varianssi n ψ i j, ψ.. = 1 m i=1 m j=1 ψ. j Slide 9 Lasketaan ketjujen sisäinen varianssi W (within) W = 1 m m j=1 s 2 j, missä s2 j = 1 n 1 n (ψ i j ψ. j ) 2 i=1 Estimoidaan estimoitavan marginaaliposteriorivarianssi var(ψ y) W :n ja B:n painotettuna keskiarvona var + (ψ y) = n 1 W + 1 n n B Ketjujen odotusarvojen ja varianssien vertailu Slide 10 Estimoidaan var(ψ y) W :n ja B:n painotettuna keskiarvona var + (ψ y) = n 1 W + 1 n n B - tämä yliarvioi marginaaliposteriorivarianssin jos alkupisteet ovat riittävän ylihajonneita, koska silloin B suurempi - harhaton stationäärisessä tilassa tai kun n Äärellisellä n, W aliarvioi marginaaliposteriorivarianssin - yksittäiset ketjut eivät ole ehtineet käydä jakauman joka pisteessä, joten niissä on vähemmän vaihtelua - kun n, E(W) var(ψ y) Koska var + (ψ y) yliarvioi ja W aliarvioi, lasketaan var ˆR + = W
6 Ketjujen odotusarvojen ja varianssien vertailu Potentiaalinen skaalanpienennyskerroin (potential scale reduction factor) ˆR = var + W Slide 11 - estimoi kuinka paljon ψ:n tämänhetkisen jakauman skaala voisi pienentyä jos simulaatiota jatkettaisiin rajalle n - R 1, kun n - jos R on iso, on syytä uskoa, että lisäsimulaatio voi parantaa arviota kyseisen estimoitavan skalaarin jakaumasta - jos R ei ole kaikille estimoitaville skalaareille lähes 1, jatka simulaatiota - lähes 1 tarkoittaa usein alle 1.1, mutta joskus voi olla tarvetta tarkempaankin Esim8_1.m Potentiaalinen skaalanpienennyskerroin (PSRF) Vaikka R lähes 1, ketju ei ole välttämättä konvergoitunut - alkupisteet eivät ylihajonneita - poikkeama normaaliudesta - äärellisellä n sattuman vaikutus Slide 12
7 Simulaationäytteisiin perustuvat konvergenssidiagnostiikat Simulaationäytteisiin perustuvat konvergenssidiagnostiikat voivat paljastaa vain jos konvergenssia ei ole tapahtunut - vaikka diagnostiikan mukaan konvergenssi olisi mahdollinen, on myös aina mahdollista, että lähtöpisteiden ja algoritmin yhteisvalinnan sekä sattuman vuoksi yksikään ketju ei ole käynyt alueilla joissa merkittävästi massaa - ongelmallisia esim. suppilomaiset ja multimodaaliset jakaumat Slide 13 Suppilomaisten jakaumien ongelmat Jos ehdotustodennäköisyys valitaan suppilon leveän osan mukaan, todennäköisyys hypätä suppilon kapeaan osaan hyvin pieni - jos kapeasta osasta ei saada näytteitä, voi ongelma jäädä konvergenssidiagnostiikalta huomaamatta Slide 14 - ratkaisuja uudelleen parametrisointi paikallisesti adaptoituvat algoritmit kuten viipalepoiminta
8 Multimodaalisten jakaumien ongelmat Multimodaalisessa jakaumassa todennäköisyys, että käytetty ketju siirtyy moodista toiseen voi olla hyvin pieni - jos moodi ei vaihdu, voi ketju vaikuttaa konvergoituneelta, vaikka toisessa moodissa olla merkittävä määrä todennäköisyysmassaa Slide 15 - ratkaisuja priorilla poistetaan moodeja kehittyneemmät algoritmit käytetään useita kytkettyjä ketjuja eri alkupisteillä Simulaationäytteisiin perustuvat konvergenssidiagnostiikat Joidenkin skalaarien marginaalijakauma voi näyttää konvergoituneelta vaikka yhteisjakauma ei olisi - ei-normaalijakautuneen moniulotteisen konvergenssidiagnostiikka vaikeaa - jos tutkitaan yksittäisiä marginaalijakaumia, useiden vertailujen ongelma Lisäksi PSRF:ssä Slide 16 - jos ketjujen alkupisteet lähekkäin, voi R olla lähes 1, vaikka ei konvergenssia
9 Täydellinen poiminta (perfect sampling)* Joillekin malleille on algoritmeja joissa tiedetään varmasti milloin konvergenssi tapahtunut - mahdollista poimia varmasti riippumattomia näytteitä - algoritmeja kehitetään jatkuvasti eri mallivaihtoehdoille toistaiseksi vain hyvin rajoitetuille malleille Slide 17 Konvergenssidiagnostiikoita Konvergenssidiagnostiikoita on lukuisia, itse olen käyttänyt pääasiassa - useiden ketjujen ajo - visuaalinen tarkastelu - potential scale reduction factor Slide 18 - Kolmogorov-Smirnov statistic sopii myös ei normaalijakautuneille vain riippuumattomille näytteille esitellään myöhemmin tällä luennolla
10 Sisäänajo (burn-in) Gelman et al. tutkivat konvergenssia ketjun loppupuoliskolle - arvioidun konvergenssin jälkeen voidaan alkupuolisko heittää pois ja jatkaa ketjuja kunnes saatu haluttu määrä näytteitä - puoliksi jakaminen turvallista, mutta ei välttämättä tehokasta kuten demossa näkyi Slide 19 Efektiivinen näytteiden määrä Jos ketjun n simulaationäytettä olisivat riippumatomia, ketjujen välinen varianssi B olisi posteriorivarianssin var(ψ y) harhaton estimaatti ja meillä olisi yhteensä mn riippumatonta näytettä Yleisesti MCMC-ketjujen näytteet korreloivat ja B on odotusarvoisesti suurempi kuin var(ψ y) Slide 20 Efektiivinen näytteiden määrä voidaan arvioida seuraavasti n eff = mn var+ (ψ y) B - jos m pieni, tämä on varsin karkea estimaatti - supertehokas simulaatio, missä n eff > mn, mahdollinen, mutta käytännössä epätodennäköinen - Gelman et al. ilmoittavat varmuudeksi min(n eff, mn) Jos efektiivinen näytteiden määrän suhde pieni (alle 5%), arvio hyvin epävarma!
11 Montako simulaationäytettä tarvitaan? Lasketaan tarvittavien näytteiden määrä riippumattomille näytteille Simuloidaan kunnes efektiivinen näytteiden määrä riittävän suuri Slide 21 Ohennus (thinning) Ei välttämätöntä, mutta usein käytetty Ohennuksessa talletetaan vain joka k:s MCMC-näyte - valitsemalla k riittävän isoksi jäljelle jääneet näytteet lähes riippumattomia k > mn/n eff Slide 22 - hukkaa informaatiota - säästää muistia ja levytilaa - nopeuttaa simulaationäytteisiin perustuvaa päättelyä - helpottaa Monte Carlo -epävarmuuden arvioimista (jos k arvioitu oikein)
12 Niputus (batching)* Niputuksessa lasketaan keskiarvo (tai muu tunnusluku) peräkkäisistä k MCMC-näyteestä - valitsemalla k riittävän isoksi nippujen keskiarvot lähes riippumattomia k > mn/n eff - ei hukkaa yhtä paljon informaatiota kuin ohennus Slide 23 - helpottaa konvergenssidiagnostiikkaa ja Monte Carlo -epävarmuuden arvioimista (jos k arvioitu oikein) - nippujen tunnusluvut eivät näytteitä kiinnostavasta jakaumasta Aikasarja-analyysi Autokorrelaatiofunktio - kuvaa eri etäisyydellä toisistaan olevien aikapisteiden välistä korrelaatiota - käytetään myös vertailtaessa algoritmien tehokkuuksia Slide θ 1 θ
13 Aikasarja-analyysi Monte Carlo -tarkkuuksia voidaan aikasarja-analyysilla arvioida osalle yhteenvetoarvoista (esim. odotusarvo) ilman ohennusta Odotusarvolle θ Slide 25 missä τ on summattu autokorrelaatio Var[ θ] = σ 2 θ L/τ - τ kuvaa montako riippuvaa näytettä vastaa yhtä riippumatonta näytettä - käyttää informaation tarkemmin - vain joillekin tunnusluvuille Aikasarja-analyysi τ :n estimointi τ = γ(m) m=1 missä γ(m) on empiirinen autokorrelaatio Slide 26 - empiirinen autokorrelaatiofunktio on kohinainen ja siten τ :n estimaattikin on kohinainen - erityisesti pidemmällä viivellä kohina kasvaa - kohinaa voidaan vähentää katkaisemmalla autokorrelaatiofunktio sopivasti l τ = γ(m) m=1 Koska τ estimoitu äärellisestä näytemäärästä, estimaatti ylioptimistinen - jos τ > L/20 arvio varmasti epäluotettava
14 Geyerin adaptiivisen ikkunan estimaattorit Ottamalla huomioon Markov-ketjun ominaisuudet voidaan katkaisukohta löytää adaptiivisesti - stationääriselle, pelkistymättömälle, palautuvalle Markov-ketjulle - merkitään Ŵ m = γ 2m + γ 2m+1, joka on vierekkäisten autokorrelaatioparien summa Slide 27 - Ŵ m on aidosti positiivinen, aidosti vähenevä, aidosti konveksi funktio m:n suhteen Tätä ominaisuutta hyödyntäen voidaan muodostaa adaptiivisen ikkunan estimaattorit - initial positive sequence estimator (Geyer s IPSE) - initial monotone sequence estimator (Geyer s IMSE) - initial convex sequence estimator (Geyer s ICSE) Aikasarja-analyysi Efektiivisten näytteiden määrää - vertaamalla riippumattomien näytteiden ja riippuvien näytteiden odotusarvon epävarmuuden kaavaa nähdään helposti, että n eff L/τ Ohennuksen ja niputuksen k voidaan valita Slide 28 k > τ Geyerin IMSE tarkempi kuin PSRF:n estimaatti n eff :lle - PSRF:n tarkkuden rajana ketjujen määrä - Esim8_2.m, geyer_imse.m, geyer.pdf
15 Kolmogorov-Smirnov statistiikka konvergenssidiagnostiikkana Ei-parametrinen menetelmä arvioimaan tulevatko näytteet samasta jakaumasta - sopii myös ei normaalijakautuneille - VAIN riippuumatomille näytteille (ohenna ensin) Muodostaa empiiriset kumulatiivisen jakaumat ja vertaa niiden välistä suurinta Slide 29 etäisyyttä - tutkittava suure on nk(n) K(n) = sup F 1,n (x) F 2,n (x) x - yksittäiselle vertailulle 95%-kvantiili on 1.36 (kun M 100, pienempi arvo parempi) - monelle ketjulle verrataan riippumattomien näytteiden simulaatiosta laskettuun arvoon Esim8_3.m, ksstat.m Kolmogorov-Smirnov statistiikka konvergenssidiagnostiikkana Monelle ketjulle verrataan riippumattomien näytteiden simulaatiosta laskettuun arvoon - KS:lla voidaan verrata keskenään vain kahta ketjua yhtäaikaa Slide 30 - useammalla ketjulla verrataan pareittain kaikkia ketjuja ja valitaan suurin luku tätä verratan jakauman 95%-kvantiiliin joka saadaan estimoitua simuloimalla esim. 100 kertaa vastaavankokoisia näytemääriä ja näytejoukkoja riippumattomia satunnaislukuja joista lasketaan maksimit
16 Satunnaiskävely Markov-ketju etenee satunnaisesti - käytetään termiä satunnaiskävely (random walk) - aika joka menee, että saadaan riippumaton näyte on vähintään sama aika kuin aika joka menee kulkea oleellisen posteriorimassan alueen laidasta toiseen Slide 31 - jos ketju etenee pienin askelin, on satunnaiskävely hitaampaa ja laidasta laitaan kävelyyn menee enemmän aikaa - askelkokoa rajoittaa ehdotusjakauma Posteriorijakauman muodon vaikutus satunnaiskävelyyn Satunnaiskävelyn vuoksi keskimäärinen näytteiden määrä T, joka tarvitaan riippumattoman näytteen saamiseen Slide 32 - Gibbs: T (σ marg /σ cond ) 2, missä σ marg on marginaalijakauman leveys ja σ cond ehdollisen jakauman keskimääräinen leveys leluesimerkissä T 4 aikasarja-analyysi arvioi T Metropolis: T (σ max /σ prop ) 2 /f, missä σ max on jakauman suurin leveys, σ prop ehdotusjakauman leveys ja f hyväksymistodennäköisyys leluesimerkissä T 24 aikasarja-analyysi arvioi T 23 Edelllä laskettu approksimaatiivinen alaraja T :lle - suuntaa antava posteriorikorrelaatioiden vaikutuksesta
17 Satunnaiskävelyn vähentäminen Satunnaiskävelyä voidaan vähentää - uudelleen parametrisoimalla - satunnaiskävelyä vähentävillä algoritmeilla Slide 33 Gibbs-poiminta (luku 11.8) Muunnokset ja uudelleen parametrisoinnit (reparametrization) - jos muuttujat olisivat riippumattomia olisi Gibbs-poiminnan tehokkuus 1 tai 1/d per poiminta (d poimintaa per iteraatio) - pyritään saamaan parametrit mahdollisimman riippumattomiksi Apumuuttujat (auxiliary variables) Slide 34 - esim. t-jakauman esittäminen sekaskaalanormaalijakaumana Parametriavaruuden laajentaminen (parameter expansion) - lisäparametri jonka avulla voidaan hypätä pidempiä matkoja parametriavaruudessa ja siten saavuttaa nopeampi konvergenssi - lisäparametrin takia malli ali-identifioituva, mutta kiinnostavat suureet edelleen identifioituvia
18 Metropolis-algoritmi (luku 11.9) Muunnokset ja uudelleen parametrisoinnit "Optimaalinen" hylkäystaajuus - jos ehdotusjakauma samanmuotoinen kuin kohdejakauma (mikä harvinaista) - optimaalinen skaala c 2.4/ d - tehokkuus olisi 0.3/d Slide 35 - hylkäystaajuus riippuen ulottuvuuksien määrästä Adaptiivisuus - aloitetaan esim. normaalijakauma-approksimaatiolla - poimitaan näytteitä - valitaan uusi ehdotusjakauma näytteiden perusteella esim. normaalijakauma jonka kovarianssi valitaan näytteiden perusteella myös hylkäystaajus voidaan adaptoida - suoritetaan varsinainen poiminta Adaptiivisista menetelmistä Adaptiiviset menetelmät hyödyllisiä, mutta oltava huolellinen, ettei adaptiivisuus estä konvergenssia haluttuun jakaumaan - jatkuvalla adaptaatiolla ketju ei ole enää Markov-ketju tietyillä ehdoilla näytteet voivat silti tulla halutusta jakaumasta - edellä mainittu yksinkertainen adaptiivinen Metropolis ok, kun adaptointi suoritetaan ennen varsinaista ajoa, joka ei ole adaptiivinen Slide 36 Painotuspoimintaan perustuvat adaptiiviset menetelmät kasvattamassa suosiotaan - painotuspoiminan ei tarvitse noudattaa Markov-ketju-sääntöjä
Kuinka monta riippumatonta simulaationäytettä tarvitaan. - tämä varianssi on riippumaton jakauman ulottuvuuksien määrästä
Viime kerralla Karkea laskenta Kuinka monta riippumatonta simulaationäytettä tarvitaan Monte Carlo (luku 11) - suora simulointi - hiladiskretointi Slide 1 - hylkäyspoiminta Markov-ketju Monte Carlo - Gibbs-poiminta
LisätiedotLuento 11. Muutama hyödyllinen Monte Carlo-menetelmä. Muutama hyödyllinen Monte Carlo-menetelmä. Mitä muuta hyödyllistä Gelman et al kirjasta löytyy
Luento 11 Muutama hyödyllinen Monte Carlo-menetelmä Mitä muuta hyödyllistä Gelman et al kirjasta löytyy Kertaus koko kurssiin - tenttiinlukuohjeet Slide 1 Muutama hyödyllinen Monte Carlo-menetelmä Hylkäyspoiminta
LisätiedotLog-tiheydet - yli- ja alivuotojen välttämiseksi laskenta usein suoritettava log-tiheyksillä
Luento 7 Yleistä laskennasta mm. (luvut 10 ja 12) - karkea estimointi - posteriorimoodit - kuinka monta simulaationäytettä tarvitaan Monte Carlo (luku 11) Slide 1 - suora simulointi - hiladiskretointi
LisätiedotP (A)P (B A). P (B) P (A B) = P (A = 0)P (B = 1 A = 0) P (B = 1) P (A = 1)P (B = 1 A = 1) P (B = 1)
Harjoitustehtäviä (erä 1) 1 1. Käytetään yksinkertaisesti Bayesin kaavaa: P (A B) = P (A)P (B A). P (B) Tapauksessa B = 1 saadaan P (A = 0 B = 1) = P (A = 1 B = 1) = P (A = 0)P (B = 1 A = 0) P (A = 1)P
LisätiedotJos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia keskenään
Viime kerralla Johdatus hierarkisiin malleihin Vaihtokelpoisuus Slide 1 Hierarkinen malli Esimerkki: sydäntautien hoidon tehokkuus Jos oletetaan, että sairaaloissa on eroja, kaikki potilaat eivät ole vaihtokelpoisia
LisätiedotTentin materiaali. Sivia: luvut 1,2, , ,5. MacKay: luku 30. Gelman, 1995: Inference and monitoring convergence
Tentin materiaali Sivia: luvut 1,2,3.1-3.3,4.1-4.2,5 MacKay: luku 30 Gelman, 1995: Inference and monitoring convergence Gelman & Meng, 1995: Model checking and model improvement Kalvot Harjoitustyöt Tentin
LisätiedotBayesilaisen mallintamisen perusteet
Bayesilaisen mallintamisen perusteet Johdanto Yksiparametrisia malleja Moniparametrisia malleja Slide 1 Päättely suurten otosten tapauksessa ja bayesilaisen päättelyn frekvenssiominaisuudet Hierarkiset
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotMTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)
21.11.2017/1 MTTTP5, luento 21.11.2017 Otossuureita ja niiden jakaumia (jatkuu) 4) Olkoot X 1, X 2,..., X n satunnaisotos (, ):sta ja Y 1, Y 2,..., Y m satunnaisotos (, ):sta sekä otokset riippumattomia.
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotLuento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori.
Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali
LisätiedotParametrin estimointi ja bootstrap-otanta
Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista
LisätiedotTilastotieteen aihehakemisto
Tilastotieteen aihehakemisto hakusana ARIMA ARMA autokorrelaatio autokovarianssi autoregressiivinen malli Bayes-verkot, alkeet TILS350 Bayes-tilastotiede 2 Bayes-verkot, kausaalitulkinta bootstrap, alkeet
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotTilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta
Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman
Lisätiedot9. laskuharjoituskierros, vko 12-13, ratkaisut
9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
Lisätiedot805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016)
805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016) Tavoitteet (teoria): Hallita autokovarianssifunktion ominaisuuksien tarkastelu. Osata laskea autokovarianssifunktion spektriiheysfunktio. Tavoitteet
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotThe Metropolis-Hastings Algorithm
The Metropolis-Hastings Algorithm Chapters 6.1 6.3 from Monte Carlo Statistical Methods by Christian P. Robert and George Casella 08.03.2004 Harri Lähdesmäki The Metropolis-Hastings Algorithm p. 1/21 Taustaa
LisätiedotTutkimustiedonhallinnan peruskurssi
Tutkimustiedonhallinnan peruskurssi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo hannu.toivonen, marko.salmenkivi, inkeri.verkamo@cs.helsinki.fi Helsingin yliopisto Hannu Toivonen, Marko Salmenkivi,
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotBatch means -menetelmä
S-38.148 Tietoverkkojen simulointi / Tulosten keruu ja analyysi 1(9) Batch means -menetelmä Batch means -menetelmää käytetään hyvin yleisesti Simulointi suoritetaan tässä yhtenä pitkänä ajona olkoon simuloinnin
Lisätiedot/1. MTTTP1, luento Normaalijakauma (kertausta) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:
2.10.2018/1 MTTTP1, luento 2.10.2018 7.4 Normaalijakauma (kertausta) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti: Samoin z /2 siten, että P(Z > z /2 ) = /2, graafisesti: 2.10.2018/2
Lisätiedot4.1. Olkoon X mielivaltainen positiivinen satunnaismuuttuja, jonka odotusarvo on
Mat-2.090 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Otanta Poisson- Jakaumien tunnusluvut Diskreetit jakaumat Binomijakauma, Diskreetti tasainen jakauma, Geometrinen jakauma, Hypergeometrinen
LisätiedotMartingaalit ja informaatioprosessit
4A Martingaalit ja informaatioprosessit Tämän harjoituksen tavoitteena on tutustua satunnaisvektorin informaation suhteen lasketun ehdollisen odotusarvon käsitteeseen sekä oppia tunnistamaan, milloin annettu
Lisätiedot/1. MTTTP1, luento Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:
4.10.2016/1 MTTTP1, luento 4.10.2016 7.4 Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti: Samoin z /2 siten, että P(Z > z /2 ) = /2, graafisesti: 4.10.2016/2
LisätiedotTeema 8: Parametrien estimointi ja luottamusvälit
Teema 8: Parametrien estimointi ja luottamusvälit Todennäköisyyslaskennan perusteet (Teemat 6 ja 7) antavat hyvän pohjan siirtyä kurssin viimeiseen laajempaan kokonaisuuteen, nimittäin tilastolliseen päättelyyn.
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotOtoskeskiarvo on otossuure, jonka todennäköisyysjakauma tiedetään. Se on normaalijakauma, havainnollistaminen simuloiden
1 KERTAUSTA JA TÄYDENNYSTÄ Luento 30.9.2014 Olkoon satunnaisotos X 1, X 2,, X n normaalijakaumasta N(µ, σ 2 ), tällöin ~ N(µ, σ 2 /n), kaava (6). Otoskeskiarvo on otossuure, jonka todennäköisyysjakauma
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
Lisätiedot- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten
Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen
LisätiedotMaximum likelihood-estimointi Alkeet
Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X
LisätiedotJohdatus tn-laskentaan perjantai 17.2.2012
Johdatus tn-laskentaan perjantai 17.2.2012 Kahden diskreetin muuttujan yhteisjakauma On olemassa myös monen muuttujan yhteisjakauma, ja jatkuvien muuttujien yhteisjakauma (jota ei käsitellä tällä kurssilla;
LisätiedotTilastotieteen kertaus. Vilkkumaa / Kuusinen 1
Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin
Lisätiedotp(θ 1 y) on marginaalijakauma p(θ 1 θ 2, y) on ehdollinen posteriorijakauma Viime kerralla Termejä viime kerralta Marginalisointi Marginaalijakauma
Viime kerralla Marginalisointi Marginaalijakauma Posteriorijakauman faktorointi Ehdollinen posteriorijakauma Slide 1 Posteriorijakaumasta simulointi Normaalijakauma - tuntematon keskiarvo ja varianssi
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3
LisätiedotSatunnaislukujen generointi
Satunnaislukujen generointi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Satunnaislukujen generointi 1/27 Kevät 2003 Lähteet Knuth, D., The Art of Computer Programming,
Lisätiedot7.4 Normaalijakauma (kertausta ja täydennystä) Taulukosta P(Z 1,6449) = 0,05, P(Z -1,6449) = 0,05 P(Z 1,96) = 0,025, P(Z -1,96) = 0,025
26.3.2019/1 MTTTP1, luento 26.3.2019 7.4 Normaalijakauma (kertausta ja täydennystä) Z ~ N(0, 1), tiheysfunktion kuvaaja 0,5 0,4 0,3 0,2 0,1 Taulukosta P(Z 1,6449) = 0,05, P(Z -1,6449) = 0,05 P(Z 1,96)
LisätiedotKoska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.
24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotEnnustaminen ARMA malleilla ja Kalmanin suodin
Ennustaminen ARMA malleilla ja Kalmanin suodin MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2017
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
LisätiedotLuku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017
Luku 1 Bayesläiset estimaattorit Lasse Leskelä Aalto-yliopisto 18. lokakuuta 217 1.1 Bayesläiset piste-estimaatit Tarkastellaan datalähdettä, joka tuottaa tiheysfunktion f(x θ) mukaan jakautuneita riippumattomia
LisätiedotPosteriorijakauman normaalijakauma-approksimaatio. Usein posteriorijakauma lähestyy normaalijakaumaa kun n
Luento 5 Päättely suurten otosten tapauksessa, n - normaalijakauma-approksimaatio - suurten otosten teoria - asymptoottinen normaalius ja konsistenttisuus - vastaesimerkkejä Slide 1 Bayesilaisen päättelyn
LisätiedotTilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta
Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 6A Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotMonte Carlo -menetelmä optioiden hinnoittelussa (valmiin työn esittely)
Monte Carlo -menetelmä optioiden hinnoittelussa (valmiin työn esittely) 17.09.2015 Ohjaaja: TkT Eeva Vilkkumaa Valvoja: Prof. Harri Ehtamo Työn saa tallentaa ja julkistaa Aalto-yliopiston avoimilla verkkosivuilla.
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
LisätiedotEstimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio
17.11.2015/1 MTTTP5, luento 17.11.2015 Luku 5 Parametrien estimointi 5.1 Piste-estimointi Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla
LisätiedotT Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1
T-61.281 Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti 10.2.2004, 8:30-10:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Aluksi käsittelemme uskottavuus- ja log-uskottavuusfunktioita Seuraavaksi esittelemme suurimman uskottavuuden estimointimenetelmän Ensi viikolla perehdymme aiheeseen lisääkö
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
LisätiedotP(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu
1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)
LisätiedotHarjoitus 2: Matlab - Statistical Toolbox
Harjoitus 2: Matlab - Statistical Toolbox Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen tavoitteet Satunnaismuuttujat ja todennäköisyysjakaumat
LisätiedotFoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. Luentokuulustelujen esimerkkivastauksia. Pertti Palo. 30.
FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa Luentokuulustelujen esimerkkivastauksia Pertti Palo 30. marraskuuta 2012 Saatteeksi Näiden vastausten ei ole tarkoitus olla malleja vaan esimerkkejä.
LisätiedotViime kerralla. Luento 6. Normaalijakauma-approksimaatio - moodi. - havaittu informaatio
Viime kerralla Normaalijakauma-approksimaatio - moodi - havaittu informaatio Suurten otosten teoria - asymptoottinen normaalius ja konsistenttisuus Slide 1 - vastaesimerkkejä Bayesilaisen päättelyn frekvenssiarviointi
Lisätiedot805324A (805679S) Aikasarja-analyysi Harjoitus 6 (2016)
805324A (805679S) Aikasarja-analyysi Harjoitus 6 (2016) Tavoitteet (teoria): Hahmottaa aikasarjan klassiset komponentit ideaalisessa tilanteessa. Ymmärtää viivekuvauksen vaikutus trendiin. ARCH-prosessin
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Bayesläiset piste- ja väliestimaatit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotTässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:
4. Tyhjentyvyys Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä: Voidaanko päätelmät perustaa johonkin tunnuslukuun t = t(y) koko aineiston y sijasta? Mitä
LisätiedotIdentifiointiprosessi
Alustavia kokeita Identifiointiprosessi Koesuunnittelu, identifiointikoe Mittaustulosten / datan esikäsittely Ei-parametriset menetelmät: - Transientti-, korrelaatio-, taajuus-, Fourier- ja spektraalianalyysi
LisätiedotBinomi Jacob Bernoulli ( ), Bayes ( ) Normaali de Moivre ( ), Laplace ( ), Gauss ( )
Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali
LisätiedotBayesilainen päätöksenteko / Bayesian decision theory
Bayesilainen päätöksenteko / Bayesian decision theory Todennäköisyysteoria voidaan perustella ilman päätösteoriaa, mutta vasta päätösteorian avulla siitä on oikeasti hyötyä Todennäköisyyteoriassa tavoitteena
LisätiedotTUTKIMUSAINEISTON KVANTITATIIVINEN ANALYYSI LTKY012. Timo Törmäkangas
TUTKIMUSAINEISTON KVANTITATIIVINEN ANALYYSI LTKY012 Timo Törmäkangas TEOREETTISISTA JAKAUMISTA Usein johtopäätösten teko helpottuu huomattavasti, jos tarkasteltavan muuttujan perusjoukon jakauma noudattaa
LisätiedotBECS Bayesilainen mallintaminen Lyhyt englanti-suomi sanasto
BECS-114.2601 Bayesilainen mallintaminen Lyhyt englanti-suomi sanasto Aki Vehtari ja Jarno Vanhatalo September 23, 2013 Lyhyt englanti-suomi-sanasto kurssin termeistä. Osalle termeistä emme tiedä virallista
LisätiedotMS-C2128 Ennustaminen ja Aikasarja-analyysi, 5 op Esittely
MS-C2128 Ennustaminen ja Aikasarja-analyysi, 5 op Esittely Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2017 Aikataulu ja suoritustapa (Katso MyCourses) Luennot
Lisätiedot8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH
8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH Osa aikasarjoista kehittyy hyvin erityyppisesti erilaisissa tilanteissa. Esimerkiksi pörssikurssien epävakaus keskittyy usein lyhyisiin
LisätiedotViikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi
Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum C222, 5.-7.11.2008. 1 Tällä viikolla Sisältösuunnitelma: Ennustamisstrategioista Koneoppimismenetelmiä: k-nn (luokittelu
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
Lisätiedot805324A (805679S) Aikasarja-analyysi Harjoitus 3 (2016)
805324A (805679S) Aikasarja-analyysi Harjoitus 3 (2016) Tavoitteet (teoria): Hallita multinormaalijakauman määritelmä. Ymmärtää likelihood-funktion ja todennäköisyystiheysfunktion ero. Oppia kirjoittamaan
LisätiedotDynaamiset regressiomallit
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen
LisätiedotOdotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
LisätiedotEpävarmuuden hallinta bootstrap-menetelmillä
1/17 Epävarmuuden hallinta bootstrap-menetelmillä Esimerkkinä taloudellinen arviointi Jaakko Nevalainen Tampereen yliopisto Metodifestivaalit 2015 2/17 Sisältö 1 Johdanto 2 Tavanomainen bootstrap Bootstrap-menettelyn
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Bayesläinen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotTilastollisia peruskäsitteitä ja Monte Carlo
Tilastollisia peruskäsitteitä ja Monte Carlo Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tilastollisia peruskäsitteitä ja Monte Carlo 1/13 Kevät 2003 Tilastollisia
LisätiedotSTOKASTISET PROSESSIT
TEORIA STOKASTISET PROSESSIT Satunnaisuutta sisältävän tapahtumasarjan kulkua koskevaa havaintosarjaa sanotaan aikasarjaksi. Sana korostaa empiirisen, kokeellisesti havaitun tiedon luonnetta. Aikasarjan
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf
LisätiedotOletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen
Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos K:n lähimmän naapurin menetelmä (K-Nearest neighbours) Tarkastellaan aluksi pientä (n = 9) kurjenmiekka-aineistoa, joka on seuraava:
LisätiedotMTTTP5, luento Kahden jakauman sijainnin vertailu (jatkoa) Tutkimustilanteita y = neliöhinta x = sijainti (2 aluetta)
MTTTP5, luento 7.12.2017 7.12.2017/1 6.1.3 Kahden jakauman sijainnin vertailu (jatkoa) Tutkimustilanteita y = neliöhinta x = sijainti (2 aluetta) y = lepopulssi x = sukupuoli y = musikaalisuus x = sukupuoli
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
Lisätiedot6.2.3 Spektrikertymäfunktio
ja prosessin (I + θl + + θl q )ε t spektritiheysfunktio on Lemman 6. ja Esimerkin 6.4 nojalla σ π 1 + θ 1e iω + + θ q e iqω. Koska viivepolynomien avulla määritellyt prosessit yhtyvät, niin myös niiden
LisätiedotMallipohjainen klusterointi
Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio
LisätiedotLASKENNALLISEN TIETEEN OHJELMATYÖ: Diffuusion Monte Carlo -simulointi yksiulotteisessa systeemissä
LASKENNALLISEN TIETEEN OHJELMATYÖ: Diffuusion Monte Carlo -simulointi yksiulotteisessa systeemissä. Diffuusio yksiulotteisessa epäjärjestäytyneessä hilassa E J ii, J ii, + 0 E b, i E i i i i+ x Kuva.:
Lisätiedotb 1. b m ) + ( 2b Ax) + (b b)
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-9 Optimointioppi Kimmo Berg 5 harjoitus - ratkaisut min Ax b (vertaa PNS-tehtävät) a x + + a n x n a) Ax b = a m x + + a mn x n = x a a m }{{}
LisätiedotJohdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1
Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n
Lisätiedothttps://www10.uta.fi/opas/opintojakso.htm?rid=6909&i dx=5&uilang=fi&lang=fi&lvv=2014
1 MTTTP3 Tilastollisen päättelyn perusteet 2 Luennot 8.1.2015 ja 13.1.2015 1 Kokonaisuudet johon opintojakso kuuluu https://www10.uta.fi/opas/opintojakso.htm?rid=6909&i dx=5&uilang=fi&lang=fi&lvv=2014
LisätiedotMS-C2128 Ennustaminen ja Aikasarja-analyysi, 5 op Esittely
MS-C2128 Ennustaminen ja Aikasarja-analyysi, 5 op Esittely Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Aikataulu ja suoritustapa (Katso MyCourses) Luennot
Lisätiedot