Posteriorijakauman normaalijakauma-approksimaatio. Usein posteriorijakauma lähestyy normaalijakaumaa kun n
|
|
- Päivi Niemi
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Luento 5 Päättely suurten otosten tapauksessa, n - normaalijakauma-approksimaatio - suurten otosten teoria - asymptoottinen normaalius ja konsistenttisuus - vastaesimerkkejä Slide 1 Bayesilaisen päättelyn frekvenssiarviointi Posteriorijakauman normaalijakauma-approksimaatio Usein posteriorijakauma lähestyy normaalijakaumaa kun n Slide 2 Jos posteriorijakauma unimodaalinen ja lähes symmetrinen, - voidaan posteriorijakauma p(θ y) aproksimoida normaalijakaumalla ( ) 1 p(θ y) exp 1 2πσθ 2σθ 2 (θ ˆθ) 2 - eli log-posteriori log p(θ y) voidaan aproksimoida neliöllisellä funktiolla log p(θ y) α(θ ˆθ) 2 + C
2 Taylorin sarjakehitelmä Yksiulotteinen Taylorin sarjakehitelmä pisteen x = a ympäristössä f (x) = f (a) + f (a)(x a) + f (a) 2! (x a) 2 + f (3) (a) (x a) ! Slide 3 Yleistyy vastaavasti moniulotteiselle funktiolle f (x 1,..., x n ) = [ n ] j 1 (x k a x ) j! x f (x k=1 k j=0 1,..., x n ) x 1 =a 1,...,x n =a n Posteriorijakauman normaalijakauma-approksimaatio Slide 4 Log-posteriorin Taylorin sarjakehitelmä posteriorimoodin ˆθ ympärillä log p(θ y) = log p(ˆθ y) + 1 [ d 2 (θ ˆθ) T 2 ] log p(θ y) (θ ˆθ) +... dθ 2 missä lineaaritermi on nolla, koska log p(θ y):n derivaatta on moodissa nolla ja korkeammat termit ovat pieniä verrattuna neliöllisen termiin kun θ lähellä ˆθ:aa ja n on iso Moniulotteinen normaalijakauma 1/2 exp θ=ˆθ ( ) 1 2 (θ ˆθ T ) 1 (θ ˆθ) Koska ensimmäinen termi vakio ja toinen termi suhteessa normaalijakauman logaritmiin missä I(θ) on havaittu informaatio p(θ y) N(ˆθ, [I(ˆθ)] 1 ) I(θ) = d2 log p(θ y) dθ 2
3 Posteriorijakauman normaalijakauma-approksimaatio I(θ) on havaittu informaatio I(θ) = d2 log p(θ y) dθ 2 Slide 5 - I( ˆθ) on log-posteriorin toiset derivaatat moodissa eli kuvaa log-posteriorin kaarevuuden moodissa - jos moodi on parametriavaruuden sisällä, I( ˆθ) positiivinen - jos θ on vektori, I(θ) on matriisi Normaalijakauma-approksimaatio - esimerkki Normaalijakauma, tuntematon keskiarvo ja varianssi - uniformi-priori parametreille (µ, log σ) - normaalijakauma-approksimaatio (µ, log σ):n posteriorille Slide 6 log p(µ, logσ y) = constant n logσ 1 2σ 2[(n 1)s2 + n(ȳ µ) 2 ] ensimmäiset derivaatat d n(ȳ µ) log p(µ, log σ y) = dµ σ 2, d d(logσ) log p(µ, log σ y) = n + (n 1)s2 + n(ȳ µ) 2 σ 2, josta posteriorimoodi on helposti laskettavissa ( ( ˆµ, log ˆσ) = ȳ, 1 ( )) n 1 2 log s 2 n
4 Normaalijakauma-approksimaatio - esimerkki Slide 7 Normaalijakauma, tuntematon keskiarvo ja varianssi ensimmäiset derivaatat d n(ȳ µ) log p(µ, log σ y) = dµ σ 2, d d(log σ) log p(µ, log σ y) = n + (n 1)s2 + n(ȳ µ) 2 σ 2 toiset derivaatat d 2 n log p(µ, log σ y) = dµ 2 σ 2, d 2 ȳ µ log p(µ, log σ y) = 2n dµd(log σ) σ 2, d 2 2 log p(µ, log σ y) = d(logσ) 2 σ 2((n 1)s2 + n(ȳ µ) 2 ) Normaalijakauma-approksimaatio - esimerkki Slide 8 Normaalijakauma, tuntematon keskiarvo ja varianssi toiset derivaatat d 2 n log p(µ, log σ y) = dµ 2 σ 2, d 2 ȳ µ log p(µ, log σ y) = 2n dµ(logσ) σ 2, d 2 2 log p(µ, log σ y) = d(log σ) 2 σ 2((n 1)s2 + n(ȳ µ) 2 ) toisten derivaattojen matriisi pisteessä ( ˆµ, log ˆσ) n/ˆσ n
5 Normaalijakauma-approksimaatio - esimerkki Normaalijakauma, tuntematon keskiarvo ja varianssi posteriorimoodi ( ( ˆµ, log ˆσ) = ȳ, 1 ( )) n 1 2 log s 2 n Slide 9 toisten derivaattojen matriisi pisteessä ( ˆµ, log ˆσ) n/ˆσ n normaalijakauma-approksimaatio p(µ, log σ y) N µ ȳ, ˆσ 2 /n 0 logσ log ˆσ 0 1/(2n) Normaalijakauma-approksimaatiosta Käyttökelpoinen, jos - oikea posteriori lähes normaalijakautunut eri malleilla ja parametrisoinneilla lähestyy normaalijakaumaa eri nopeudella - tai inferenssi ei herkkä approksimaation muodolle esim. odotusarvo on vähemmän herkkä kuin äärikvantiilit Slide 10 Approksimaatiota voidaan usein parantaa parametrien muunnoksella - esim. σ :n sijasta logσ - sekä σ :n että log σ :n posteriorijakauma lähestyy normaalijakaumaa, mutta äärellisellä n:llä approksimaatio on parempi log σ :lle
6 Normaalijakauma-approksimaatiosta Normaalijakauma-approksimaation voi tehdä myös marginaalijakaumille - marginaalijakaumat lähempänä normaalijakaumaa - voi toimia paljon paremmin, mutta voi olla työläämpää marginalisoinnin vuoksi - joskus nimellä delta-menetelmä Slide 11 Normaalijakauma-approksimaation voi tehdä myös ehdollisille jakaumille - approksimatiivinen Rao-Blackwell:isointi Normaalijakauma-approksimaatiosta Approksimaatiosta on helppo laskea approksimaation - korkeimman tiheyden alue (HPD) moniulotteisellekin jakaumalle - keskiarvo, moodi ja esim. 95%-intervalli Voidaan käyttää alkuarvauksena Monte Carlo-menetelmille Slide 12 Voidaan käyttää painotuspoiminnan ehdotusjakaumana Voidaan laskea numeerisesti - tarjoaa nopean pika-arvion (kunhan jakauma unimodaalinen)
7 Normaalijakauma-approksimaatiosta Normaalijakauma-approksimaation voi laskea myös numeerisesti - jos gradientteja ei ole annettu, ne voidaan laskea finite-difference menetelmällä (toimii jos ei paljon parametreja) - minimoidaan negatiivinen log-posteriori: minimi on moodi ja Hessian minimissä on havaittu informaatio moodissa Slide 13 - helppoa esim. Matlabilla [w,fval,exitflag,output,g,h]=fminunc(@nlogp,w0,opt,x,y,n); Kirjan esimerkki: myrkyllisyyskoe Dose, x i Number of Number of (log g/ml) animals, n i deaths, y i Slide 14 y i θ i Bin(n i, θ i ) Logistinen regressio logit(θ i ) = α + βx i Likelihood p(y i α, β, n i, x i ) [logit 1 (α + βx i )] y i [1 logit 1 (α + βx i )] n i y i Posteriori n p(α, β y, n, x) p(α, β) p(y i α, β, n i, x i ) i=1 esim5_1.m, tehtävä 4.2
8 Kirjan esimerkki: myrkyllisyyskoe Vinkki harjoitustehtävään 4.2 Likelihood p(y i α, β, n i, x i ) [logit 1 (α + βx i )] y i [1 logit 1 (α + βx i )] n i y i θ y i [1 θ] n i y i Slide 15 Kirjoita log-posteriori siistiin muotoon Merkitse θ = logit 1 (φ) ja φ = α + βx i, ja käytä ketjusääntöä Katso logit ja logit 1 kirjan s. 24 Tunnista tutut toistuvat muodot, järjestele termit ja pidä yksinkertaisena Vertaa numeeriseen tulokseen (esim5_1.m) (Hessian) Suurten otosten teoria (Large sample theory) Käsitellään vain pintapuolisesti - kirjan liite B kertoo lisää, mutta edelleen vain esittelevästi - tarkempi käsittely vaatii tiukempaa matemaattista käsittelyä Oletetaan "oikea" allaoleva datan jakauma f (y) Slide 16 - havainnot y 1,..., y n ovat riippumattomia näytteitä yhteisestä jakaumasta f (y) - "oikea" datan jakauma f (y) on usein hankala käsite - bayesilaisittain voimme sanoa, että toimimme aivan kuin olisi olemassa "oikea" allaoleva datan jakauma f (y) - teorian kannalta ei tarvitse tietää f (y):n tarkkaa muotoa, kunhan toteuttaa tietyt säännöllisyysehdot
9 Suurten otosten teoria Asymptoottinen normaalius - jakaumasta f (y) saatujen havaintojen y i määrän n kasvaessa parametrivektorin posteriorijakauma lähestyy normaalijakaumaa Slide 17 Konsistenttisuus - jos oikea datan jakauma sisältyy parametriseen perheseen, eli jos f (y) = p(y θ 0 ) jollekin θ 0 :lle, niin posteriori jakauma konvergoituu pisteeseen θ 0, kun n Jos oikea jakauma ei sisälly parametriseen perheeseen, ei ole olemassa oikeaa arvoa θ 0 - oikea arvo θ 0 korvataan θ 0 :lla jonka arvolla jakauma p(y θ) on lähinnä oikeaa jakaumaa f (y) Kullback-Leibler informaatiolla mitattuna ( ) f (yi ) H(θ 0 ) = f (y i ) log dy i p(y i θ 0 ) Kullback-Leibler informaatio H(θ 0 ) = ( ) f (yi ) f (y i ) log dy i p(y i θ 0 ) Mittaa jakaumien välistä "etäisyyttä" - ei etäisyysmitta, koska ei symmetrinen Slide 18 - etäisyys-termin sijasta käytetään usein termiä divergenssi - jos log 2, divergenssi on bitteinä - jos log e, divergenssi on natteina
10 Asymptoottinen normaalius ja konsistenttisuus Jos likelihood toteuttaa tietyt säännöllisyysehdot, - esim. jatkuva θ:n funktio ja θ 0 ei ole parametriavaruuden reunalla niin θ:n posteriorijakauma lähestyy normaalijakaumaa N(θ 0, (n J(θ 0 )) 1 ), Slide 19 missä J(θ) on Fisherin informaatio Vertaa havaittu informaatio Fisherin informaatio I(θ) = d2 log p(θ y) dθ [ 2 d 2 log p(y θ) ] θ J(θ) = E dθ 2 Asymptoottinen normaalius ja konsistenttisuus Havaittu informaatio I(θ) = d2 log p(θ y) dθ 2 on posteriorille p(θ y) annettuna tietty havaittu y Slide 20 Fisherin informaatio [ d 2 log p(y θ) ] θ J(θ) = E dθ 2 on likelihoodille p(y θ) odotusarvo y:n yli annettuna θ (ei tietylle y) Kun n näistä tulee sama Tulos voidaan tulkita Taylorin sarjakehitelmän termeillä
11 Asymptoottinen normaalius ja konsistenttisuus Taylorin sarjakehitelmä posteriorimoodin ˆθ ympärillä log p(θ y) = log p(ˆθ y) + 1 [ d 2 (θ ˆθ) T 2 ] log p(θ y) dθ 2 θ=ˆθ (θ ˆθ) +... Liitteen B kuvaileva tulos näyttää, että kun n, posteriorijakauman massa keskittyy pienenevälle θ 0 :n naapurustolle ja ˆθ θ 0 0, (konsistenttisuus) Slide 21 Kirjoitetaan neliöllinen termi seuraavasti [ d 2 ] log p(θ y) dθ 2 θ=ˆθ [ d 2 ] = log p(θ) dθ 2 θ=ˆθ + n [ d 2 ] dθ 2 log p(y i θ) i=1 θ=ˆθ θ:n funktiona tämä on vakio plus summa n termistä, joista jokaisen odotusarvo oikean jakauman p(y θ 0 ) suhteen on noin J(θ 0 ), jos ˆθ on lähellä θ 0 :aa Joten, kun n iso, log-posteriorin kaareutuvuus voidaan aproksimoida Fisherin informaatiolla evaluoituna pisteessä ˆθ tai θ 0 (joista vain ˆθ käytettävissä) Asymptoottinen normaalius ja konsistenttisuus Kun n iso, posteriorimoodi ˆθ lähestyy θ 0 :aa ja kaarevuus lähestyy n J(ˆθ):a tai n J(θ 0 ):a Kun n likelihood dominoi posteriorijakaumaa ja moodi ja kaarevuus voidaan päätellä likelihoodista Slide 22
12 Normaalijakauma-approksimaatio Slide 23 Normaalijakauma-approksimaatio toimii käytännössä vain pienellä osalla malleja - mielenkiintoisemissa tapauksissa n usein ei riittävän iso - myös useita vastaesimerkkejä vaikka n - approksimaation hyvyyttä voidaan testata esim. painotuspoiminalla - onneksi voidaan käyttää muita menetelmiä, kuten ehdollisille tai marginaalijakaumille t-jakauma*, vino-t-jakauma* variaatiolaskenta*, expectation propagation* Monte Carlo Rajoituksista huolimatta oleellinen osa bayesilaista työkalupakkia, koska sen verran usein on tilanteita, joissa on hyödyllinen ainakin osana approksimaatiota Suurten otosten teoria - vastaesimerkkejä Teoria ei aina pidä paikkansa vaikka n Ali- ja ei-identifioituvuus - malli on ali-identifioituva, jos mallissa on parametreja tai parametriyhdistelmiä, joista data ei kerro mitään - ei ole olemassa yhtä pistettä θ 0 johon posteriorijakauma konvergoituisi Slide 24 - esim. jos koskaan ei havaita u:ta ja v:tä yhtäaikaa ja malli on u N 0, 1 ρ v 0 ρ 1 niin ρ on ei-identifioituva - esim. u voisi olla opiskelijan pituus ja v paino; olettaen, että yhdeltäkään opiskelijoista ei mitata molempia ρ on ei-identifioituva - ongelma myös esim. Monte Carlo -menetelmille
13 Suurten otosten teoria - vastaesimerkkejä Teoria ei aina pidä paikkansa vaikka n Parametrien määrän kasvu näytteiden määrän kasvaessa - joissakin malleissa parametrien määrä riippuu datan määrästä - esim. spatiaalimalleissa y i N(θ i, σ 2 ) ja θ i :lle spatiaalipriori Slide 25 - θ i :n posteriorijakauma ei konvergoidu pisteeseen, jos uusi data ei tuo riittävästi informaatiota θ i :stä Suurten otosten teoria - vastaesimerkkejä Teoria ei aina pidä paikkansa vaikka n Valetoisto (aliasing) - ali-identifoitumisen erikoistapaus, missä likelihood toistuu erillisissä pisteissä - esim. normaalisekamalli p(y i µ 1, µ 2, σ1 2, σ 2 2, λ) = λ N(µ 1, σ1 2 ) + (1 λ) N(µ 2, σ2 2 ) Slide 26 jos vaihdetaan keskenään (µ 1, µ 2 ) ja (σ1 2, σ 2 2 ) ja korvataan λ (1 λ):lla, malli pysyy samana; posteriorijakaumassa on yleensä vähintään kaksi moodia jotka ovat toistensa peilikuvia; jakauma ei konvergoidu yhteen pisteeseen - useimmiten ei varsinainen ongelma Monte Carlo -menetelmille, mutta voi hankaloittaa konvergenssidiagnostiikkaa - ongelma voidaan poistaa rajaamalla parametriavaruutta; esim. edellisessä esimerkissä voidaan rajoittaa µ 1 µ 2
14 Suurten otosten teoria - vastaesimerkkejä Teoria ei aina pidä paikkansa vaikka n Slide 27 Rajoittamaton (unbounded) likelihood - jos likelihood jakauma on rajoittamaton, ei välttämättä ole olemassa posteriorimoodia parametriavaruudessa - esim. edellinen normaalisekamalli; oletetaan λ tunnetuksi (ja ei 0 tai 1); jos asetetaan µ 1 = y i mille tahansa y i :lle ja σ1 2 0, niin likelihood - kun n likelihoodin moodien määrä kasvaa - jos priori ei mene nollaan kun σ ongelma myös esim. Monte Carlo -menetelmille 0 posteriorimoodien määrä kasvaa - ongelma voidaan poistaa rajoittamalla malli mielekkäisiin jakaumiin priorilla - huomaa, että väljällä priorilla ja rajallisella n:llä voi ongelmana olla melkein rajoittamaton posteriori Suurten otosten teoria - vastaesimerkkejä Teoria ei aina pidä paikkansa vaikka n Slide 28 Ei-aito posteriorijakauma - asymptoottiset tulokset olettavat todennäköisyyksien summautuvan 1:een - esim. Binomi-malli, Beta(0, 0) priorijakauma ja datana y = n posteriori p(θ n, 0) = θ n 1 (1 θ) 1 kun θ 1, niin p(θ n, 0) - ongelma myös esim. Monte Carlo -menetelmille - ongelma voidaan poistaa käyttämällä aitoa prioria - huomaa, että väljällä priorilla voi ongelmana olla melkein ei-aito posteriori
15 Suurten otosten teoria - vastaesimerkkejä Teoria ei aina pidä paikkansa vaikka n Priorijakauma joka ei sisällä konvergenssipistettä - jos diskreetissä tapauksessa p(θ 0 ) = 0 tai jatkuvassa tapauksessa p(θ) = 0 θ 0 :n naapurustossa, niin likelihoodin dominointiin perustuvat konvergenssitulokset eivät päde Slide 29 - ei varsinaisesti ongelma Monte Carlo -menetelmille - ongelma voidaan poistaa asettamalla positiivinen prioritodennäköisyystiheys kaikille vähänkin mahdollisille arvoille Suurten otosten teoria - vastaesimerkkejä Teoria ei aina pidä paikkansa vaikka n Konvergenssipiste parametriavaruuden reunalla - jos θ 0 on parametriavaruuden reunalla, Taylorin sarjakehitelmä pitää katkaista joissakin suunnissa, ja normaalijakauma-approksimaatio ei välttämättä toimi rajalla Slide 30 - esim. y i N(θ, 1) rajoituksella θ 0 ja oletetaan, että malli on tarkka kun θ = 0 - θ:n posteriorijakauma on positiiviseksi katkaistu normaalijakauma, µ = ȳ - rajalla n posteriorijakauma on puolikas normaalijakauma - ei ongelma Monte Carlo -menetelmille
16 Suurten otosten teoria - vastaesimerkkejä Jakauman hännät - normaalijakauma-approksimaatio voi olla tarkka suurimalle osalle posteriorijakauman massaa, mutta silti olla epätarkka jakauman hännissä - esim. parametri joka on rajoitettu positiiviseksi; äärellisellä n:llä normaalijakauma-approksimaatio pitää negativiisia arvoja mahdollisina Slide 31 Monte Carlolla myös on ongelmia häntien kanssa, vaikkakin erilaisia Bayesilaisen päättelyn frekvenssiarviointi Frekventistiset menetelmät pohjautuvat toistettuun otantaan (repeated sampling) eli frekvensseihin Bayesilaisen päättelyn frekvenssiarviointi perustuu myös frekvensseihin, mutta bayesilainen tulkinta säilyy vaikka termejä ja työkaluja lainataan frekventistisestä teoriasta Slide 32 Vaikka bayesilaisessa teoriassa korostetaan mahdollisutta tutkia yksittäistä tapahtumaa, ei estettä tutkia myös toistuvaa tapahtumaa Normaalijakauma-approksimaation ja konsistenttisuuden perustelut perustuvat myös toistettuun poimintaan Frekvenssiarvioinissa tutkitaan menetelmien ominaisuuksia pohtimalla mitä tapahtuisi, jos koe toistettaisiin äärettömän monta kertaa havaintojen tullessa "oikeasta" jakaumasta f (y)
17 Bayesilaisen päättelyn frekvenssiarviointi Asymptoottisesti 95% posteriori-intervalli sisältää oikean arvon 95% tapauksissa kun otantaa toistetaan fiksatulla oikealla θ 0 :lla Konsistenttisuus: jos oikea jakauma sisältyy mallin jakaumaperheeseen, θ:n posteriorijakauma konvergoituu oikeaan arvoon kun n kasvaa Asymptoottinen harhattomuus: [E(ˆθ θ 0 ) θ 0 ]/ sd(ˆθ θ 0 ) 0 Slide 33 jos oikea jakauma sisältyy mallin jakaumaperheeseen, lievien säännöllisyysehtojen ollessa voimasa, posteriorijakauman moodi, odotusarvo ja mediaani ovat konsistentteja ja asymptoottisesti harhattomia Asymptoottinen tehokkuus: piste-estimaatti on tehokas, jos ei ole olemassa toista estimaattia pienemmällä neliövirheellä E[(ˆθ θ 0 ) 2 θ 0 ] lievien säännöllisyysehtojen ollessa voimasa, posteriorijakauman moodi, odotusarvo ja mediaani ovat asymptoottisesti tehokkaita Bayesilaisen päättelyn frekvenssiarviointi* Asymptoottiset tulokset kivoja, mutta useimmiten kiinnostavampaa on suorituskyky kun n äärellinen Yleisesti bayesilaiset estimaatit harhaisia - estimaatti kallellaan priorin suuntaan Slide 34 - koska oikea totuus ei yleensä tiedossa, priori todennäköisesti väärä, mistä seuraa harhaisuus - harha ei haittaa, jos samalla varianssi on pieni (tehokkuus hyvä) - hieman väärä priori aiheuttaa pienen harhan, mutta voi pienentää varianssia paljon Harha-varianssi-ongelma (bias-variance dilemma) - harhaa kasvattamalla varianssi voi pienentyä - priori-informaatiota lisäämällä vaarana harhan kasvaminen, mutta etuna varianssin pieneneminen
18 Tähän mennessä Bayesilaisen päättelyn perusteita ja termejä Yksiparametrisia malleja Johdatus moniparametrisiin malleihin Informatiiviset ja ei-informatiiviset priorijakaumat Slide 35 Yksinkertainen simulointi posteriorijakaumasta Päättely suurten otosten tapauksessa Jakaumia binomi- normaali- Poisson- uniformi- beta- Inv-χ 2 - gamma- Cauchy- multinomi- t- Neg-binomi- Dirichlet- Inv-Wishart- exponentiaalinen
p(θ 1 y) on marginaalijakauma p(θ 1 θ 2, y) on ehdollinen posteriorijakauma Viime kerralla Termejä viime kerralta Marginalisointi Marginaalijakauma
Viime kerralla Marginalisointi Marginaalijakauma Posteriorijakauman faktorointi Ehdollinen posteriorijakauma Slide 1 Posteriorijakaumasta simulointi Normaalijakauma - tuntematon keskiarvo ja varianssi
Lisätiedot- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten
Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen
LisätiedotLuento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori.
Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
Lisätiedotexp p(y θ) = 1 2πσ θ)2 2σ 2(y y N(θ, σ 2 ) Luento 3 Normaalijakauma (Gaussian) Normaalijakauma tunnetulla varianssilla
Luento 3 Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-malli Exponentiaalinen malli Slide 1 Cauchy-jakauma Lisää konjugaattiprioreista Ei-informatiivisista priorijakaumista
LisätiedotViime kerralla. Luento 6. Normaalijakauma-approksimaatio - moodi. - havaittu informaatio
Viime kerralla Normaalijakauma-approksimaatio - moodi - havaittu informaatio Suurten otosten teoria - asymptoottinen normaalius ja konsistenttisuus Slide 1 - vastaesimerkkejä Bayesilaisen päättelyn frekvenssiarviointi
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Aluksi käsittelemme uskottavuus- ja log-uskottavuusfunktioita Seuraavaksi esittelemme suurimman uskottavuuden estimointimenetelmän Ensi viikolla perehdymme aiheeseen lisääkö
LisätiedotMaximum likelihood-estimointi Alkeet
Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X
LisätiedotP(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu
1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)
LisätiedotTilastollinen päättely II, kevät 2017 Harjoitus 2A
Tilastollinen päättely II, kevät 07 Harjoitus A Heikki Korpela 3. tammikuuta 07 Tehtävä. (Monisteen tehtävä.3 Olkoot Y,..., Y n Exp(λ. Kirjoita vastaava tilastollisen mallin lauseke (ytf. Muodosta sitten
LisätiedotLuento 11. Muutama hyödyllinen Monte Carlo-menetelmä. Muutama hyödyllinen Monte Carlo-menetelmä. Mitä muuta hyödyllistä Gelman et al kirjasta löytyy
Luento 11 Muutama hyödyllinen Monte Carlo-menetelmä Mitä muuta hyödyllistä Gelman et al kirjasta löytyy Kertaus koko kurssiin - tenttiinlukuohjeet Slide 1 Muutama hyödyllinen Monte Carlo-menetelmä Hylkäyspoiminta
Lisätiedotexp Luento 3 Normaalijakauma (Gaussian) Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli
Luento 3 Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide Cauchy-jakauma Ei-informatiivisista priorijakaumista *-merkatut kalvot
Lisätiedot5.7 Uskottavuusfunktioon perustuvia testejä II
5.7 Uskottavuusfunktioon perustuvia testejä II Tässä pykälässä pohditaan edellä tarkasteltujen kolmen testisuureen yleistystä malleihin, joiden parametri on useampiulotteinen, ja testausasetelmiin, joissa
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Bayesläiset piste- ja väliestimaatit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotTilastollinen päättömyys, kevät 2017 Harjoitus 6B
Tilastollinen päättömyys, kevät 7 Harjoitus 6B Heikki Korpela 8. helmikuuta 7 Tehtävä. Monisteen teht. 6... Olkoot Y,..., Y 5 Nµ, σ, ja merkitään S 5 i Y i Y /4. Näytä, että S/σ on saranasuure eli sen
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
Lisätiedotl (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on
HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 018 Harjoitus B Ratkaisuehdotuksia Tehtäväsarja I 1 (Monisteen tehtävä 14) Olkoon f Y (y; θ) tilastollinen malli, jonka
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Bayesläinen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
Lisätiedotθ 1 θ 2 θ n y i1 y i2 y in Luento 6 Hierarkkinen malli Johdatus hierarkkisiin malleihin - joskus myös termillä multilevel model
Luento 6 Johdatus hierarkkisiin malleihin - joskus myös termillä multilevel model Vaihtokelpoisuus (exchangeability) Slide 1 Hierarkkinen malli Esimerkki: sydäntautien hoidon tehokkuus - sairaalassa j
Lisätiedot3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin
3 Yleistä estimointiteoriaa Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin 3.1 Johdanto Tähän mennessä olemme tarkastelleet estimointia
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Viimeksi käsittelimme uskottavuusfunktioita, log-uskottavuusfunktioita ja su-estimaatteja Seuraavaksi tarkastelemme parametrin muunnoksia ja kuinka su-estimaatit käyttäytyvät
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi
LisätiedotS Bayesilaisen mallintamisen perusteet
S-114.2601 Bayesilaisen mallintamisen perusteet Laajuus: 5 op, L Opettajat: TkT Aki Vehtari, DI Simo Särkkä Slide 1 Sisältö: Bayesilainen todennäköisyysteoria ja bayesilainen päättely. Bayesilaiset mallit
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotBinomi Jacob Bernoulli ( ), Bayes ( ) Normaali de Moivre ( ), Laplace ( ), Gauss ( )
Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli (1654-1705), Bayes (1702-1761) Normaali
LisätiedotTässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:
4. Tyhjentyvyys Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä: Voidaanko päätelmät perustaa johonkin tunnuslukuun t = t(y) koko aineiston y sijasta? Mitä
LisätiedotJohdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (5) 1 Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita
LisätiedotIlkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio
Ilkka Mellin Todennäköisyyslaskenta Osa : Satunnaismuuttujat ja todennäköisyysjakaumat Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (7) 1 Momenttiemäfunktio ja karakteristinen funktio
LisätiedotLog-tiheydet - yli- ja alivuotojen välttämiseksi laskenta usein suoritettava log-tiheyksillä
Luento 7 Yleistä laskennasta mm. (luvut 10 ja 12) - karkea estimointi - posteriorimoodit - kuinka monta simulaationäytettä tarvitaan Monte Carlo (luku 11) Slide 1 - suora simulointi - hiladiskretointi
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
LisätiedotUskottavuuden ominaisuuksia
Luku 9 Uskottavuuden ominaisuuksia 9.1 Tyhjentävyys T yhjentävyys (Fisher 1922) luonnehtii täsmällisesti havaintoihin sisältyvän informaation kvantitatiivisesti. Parametrin θ estimaatti T(x) on tyhjentävä
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
Lisätiedot11 Raja-arvolauseita ja approksimaatioita
11 Raja-arvolauseita ja approksimaatioita Tässä luvussa esitellään sellaisia kuuluisia todennäköisyysteorian raja-arvolauseita, joita sovelletaan usein tilastollisessa päättelyssä. Näiden raja-arvolauseiden
LisätiedotBayesilainen päätöksenteko / Bayesian decision theory
Bayesilainen päätöksenteko / Bayesian decision theory Todennäköisyysteoria voidaan perustella ilman päätösteoriaa, mutta vasta päätösteorian avulla siitä on oikeasti hyötyä Todennäköisyyteoriassa tavoitteena
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotTilastotieteen kertaus. Vilkkumaa / Kuusinen 1
Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin
LisätiedotHY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 2018 Harjoitus 8B Ratkaisuehdotuksia.
HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 2018 Harjoitus 8B Ratkaisuehdotuksia Tehtäväsarja I 1. Jatkoa Harjoitus 8A tehtävään 3. Muodosta odotusarvolle µ approksimatiivinen
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotGaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely)
Gaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely) Ohjaaja: TkT Aki Vehtari Valvoja: Prof. Harri Ehtamo Kandidaattiseminaari 21 1.11.21 Esityksen rakenne Tausta Derivaattahavaintojen
Lisätiedot6.1.2 Luottamusjoukon määritelmä
6.1.1 Johdanto Olemme tarkastelleet piste-estimointia: tavoitteemme oli etsiä tunnuslukuja t, joilla piste t(y) hyvä arvio mallin parametrille θ (tai sen muunnokselle g(θ)). Pelkän piste-estimaatin esittäminen
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Frekventistiset vs. bayeslaiset menetelmät Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
Lisätiedot3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin
3 Yleistä estimointiteoriaa Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin 3.1 Johdanto Tähän mennessä olemme tarkastelleet estimointia
LisätiedotTilastotieteen aihehakemisto
Tilastotieteen aihehakemisto hakusana ARIMA ARMA autokorrelaatio autokovarianssi autoregressiivinen malli Bayes-verkot, alkeet TILS350 Bayes-tilastotiede 2 Bayes-verkot, kausaalitulkinta bootstrap, alkeet
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia TKK (c) Ilkka Mellin (2006) 1 Jatkuvia jakaumia >> Jatkuva tasainen jakauma Eksponenttijakauma Normaalijakauma Keskeinen
LisätiedotTämän luvun sisältö. Luku 5. Estimointiteorian perusteita. Perusjakaumat 1-ulotteisina (2) Perusjakaumat 1-ulotteisina
Tämän luvun sisältö Luku 5. T-6. Datasta tietoon, syksy professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto.. Luku käydään läpi kahdella luennolla. Perusjakaumat -ulotteisina Yleistys
LisätiedotDynaamiset regressiomallit
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf
LisätiedotHarha mallin arvioinnissa
Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö
LisätiedotKoska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.
24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ
LisätiedotBayesilaisen mallintamisen perusteet
Bayesilaisen mallintamisen perusteet Johdanto Yksiparametrisia malleja Moniparametrisia malleja Slide 1 Päättely suurten otosten tapauksessa ja bayesilaisen päättelyn frekvenssiominaisuudet Hierarkiset
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin
Lisätiedot2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2
HY, MTO / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIa, syksy 208 Harjoitus 4 Ratkaisuehdotuksia Tehtäväsarja I. Satunnaismuuttuja U Exp(2) ja V = U/(3 + U). Laske f V käyttämällä muuttujanvaihtotekniikkaa.
LisätiedotParametrin estimointi ja bootstrap-otanta
Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista
LisätiedotMarkov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - odotettu hyöty tai kustannus (expected utility or cost)
Viime kerralla Markov-ketju Monte Carlo - konvergenssidiagnostiikka (convergence diagnostics) - kuinka monta riippuvaa simulaationäytettä tarvitaan - joitakin perus-mcmc-menetelmien parannuksia Slide 1
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Tilastollisen merkitsevyyden testaus (+ jatkuvan parametrin Bayes-päättely) Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden
LisätiedotMallipohjainen klusterointi
Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio
Lisätiedotη i (θ)t i (x) A(θ) + c(x),
288 Luku 10. Perusmallit ja niiden sovelluksia muotoa (10.9.1) log f θ (x) = p η i (θ)t i (x) A(θ) + c(x), i=1 missä θ = (θ 1,...,θ p ) ja A(θ), c(x), η i (θ) ja T i (x) ovat tunnettuja funktioita. Lisäksi
LisätiedotLuku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017
Luku 1 Bayesläiset estimaattorit Lasse Leskelä Aalto-yliopisto 18. lokakuuta 217 1.1 Bayesläiset piste-estimaatit Tarkastellaan datalähdettä, joka tuottaa tiheysfunktion f(x θ) mukaan jakautuneita riippumattomia
LisätiedotTilastollinen päättely II, kevät 2017 Harjoitus 1A
Tilastollinen päättely II, kevät 207 Harjoitus A Heikki Korpela 23. tammikuuta 207 Tehtävä. Kertausta todennäköisyyslaskennasta. Ilmoita satunnaismuuttujan Y jakauman nimi ja pistetodennäköisyys- tai tiheysfunktio
LisätiedotTutkimustiedonhallinnan peruskurssi
Tutkimustiedonhallinnan peruskurssi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo hannu.toivonen, marko.salmenkivi, inkeri.verkamo@cs.helsinki.fi Helsingin yliopisto Hannu Toivonen, Marko Salmenkivi,
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotOletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen
Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä
LisätiedotMallin arviointi ja valinta. Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL
Mallin arviointi ja valinta Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL Sisältö Otoksen ennustevirheen estimointi AIC - Akaiken informaatiokriteeri mallin valintaan Parametrimäärän
Lisätiedot806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy (1 α) = 99 1 α = 0.
806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy 2012 1. Olkoon (X 1,X 2,...,X 25 ) satunnaisotos normaalijakaumasta N(µ,3 2 ) eli µ
LisätiedotTodennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1
Todennäköisyyslaskun kertaus Vilkkumaa / Kuusinen 1 Satunnaismuuttujat ja todennäköisyysjakaumat Vilkkumaa / Kuusinen 2 Motivointi Kokeellisessa tutkimuksessa tutkittaviin ilmiöihin liittyvien havaintojen
LisätiedotKertausluento. Tilastollinen päättely II - 2. kurssikoe
Kertausluento Tilastollinen päättely II - 2. kurssikoe Yleistä tietoa TP II -2. kurssikokeesta 2. kurssikoe maanantaina 6.5.2019 klo 12.00-14.30 jossakin Exactumin auditoriossa Kurssikokeeseen ilmoittaudutaan
LisätiedotKun datasta halutaan muodostaa malleja, ne ovat yleensä tilastollisia (esim. regressio, luokittelu, ryhmittely...) F(x 0 ) = P(x x 0 ) (1)
5. ESTIMOINTITEORIAN PERUSTEITA 5.1. Perusjakaumat 1-ulotteisina Kun datasta halutaan muodostaa malleja, ne ovat yleensä tilastollisia (esim. regressio, luokittelu, ryhmittely...) Siksi tarvitaan todennäköisyyslaskentaa
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
Lisätiedot6. laskuharjoitusten vastaukset (viikot 10 11)
6. laskuharjoitusten vastaukset (viikot 10 11) 1. a) Sivun 102 hypergeometrisen jakauman määritelmästä saadaan µ µ 13 39 13! 13 12 11 10 9 µ 0! 8! 1! 2 2! 2 1 0 49 48! 47!! 14440 120 31187200 120 1287
LisätiedotTilastollinen päättömyys, kevät 2017 Harjoitus 6A
Tilastollie päättömyys, kevät 07 Harjoitus 6A Heikki Korpela 8. helmikuuta 07 Tehtävä. Moistee teht. 5.. Olkoo Y,..., Y riippumato otos ekspoettiperhee jakaumasta, joka ptf/tf o muotoa fy i ; θ cθhye φθtyi
LisätiedotEstimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio
17.11.2015/1 MTTTP5, luento 17.11.2015 Luku 5 Parametrien estimointi 5.1 Piste-estimointi Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla
Lisätiedotpisteet Frekvenssi frekvenssi Yhteensä
806118P JOHDATUS TILASTOTIETEESEEN Loppukoe 15.3.2018 (Jari Päkkilä) 1. Kevään -17 Johdaus tilastotieteeseen -kurssin opiskelijoiden harjoitusaktiivisuudesta saatujen pisteiden frekvenssijakauma: Harjoitus-
LisätiedotMTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)
21.11.2017/1 MTTTP5, luento 21.11.2017 Otossuureita ja niiden jakaumia (jatkuu) 4) Olkoot X 1, X 2,..., X n satunnaisotos (, ):sta ja Y 1, Y 2,..., Y m satunnaisotos (, ):sta sekä otokset riippumattomia.
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotMat Sovellettu todennäköisyyslasku A
TKK / Systeemianalyysin laboratorio Nordlund Mat-.090 Sovellettu todennäköisyyslasku A Harjoitus 7 (vko 44/003) (Aihe: odotusarvon ja varianssin ominaisuuksia, satunnaismuuttujien lineaarikombinaatioita,
LisätiedotTilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta
Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman
LisätiedotLuku 5. Estimointiteorian perusteita
1 / 61 Luku 5. Estimointiteorian perusteita T-61.2010 Datasta tietoon, syksy 2011 professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto 10.11.2011 2 / 61 Tämän luvun sisältö Luku käydään
Lisätiedotp(y θ, M) p(θ M)dθ p(θ y, M) = p(y M) Luento 10 Marginaaliuskottavuus Bayes-tekijä Mallin odotettu hyöty DIC (Deviance Information Criterion)
Luento 10 Bayes-tekijä Mallin odotettu hyöty DIC (Deviance Information Criterion) Mallin valinta Slide 1 Marginaaliuskottavuus Bayesin kaava missä p(θ y, M) = p(y M) = p(y θ, M)p(θ M) p(y M) p(y θ, M)
LisätiedotKertausluento. Tilastollinen päättely II - 1. kurssikoe
Kertausluento Tilastollinen päättely II - 1. kurssikoe Yleistä tietoa TP II -1. kurssikokeesta 1. Kurssikoe on to 7.3 klo 12.00-14.30 (jossakin Exactumin auditorioista, salijako selvinnee tuolloin torstiana).
LisätiedotJohdatus tn-laskentaan torstai 16.2.2012
Johdatus tn-laskentaan torstai 16.2.2012 Muunnoksen jakauma (ei pelkkä odotusarvo ja hajonta) Satunnaismuuttujien summa; Tas ja N Vakiokerroin (ax) ja vakiolisäys (X+b) Yleinen muunnos: neulanheittoesimerkki
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotTilastollinen päättely II, kevät 2017 Harjoitus 3B
Tilastollie päättely II, kevät 7 Harjoitus 3B Heikki Korpela 3. maaliskuuta 7 Tehtävä. Jatkoa harjoitukse B tehtävii -3. Oletetaa, että x i c kaikilla i, ku c > o vakio. Näytä, että ˆβ, T ja T ovat tarketuvia.
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 18. lokakuuta 2007 Antti Rasila () TodB 18. lokakuuta 2007 1 / 19 1 Tilastollinen aineisto 2 Tilastollinen malli Yksinkertainen satunnaisotos 3 Otostunnusluvut
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotJohdatus todennäköisyyslaskentaan Jatkuvia jakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Jatkuvia jakaumia TKK (c) Ilkka Mellin (2005) 1 Jatkuvia jakaumia Jatkuva tasainen jakauma Eksponenttijakauma Normaalijakauma Keskeinen raja-arvolause TKK (c) Ilkka Mellin
LisätiedotHY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät Ratkaisuehdotuksia
HY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät 2017 14..2017 Ratkaisuehdotuksia 1. Olkoon θ positiivinen parametri, ja asetetaan 2θ 1 y exp y 2 /θ), kun y > 0 fy; θ) = 0, muuten
LisätiedotJohdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin
LisätiedotYleistä tietoa kokeesta
Yleistä tietoa kokeesta Kurssikoe järjestetään maanantai 7.5. klo 12-15 jossakin Exactumin auditorioista. Korvaava kurssikoe keskiviikkona (yleisenä tenttipäivänä) 11.4. klo 16-19 jossakin Exactumin auditorioista.
LisätiedotGripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta
MS-A00 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta 7.. Gripenberg Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi ym. tiedot ja minkä kokeen suoritat! Laskin,
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 15. marraskuuta 2007 Antti Rasila () TodB 15. marraskuuta 2007 1 / 19 1 Tilastollisia testejä (jatkoa) Yhden otoksen χ 2 -testi varianssille Kahden riippumattoman
Lisätiedot