Tämän luvun sisältö. Luku 5. Estimointiteorian perusteita. Perusjakaumat 1-ulotteisina (2) Perusjakaumat 1-ulotteisina
|
|
- Erkki Mikkola
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Tämän luvun sisältö Luku 5. T-6. Datasta tietoon, syksy professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto.. Luku käydään läpi kahdella luennolla. Perusjakaumat -ulotteisina Yleistys vektoridatalle, d:n muuttujan normaalijakauma Suurimman uskottavuuden periaate Bayes-estimointi Regressiosovitus Esimerkki regressiosta: neuroverkko / 6 / 6 Perusjakaumat -ulotteisina Perusjakaumat -ulotteisina () Kun datasta halutaan muodostaa malleja, ne ovat yleensä tilastollisia (esim. regressio, luokittelu, ryhmittely,...) esimerkki regressiosta esimerkki luokittelusta esimerkki ryhmittelystä Siksi tarvitaan todennäköisyyslaskentaa Peruskäsite siellä on todennäköisyysjakauma (kertymäfunktio) skalaariarvoiselle satunnaismuuttujalle : F( ) = P( ) () antaa todennnäköisyyden sille että. Funktio F( ) on ei-vähenevä, jatkuva ja F( ). Tiheysfunktio :lle pisteessä = df () p( ) = d () = on funktion F() derivaatta pisteessä = Vastaavasti tietenkin F( ) = p()d / 6 4 / 6
2 Perusjakaumat -ulotteisina () Perusjakaumat -ulotteisina Esimerkkejä Tiheysfunktiolla on seuraavat ominaisuudet: p()d = p()d = µ = E{} ( µ) p()d = σ = Var{}. Tässä µ ja σ ovat :n odotusarvo ja keskihajonta. Oletan tunnetuiksi jotkut yleisimmät tiheysfunktiot, kuten normaalijakauma (eli Gaussin jakauma) eksponentiaalinen jakauma p() = e ( µ) σ π σ p() = λe λ ja tasainen jakauma (välillä [a,b]) p() = /(b a), kun [a, b], muuten 5 / 6 6 / 6 Perusjakaumat -ulotteisina Normaalijakauman tiheysfunktio p() Parametrit µ (keskiarvo) ja σ (keskihajonta, σ varianssi) p() = e ( µ) σ πσ Perusjakaumat -ulotteisina Eksponentiaalijakauman tiheysfunktio p() Parametri λ (/µ, jossa µ keskiarvo) p() = λe λ p( µ) = [ / µ] ep( /µ).9.8 p( µ, σ) = [ / (σ ( π) / )] ep( ( µ) /( σ )) σ =., µ= σ =, µ= σ = 5, µ=.8.6 µ=.5 µ= µ= p() p() Kuva: Normaalijakauma kolmella eri σ:n arvolla Kuva: Eksponenttijakauma kolmella eri λ:n arvolla 7 / 6 8 / 6
3 Perusjakaumat -ulotteisina Tasainen jakauman tiheysfunktio p() Yleistys vektoridatalle Tasainen välillä [a, b] p() = b a, kun [a, b], muuten Kun puhutaan vektoridatasta, on pakko yleistää yo. jakaumat moniulotteisiksi: olkoon taas datavektori = (,,..., d ) T Sen todennäköisyysjakauma (kertymäfunktio) on.7 p( a,b) = [ / (b a)] I a,b a=, b= F( ) = P( ) () p() Kuva: Tasajakauma missä relaatio ymmärretään alkioittain Vastaava moniulotteinen tiheysfunktio p() on tämän osittaisderivaatta kaikkien vektorialkioiden suhteen: p( ) =... F() (4) d = Käytännössä tiheysfunktio on tärkeämpi. 9 / 6 / 6 Yleistys vektoridatalle Kahden muuttujan normaalijakauma, symmetrinen, d = Symmetrinen -ulotteinen (d = ) normaalijakauma on p() = ( µ ) +( µ ) πσ e σ missä jakauman odotusarvo (keskipiste) on piste m = [µ, µ ] ja keskihajonta joka suuntaan on sama σ. p(,y µ, Σ) y Kuva: Symmetrinen D-normaalijakauma Yleistys vektoridatalle Kahden muuttujan normaalijakauma, d = Yllä oleva -ulotteinen normaalijakauma voidaan yleisemmin kirjoittaa muotoon ( p() = K ep ) ( m)t C ( m) jossa skaalaustermi K (d = ) K = (π) d/ det(c) / = π det(c) / ja C (toisinaan Σ) on ( )-kokoinen kovarianssimatriisi ja m = [µ µ ] T keskiarvovektori (huippukohta) / 6 / 6
4 Yleistys vektoridatalle () Kahden muuttujan normaalijakauma, d = Keskihajonta / varianssi on -ulotteisessa tapauksessa monimutkaisempi kuin -ulotteisessa tapauksessa: varianssin σ = E{( µ) } korvaa kovarianssimatriisi [ E{( C = µ ) ] } E{( µ )( µ )} E{( µ )( µ )} E{( µ ) } Esimerkkejä -ulotteisen normaalijakauman tiheysfunktioista µ =, µ =, symmetrinen diagonaalinen C, jossa lisäksi σ = σ µ =, µ =, symmetrinen diagonaalinen C, jossa σ σ µ =, µ =, symmetrinen ei-diagonaalinen C Yleistys vektoridatalle d:n muuttujan normaalijakauma Yleistys d:hen dimensioon suoraviivainen: matriisialkiot ovat C ij = E{( i µ i )( j µ j )} = Cov( i, j ) Kovarianssimatriisi C on siis symmetrinen neliömatriisi kokoa (d d) Silloin d-ulotteisen normaalijakauman tiheysfunktio voidaan kirjoittaa vektori-matriisimuotoon: ( p() = K ep ) ( m)t C ( m) missä m = [µ,..., µ d ] T on keskiarvovektori (jakauman keskipiste, huippukohta) ja K on normalisoiva termi (5) K = / 6 (π) d/ det(c) / 4 / 6 Yleistys vektoridatalle () d:n muuttujan normaalijakauma Yleistys vektoridatalle Korreloimattomuus ja riippumattomuus Termi K tarvitaan vain, jotta p():n integraali d-ulotteisen avaruuden yli olisi Voidaan integroimalla johtaa että E{} = m = p()d R E{( m)( m) T } = C Huomaathan, että vaikka d >, niin p() R eli tiheysfunktion arvo on skalaari, sillä matriisikertolaskut eksponenttifunktiossa ( d)(d d)(d ) = ( ) Vektorin alkiot ovat korreloimattomat jos niiden kovarianssit ovat nollia eli E{( i µ i )( j µ j )} =. Toisin sanoen, kovarianssimatriisi C on diagonaalinen σ... σ... C =..... σd Vektorin alkiot ovat riippumattomat jos niiden yhteistiheysjakauma voidaan lausua marginaalijakaumien tulona: p() = p ( )p ( )...p d ( d ) 5 / 6 6 / 6
5 Yleistys vektoridatalle () Korreloimattomuus ja riippumattomuus Yleistys vektoridatalle () Korreloimattomuus ja riippumattomuus Riippumattomuus tuottaa aina korreloimattomuuden, mutta ei välttämättä toisinpäin Osoitetaan että jos normaalijakautuneen vektorin alkiot ovat korreloimattomat, niin ne ovat myös riippumattomat: katsotaan termiä ( m) T C ( m) tapauksessa missä E{( i µ i )( j µ j )} = (korreloimattomuus). Mutta silloin C on lävistäjämatriisi ja ( m) T C ( m) = d (C ii ) ( i µ i ) i= Kun otetaan tästä eksponenttifunktio kuten kaavassa (5) saadaan ( p() = K ep ) ( m)t C ( m) = K ep ( ) d (C ii ) ( i µ i ) i= = K ep( C ( µ ) )... ep( C dd ( d µ d ) ) joten p() hajaantuu marginaalijakaumien tuloksi, eli alkiot i ovat riippumattomia. 7 / 6 8 / 6 Suurimman uskottavuuden periaate Parametrisen tiheysfunktion estimointi Edellä esiteltiin teoriassa vektorimuuttujan jakauma, etenkin normaalijakauma. Jos on kuitenkin annettuna vain vektorijoukko datamatriisin X muodossa, mistä tiedämme sen jakauman? Data X ja eräs mahdollinen p() Jakauma olisi erittäin hyödyllinen, koska sen avulla voidaan esim. vastata seuraavaan kysymykseen: kun on annettuna uusi vektori, millä todennäköisyydellä se kuuluu samaan joukkoon kuin datajoukko X (tai jokin sen osajoukko). Suurimman uskottavuuden periaate () Parametrisen tiheysfunktion estimointi Etenkin luokittelu perustuu usein jakaumien estimointiin p( ω i ) new B p( ω A ) p( ω B ) p( ω A )=p( ω B ) Kuva: Esimerkki luokittelusta. Olkoon data X A naisten ja X B miesten pituuksia (cm), ja niistä estimoidut normaalijakaumat p A () p( ω A ) ja p B () p( ω B ). Jakaumia voidaan käyttää luokittelemaan uusi datapiste p( new ω B ) > p( new ω A ). Havainto new luokiteltaisiin naiseksi. 9 / 6 / 6
6 Suurimman uskottavuuden periaate () Parametrisen tiheysfunktion estimointi Eräs mahdollisuus on d-ulotteinen histogrammi: mutta dimensionaalisuuden kirous tekee tästä hyvin hankalan jos d vähänkin suuri Parempi menetelmä on yleensä parametrinen tiheysestimointi, joka tarkoittaa, että oletetaan tiheysfunktiolle p() jokin muoto (esim. normaalijakauma) ja pyritään estimoimaan datajoukosta vain sen parametrit normaalijakaumalle siis keskiarvovektori m = [µ... µ d ] T ja kovarianssimatriisi C = (C ij ) Tämä tekee yhteensä vain d + d(d + )/ parametria, koska C on symmetrinen matriisi kokoa (d d) Vertaa histogrammiin, jossa lokeroiden määrä kasvaa eksponentiaalisesti l d. Suurimman uskottavuuden periaate (4) Parametrisen tiheysfunktion estimointi Merkitään tuntemattomien parametrien muodostamaa järjestettyä joukkoa vektorilla θ ja tiheysjakaumaa p( θ) Tarkoittaa: funktion varsinainen argumentti ovat vektorialkiot,..., d mutta funktio riippuu myös parametreista (θ:n alkioista) aivan niinkuin vaikkapa normaalijakauman muoto muuttuu kun kovarianssimatriisi muuttuu Funktion yleinen muoto oletetaan siis tunnetuksi (parametreja vaille) ja parametrivektorin θ alkiot ovat vakioita mutta tuntemattomia. Miten estimaatit ˆθ sitten ratkaistaan? / 6 / 6 Suurimman uskottavuuden periaate Suurimman uskottavuuden menetelmässä (maimum likelihood) Milton: ML method valitaan se parametrivektori θ joka maksimoi datavektorijoukon yhteisen tiheysfunktion, ns. uskottavuusfunktion L(θ) L(θ) = p(x θ) = p((), (),..., (n) θ) (6) Tässä X on siis koko datamatriisi ja (),..., (n) ovat sen sarakkeet Ajatus: valitaan sellaiset arvot parametreille, että havaittu datajoukko on todennäköisin mahdollinen Esimerkki Huomaa että kun numeerinen datamatriisi X sijoitetaan tähän funktioon, se ei olekaan enää :n funktio vaan ainoastaan θ:n. Suurimman uskottavuuden periaate () Siten parametrit saadaan maksimoimalla ( derivaatan nollakohta ) p(x θ) θ = (7) θ= ˆθ ML Yleensä aina ajatellaan että datavektorit (X:n sarakkeet) ovat riippumattomia, jolloin uskottavuusfunktio hajoaa tuloksi: n L(θ) = p(x θ) = p((j) θ) (8) Useimmiten uskottavuusfunktiosta L(θ) otetaan vielä logaritmi ln L(θ), koska silloin (a) laskenta muuttuu yleensä helpommaksi (useimpien tiheysfunktioiden tulo muuttuu summaksi) ja (b) sekä L(θ):n että ln L(θ):n ääriarvo (maksimi) on samassa pisteessä. j= / 6 4 / 6
7 Suurimman uskottavuuden periaate Esimerkki -ulotteiselle normaalijakaumalle Suurimman uskottavuuden periaate () Esimerkki -ulotteiselle normaalijakaumalle Esimerkki: otetaan -ulotteinen (skalaari)data, eli datamatriisissa on vain skalaarilukuja (),..., (n). Oletetaan että näytteet ovat riippumattomia toisistaan. Oletetaan että ne ovat normaalijakautuneita, mutta emme tiedä niiden odotusarvoa µ emmekä varianssia σ. Lasketaan nämä suurimman uskottavuuden menetelmällä. Uskottavuusfunktio ensimmäiselle datapisteelle : [ p(() µ, σ ) = (πσ ) / ep ] [() µ] σ Uskottavuusfunktio L(θ) koko datasetille: p(x µ, σ ) = (πσ ) n/ ep Otetaan logaritmi ln L(θ): σ ln p(x µ, σ ) = n ln(πσ ) σ [(j) µ] (9) j= [(j) µ] () j= 5 / 6 6 / 6 Suurimman uskottavuuden periaate () Esimerkki -ulotteiselle normaalijakaumalle Suurimman uskottavuuden periaate (4) Esimerkki -ulotteiselle normaalijakaumalle Etsitään ääriarvo asettamalla derivaatta nollaksi ja saadaan yhtälö odotusarvolle µ µ ln p(x µ, σ ) = σ [(j) µ] = () Ratkaistaan tämä µ:n suhteen, saadaan otoksen keskiarvo µ = ˆµ ML = n j= (j) () j= Vastaava yhtälö varianssille σ on σ ln p(x µ, σ ) = () josta tulee ML-estimaattina otoksen varianssi ˆσ ML = n [(j) ˆµ ML ]. (4) j= 7 / 6 8 / 6
8 Bayes-estimointi Bayes-estimointi () Bayes-estimointi on periaatteeltaan erilainen kuin ML-estimointi Oletamme että tuntematon parametrijoukko (vektori) θ ei olekaan kiinteä vaan silläkin on jokin oma jakaumansa p(θ) Kun saadaan mittauksia / havaintoja, niiden avulla θ:n jakauma tarkentuu (esim. sen varianssi pienenee). Käytännössä Bayes-estimointi ei välttämättä ole paljonkaan ML-menetelmää raskaampi mutta antaa parempia tuloksia Muistetaan todennäköisyyslaskennasta ehdollisen todennäköisyyden kaava: P(A B) = P(A, B)/P(B) missä A ja B ovat joitakin tapahtumia (ajattele vaikka nopanheittoa) Tätä voi hyödyntää ajattelemalla datajoukkoa ja sitä mallia (todennäköisyysjakauman parametreja) josta datajoukko on tullut: P(malli, data) = P(malli data)p(data) = P(data, malli) = P(data malli)p(malli) jossa vain on kirjoitettu datan ja mallin yhteisjakauma kahdella eri tavalla Mutta tästä seuraa ns. Bayesin kaava P(malli data) = P(data malli)p(malli) P(data) (5) 9 / 6 / 6 Bayes-estimointi () Bayes-estimointi (4) Ajatus on että meillä on jokin käsitys mallin todennäköisyydestä ennen kuin mitään dataa on olemassa: P(malli), ns. prioritodennäköisyys Kun dataa sitten saadaan, tämä tarkentuu todennäköisyydeksi P(malli data), ns. posterioritodennäköisyys Kuva: Bayesiläinen laskenta: Priori p(θ) ja posteriori p(θ X), kun havaittu dataa X. Posteriorista laskettu piste-estimaatti θ MAP. Bayesin kaava kertoo kuinka tämä tarkentuminen lasketaan. Jos meillä on taas datamatriisi X ja tuntematon parametrivektori θ, niin Bayes antaa p(θ X) = p(x θ)p(θ) p(x) (HUOM matemaattinen merkintätapa: kaikkia todennäköisyysjakaumia (tiheysfunktioita) merkitään vain p:llä, ja argumentti kertoo mistä p:stä on kysymys. Tämä on tietysti matemaattisesti väärin mutta yleisesti käytetty tapa.) / 6 / 6
9 Bayes-estimointi (5) Bayes-estimointi (6) Yo. kaavassa nähdään että priorijakauma kerrotaan uskottavuusfunktiolla ja jaetaan datan jakaumalla, jotta saataisiin posteriorijakauma. Bayes-analyysissä keksitään priorijakauma ja pyritään muodostamaan posteriorijakauma Usein kuitenkin tyydytään etsimään posteriorin maksimikohta θ:n suhteen: Maksimi-posteriori eli MAP-estimointi Tällä on selkeä yhteys ML-estimointiin: nimittäin Bayesin kaava antaa ja etsittäessä maksimikohtaa θ:n suhteen tulee gradienttiyhtälö ln p(x θ) + ln p(θ) = (6) θ θ Huomataan että ML-menetelmään verrattuna tulee ylimääräinen termi (ln p(θ))/ θ. Siitä on joskus suurta hyötyä, kuten seuraavassa kohdassa nähdään. ln p(θ X) = ln p(x θ) + ln p(θ) ln p(x) / 6 4 / 6 Regressiosovitus Regressiosovitus ML-estimointi lineaarisessa regressiossa Regressio eroaa tähänastisista ohjaamattoman oppimisen menetelmistä (PCA, DSS, todennäköisyysjakaumien estimointi) siinä, että kuhunkin datavektoriin (i) liittyy jokin lähtösuure y(i), jonka arvellaan noudattavan mallia y(i) = f ((i), θ) + ɛ(i) Tässä f on jokin funktio, ns. regressiofunktio, ja ɛ(i) on virhe (y-akselin suunnassa) Funktiolla f on tunnettu (tai oletettu) muoto mutta tuntematon parametrivektori θ Yleinen esimerkki polynomisesta sovituksesta Esimerkkinä lineaarinen regressio: y(i) = θ + d θ j j (i) + ɛ(i) = θ + θ T (i) + ɛ(i) j= Tunnettu tapa ratkaista parametrit ˆθ on pienimmän neliösumman keino: minimoi θ:n suhteen n [y(i) f ((i), θ)] i= 5 / 6 6 / 6
10 Regressiosovitus () ML-estimointi lineaarisessa regressiossa Itse asiassa tämä on ML-estimaatti tietyllä ehdolla: jos regressiovirhe ɛ(i) (kaikille arvoille i) on riippumaton (i):n arvosta ja normaalijakautunut odotusarvolla ja hajonnalla σ. (Hyvin luonnollinen oletus!) Silloin ML-estimaatti parametrille θ saadaan uskottavuusfunktiosta (Y = (y(i)) i ) p(x, Y θ) = p(x)p(y X, θ) = p(x) n p(y(i) X, θ) i= jossa on vain käytetty ehdollisen todennäköisyyden kaavaa, huomattu että X ei riipu regressiomallin parametreistä ja oletettu eri mittapisteissä olevat y(i):t riippumattomiksi (kuten ML-estimoinnissa yleensä oletetaan) 7 / 6 Regressiosovitus () ML-estimointi lineaarisessa regressiossa Otetaan logaritmi ln p(x, Y θ) = ln p(x) + ln p(y(i) X, θ) i= Mutta jos X eli sen sarakkeet (i) ovat kiinteitä niinkuin ehdollisessa todennäköisyydessä ajatellaan, on y(i):n jakauma sama kuin ɛ(i):n mutta keskiarvo on siirtynyt kohtaan f ((i), θ) - siis normaalijakauma: p(y(i) X, θ) = vakio ep( σ [y(i) f ((i), θ)] ) 8 / 6 Regressiosovitus (4) ML-estimointi lineaarisessa regressiossa Regressiosovitus Bayesin priorijakauman hyväksikäyttö lineaarisessa regressiossa Vihdoin saadaan uskottavuusfunktion logaritmiksi: ln p(x, Y θ) = ln p(x) σ [y(i) f ((i), θ)] +n ln(vakio) i= Maksimoinnissa (derivointi θ:n suhteen) θ:sta riippumattomat termit katoavat Täten maksimointi on täsmälleen sama kuin pienimmän neliösumman minimointi! (Koska p(x) on datamatriisin jakauma eikä riipu mistään mallista) Mitä Bayes voi antaa tähän lisää? ML:ssä maksimoitiin p(x, Y θ). Bayes-estimoinnissa maksimoidaan p(θ X, Y ) p(x, Y θ) p(θ), joka logaritmin jälkeen on ln p(x, Y θ) + ln p(θ) Eli maksimoitavassa funktiossa on priorijakaumasta tuleva termi ln p(θ) ja maksimoitava funktio on σ [y(i) f ((i), θ)] + ln p(θ) i= Tästä näkee, että jos kohinan ɛ(i) varianssi σ on hyvin suuri, niin. termi on pieni ja θ:n priorijakauma määrää pitkälle sen arvon. 9 / 6 4 / 6
11 Regressiosovitus () Bayesin priorijakauman hyväksikäyttö lineaarisessa regressiossa Päinvastoin jos σ on pieni,. termi dominoi ja priorijakaumalla on hyvin vähän vaikutusta lopputulokseen Tämä tuntuu hyvin luonnolliselta ja hyödylliseltä! Esimerkiksi jos on syytä olettaa että kaikki parametrit ovat (,)-normaalijakautuneita, on p(θ) = vakio ep( / K θk ), k= Regressiosovitus () Bayesin priorijakauman hyväksikäyttö lineaarisessa regressiossa Tällöin regressiomalli yleensä käyttäytyy paremmin kuin jos parametreilla on hyvin suuria arvoja. ln p(θ) = ln(vakio) / K θk, k= ja prioritermin maksimointi johtaa pieniin arvoihin parametreille. 4 / 6 4 / 6 Esimerkki lineaarisesta regressiosta Esimerkki lineaarisesta regressiosta () Katsotaan esimerkkinä lineaarista regressiota Nyt oletetaan että datasta tiedetään seuraavaa: yhteys on joko. asteen (lineaarinen) tai ehkä toisen asteen polynomi, joka kulkee hyvin luultavasti origon kautta. Mallin virhe (mitattujen y(i)- arvojen poikkeama mallin antamista arvoista) on normaalijakautunut hajonnalla σ. Malli on silloin y(i) = a + b(i) + c(i) + ɛ(i) Käytetään Bayes-estimointia. Priorit valitaan normaalijakautuneiksi siten että a:n keskiarvo on hajonta on., b:n keskiarvo on ja hajonta.5 ja c:n keskiarvo on ja hajonta. Näiden tiheydet ovat siis vakio e 5a, vakio e (b ), vakio e.5c ja maksimoitava funktio on (kun vakiot tiputetaan pois) σ [y(i) a b(i) c(i) ] 5a (b ).5c Derivoimalla a:n suhteen ja ratkaisemalla saadaan a = n + σ [y(i) b(i) c(i) ] ja vastaavat yhtälöt b:lle ja c:lle, joista ne kaikki voidaan ratkaista (lineaarinen yhtälöryhmä kolmelle muuuttujalle). 4 / 6 44 / 6
12 Esimerkki lineaarisesta regressiosta () Esimerkki regressiosta: neuroverkko Neuroverkko on oheisen kuvan esittämä laskentamalli, joka laskee kohtalaisen monimutkaisen funktion tulosuureistaan (inputeistaan) Ilman Bayesia yo. kaavasta putoaa kokonaan pois termi σ, joten Bayes pakottaa a:n aina pienempään arvoon. Ainoastaan kun mallin virhevarianssi σ on hyvin pieni, Bayesin vaikutus menee vähäiseksi (silloin data on hyvin luotettavaa ja etukäteistiedon merkitys vähenee). Kuva: Monikerrosperseptroniverkko (MLP) yhdellä ulostulolla. 45 / 6 46 / 6 Esimerkki regressiosta: neuroverkko () Malli koostuu neuroneista jotka laskevat funktioita tulosuureistaan Ensimmäisen kerroksen, ns. piilokerroksen neuronit laskevat kukin funktion z i = f (, w i ) tulosuureista jotka ovat syötteenä olevan vektorin alkiot Funktio on epälineaarinen ja w i on i:nnen neuronin parametrivektori (jossa alkioita yhtä monta kuin :ssä) Toisen kerroksen neuroni laskee vain painotetun summan piilokerroksen lähtösuureista z i : y = i v iz i Esimerkki regressiosta: neuroverkko () Toisessa kerroksessa voi olla myös useampia rinnakkaisia neuroneita, jolloin verkko laskee regressiofunktion vektoreista vektoreihin y; Kuva: Yleinen monikerrosperseptroniverkko (MLP). 47 / 6 48 / 6
13 Esimerkki regressiosta: neuroverkko (4) MLP-verkon sovelluksena vaikkapa numerontunnistus Kuva: Esimerkki neuroverkon käytöstä käsinkirjoitettujen merkkien tunnistamisessa. Neuroverkko oppii aineistosta kunkin numeron ja antaa suurimman vasteen kyseiselle ulostuloneuronille. Esimerkki regressiosta: neuroverkko (5) Neuroverkoista on tullut tavattoman suosittuja hyvin monilla aloilla, koska ne laskevat hyvin isoja regressiomalleja, ovat osoittautuneet suhteellisen tarkoiksi ja tehokkaiksi, ja parametrien laskemiseksi isoissakin malleissa (satoja tai tuhansia neuroneita) on hyvin tehokkaita koneoppimisalgoritmeja ja helppokäyttöisiä ohjelmistopaketteja Raportoituja sovelluksia on satoja ellei tuhansia Enemmän kurssissa T-6.5 Machine Learning and Neural Networks. 49 / 6 5 / 6 Yhteenveto Esimerkki yksinkertaisesta lineaarisesta regressiosta Tässä luvussa tutustuttiin tiheysfunktioihin esiteltiin suurimman uskottavuuden menetelmä parametrien estimointiin liitettiin etukäteistieto (a priori) parametrien estimointiin Bayesin teoreemaa käyttäen laskettiin regressiota eri menetelmillä (ML, Bayes, neuroverkko) y y f () = f ML () = f () = y y new = f ML () = new = Kuva: Vasen kuva: datapisteitä ( i, y i ). Tavoite selittää y :n avulla käyttämällä funktiota f (, θ) = k + b. Keskikuva: Kolme eri parametrisovitusta θ ML, θ, θ. Parametrit estimoidaan pienimmän neliösumman kriteerin mukaisesti ja f ML () = antaa parhaimman sovituksen. Oikea kuva: opittua funktiota f voidaan käyttää arvioimaan uudelle new :lle sopiva y new. Takaisin kalvoihin 5 / 6 5 / 6
14 y y Esimerkki yksinkertaisesta luokittelusta Esimerkki ryhmittelystä 9 Luokka A Luokka B Luokka A Luokka B Ryhma A 5 5 new A Ryhma B Kuva: Vasemmalla -ulotteinen data-aineisto, jossa lisänä luokkainformaatio jokaisesta datapisteestä joko A (pallo) tai B (neliö). Datasta on opittu luokittelija (luokkaraja). Oikealla luokittelijaa käytetään antamaan "sopiva" luokka-arvo uudelle datapisteelle new. Tässä esimerkissä luokittelija voi tuntua antavan "väärän" tuloksen. Takaisin kalvoihin Ryhma C Kuva: Vasemmalla -ulotteista dataa ilman luokkainformaatiota. Oikealla näytteet ryhmitelty kolmeen ryppääseen, joita aletaan kutsua ryhmiksi A, B, C. Takaisin kalvoihin 5 / 6 54 / 6 Esimerkki -ulotteisesta normaalijakaumasta µ =, µ =, symmetrinen diagonaalinen C, jossa lisäksi σ = σ Esimerkki -ulotteisesta normaalijakaumasta µ =, µ =, symmetrinen diagonaalinen C, jossa σ σ.4.5 p(,y µ, Σ) p(,y µ, Σ) y.4. y.5..5 Kuva: Esimerkki -ulotteisesta normaalijakaumasta: µ = [, ] µ =, symmetrinen diagonaalinen C, jossa lisäksi σ = σ : µ =, [ ] C =. Tässä esim. p( [ ] T ).59 ja p( [ ] T ).. toinen esimerkki kolmas esimerkki Takaisin kalvoihin 55 / 6 Kuva: Esimerkki -ulotteisesta normaalijakaumasta: [ µ ] =, [ µ =, ] symmetrinen diagonaalinen C, jossa σ σ : µ =, C =.. Tässä esim. p( [ ] T ).5 ja p( [. ] T ).95. ensimmäinen esimerkki kolmas esimerkki Takaisin kalvoihin 56 / 6
15 y Esimerkki -ulotteisesta normaalijakaumasta µ =, µ =, symmetrinen ei-diagonaalinen C Data X ja siitä eräs tiheysfunktio p() p(,y µ, Σ) y Kuva: Esimerkki -ulotteisesta normaalijakaumasta: [ [ µ = ], µ =,.5 symmetrinen ei-diagonaalinen C: µ =, C =. Tässä ].5.4 esim. p( [ ] T ).4 ja p( [ ] T ).8. ensimmäinen esimerkki toinen esimerkki Takaisin kalvoihin Kuva: Vasemmalla -ulotteinen datamatriisi X, jossa 5 näytettä, esimerkiksi ihmisten pituuksia (cm). Oikealla siihen sovitettu tiheysfunktio p(), joka tällä kertaa normaalijakauma. Normaalijakauman parametrit ˆµ ja ˆσ on estimoitu datasta. Silmämääräisesti ˆµ 79 ja ˆσ 9. Takaisin kalvoihin 57 / 6 58 / 6 Suurimman uskottavuuden menetelmä Maimum likelihood method by Milton and Arnold Obtain a random sample (), (),..., (n) from the distribution of a random variable X with density p and associated parameter θ Define a likelihood function L(θ) by n L(θ) = p((i)) i= Find the epression for θ that maimizes the likelihood function. This can be done directly or by maimizing ln L(θ) 4 Replace θ by ˆθ to obtain an epression for ML estimator for θ 5 Find the observed value of this estimator for a given sample p.. Milton, Arnold: Introduction to probability and statistics. Third edition. McGraw-Hill, 995. Takaisin kalvoihin 59 / 6 ML:n perusajatus Valitaan todennäköisimmin datan generoinut jakauma µ = 69, σ = µ = 58, σ = µ = 74, σ = Kuva: Annettuna datajoukko (),..., (9) R palloina ja kolme gaussista tiheysfunktiota eri parametriyhdistelmillä θ = {µ = 69, σ = 7}, θ = {µ = 58, σ = 5} ja θ = {µ = 74, σ = 8}. Lasketaan uskottavuusfunktio L(θ) = p(() θ) p(() θ)... p((9) θ). Ensimmäinen tuottaa selvästi suurimman L(θ):n arvon annetulla datasetillä: L(θ ) = > L(θ ) > L(θ ). Valitaan siten θ = {µ = 69, σ = 7} (näistä kolmesta vaihtoehdosta!), koska θ on todennäköisimmin generoinut datan X. Takaisin kalvoihin 6 / 6
16 Esimerkki lineaarisesta regressiosta ja ylioppimisesta Polynomisovitus asteilla p= ja p=5 pieneen datamäärään N=5 f():n asteluku = f():n asteluku = 5 9 y new, p= y() y new, p=5 new Kuva: Regressiosovitus y(i) = f ((i), θ) + ɛ(i). Tunnetaan viisi havaintoa {(i), y(i)} i (mustat pallot). Asteluvun p = polynomifunktio f p= (.) (sininen katkoviiva) sovittuu melko hyvin (pienehköt virheet (y(i) f ((i), θ )) ). Sen sijaan polynomisovitus f p=5 (.) asteluvulla p = 5 vie neliövirheen nollaan, mutta on ylioppinut tunnettuun dataan ja siten huono uusille havainnoille (esim. new ). Takaisin kalvoihin 6 / 6
Kun datasta halutaan muodostaa malleja, ne ovat yleensä tilastollisia (esim. regressio, luokittelu, ryhmittely...) F(x 0 ) = P(x x 0 ) (1)
5. ESTIMOINTITEORIAN PERUSTEITA 5.1. Perusjakaumat 1-ulotteisina Kun datasta halutaan muodostaa malleja, ne ovat yleensä tilastollisia (esim. regressio, luokittelu, ryhmittely...) Siksi tarvitaan todennäköisyyslaskentaa
LisätiedotLuku 5. Estimointiteorian perusteita
1 / 61 Luku 5. Estimointiteorian perusteita T-61.2010 Datasta tietoon, syksy 2011 professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto 10.11.2011 2 / 61 Tämän luvun sisältö Luku käydään
LisätiedotMallipohjainen klusterointi
Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Bayesläiset piste- ja väliestimaatit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotMaximum likelihood-estimointi Alkeet
Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotMoniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?
TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Frekventistiset vs. bayeslaiset menetelmät Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotJohdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Bayesläinen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen
LisätiedotP(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu
1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Aluksi käsittelemme uskottavuus- ja log-uskottavuusfunktioita Seuraavaksi esittelemme suurimman uskottavuuden estimointimenetelmän Ensi viikolla perehdymme aiheeseen lisääkö
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotTilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio
Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3
LisätiedotP (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.
Yhteenveto: Satunnaisvektorit ovat kuvauksia tn-avaruudelta seillaiselle avaruudelle, johon sisältyy satunnaisvektorin kaikki mahdolliset reaalisaatiot. Satunnaisvektorin realisaatio eli otos on jokin
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 6A Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotLuku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017
Luku 1 Bayesläiset estimaattorit Lasse Leskelä Aalto-yliopisto 18. lokakuuta 217 1.1 Bayesläiset piste-estimaatit Tarkastellaan datalähdettä, joka tuottaa tiheysfunktion f(x θ) mukaan jakautuneita riippumattomia
Lisätiedot9. laskuharjoituskierros, vko 12-13, ratkaisut
9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t
Lisätiedotl (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on
HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 018 Harjoitus B Ratkaisuehdotuksia Tehtäväsarja I 1 (Monisteen tehtävä 14) Olkoon f Y (y; θ) tilastollinen malli, jonka
LisätiedotMallin arviointi ja valinta. Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL
Mallin arviointi ja valinta Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL Sisältö Otoksen ennustevirheen estimointi AIC - Akaiken informaatiokriteeri mallin valintaan Parametrimäärän
LisätiedotTodennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3
Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Aiheet: Satunnaisvektorit ja moniulotteiset jakaumat Tilastollinen riippuvuus ja lineaarinen korrelaatio Satunnaisvektorit ja moniulotteiset
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A050 Todennäköisyyslaskennan ja tilastotieteen peruskurssi B Satunnaismuuttujat ja todennäköisyysjakaumat Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotMat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:
Mat-.9 Sovellettu todennäköisyyslasku A Mat-.9 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Moniulotteiset jakaumat Diskreetti jakauma, Ehdollinen jakauma, Ehdollinen odotusarvo, Jatkuva
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 2
Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
LisätiedotMat Sovellettu todennäköisyyslasku A
TKK / Systeemianalyysin laboratorio Nordlund Mat-.090 Sovellettu todennäköisyyslasku A Harjoitus 7 (vko 44/003) (Aihe: odotusarvon ja varianssin ominaisuuksia, satunnaismuuttujien lineaarikombinaatioita,
LisätiedotTilastollinen päättömyys, kevät 2017 Harjoitus 6B
Tilastollinen päättömyys, kevät 7 Harjoitus 6B Heikki Korpela 8. helmikuuta 7 Tehtävä. Monisteen teht. 6... Olkoot Y,..., Y 5 Nµ, σ, ja merkitään S 5 i Y i Y /4. Näytä, että S/σ on saranasuure eli sen
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A050 Todennäköisyyslaskennan ja tilastotieteen peruskurssi B Satunnaismuuttujat ja todennäköisyysjakaumat Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotTilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta
Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotMTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)
21.11.2017/1 MTTTP5, luento 21.11.2017 Otossuureita ja niiden jakaumia (jatkuu) 4) Olkoot X 1, X 2,..., X n satunnaisotos (, ):sta ja Y 1, Y 2,..., Y m satunnaisotos (, ):sta sekä otokset riippumattomia.
Lisätiedot4.2.2 Uskottavuusfunktio f Y (y 0 X = x)
Kuva 4.6: Elektroniikassa esiintyvän lämpökohinan periaate. Lämpökohinaa ε mallinnetaan additiivisella häiriöllä y = Mx + ε. 4.2.2 Uskottavuusfunktio f Y (y 0 X = x) Tarkastellaan tilastollista inversio-ongelmaa,
Lisätiedot1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 017 Harjoitus 5 Ratkaisuehdotuksia Tehtäväsarja I 1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X
LisätiedotSallitut apuvälineet: MAOL-taulukot, kirjoitusvälineet, laskin sekä itse laadittu, A4-kokoinen lunttilappu. f(x, y) = k x y, kun 0 < y < x < 1,
Todennäköisyyslaskenta, 2. kurssikoe 7.2.22 Sallitut apuvälineet: MAOL-taulukot, kirjoitusvälineet, laskin sekä itse laadittu, A4-kokoinen lunttilappu.. Satunnaismuuttujien X ja Y yhteistiheysfunktio on
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
Lisätiedot2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2
HY, MTO / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIa, syksy 208 Harjoitus 4 Ratkaisuehdotuksia Tehtäväsarja I. Satunnaismuuttuja U Exp(2) ja V = U/(3 + U). Laske f V käyttämällä muuttujanvaihtotekniikkaa.
LisätiedotKeskipisteen lisääminen 2 k -faktorikokeeseen (ks. Montgomery 9-6)
Mat-.3 Koesuunnittelu ja tilastolliset mallit kevät Keskipisteen lisääminen k -faktorikokeeseen (ks. Montgomery 9-6) Esim (Montg. ex. 9-, 6-): Tutkitaan kemiallisen prosessin saannon Y riippuvuutta faktoreista
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotTilastollinen päättely II, kevät 2017 Harjoitus 2A
Tilastollinen päättely II, kevät 07 Harjoitus A Heikki Korpela 3. tammikuuta 07 Tehtävä. (Monisteen tehtävä.3 Olkoot Y,..., Y n Exp(λ. Kirjoita vastaava tilastollisen mallin lauseke (ytf. Muodosta sitten
LisätiedotTILASTOLLINEN OPPIMINEN
301 TILASTOLLINEN OPPIMINEN Salmiakki- ja hedelmämakeisia on pakattu samanlaisiin käärepapereihin suurissa säkeissä, joissa on seuraavat sekoitussuhteet h 1 : 100% salmiakkia h 2 : 75% salmiakkia + 25%
LisätiedotLause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.
Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotUskottavuuden ominaisuuksia
Luku 9 Uskottavuuden ominaisuuksia 9.1 Tyhjentävyys T yhjentävyys (Fisher 1922) luonnehtii täsmällisesti havaintoihin sisältyvän informaation kvantitatiivisesti. Parametrin θ estimaatti T(x) on tyhjentävä
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
Lisätiedot/1. MTTTP1, luento Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:
4.10.2016/1 MTTTP1, luento 4.10.2016 7.4 Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti: Samoin z /2 siten, että P(Z > z /2 ) = /2, graafisesti: 4.10.2016/2
LisätiedotLineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus
Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen
LisätiedotOletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen
Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä
LisätiedotOlkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan:
Mat-.6 Sovellettu todennäköisslaskenta B Mat-.6 Sovellettu todennäköisslaskenta B / Ratkaisut Aiheet: Moniulotteiset satunnaismuuttujat ja todennäköissjakaumat Moniulotteisia jakaumia Avainsanat: Diskreetti
LisätiedotTilastollisen analyysin perusteet Luento 7: Lineaarinen regressio
Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla
LisätiedotGripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta
MS-A00 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta 7.. Gripenberg Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi ym. tiedot ja minkä kokeen suoritat! Laskin,
Lisätiedot- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten
Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 7
Inversio-ongelmien laskennallinen peruskurssi Luento 7 Kevät 2012 1 Tilastolliset inversio-ongelmat Tilastollinen ionversio perustuu seuraaviin periaatteisiin: 1. Kaikki mallissa olevat muuttujat mallinnetaan
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =
LisätiedotTässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:
4. Tyhjentyvyys Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä: Voidaanko päätelmät perustaa johonkin tunnuslukuun t = t(y) koko aineiston y sijasta? Mitä
LisätiedotPelaisitko seuraavaa peliä?
Lisätehtävä 1 seuraavassa on esitetty eräs peli, joka voidaan mallintaa paramterisena tilastollisena mallina tehtävänä on selvittää, kuinka peli toimii ja näyttää mallin takana oleva apulause (Tehtävä
LisätiedotMoniulotteiset satunnaismuuttujat ja jakaumat
Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteiset satunnaismuuttujat ja jakaumat KE (2014) 1 Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat >> Kaksiulotteiset
LisätiedotYleistä tietoa kokeesta
Yleistä tietoa kokeesta Kurssikoe on ma 18.12. klo 12.00-14.30 (jossakin auditorioista). Huomaa tasatunti! Seuraava erilliskoe on ke 10.1.2018 klo 10-14, johon ilmoittaudutaan Oodissa (ilmoittautumisaika
Lisätiedot/1. MTTTP1, luento Normaalijakauma (kertausta) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:
2.10.2018/1 MTTTP1, luento 2.10.2018 7.4 Normaalijakauma (kertausta) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti: Samoin z /2 siten, että P(Z > z /2 ) = /2, graafisesti: 2.10.2018/2
LisätiedotJohdatus regressioanalyysiin
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet
Lisätiedot806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy (1 α) = 99 1 α = 0.
806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy 2012 1. Olkoon (X 1,X 2,...,X 25 ) satunnaisotos normaalijakaumasta N(µ,3 2 ) eli µ
LisätiedotIlkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio
Ilkka Mellin Todennäköisyyslaskenta Osa : Satunnaismuuttujat ja todennäköisyysjakaumat Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (7) 1 Momenttiemäfunktio ja karakteristinen funktio
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotEstimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio
17.11.2015/1 MTTTP5, luento 17.11.2015 Luku 5 Parametrien estimointi 5.1 Piste-estimointi Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla
LisätiedotJohdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (5) 1 Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 3A Satunnaismuuttujien summa ja keskihajonta Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
LisätiedotLineaariset luokittelumallit: regressio ja erotteluanalyysi
Lineaariset luokittelumallit: regressio ja erotteluanalyysi Aira Hast Johdanto Tarkastellaan menetelmiä, joissa luokittelu tehdään lineaaristen menetelmien avulla. Avaruus jaetaan päätösrajojen avulla
Lisätiedotη i (θ)t i (x) A(θ) + c(x),
288 Luku 10. Perusmallit ja niiden sovelluksia muotoa (10.9.1) log f θ (x) = p η i (θ)t i (x) A(θ) + c(x), i=1 missä θ = (θ 1,...,θ p ) ja A(θ), c(x), η i (θ) ja T i (x) ovat tunnettuja funktioita. Lisäksi
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
LisätiedotDiskriminanttianalyysi I
Diskriminanttianalyysi I 12.4-12.5 Aira Hast 24.11.2010 Sisältö LDA:n kertaus LDA:n yleistäminen FDA FDA:n ja muiden menetelmien vertaaminen Estimaattien laskeminen Johdanto Lineaarinen diskriminanttianalyysi
LisätiedotHarjoitus 2: Matlab - Statistical Toolbox
Harjoitus 2: Matlab - Statistical Toolbox Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen tavoitteet Satunnaismuuttujat ja todennäköisyysjakaumat
Lisätiedot031021P Tilastomatematiikka (5 op) viikko 4
031021P Tilastomatematiikka (5 op) viikko 4 Jukka Kemppainen Mathematics Division Tilastollinen aineisto Tilastolliset menetelmät ovat eräs keino tutkia numeerista havaintoaineistoa todennäköisyyslaskentaa
LisätiedotBayesläiset tilastolliset mallit
Luku 9 Bayesläiset tilastolliset mallit Lasse Leskelä Aalto-yliopisto 8. lokakuuta 07 9. Priorijakauma ja posteriorijakauma Bayesläisen tilastollisen päättelyn lähtökohtana on päivittää satunnaisilmiöön
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 4 Tilastollisen aineiston kuvaileminen, mallintaminen ja estimointi Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin
LisätiedotAvaruuden R n aliavaruus
Avaruuden R n aliavaruus 1 / 41 Aliavaruus Esimerkki 1 Kuva: Suora on suljettu yhteenlaskun ja skalaarilla kertomisen suhteen. 2 / 41 Esimerkki 2 Kuva: Suora ei ole suljettu yhteenlaskun ja skalaarilla
LisätiedotKoska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.
24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ
LisätiedotJatkuvat satunnaismuuttujat
Jatkuvat satunnaismuuttujat Satunnaismuuttuja on jatkuva jos se voi ainakin periaatteessa saada kaikkia mahdollisia reaalilukuarvoja ainakin tietyltä väliltä. Täytyy ymmärtää, että tällä ei ole mitään
Lisätiedot7.4 Normaalijakauma (kertausta ja täydennystä) Taulukosta P(Z 1,6449) = 0,05, P(Z -1,6449) = 0,05 P(Z 1,96) = 0,025, P(Z -1,96) = 0,025
26.3.2019/1 MTTTP1, luento 26.3.2019 7.4 Normaalijakauma (kertausta ja täydennystä) Z ~ N(0, 1), tiheysfunktion kuvaaja 0,5 0,4 0,3 0,2 0,1 Taulukosta P(Z 1,6449) = 0,05, P(Z -1,6449) = 0,05 P(Z 1,96)
Lisätiedot