Kurssin puoliväli ja osan 2 teemat

Transkriptio

1 Kurssin puoliväli ja osan 2 teemat Kurssin osa 1 keskittyi mittaukseen, tiedonkeruuseen ja kuvailevaan tilastotieteeseen. Osassa 2 painottuu tilastollinen päättely, joka puolestaan rakentuu voimakkaasti todennäköisyys-käsitteen varaan. Osassa 2 perehdytään seuraaviin teemoihin: Teema 6: Todennäköisyys ja satunnaisuus Teema 7: Todennäköisyyksien laskentaa Teema 8: Parametrien estimointi ja luottamusvälit Teema 9: Tilastollinen merkitsevyystestaus Teema 10: Regressio- ja varianssianalyysi Osa 2 ei ole erillinen kokonaisuus vaan se kietoutuu monilta kohdin osan 1 teemoihin. Tämä vastaa käytäntöä, sillä päättelyssä ei ole mieltä ilman aineiston perusteellista kuvailua. Teema 6: Todennäköisyys ja satunnaisuus Käsite todennäköisyys kohdataan päivittäin mm. sääennusteissa, uutisraporteissa, peliarvonnoissa, tulevaisuuden suunnitelmissa jne. Mitä todennäköisyys tarkoittaa ja miten sitä pitäisi tulkita? Todennäköisyys voidaan määritellä matemaattisena käsitteenä, mutta tällä kurssilla keskitytään todennäköisyyden tulkintoihin: 1. todennäköisyyden frekvenssitulkinta 2. subjektiivinen todennäköisyys 3. klassinen todennäköisyys Tulkinnasta riippumatta todennäköisyydelle on ominaista, että eri vaihtoehtojen toteutuminen on luonteeltaan satunnaista, ts. sattuma määrää, mikä vaihtoehto kulloinkin toteutuu. Tällaista tapahtumaa kutsutaan satunnaisilmiöksi. Se rakentuu useammista mahdollisista vaihtoehdoista (jos vaihtoehtoja on vain yksi, ilmiö ei ole satunnainen vaan deterministinen).

2 1. Todennäköisyyden frekvenssitulkinta Tarkastellaan tilannetta, jossa satunnaisilmiö esiintyy useita kertoja. Vaihtoehdon todennäköisyydeksi määritellään sen esiintymiskertojen suhteellinen frekvenssi. Esimerkki: rahanheitto vaihtoehdot kruuna tai klaava Historiaa (koesarjoja oikeilla kolikoilla): 1. Comte de Buffon (1700-luvulla) 4040 heittoa, 2048 kruunaa (2048/4040=0.5069) 2. Karl Pearson (1800-luvulla) heittoa, kruunaa (12012/24000=0.5005) 3. John Kerrich (1900-luvulla) heittoa, 5067 kruunaa (5067/10000=0.5067) Odotettu arvo on 1/2 = 0.5, kunhan raha on harhaton. (Huomaa, että yhdessäkään kokeessa suhteellinen frekvenssi ei ole tasan 0.5). Rahanheittokoe Survolla: heittoa, kruunaa 0.8 kruunan suhteellinen frekvenssi heittojen lukumäärä Heitot perustuvat (pseudo)satunnaislukugeneraattorin käyttöön, jossa aitoa satunnaisuutta jäljitellään täysin deterministisesti: Simulointikokeissa pitää luoda mahdollisimman satunnaisia lukusarjoja. Toisaalta tieteelliset kokeet on voitava toistaa täsmälleen samanlaisina. Vaikuttaako ristiriitaiselta? Sattuman jäljittely ei ole helppoa!

3 Todennäköisyyden frekvenssitulkinta: johtopäätöksiä Edellä olevissa kokeissa poikkeamat ennakko-odotusten mukaisesta arvosta 1/2 ovat tulkittavissa satunnaisvaihteluksi. Poikkeamien merkittävyyttä voidaan testata tilastollisesti (ks. Teema 9). Kurssin alussa perehdyttiin mittaamiseen ja tiedonkeruuseen, jotka molemmat tuovat tilastolliseen tutkimukseen epävarmuuksia. Osa näistä epävarmuuksista on satunnaisvaihtelua. Tilastollinen päättely edellyttää, että satunnaisilmiö noudattaa todennäköisyyden lakeja, ts. eri vaihtoehtoihin voidaan liittää todennäköisyydet, jotka kuvastavat ilmiön säännönmukaisuutta, kun sitä toistetaan. Frekvenssitulkinnan avulla määritelty todennäköisyys edellyttää useampia satunnaisilmiötä koskevia empiirisiä havaintoja. Niinpä on tapana puhua myös todennäköisyyden empiirisestä tulkinnasta. Todennäköisyyden frekvenssitulkinta: merkintätavat Oletetaan, että satunnaisilmiö on toistunut n kertaa, ja tapahtuma A on esiintynyt f kertaa. Tällöin A:n frekvenssi on f ja A:n suhteellinen frekvenssi f /n. Frekvenssitulkinnan mukaisesti A:n todennäköisyys on P(A) = f n, jossa P tulee englannin kielen sanasta probability (todennäköisyys). Koska 0 f n, niin 0 P(A) 1. Ääritapaukset: P( A on mahdoton ) = 0 P( A on varma ) = 1 Todennäköisyydestä käytetään usein myös merkintää P(A) = p.

4 Todennäköisyyden frekvenssitulkinta: tilastot Jotta suhteellisen frekvenssin tulkinta todennäköisyydeksi olisi luotettavaa, tarvitaan verrattain paljon havaintoja. Ainakaan Suomessa tämä ei ole mikään ongelma, sillä tietoja kerätään ahkerasti erilaisiin rekistereihin ja tilastoihin. Esimerkki: kuolemanvaara (todennäköisyys kuolla ko. ikävuoden aikana) Suomalaisten kuolemanvaara vuonna 2006 ( ikävuodet 0-7 erikseen: ikä vuosina Miehet Naiset Todennäköisyyden frekvenssitulkinta: perustelu Edellä käsitelty todennäköisyyden frekvenssitulkinta perustuu suurten lukujen lakiin, jonka voi sanallisesti kuvata seuraavasti: Tapahtuman suhteellinen frekvenssi f /n lähestyy tapahtuman todennäköisyyttä p, kun toistojen lukumäärä kasvaa. Tällaista lähestymistä kutsutaan stokastiseksi: todennäköisyys, että f /n eroaa p:stä tulee yhä pienemmäksi, ts. näiden poikkeama tulee yhä epätodennäköisemmäksi. Suurten lukujen laki takaa tilastollisen stabiliteetin, jonka varassa voidaan tehdä luotettavia johtopäätöksiä. Tilastojen osalta frekvenssitulkinta nojaa siihen, että tietoja on kerätty riittävän pitkältä ajalta ja että ne ovat ajallisesti tarkasteltuina vertailukelpoisia.

5 2. Subjektiivinen todennäköisyys Todennäköisyyksiä voidaan esittää myös yksittäisille tapahtumille: P( lähialueella sattuu ydinvoimalaonnettomuus ) =? P( kaksi lentokonetta törmää toisiinsa ) =? P( aurinkokunnan ulkopuolelta löytyy elämää ) =? P( Liverpool voittaa Mestarien liigan 2009 ) =? Kaikki tällaiset todennäköisyydet ovat parhaimmillaankin vain erilaisten riskiarvioiden yhdistelmiä, ja edustavat siten lopulta subjektiivisia todennäköisyyksiä. Edellä käsitelty frekvenssitulkinta sopii näihin huonosti. Sen sijaan luetellun kaltaisista tapahtumista voidaan lyödä vetoa. Vedonlyönti onkin eräs subjektiivisen todennäköisyyden ilmenemismuoto, mutta vedonlyöntisuhteella (engl. odds) on käyttöä myös tilastollisten aineistojen analysoinnissa niin epidemiologiassa kuin yhteiskuntatieteissäkin. 3. Klassinen todennäköisyys Historiallinen alkuperä: uhkapelit 1600-luvun Ranskassa satunnaisilmiö jaetaan symmetrisiin, toisensa poissulkeviin alkeistapahtumiin alkeistapahtuma: tapahtuma, jota ei voida jakaa osiin toisensa poissulkevat: eivät voi esiintyä yhtaikaa symmetria: alkeistapahtumilla sama todennäköisyys (reilu peli) todennäköisyydet selvitetään päättelemällä Esimerkki: nopanheitto silmäluvut 1, 2, 3, 4, 5, 6. P( nopanheitossa saadaan silmäluku i ) = 1/6, i = 1, 2,..., 6. Yleisesti: Oletetaan, että satunnaisilmiön alkeistapahtumia on n, ja näistä tapahtumaan A johtavia alkeistapahtumia on k kpl. A:n (klassinen) todennäköisyys on näiden A:lle suotuisten alkeistapahtumien suhteellinen osuus P(A) = k n.

6 Klassinen todennäköisyys: esimerkkejä Esimerkki: rahanheitto Rahanheittoa voidaan käsitellä myös klassisena todennäköisyytenä. Alkeistapahtumia vastaavat todennäköisyydet päätellään suoraan: P( tulee kruuna ) = P( tulee klaava ) = 1/2. Esimerkki: kahden nopan heitto (tai saman nopan kahdesti) Mahdollisia tulospareja (alkeistapahtumia) on 6 6 = 36 kpl: (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) (2,1) (2,2) (2,3) (2,4) (2,5) (2,6) (3,1) (3,2) (3,3) (3,4) (3,5) (3,6) (4,1) (4,2) (4,3) (4,4) (4,5) (4,6) (5,1) (5,2) (5,3) (5,4) (5,5) (5,6) (6,1) (6,2) (6,3) (6,4) (6,5) (6,6) Symmetrisyyden perusteella jokaisen todennäköisyys on 1/36. Klassinen todennäköisyys: esimerkkejä Heitetään kahta noppaa. Olkoon tarkasteltava tapahtuma A = Saadaan kummallakin nopalla sama silmäluku. Tapahtumalle A suotuisat alkeistapahtumat saadaan helposti poimittua edellä olevasta luettelosta. Suotuisia on kaikkiaan 6 kpl: (1,1) (2,2) (3,3) (4,4) (5,5) (6,6) Tällöin P(A) = 6/36 = 1/ Jos taas A = Silmälukujen summa on vähintään 9, suotuisia ovat (3,6) (4,5) (4,6) (5,4) (5,5) (5,6) (6,3) (6,4) (6,5) (6,6) ja P(A) = 10/

7 Kurssin osallistujien sukupuolijakauma tiedekunnittain Lähde: WebOodi/KV (syksy 2008) Sukupuoli Tiedekunta nainen mies yhteensä Valtiotieteellinen Matemaattis luonnontieteellinen Käyttäytymistieteellinen Biotieteellinen Humanistinen Maatalous metsätieteellinen Lääketieteellinen Oikeustieteellinen Eläinlääketieteellinen Farmasia Teologinen yhteensä Keskustakampus 2 Kumpulan kampus 3 Viikin kampus 4 Meilahden kampus Kurssin osallistujien sukupuolijakauma tiedekunnittain Seuraavissa tarkasteluissa edellä olevan taulukon esittämää kurssin osallistujien joukkoa kutsutaan perusjoukoksi. Valitaan tästä perusjoukosta opiskelija satunnaisesti ja tarkastellaan erilaisia toisensa poissulkevia alkeistapahtumia A = Satunnaisesti valittu opiskelija on x. Alkeistapahtumia on 403 kpl. Jokaisella opiskelijalla on sama mahdollisuus tulla valituksi, joten P(A) = 1/ Määritellään tarkemmin tapahtumat H ja K: H = [... ] opiskelija on humanistisesta tiedekunnasta K = [... ] on jostakin keskustakampuksen tiedekunnasta H:lle suotuisia alkeistapahtumia on 12. K:lle suotuisia on yhteensä =281 joten saadaan P(H) = 12/ ja P(K) = 281/

8 Todennäköisyyslaskennan päättely- tai laskusäännöt Monimutkaisempien tapahtumien todennäköisyyksien määräämistä voidaan olennaisesti helpottaa päättely- tai laskusääntöjen avulla. Ideana on palauttaa tarkastelu yksinkertaisempiin tapahtumiin ja niiden yhdistelmiin. Tärkeimmät käsitteet ja säännöt: 1. toisensa poissulkevat tapahtumat ja yhteenlaskusääntö 2. yhtaikaiset tapahtumat ja yhteenlaskusääntö 3. komplementtitapahtuma ja sen todennäköisyys 4. ehdollinen todennäköisyys ja tulosääntö 5. riippumattomuus ja tulosääntö Päättelysääntöihin perehdytään tässä yhteydessä edellä esitetyn klassisen todennäköisyyden avulla, koska se on käsitteellisesti yksinkertaisinta. Samat säännöt pätevät kuitenkin riippumatta todennäköisyyden tulkintatavasta. Toisensa poissulkevat tapahtumat ja yhteenlaskusääntö Tapahtuma A ja tapahtuma B ovat toisensa poissulkevia, mikäli ne eivät voi esiintyä yhtaikaa. Esiintyy siis vain A tai B (ei A ja B). Oletetaan, että opiskeluoikeuden saisi vain yhteen tiedekuntaan. Tällöin tapahtumat A = [... ] on biotieteellisestä tiedekunnasta B = [... ] on maatalous metsätieteellisestä tiedekunnasta ovat toisensa poissulkevia. Yhteenlaskusääntö toisensa poissulkeville tapahtumille: P(A tai B) = P(A) + P(B) Taulukosta nähdään, että P(A tai B) = 20/ /403 = 29/ , joka on samalla todennäköisyys yhdistetylle tapahtumalle A tai B = [... ] on jostakin Viikin kampuksen tiedekunnasta.

9 Yhtaikaiset tapahtumat ja yhteenlaskusääntö Jos tapahtuma A ja tapahtuma B eivät ole toisensa poissulkevia, niillä on yhteinen osuus (A ja B), joka tulee vähentää pois todennäköisyyksiä laskettaessa. Esimerkiksi tapahtumat A = Satunnaisesti valittu opiskelija on nainen B = [... ] on valtiotieteellisestä tiedekunnasta voivat esiintyä yhtaikaa. Yhteenlaskusääntö yhtaikaisille tapahtumille: P(A tai B) = P(A) + P(B) P(A ja B), Taulukosta nähdään, että P(A ja B) = 148/403, joten P(A tai B) = 249/ / /403 = 329/ Ilman yhteisosuuden vähennystä tulos olisi tässä järjetön (> 1)! Komplementtitapahtuma ja sen todennäköisyys Jos tapahtuma A ei esiinny tarkastellussa satunnaisilmiössä, niin tällöin esiintyy sen komplementtitapahtuma A C. Olkoon edellä olevassa kurssin osallistujien esimerkissä A = Satunnaisesti valittu opiskelija on nainen, jolloin A:n komplementtitapahtuma on A C = Satunnaisesti valittu opiskelija on mies. Komplementtitapahtuman todennäköisyys: P(A C ) = 1 P(A) Taulukosta nähdään, että P(A C ) = 1 P(A) = 1 249/403 = Samaan tulokseen päädytään suoralla päättelyllä P(A C ) = 154/

10 Ehdollinen todennäköisyys Tarkastellaan tapahtumia A ja B olettaen että B esiintyy. Käytännön tutkimuksessa tärkeän tyyppinen kysymys on: Mitä A:n todennäköisyys on, jos B otetaan huomioon? Tätä todennäköisyyttä kutsutaan A:n ehdolliseksi todennäköisyydeksi ehdolla B, ja sitä merkitään P(A B). Olkoot edellä olevassa kurssin osallistujien esimerkissä A = Satunnaisesti valittu opiskelija on nainen ja B = [... ] on valtiotieteellisestä tiedekunnasta. Taulukosta nähdään, että P(A B) = 148/ Kun B:n esiintyminen otetaan huomioon, riittää määrätä naisten suhteellinen osuus valtiotieteellisen tiedekunnan opiskelijoista. Huomaa: jos ehtotapahtumaksi vaihdetaan A, tilanne on eri: P(B A) = 148/ Ehdollinen todennäköisyys ja tulosääntö Tarkastellaan yhdistettyä tapahtumaa A ja B. Olkoot jälleen A = Satunnaisesti valittu opiskelija on nainen B = [... ] on valtiotieteellisestä tiedekunnasta jolloin A ja B = [... ] on nainen valtiotieteellisestä tiedekunnasta. Tulosääntö yhdistetylle tapahtumalle: P(A ja B) = P(A B) P(B) = P(B A) P(A) Taulukosta nähdään, että P(A ja B) = P(A B) P(B) = 148/ / , P(A ja B) = P(B A) P(A) = 148/ / Jos yhdistetyn tapahtuman A ja B todennäköisyys on helppo määrätä, sen avulla saadaan ehdollinen todennäköisyys P(A B) = P(A ja B) P(B) tai P(B A) = P(A ja B). P(A)

11 Riippumattomuus ja tulosääntö Jos ehdolliseen todennäköisyyteen P(A B) liittyvässä tilanteessa ehtotapahtumalla B ei ole vaikutusta A:n todennäköisyyteen, niin tapahtumat A ja B ovat riippumattomia, ts. tällöin A:n todennäköisyys ei muutu, otettiin B huomioon tai ei. Tapahtumat A ja B ovat siis riippumattomia, jos P(A B) = P(A) Riippumattomuus on eräs keskeisiä tilastollisia käsitteitä. Tulosääntö riippumattomille tapahtumille: P(A ja B) = P(A) P(B) Sama sääntö pätee myös toisinpäin: jos P(A ja B) = P(A) P(B), niin A ja B ovat riippumattomia. Riippumattomuuden käsitteestä Esimerkki (Ilkka Mellin: Johdatus tilastotieteeseen, 1.kirja, s. 251): Oletetaan, että uurnassa on 3 numeroitua arpaa (1, 2 ja 3), joita nostetaan satunnaisesti. Oletetaan, että on nostettu arpa nro 3. Kaksi toimintatapaa: 1. Palautetaan arpa uurnaan. Tällöin todennäköisyys saada arpa nro 1 on 1/3. Täsmällisemmin: P( nostetaan nro 1 nostetaan nro 3 ) = 1/3 = P( nostetaan nro 1 ). Ehto ei siis vaikuta, joten tapahtumat ovat toisistaan riippumattomia. 2. Ei palauteta arpaa uurnaan. Tällöin todennäköisyys saada arpa nro 1 on 1/2, koska jäljellä on enää kaksi arpaa. Täsmällisemmin: P( nostetaan nro 1 nostetaan nro 3 ) = 1/2 P( nostetaan nro 1 ). Ehto siis vaikuttaa, joten tapahtumat ovat toisistaan riippuvia. Tavat 1 ja 2 vastaavat erilaisia otoksen poimintatapoja (ks. Teema 8). Teoriatasolla täydellinen riippumattomuus on osoitettavissa vain melko yksinkertaisissa tilanteissa. Käytännössä joudutaan riippumattomuudesta tekemään oletuksia joko intuitiivisesti tai sen perusteella, mitä tutkittavasta ilmiöstä tiedetään. Tällaisten oletusten pätevyyttä voidaan (ja on syytä) testata tilastollisesti. Testaamiseen perehdytään Teemassa 9.