Mitä tilastollinen analyysi on?

Transkriptio

1 Mitä tilastollinen analyysi on? Tilastotiede (engl. statistics) on tieteenala, jonka kohteena ovat numeerisen tilastoaineiston keräämiseen ja muokkaamiseen, esittämiseen, tilastolliseen analyysiin ja tulosten tulkintaan liittyvät ongelmat Mitä tilastollinen analyysi on? kehittää todennäköisyyslaskentaan (engl. probability) perustuvia malleja reaalimaailman ilmiöille, joissa esiintyy satunnaisuutta tai epävarmuutta johtopäätökset reaalimaailman tilasta ja ilmiöistä perustetaan niistä kerättyihin kvantitatiivisiin eli numeerisiin tietoihin.

2 Mitä tilastollinen analyysi on? Tilastollisten menetelmien ja mallien käytön päämääränä on reaalimaailman tilan ja ilmiöiden kuvaaminen, selittäminen, ennustaminen tai kontrolli. Ei pysty poistamaan päätöksentekoon liittyvää epävarmuutta, mutta pyrkii kuvaamaan epävarmuuden asteen formaalisti -> todennäköisyyslaskennan avulla Tulosten yleistettävyyden arviointi kuuluu oleellisena osana tilastotieteeseen, voidaanko pienestä osajoukosta kerätyn aineiston perusteella yleistää tulokset koskemaan suurempaa joukkoa Auttaa hahmottamaan asioiden välisiä yhteyksiä, muuttujien välisiä riippuvuuksia, syy-seuraussuhteita Mitä tilastollinen analyysi on? kuvaileva tilastotiede (engl. descriptive) aineiston esittämistä ja luonnehdintaa, tarkoituksena on aineistoa muokkaamalla tuottaa perustietoa aineiston kuvaamasta ilmiöstä (taulukot, grafiikka, tunnusluvut) päättelevä tilastotiede (engl. inferential, causal, explanatory) aineiston perusteella tehdään johtopäätöksiä jostakin suuremmasta kokonaisuudesta

3 Mitä tilastollinen analyysi on? Tilastotieteen sovelluksia: - Päätöksenteko - Ennusteet - Gallupit - Laadunvalvonta - Tieteelliset kokeet ja tutkimukset Tilastotieteen peruskäsitteitä Havainto observation case havaintoyksikkö (esimerkiksi. Kyselyssä yksi vastaaja); havaintojen määrää merkitään: n Muuttuja variable mitattu ominaisuus tai asia (esim. ikä, pituus, asenne) Muuttujan arvo value havaintoyksikköön liittyvä määrä muuttujan ilmaisemaa asiaa/ominaisuuttan (esimerkiksi. Kyselylomakkeen vastaajan ikä) 3

4 Tilastotieteen peruskäsitteitä Havaintomatriisi data matrix havaintoaineisto Havainnot rivillä Muuttujat sarakkeissa Muuttujien arvot yksittäisissä taulukon soluissa Havaintojen oltava samaa tyyppiä keskenään Tilastotieteen peruskäsitteitä case_id Ikä kotipaikka paperin kulutus vuositulot Pikku-Kalle 8 Lappeenrant a Sanoma Oyj vuosi Helsinki Sanoma Oyj vuosi Helsinki

5 Ennen analyysia - Otanta - Mittaaminen - Muuttujan määritykset, koodaaminen, muunnokset 5

6 Ennen analyysia: Otanta Peruskäsitteitä: - Perusjoukko eli populaatio kaikki ne alkioit, jotka ovat tietyn tutkimuksen kohteena, johon tulokset halutaan yleistää (esim. suomalaiset äänioikeutetut) - Satunnaisotos ( probability sample) osa perusjoukosta, joka on muodostettu arpomalla - Näyte (judgment sample) ei-satunnaisesti otettu osa perusjoukosta - Kokonaisotos (census) jos tutkitaan koko perusjoukko. Ennen analyysia: Otanta Peruskäsitteitä: - Parametri (parameter) perusjoukon ominaisuus (esim. vihreiden kannattajien osuus kaikista äänioikeutetuista, kk palkan keskiarvo) - Otossuure (statistic) otoksesta laskettu tunnusluku, jonka avulla tehdään päätelmiä perusjoukon parametreista 6

7 Ennen analyysia: Otanta Peruskäsitteitä: - Otantakehikko (sampling frame) luettelo perusjoukon alkioista - Otantavirhe (sampling error) ero otoksesta lasketun otossuureen ja perusjoukon parametrin välillä; tätä on aina olemassa Ennen analyysia: Otannan vaiheet - perusjoukon määrittely - otantakehyksen määrittäminen - otantamenetelmän valinta - otoskoon valinta - otannan käytännön toteutus ja tiedonkeruu (tiedonkeruusta enemmän johd.tutk.met.- kurssilla) 7

8 Ennen analyysia: Otantamenetelmät satunnaisotanta ja ei-satunnainen otanta ei-satunnaisia menetelmiä ovat mm. mukavuus-, harkinta-, lumipallo-, ja kiintiöotanta satunnaisotantamenetelmiä: yksinkertainen satunnaisotanta jokaisella perusjoukon n alkion osajoukolla on yhtä suuri todennäköisyys tulla valituksi systemaattinen eli tasavälinen satunnaisotanta aloituspiste satunnaisesti ja sitten otetaan joka n:s mukaan klusteroitu otanta eli ryväsotanta ositettu otanta Ennen analyysia: Otantamenetelmät A A A3 A4 A5 A6 A7 A8 A9 A0 A A koko p p s p s p P s p s s s Sijainti Viennin osuus

9 Ennen analyysia: Otantamenetelmät yksinkertainen satunnaisotanta: arvotaan A,A9,A5,A8,A,A7, viennin osuuden keskiarvo tässä otoksessa 3.8, perusjoukossa 6.08 systemaattinen: poimintaväli /6, valitaan siis joka toinen, arvotaan kolikolla parilliset tai parittomat, jos parittomat niin viennin osuuden keskiarvo tässä otoksessa 6.00 ositettu: arvotaan pienistä 3 kpl ja suurista 3 kpl, jos A,A4,A7 ja A8,A,A niin keskiarvo on 6.50 klusteroitu: sijainnin mukaan arvotaan 3 lukua väliltä -6, jos 3, ja 6, niin A,A6,A,A9,A,A ja keskiarvo on 8.00 huomaa, että eri otoksissa on eri keskiarvot, ja minkään otoksen keskiarvo ei ole tasan sama kuin perusjoukon keskiarvo tämä on hyvin keskeinen asia tilastollisen päättelyn kannalta Otoskoko riippuu tutkimuksen tavoitteista, halutusta tarkkuudesta ja varmuudesta, perusjoukon hajonnasta, osaryhmien vertailun tarpeellisuudesta, käytettävistä analyysimenetelmistä, resursseista, oletetusta vastausprosentista muutama nyrkkisääntö: jokaisessa osaryhmässä vähintään 30 havaintoa monimuuttuja-analyyseissa havaintoja vähintään 5-0 kertaa muuttujien määrä mitä isompi otos, sitä luotettavampi yleistettävyys esim. suomalaisista yleensä noin 000 kpl ei ole vakio %-osuus perusjoukon koosta ota huomioon että vastausprosentti voi jäädä alhaiseksi, suuri kato 9

10 Mittaaminen: peruskäsitteitä v mittaaminen ( measurement) toimenpide, jolla havaintoon liitetään jotain sen ominaisuutta eli muuttujaa kuvaava symboli v kvantitatiivinen muuttuja symboli on luonnostaan numeerinen v kvalitatiivinen muuttuja muuttujalle annettu numeroarvo on vain tietyn symbolin koodi, jonka tutkija voi itse päättää v jatkuva mittaaminen muuttuja voi saada mitä tahansa numeroarvoja tietyltä väliltä v diskreetti mittaaminen muuttuja voi saada vain tiettyjä (kokonais-) lukuarvoja v objektiivinen mittaus tulos määräytyy vain kohteesta eli havaintoyksiköstä (esim. ikä, sukupuoli, liikevaihto, asukasmäärä) v välillinen mittaus subjektiivinen arviointi (riippuu mittaajasta, esim. toimitusjohtajan arvio yrityksen kannattavuudesta) tai operationaalinen indikaattori (esim. Mensan testi älykkyyden mittarina) v mittausvirhettä esiintyy aina, satunnaista ja systemaattista v satunnaisvirhe heikentää tutkimuksen reliabiliteettia ja systemaattinen validiteettia Mittaaminen: peruskäsitteitä Mittarin reliabiliteetti eli luotettavuus - Kuinka hyvin mittari mittaa sitä mitä se mittaa Mittarin validiteetti - Kuinka hyvin mittari mittaa sitä mitä sen pitäisi mitata 0

11 Mittaustasot v havaintojen välillä vallitsee erilaisia suhteita muuttujilla kuvattuna, jos muuttuja x on toimiala ja muuttuja y on liikevaihto ja verrataan yrityksiä a ja b (esim. anokia, bsokos Hotels) v toimialan osalta voidaan sanoa v x a x b tai x a x b v liikevaihdon osalta voidaan sanoa v y a y b tai y a y b vy a < y b tai y a > y b v y a -y b r v y a k * y b v liikevaihdon mitta-asteikko on siis tarkempi ja antaa paljon enemmän informaatiota kuin toimialan Mittaustasot mitta-asteikot jaetaan hierarkisesti neljään tasoon taso : laatueroasteikko eli nominaaliasteikko (nominal) kuvaa vain havaintojen välisen erilaisuuden tai samanlaisuuden luokitteleva muuttuja diskreetti mittaus esim. oluen tyyppi, ihmisen sukupuoli, yrityksen toimiala, maan maanosa taso : järjestysasteikko eli ordinaaliasteikko (ordinal) ilmaisee järjestyksen, mutta ei erojen suuruuksia diskreetti mittaus esim. tytön sijoitus missikisassa, työntekijän asema organisaatiossa taso 3a: välimatka-asteikko eli intervalliasteikko (interval scale) ilmaisee järjestyksen lisäksi myös havaintojen välisen keskinäisen välimatkan nollapiste sopimuksenvarainen diskreetti tai jatkuva esim. lämpötila taso 3b: suhdelukuasteikko (ratio scale) nollapiste luonnollinen voidaan tehdä suhdelukuvertailuja havaintojen välillä diskreetti tai jatkuva

12 Mittaustasot v eri tilastollisilla tunnusluvuilla ja testeillä on omat vaatimuksensa mittaustason suhteen, jos testi vaatii vähintään tason, sitä ei voi käyttää tason muuttujille, mutta ylemmällä tasolla mitatuille muuttujille saa käyttää alemman tason testejä v tasoilla 3a ja 3b samanlaiset testit Mittaustasot mitkä ovat seuraavien mittareiden mittaustasot, ja ovatko mittarit valideja? Jos ei niin keksi parempi liikevaihto yrityksen menestyksen mittarina koulutodistuksen keskiarvo koulumenestyksen mittarina yrityksen palkkakustannukset yrityskoon mittarina yrityksen vientitulot/liikevaihto kansainvälistymisen mittarina

13 Mitta-asteikko Ominaisuuksia Esimerkki Keskiluvut Hajontaluvut SPSS Nominaali- eli laatueroasteikko Kvalitatiivinen Diskreetti Luokkatunnus vapaa, järjestyksellä ei väliä Paikkakunta Sukupuoli Hiusten väri Toimiala Moodi Frekvenssit Nominal Ordinaali- eli järjestysasteikko Kvalitatiivinen Diskreetti Luokkatunnus vapaa, mutta järjestyksen säilyttävä Sijoitus kilpailussa Järjestysnumero (Likert ja kouluarvosana) Moodi Mediaani Frekvenssit Vaihteluväli Ordinal Intervalli- eli välimatkaasteikko Kvantitatiivinen Jatkuva Ei luonnollista 0- kohtaa Erojen suuruudella on väliä, suhteella ei Lämpötila Likert Kouluarvosana Moodi Mediaani Keskiarvo (aritmeettinen) Vaihteluväli Keskipoikkeama Keskihajonta Varianssi Scale Ratio- eli suhdeasteikko Kvantitatiivinen Jatkuva Luonnollinen 0- kohta Havainnot suhteessa toisiinsa Ikä Pituus Tulot Liikevaihto Asukasluku Moodi Mediaani Keskiarvo (myös geom. ja harm. ka) Vaihteluväli Keskipoikkeama Keskihajonta Varianssi Scale 3

14 Luku 3: Kuvaileva analyysi v kuvailu on aina analyysin ensimmäinen vaihe, vaikka tutkimuksen tavoite olisikin selittävä v kuvailun tarkoituksena on tiivistää datasta saatavaa informaatiota helpommin tulkittavaan muotoon v kuvailu tapahtuu pääasiassa tunnuslukujen, taulukoiden ja grafiikan avulla Numeerinen kuvailu: Frekvenssit v frekvenssi (frequency) on kunkin muuttujan arvon esiintymiskertojen määrä havaintoaineistossa v frekvenssejä voidaan käyttää kaikilla mittaustasoilla, mutta soveltuu parhaiten kun mahdollisia muuttujan arvoja ei ole kovin montaa ->jos muuttuja on jatkuva, niin kannattaa luokitella v muuttujan eri arvojen frekvenssien summa on sama kuin havaintojen kokonaismäärä n v suhteellinen frekvenssi on frekvenssi jaettuna havaintojen kokonaismäärällä

15 Numeerinen kuvailu: Frekvenssit v prosentuaalinen frekvenssi on suhteellinen frekvenssi kerrottuna sadalla, prosenttilukujen summaksi on tultava 00% v kumulatiivinen frekvenssi on luokan ja sitä edeltävien luokkien frekvenssien summa v prosentuaalinen kumulatiivinen frekvenssi v kumulatiivisilla frekvensseillä ei ole merkitystä jos muuttuja on nominaaliasteikollinen (SPSS tulostaa ne silti, poista lopullisista taulukoista jos teet raporttia) v esimerkki frekvenssitaulukosta (ks.lomakkeen kysymys 4) v Kuinka suuri osuus vastaajista asuu yli 5 kilometrin päässä? Numeerinen kuvailu: Frekvenssit matka koululle Frequency Percent Valid Percent Cumulative Percent Valid alle km 34 6,8 7, 7, -5 km 60 47, 48,0 75, 6-0 km 8 4, 4,4 89,6 yli 0 km 3 0, 0,4 00,0 Total 5 98,4 00,0 Missing System,6 Total 7 00,0

16 Numeerinen kuvailu: Keskiluvut v tunnuslukuja, jotka kuvaavat muuttujan jakauman sijaintia (central tendency) v muuttujalle tyypillisiä tai keskimääräisiä arvoja Numeerinen kuvailu: Keskiluvut tyyppiarvo eli moodi on aineistossa useimmin esiintyvä muuttujan arvo (arvo, jonka frekvenssi on suurempi kuin muiden arvojen) v symboli Mo v toimii jo nominaaliasteikolla v moodeja voi olla useampia kuin yksi, esim. kaksihuippuinen (bimodal) jakauma 3

17 Numeerinen kuvailu: Keskiluvut mediaani on keskimmäinen arvo, jos havainnot asetetaan suuruusjärjestykseen v on se luokka, jonka kohdalla kumulatiivinen suhteellinen frekvenssi ensimmäisen kerran saavuttaa 50% v symboli Md v vaatii vähintään ordinaaliasteikon Numeerinen kuvailu: Keskiluvut Aritmeettinen keskiarvo (mean, average) v yleensä tarkoitetaan tätä, kun puhutaan pelkästä keskiarvosta v symboli on otoksen keskiarvo ja on perusjoukon keskiarvo v vaatii vähintään intervalliasteikon v yksittäiset outlier-havainnot vääristävät keskiarvoa paljon enemmän kuin mediaania v muuttujan x arvojen x, x, x 3, x n aritmeettinen keskiarvo on n x x x x i n i x n n 4

18 Numeerinen kuvailu: Keskiluvut luokitellusta aineistosta keskiarvo voidaan laskea frekvenssien h perusteella seuraavasti f x i i i x n f i luokan i frekvenssi, x i luokan i keskimmäinen arvo, n havaintojen lukumäärä eli kaikkien luokkien frekvenssien summa ja h luokkien lukumäärä edellinen on painotettu keskiarvo, jossa painoina ovat luokkien frekvenssit Numeerinen kuvailu: Keskiluvut jos painot w i ovat suhdelukuja, joiden summa on, niin painotettu keskiarvo on x w n i w x i i 5% trimmattu keskiarvo lasketaan niin, että suurimmat ja pienimmät 5% arvoista jätetään pois laskuista eli keskiarvo lasketaan keskimmäisten 90% perusteella 5

19 Numeerinen kuvailu: Keskiluvut määritä aineistolle (4,7,9,4,4,,,7,5,6,9) moodi, mediaani ja keskiarvo. Entä jos viimeinen havainto olisikin 9 sijasta 9? Mo 4 Md,,4,4,4,5,6,7,7,9,9 5 Ka ( )/ 5,7 Jos viimeinen olisi 9 Mo 4; Md 5; Ka ( )/ 7, 09 Keskiarvo on keskiluvuista herkin poikkeaville arvoille. Numeerinen kuvailu: Keskiluvut ikäjakauma on seuraava: alle 3-vuotiaita 400 kpl, vuotiaita 600 kpl ja 6-90-vuotiaita 500 kpl. Määritä moodi, mediaani ja keskiarvo. Ikä Luokkakeskus 5 45,5 75,5 f i f i x i Ka 7050/500 47,36 Mo 3-60 Md

20 Numeerinen kuvailu: Hajontaluvut tunnuslukuja, jotka kuvaavat jakauman vaihtelua (dispersion, variability) - Vaihteluväli - Keskipoikkeama - Keskihajonta - Varianssi - variaatiokerroin Numeerinen kuvailu: Hajontaluvut Vaihteluväli v havaintoaineiston pienimmän ja suurimman arvon (eli minimin ja maksimin) muodostama väli v vaihteluvälin leveys on suurimman ja pienimmän arvon erotus v symboli R v vaatii vähintään intervalliasteikon 7

21 8 Numeerinen kuvailu: Hajontaluvut Keskipoikkeama v keskiarvosta laskettujen poikkeamien itseisarvojen keskiarvo v symboli d v vaatii vähintään intervalliasteikon v vähän käytetty n x x d n i i Numeerinen kuvailu: Hajontaluvut Keskihajonta ja varianssi v yleisin hajontaluvuista v symboli otoksessa s keskihajonnalle ja s varianssille, perusjoukossa ja v vaatii vähintään intervalliasteikon ( ) n i i i n i i n x x n x x n s _ ) ( ( ) n i i i n i i n x x n x x n s _ ) (

22 Numeerinen kuvailu: Hajontaluvut v varianssi ja keskihajonta ovat aina 0 v varianssi ja keskihajonta ovat nollia vain, jos kaikki havainnot saavat saman arvon n _ v termiä ( x i x ) kutsutaan neliösummaksi i (sum of squares), nimittäjässä olevaa termiä (n-) vapausasteluvuksi Numeerinen kuvailu: Hajontaluvut Variaatiokerroin v kuvaa suhteellista vaihtelua v mahdollistaa kahden eri suuruusluokan arvoja saavan muuttujan vaihtelun vertaamisen (esim. kumman paino vaihtelee enemmän, hiirien vai norsujen) v symboli V v saadaan jakamalla keskihajonta keskiarvolla v vaatii vähintään suhdeasteikon, ja kaikkien arvojen on oltava joko positiivisia tai negatiivisia V s x 9

23 Numeerinen kuvailu: Hajontaluvut Määritä aineistolle (4,7,9,4,4,,,7,5,6,9) vaihteluväli, keskipoikkeama, keskihajonta ja varianssi. Entä jos viimeinen havainto olisikin 9 sijasta 9? Vaihteluväli: -9 Keskiarvo: ( )/ 5,7 Aineisto ero -,7,73 3,73 -,7 -,7-4,7-3,7,73-0,7 0,73 3,73 itseisarvo,7,73 3,73,7,7 4,7 3,7,73 0,7 0,73 3,73 Yhteensä 3,7 Keskipoikkeama 3,7 /,5 Jos viimeinen olisi 9: ka 7,09 Aineisto ero -,7,73 3,73 -,7 -,7-4,7-3,7,73-0,7 0,73,9 itseisarvo,7,73 3,73,7,7 4,7 3,7,73 0,7 0,73,9 Yhteensä 47,63 Keskipoikkeama 47,63 / 4,33 Numeerinen kuvailu: Hajontaluvut jatkoa: varianssi ja keskihajonta X i n _ ( ) n s xi x xi n i n i s X i s 6,8,6 ( x ) i ( 58) n 374 6,8 0

24 Numeerinen kuvailu: Muita tunnuslukuja fraktiilit p % fraktiili on sellainen arvo, jonka kohdalla kumulatiivinen prosenttijakauma saavuttaa arvon p, erityisesti 0%, 0%, jne. fraktiileja kutsutaan desiileiksi mediaanin ohella yleisimmät fraktiilit ovat alakvartiili (5%, lower quartile, q ) ja yläkvartiili (75%, upper quartile, q 3 ) näiden erotusta kutsutaan kvartiiliväliksi (quartile range, q 3 q ) tunnuslukuja, jotka kuvaavat jakauman muotoa Numeerinen kuvailu: Muita tunnuslukuja vinous (skewness): normaalijakaumalla nolla, positiiviset arvot tarkoittavat häntää oikealle ja negatiiviset häntää vasemmalle Pearsonin vinousmitta x Mo P s positiivinen vinous: moodi < mediaani < keskiarvo negatiivinen vinous: keskiarvo < mediaani < moodi jos vinous-tunnusluvun itseisarvo on <.50, niin jakauma ei ole vino vinouden vähentämiseksi voidaan käyttää seuraavia muunnoksia: log x, /x, x, x

25 Numeerinen kuvailu: Muita tunnuslukuja huipukkuus (kurtosis): normaalijakaumalla nolla, positiivinen keskittyneempi (leptokurtic) ja negatiivinen tasaisempi (platykurtic) k g s n n 4 4 3, missä k ( x i x) 4 4 i Numeerinen kuvailu: Muita tunnuslukuja

26 Numeerinen kuvailu: Standardoitu muuttuja standardoitu muuttujan arvo z i kuvaa kuinka monen keskihajonnan päässä arvo x i on muuttujan keskiarvosta z i xi x s standardoidun muuttujan z keskiarvo on aina 0 (eli z i ) / n0) ja keskihajonta on aina mahdollistaa sen, että voidaan verrata saman havainnon suhteellista asemaa kahdella eri muuttujalla Numeerinen kuvailu: Standardoitu muuttuja Opiskelija osallistui talousmatematiikan tenttiin ja sai 84 pistettä. Kaikkien osallistujien keskiarvo oli 76 ja keskihajonta 6 pistettä. Tilastomatematiikan tentissä opiskelija sai 70 pistettä, kun keskiarvo oli 6 ja keskihajonta 0 pistettä. Kummassa tentissä opiskelija menestyi suhteellisesti paremmin? x z z mat mat til 76; x til 6; s mat 6; s xi x ,5 s 6 xi x ,8 s 0 til 0 Suhteellisesti paremmin tilastomatematiikassa 3

27 Graafinen kuvailu v Excelin grafiikka monipuolisempi kuin SPSS:n v kuvalla olisi aina hyvä olla otsikko, samoin pysty- ja vaaka-akselilla v ihmiset mieltävät vaaka-akselin jatkumona, jossa oikealla on enemmän kuin vasemmalla, ja pystyakselin jatkumona, jossa ylhäällä on enemmän kuin alhaalla v jos erittelevä muuttuja on epäjatkuva, niin vaakapylväs ja piirakka soveltuvat parhaiten v jatkuvalle muuttujalle sopii viivakuvio ja histogrammi v yleensä syy-muuttuja vaaka-akselille ja seuraus-muuttuja pystyakselille v aspektisuhdetta tai asteikon ääripäitä muuttamalla saadaan erot näyttämään suuremmilta tai pienemmiltä, yleensä landscape on parempi kuin portrait, ja nollakohdan tulisi näkyä kuvassa 4

28 Luku 4. Todennäköisyyslaskenta todennäköisyyslaskennan avulla voidaan otoksen tuloksia yleistää perusjoukkoa koskevaksi todennäköisyyslaskenta on välttämätön työkalu päättelevässä tilastotieteessä ja epävarmuuden arvioinnissa Peruskäsitteitä todennäköisyys (probability) ilmaisee mahdollisuutta tai uskomusta että jokin tietty tapahtuma toteutuu todennäköisyys ilmaistaan lukuna väliltä 0- todennäköisyys on suotuisten tapahtumien osuus kaikista mahdollisista tapahtumista mahdottoman tapahtuman todennäköisyys on nolla ja varman tapahtuman yksi esim. todennäköisyys että lotossa saadaan 7 oikein, korttipakasta poimittu kortti on hertta, uudesta tuotteesta tulee kannattava, yritys menee konkurssiin

29 Peruskäsitteitä Ilmiön satunnaisuus merkitsee sitä, että ilmiön tulos vaihtelee ilmiön toistuessa tavalla, jota ei voi tarkasti ennustaa.tulosten vaihtelu ei kuitenkaan saa olla mielivaltaista. Satunnaisilmiön säännönmukaiset piirteet tulevat esille tulosvaihtoehtojen suhteellisissa frekvensseissä ilmiön toistokertojen lukumäärän kasvaessa. Ilman tällaista, ns. tilastollista stabiliteettia ilmiötä ei voi mallittaa tilastollisilla malleilla. Peruskäsitteitä Satunnaisilmiön todennäköisyysmallissa on kaksi osaa: () Satunnaisilmiön kaikkien mahdollisten tulosvaihtoehtojen kuvaus. () Tulosvaihtoehtojen todennäköisyyksien kuvaus.

30 Peruskäsitteitä Satunnaisilmiöön liittyvä otosvaruus S on ilmiön kaikkien mahdollisten tulosvaihtoehtojen joukko. Otosavaruuden S alkioita s kutsutaan alkeistapahtumiksi. Mikä tahansa otosavaruuden S alkeistapahtumien muodostama joukko on tapahtuma. Tapahtumat ovat siis otosavaruuden S osajoukkoja. Satunnaisilmiö: Nopanheiton tulos Otosavaruus: Silmälukujen joukko S {,, 3, 4, 5, 6} Alkeistapahtumat: Silmäluvut,, 3, 4, 5, 6 Esimerkki tapahtumasta: A {silmäluku on parillinen} {, 4, 6} Peruskäsitteitä Satunnaisilmiö: Tulokset kahdesta nopanheitosta Otosavaruus: Silmälukuparien (m, n) (36 kpl) joukko, jossa m. nopan silmäluku n. nopan silmäluku S {(,), (,),, (6,6)} 3

31 Peruskäsitteitä Todennäköisyyksiä havainnollistetaan Venndiagrammien avulla S S S A A A B Peruskäsitteitä tapahtumat ovat riippumattomia jos yksittäisen toiston tulos ei riipu edellisten toistojen tuloksesta Tapahtuma A on riippumaton tapahtumasta B, jos B:n tapahtuminen (tai tapahtumatta jääminen) ei vaikuta A:n tapahtumisen todennäköisyyteen. 4

32 Peruskäsitteitä esim. nopanheitossa satunnaisilmiö on nopanheiton tulos alkeistapahtumia ovat silmäluvut,,3,4,5 ja 6 tapahtumaksi kutsutaan alkeistapahtumien joukkoa, kuten Asilmäluku on pienempi kuin 3 (käsittää alkeistapahtumat ja ) tai B silmäluku on parillinen (,4 ja 6) tapahtuma A B (leikkausjoukko) () tapahtuma A U B (unioni) (46) komplementtitapahtuma A c (3456) ehdollinen todennäköisyys A B ( joukosta 46) P(A) /6, P(B) 3/6, P(A B) /6, P(A U B) 4/6, P(A c ) 4/6, P(A B) /3 Klassinen todennäköisyys tapahtuman esiintymismahdollisuus voidaan suoraan päätellä tapahtuman tuottamisprosessin perusteella esim. korttipakka, nopanheitto, kolikonheitto ym. uhkapelit todennäköisyys on suotuisten tapahtumien suhteellinen osuus kaikista tapahtumista esim. todennäköisyys saada nopanheitossa parillinen silmäluku 3/6 5

33 Tilastollinen (empiirinen) todennäköisyys jos suotuisten tapahtumien määrää tai kaikkien mahdollisten tapahtumien määrää ei tunneta, voidaan todennäköisyyttä arvioida havaintoaineiston perusteella suotuisten tapahtumien suhteellisen osuuden rajaarvo, kun havaintojen määrä kasvaa äärettömäksi Laskusääntöjä todennäköisyys sille, että A ei tapahdu P(A c ) - P(A) jos tapahtumat ovat riippumattomia, niin todennäköisyys että A ja B tapahtuvat P(A B) P(A) * P(B) jos tapahtumat ovat toisensa poissulkevia, niin todennäköisyys että A tai B tapahtuu P(A U B) P(A) + P(B) yleinen yhteenlaskusääntö, todennäköisyys että A tai B tapahtuu P(A U B) P(A) + P(B) - P(A B) todennäköisyys sille, että A tapahtuu mutta B ei tapahdu P(A\B)P(A) - P(A B) todennäköisyys sille, että A tapahtuu ehdolla että B on jo tapahtunut P(A B) P(A B)/ P(B) 6

34 Laskusääntöjä yleinen tulosääntö: todennäköisyys sille että A ja B tapahtuvat P(A B)P(B) * P(A B) P(A B)P(A) * P(B A) edellisestä seuraa että A ja B ovat riippumattomia, jos P(A B) P(A) tai P(B A) P(B) Harjoitukset luentomonisteesta. Kokonaistodennäköisyys ja käänteistodennäköisyys Usein tutkijalla on tiedossaan vain rajallinen määrä todennäköisyyksiä, jolloin edellisten laskusääntöjen käyttäminen voi osoittautua ongelmalliseksi. Kokonaistodennäköisyyden ja käänteistodennäköisyyden kaavojen avulla, voidaan havaittuja ehdollisia todennäköisyyksiä käyttää muiden todennäköisyyksien laskemiseen. 7

35 Kokonaistodennäköisyys ja käänteistodennäköisyys Ruuvitehtaassa on kaksi konetta A ja B, joilla tehdään samanlaisia ruuveja. A- ja B-koneen valmistamat ruuvit sekoitetaan ja pakataan laatikoihin. Koska A-kone toimii hitaammin, laatikoihin tulee A- ja B- koneiden valmistamia ruuveja suhteessa 3:5. Osa kummankin koneen valmistamista ruuveista on viallisia: (i) 5 % A-koneen valmistamista ruuveista on viallisia. (ii) 8 % B-koneen valmistamista ruuveista on viallisia. Valitaan satunnaisesti laatikollinen ruuveja tutkittavaksi. Poimitaan valitusta laatikosta satunnaisesti ruuvi tutkittavaksi. Kysymyksiä: Mikä on todennäköisyys, että poimittu ruuvi on viallinen? Mikä on todennäköisyys, että ruuvin on valmistanut A-kone, jos ruuvi osoittautuu vialliseksi? Mikä on todennäköisyys, että ruuvin on valmistanut B-kone, jos ruuvi osoittautuu vialliseksi? Kokonaistodennäköisyys ja käänteistodennäköisyys Seuraavat todennäköisyydet tunnetaan: P(A) 3/8 P(V A) 0.05 P(B) 5/8 P(V B) 0.08 Seuraavia todennäköisyyksiä kysytään: P(V) P(A V)P(B V) 8

36 Kokonaistodennäköisyys ja käänteistodennäköisyys Toisensa poissulkevien tapahtumien yhteenlaskusäännön mukaan: P(V) P(V A) + P(V B) () Yleisen tulosäännön mukaan: P(V A) P(A)P(V A) () P(V B) P(B)P(V B) (3) Sijoittamalla lausekkeet () ja (3) kaavaan () saadaan todennäköisyydeksi, että satunnaisesti poimittu ruuvi on viallinen: P(V) P(A)P(V A) + P(B)P(V B) (3/8)* (5/8) * % Todennäköisyyden P(V) lauseketta sanotaan kokonaistodennäköisyyden kaavaksi. Kokonaistodennäköisyys ja käänteistodennäköisyys Ehdollisen todennäköisyyden määritelmän perusteella P(A V) P(V A)/P(V) (4) P(B V) P(V B)/P(V) (5) Yleisen tulosäännön mukaan P(V A) P(V A)P(A) (6) P(V B) P(V B)P(B) (7) Kokonaistodennäköisyyden kaavan mukaan P(V) P(A)P(V A) + P(B)P(V B) (8) Sijoittamalla lausekkeet (6) ja (8) kaavaan (4) saadaan ehdolliseksi todennäköisyydeksi P(A V): 3 *0.05 P( V A) P( A) P( V A) P( A V ) P( V ) P( A) P( V A) + P( B) P( V B) 3 5 * * Ehdollisen todennäköisyyden P(A V) lauseketta sanotaan Bayesin kaavaksi. 9

37 Kokonaistodennäköisyys ja käänteistodennäköisyys Ja vastaavasti 5 *0.08 P( V B) P( B) P( V B) P( B V ) P( V ) P( A) P( V A) + P( B) P( V B) 3 5 * * Kokonaistodennäköisyys ja käänteistodennäköisyys Bayesin kaavan todennäköisyyttä P(B i ) kutsutaan tavallisesti priori-todennäköisyydeksi. prior (lat.), edeltävä, aikaisempi Todennäköisyyttä P(B i ) kutsutaan priori-todennäköisyydeksi, koska se kuvaa ennakkokäsitystä tapahtuman B i todennäköisyydestä, jos käytettävissä ei ole tietoa tapahtuman A sattumisesta. Bayesin kaavan todennäköisyyttä Pr(B i A) kutsutaan tavallisesti posteriori-todennäköisyyksiksi. posterior (lat.), jälkeen tuleva, myöhempi 0

38 Kokonaistodennäköisyys ja käänteistodennäköisyys Todennäköisyyttä P(B i A) kutsutaan posterioritodennäköisyydeksi, koska se kuvaa sitä millaiseksi ennakkokäsitys tapahtuman B i todennäköisyydestä kannattaa muuttaa, jos saadaan tieto tapahtuman A sattumisesta. Posteriori-todennäköisyyttä P(B i A) kutsutaan usein myös käänteistodennäköisyydeksi, koska se kuvaa millä todennäköisyydellä tapahtuma B i on tapahtuman A sattumisen syy. Bayesin kaava on käyttökelpoinen sellaisissa tilanteissa, joissa todennäköisyydet P(B i ) ja ehdolliset todennäköisyydet P(A B i ) ovat tunnettuja. Todennäköisyyslaskenta todennäköisyyksiä voidaan arvioida kontingenssitaulun avulla, esim. Yrityksessä kaksi työntekijää (A ja B) valmistaa suuria määriä erästä komponenttia. Eräänä päivänä kaikki komponentit tarkistettiin ja luokiteltiin ehjiin (E) ja viallisiin (V). työntekijä A työntekijä B Yhteensä ehjiäe viallisia V 0 3 yhteensä jos kaikki 00 komponenttia sekoitetaan ja niistä poimitaan satunnaisesti yksi, niin määritä seuraavat todennäköisyydet: reunatodennäköisyydet P(A), P(B), P(E) ja P(V) leikkaustodennäköisyydet P(A E), P(A V), P(B E), P(B V) ehdolliset todennäköisyydet P(E A), P(A V), P(V A), P(B E), P(E B), P(E V)

39 Yleisiä väärinkäsityksiä todennäköisyydestä. Tilastollinen stabiliteetti. Korjausmekanismi äärellisillä toistomäärillä 3. Tapahtumien muisti Kombinatoriikka Todennäköisyyslaskennan klassisen lähetymistavan määritelmässä tapahtuman todennäköisyys määritellään suotuisten tapahtumien suhteelliseksi osuudeksi kaikista mahdollisista tapahtumista. n( E) P ( E) n( S) Tämän määritelmän mukaisesti on pystyttävä laskemaan kaikkien mahdollisten tapahtumien määrä. Kombinatoriikka tarjoaa työkaluja tähän.

40 Kombinatoriikka - Kaksi perusongelmaa: - Kuinka monella tapaa n kpleen joukosta voidaan muodostaa osajono (permutaatio), jossa on k alkiota - Kuinka monella tapaa n kpleen joukosta voidaan muodostaa osajoukko (kombinaatio), jossa on k alkiota - Neljä laskusääntöä Kombinatoriikka Ensimmäinen laskusääntö: Jos tehdään k koetta, joiden mahdolliset tulokset ovat n, n, n 3,..., n k,voidaan näiden k kokeiden tulosten yhdistelmiä laskea (n )(n )(n 3 )... (n k ) Esim. Jos heitetään kolikkoa k kertaa, mahdollisia tulosyhdistelmiä on ()()...() k Jos heitetään noppaa ja sen jälkeen kolikkoa: (6)() 3

41 Kombinatoriikka Toinen laskusääntö: n alkiota voidaan järjestää jonoon n! eri tavalla Määritelmä: n! n*(n-)*(n-)*... ** n! lausutaan n-kertoma (n-factorial) 0! Esim. 5! 5*4*3** 0 Kombinatoriikka Kolmas laskusääntö: n stä alkiosta voidaan muodostaa r:n pituinen osajono P(n,k) tavalla, kun yksi alkio voidaan valita vain kerran ja r n. P(n,k) kutsutaan permutaatioksi n! P( n, k) ( n k)! 4

42 Kombinatoriikka Esimerkki permutaatiosta: Neljästä kirjaimesta voidaan muodostaa kahden kirjaimen pituinen tavu P(4,) 4!/(4-)! 4!/! 3*4/ eri tavalla. Kombinatoriikka Neljäs laskusääntö: n kpleen joukosta voidaan valita r kpleen osajoukko (kombinaatio) C(n,k) tavalla n! C ( n, k) k!( n k)! n ( k ) 5

43 Esimerkki kombinaatiosta: Kombinatoriikka Neljästä kirjaimesta voidaan muodostaa kahden kirjaimen yhdistelmä (järjestyksellä ei väliä) C(4,) 4!/(4-)!*! 4!/!*! (3*4)/*! / 6 tavalla. A,b,c & d ab, ac, ad, bc,bd,cd. Todennäköisyysjakaumat Perusteita Satunnaismuuttuja eli stokastinen muuttuja x Odotusarvo on satunnaismuuttujan jakauman painopisteen arvo. Se kuvaa satunnaismuuttujan arvojoukon keskiarvoa, jota on painotettu arvojen todennäköisyydellä. Esimerkiksi nopan pisteluvun odotusarvo on Todennäköisyysjakauma eli tiheysfunktio Todennäköisyys P(xX) Kertymäfunktio todennäköisyys P(x X) 6

44 Todennäköisyysjakaumat 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, tiheysfunktio kertymäfunktio Todennäköisyysjakaumat Bernoulli-jakauma Bernoulli kokeet viittaavat koetilanteisiin, jotka etsivät kyllä tai ei tyyppisiä vastauksia. - esim. heitetään kolikkoa tuleeko kruuna? Jakaumassa on yksi parametri: Onnistumisen todennäköisyys, p Tapahtumalle A, onnistumisen todennäköisyys on P(A) p P(A c ) -P(A) -p q Määritellään satunnaismuuttuja seuraavasti : X kun A X0 kun A ei tapahdu Pistetodennäköisyysfunktio: f(x) p x (-p) -x, x0, 7

45 Todennäköisyysjakaumat Satunnaismuuttuja X noudattaa Bernoullijakaumaa parametrilla p. Merkintä: X ~ Bernoulli(p). odotusarvo E(X)p varianssi D (X)pq ja keskihajonta Todennäköisyysjakaumat Binomijakauma Binomijakauma on muodostettu toistamalla Bernoulli-kokeita. Tässä tarkastellaan: Tapahtuuko tapahtuma A k kertaa n kokeen aikana. Merkintä: X ~ Bin(n, p). 8

46 Todennäköisyysjakaumat odotusarvo E(X)np varianssi D (X)npq keskihajonta D ( X ) npq Todennäköisyysjakaumat Esim. Oletetaan, että koripalloilijan vapaaheittojen onnistuminen ei riipu siitä miten edelliset ovat onnistuneet, ja että hän heittää vapaaheiton koriin todennäköisyydellä 0.8. Koripalloilija heittää 6 vapaaheittoa. Laske koriin menevien lukumäärän odotusarvo, varianssi ja keskihajonta sekä tiheys- ja kertymäfunktiot. Millä todenäköisyydellä ainakin kaksi heittoa menee ohi? p todennäköisyys että osuu 0,8 q todennäköisyys että menee ohi 0, n heittojen määrä 6 Koriin menevien odotusarvo: E(x) np 6*0,8 4,8 Varianssi: D (x) npq 6*0,8*0, 0,96 Keskihajonta on varianssin neliöjuuri: 0,98 9

47 Todennäköisyysjakaumat Tiheysfunktio Kertymä funktio 0 P( X 0) 6 0,8 0, 0 P( X ) 6 0,8 0, P( X ) 6 0,8 0, 3 6 P( X 3) 6 0,8 0, , , , ,006 0,0536 0,0696 0,089 0, ( 4) 0,8 0, 4 0,4576 0,34464 P X P( X 5) 0,8 0, 5 0,3936 0, P( X 6) 0,8 0, 6 0,644 Kertymäfunktion arvoista 5. rivillä oleva arvo kertoo todennäköisyyden, että kaksi tai enemmän heitoista menee ohi, ts. ainakin kaksi menee ohi. Vastaus on siis: 0,34464 todennäköisyydellä ainakin kaksi heitoista menee ohi. Todennäköisyysjakaumat Geometrinen jakauma Keskeinen kysymys tässä tapauksessa: Kuinka monta kertaa koe pitää toistaa, jotta A tapahtuu i kertaa? X ~ Geom(p) X Tehtyjen Bernoulli-kokeiden lukumäärä, kun A sattuu ensimmäisen kerran Pistetodennäköisyysfunktio: 0

48 Todennäköisyysjakaumat Vaihtoehtoisesti: P(Xk) q k- p odotusarvo E(X)/p varianssi D (X)q/p Todennäköisyysjakaumat Esimerkki geometrisesta jakaumasta: Tilastotieteen opiskelija tulee kotiin opiskelijajuhlista ja etsii oikeaa avainta 0 avaimen nipusta. Jostain syystä kaikki avaimet näyttävät samalta eikä opiskelija kykene muistamaan mitään loogista järjestystä avaimille. Niinpä hän lähtee kokeilemaan avaimia yksi kerrallaan. Mikä on todennäköisyys, että hän saa ovensa auki neljännellä yrityksellä? X 4 P/0

49 Todennäköisyysjakaumat Normaalijakauma Tärkein jakauma tilastotieteessä! Monet muut tilastotieteen keskeiset jakaumat voidaan määritellä normaalijakauman avulla (, t, F, -jakaumat) Merkintä: satunnaismuuttuja x noudattaa normaalijakaumaa odotusarvolla myy ja varianssilla sigma toiseen x ~ N ( ) Tiheysfunktion kuvaaja Gaussin käyrä Tiheysfunktio f(x) Todennäköisyysjakaumat Binomijakauma lähenee normaalijakaumaa (odotusarvo np ja varianssi npq) suurilla toistomäärillä, jos npq > 9 niin jakaumat ovat jo suhteellisen lähellä toisiaan Normaalijakauman tiheysfunktioita erilaisilla parametrien arvoilla (-,), (0,4) ja (,0.09)

50 Todennäköisyysjakaumat Normaalijakauman tiheysfunktion ominaisuuksia: aina positiivinen yksihuippuinen maksimi keskiarvon kohdalla symmetrinen keskiarvon molemmin puolin käännepisteet kohdissa m-s ja m+s n. 68 % arvoista on korkeintaan yhden keskihajonnan päässä keskiarvosta n. 95 % arvoista on korkeintaan kahden keskihajonnan päässä keskiarvosta n. 99,7 % arvoista on korkeintaan kolmen keskihajonnan päässä keskiarvosta Todennäköisyysjakaumat Todennäköisyydet mistä tahansa normaalijakaumasta N(m,s ) voidaan määrätä standardoidun normaalijakauman N(0,) avulla Satunnaismuuttujan Z kertymäfunktio: P(Z z) (z) Muunnoskaava: xi x zi s Kertymäfunktion arvot on taulukoitu, ja niiden avulla voidaan laskea minkä tahansa normaalijakauman kertymäfunktion arvot muunnoskaavalla. 3

51 Todennäköisyysjakaumat Taulukot mahdollistavat seuraavien tehtävien ratkaisemisen: Määrää todennäköisyys P(Z z) (z), kun z on annettu. Määrää z, kun todennäköisyys P(Z z) (z) on annettu. Arvot on taulukoitu vain positiivisille z-arvoille, (-z) - (z) Todennäköisyyden laskusäännöt pätevät, esim. P(a Z b) (b) - (a) Todennäköisyysjakaumat 4

52 Todennäköisyysjakaumat Erkki työskentelee myyjänä yrityksessä A. Kahvitauollaan hän kuulee huhun, että toimitusjohtaja aikoo palkita myyjistä parhaiten suoriutuvat 5 % antamalla heille.500 euroa. Dollarin kuvat silmissään Erkki jo haaveilee ostavansa uuden taulu-tv:n. Fiksuna miehenä hän kuitenkin haluaa arvioida mahdollisuuksiaan saada tuo palkkio ennen kuin pistää töllön tilaukseen. Erkki tietää, että hän on itse myynyt 45 hilavitkutinta, kun kaikkien firman myyjien keskiarvo on 38 hilavitkutinta ja että keskihajonta on 4. Erkki on myös varma, että firman myyjien suoriutuminen on normaalijakautunutta. Niinpä: Z Erkin tulos (45 38)/4,75 Standardoidun normaalijakauman kertymäfunktion arvojen taulukosta Erkki hakee myyntituloksensa standardoitua arvoa (Z,75) vastaavan todennäköisyyden. P(X < 43) (,75) 0, ,9 % myyjistä jäävät Erkin myyntituloksen alapuolelle, eli Erkki kuuluu parhaiten suoriutuvaan 5 prosenttiin.j Todennäköisyysjakaumat Edellisen esimerkin Erkki juttelee kollegansa Eskon kanssa. Esko ei muista omaa myyntimääräänsä, mutta voi tarkistaa sen tietokoneeltaan. Niinpä Erkki ja Esko haluavat laskea sellaisen raja-arvon myyntimäärälle, jonka ylittyessä voi tietää saavansa mainitun.500 palkkion. Standardoidun normaalijakauman kertymäfunktion taulukosta Erkki ja Esko etsivät rajan, jonka alle jää 95 % (0,95) Z:n arvoista. 0,95 (?) P(Z?) P(X?) Z raja-arvo,65 xi x zi s,65 (X 38)/4 X 4 *, (44,6) 5

53 Todennäköisyysjakaumat 0 Z Erkin tulos Z raja-arvo 6

54 Tilastollisen testaamisen perusteet Estimointi - estimoinnissa etsitään perusjoukon tunnusluvuille eli parametreille (yleensä keskiarvo, varianssi, keskihajonta tai suhteellinen osuus p) mahdollisimman hyviä arvioita otoksen avulla - esim. normaalijakautuneen satunnaismuuttujan (vaikkapa paperin lujuus, sokeripalan paino) tuntemattomien ja estimointi Tilastollisen testaamisen perusteet Estimoinnin vaiheet:. ongelman määritys: mikä on perusjoukko, ja mitä parametrejä tulee estimoida. estimaattorin (laskukaavan) valinta 3. otanta perusjoukosta 4. piste-estimaatin laskenta sijoittamalla otoksesta saadut arvot estimaattoriin 5. luottamusvälin laskenta.

55 Tilastollisen testaamisen perusteet Käsitteitä: :n estimaattori otossuure, jonka jakauma on keskittynyt tuntemattoman populaation parametrin kohdalle - estimaattori on laskukaava, jonka avulla otoksesta voidaan laskea :n arviot eli estimaatit - piste-estimaatti on estimaattorin otoksesta antama likiarvo estimoitavalle perusjoukon parametrille - Väliestimoinnissa todennäköisyysjakauman parametrille määrätään havainnoista riippuva väli, joka tietyllä, tutkijan valittavissa olevalla todennäköisyydellä peittää parametrin tuntemattoman arvon. - Ko. väliä kutsutaan luottamusväliksi (confidence interval) ja tutkijan valitsemaa todennäköisyyttä kutsutaan luottamustasoksi (, yleensä valitaan - arvoksi joko.05 tai.0) - estimaatin keskivirhe (standard error) on estimaattorin jakauman keskihajonta Tilastollisen testaamisen perusteet Kun samasta perusjoukosta otetaan useita n kappaleen otoksia, niin eri otoksista laskettujen estimaattien arvot vaihtelevat. Jos otoksia otettaisiin oikein monta, niin estimaattien keskihajonta olisi sama kuin keskivirhe

56 Tilastollisen testaamisen perusteet Esimerkkiaineisto: N00; muuttujana esim. ikä Minkä tahansa kokoisia otoksia voidaan ottaa 00 erilaista n0 kappaleen otoksia, niin otoksia voidaan ottaa monella eri tavalla, kombinaatiokaavan mukaisesti erilaista otosta 00 00!.73*0 0 0!90! 3 Tilastollisen testaamisen perusteet otetaan 9 erilaista otosta ja lasketaan jokaisesta keskiarvot otos otos otos3 otos4 otos5 Otos6 otos7 otos8 otos9 otoska Otos , Otos ,3 Otos ,0 Otos ,9 Otos ,5 Otos ,5 Otos ,3 Otos ,8 Otos ,8 Otos ,0 otoska 5,4 6,9 63,4 70, 45,3 65,3 58,4 40,9 6,5 3

57 Tilastollisen testaamisen perusteet otosten keskiarvot vaihtelevat, todellinen perusjoukon keskiarvo on 58, ja otoskeskiarvojen keskiarvo 58, sekä otoskeskiarvojen keskihajonta 8,. käytännössä ei yleensä voi ottaa montaa otosta, vaan johtopäätökset perusjoukon parametreista on tehtävä yhden otoksen perusteella. Perusperiaate on se, että mitä suurempi otos ja mitä vähemmän hajontaa otoksen sisällä, sitä luotettavampia tuloksia saadaan. Keskivirhe kuvaa miten paljon epävarmuutta otoksesta laskettuun estimaattoriin liittyy Tilastollisen testaamisen perusteet - keskiarvon keskivirhe lasketaan kaavasta. Kaava. σ D( x _ ) σ x tai sx n s n jos populaation keskihajontaa ei tunneta, sen asemesta voidaan käyttää otoskeskihajontaa s 4

58 Tilastollisen testaamisen perusteet esim. 5.. Otoksessa (67.3, 70., 67., 66.8, 67.4) keskiarvo ja sen keskivirhe n 5; ka 338,8/5 67,76 n s xi n i ( xi ) n 338,8 964,74 5 5,383 s x s n,383 0,6 5 Tilastollisen testaamisen perusteet suurilla otoksilla mediaanin keskivirhe saadaan kaavasta 3. Kaava 3. suhteellisen osuuden keskivirhe saadaan kaavasta 4, kun px/n ja X on binomijakautunut. Kaava 4. - keskihajonnan keskivirhe kaavasta 5. Kaava 5. π σ σ D( Md).533 n n p( p) D( p) tai D( X ) np( p) n D( s) σ n n - n kokoisesta otoksesta saadaan luotettavampi arvio keskihajonnalle kuin keskiarvolle s 5

59 Tilastollisen testaamisen perusteet Poikkeus: Kun otoskoko on vähintään 5% koko populaatiosta, niin voidaan ajatella että epävarmuutta on normaalia vähemmän, ja siksi keskivirhe voidaan kertoa tekijällä Kaava 5.. N n N N perusjoukon havaintojen lkm n otoksen havaintojen lkm Tilastollisen testaamisen perusteet Hyvän estimaattorin ominaisuuksia: harhattomuus: estimaattori t n on jonkun parametrin harhaton estimaattori, jos kaava 6. Kaava 6. E( t n ) θ tarkentuvuus: otoskoon kasvaessa t n:n jakauma keskittyy :n kohdalle, kaava 7. Kaava 7. P( t n θ > ε ) 0, kun n tyhjentävyys: estimaattori sisältää kaiken :aa koskevan informaation (esim. jatkuvan muuttujan keskiarvo on, mutta päätepisteiden keskiarvo midrange ei) tehokkuus: harhattomuus ja minimivarianssi; t on tehokkaampi kuin t, jos kaava 8. Kaava 8. D ( t ) < D ( t ) 6

60 Tilastollisen testaamisen perusteet Estimointimenetelmiä: - Analogiaestimointi - Luottamusväliestimointi - (Mm. Maximum likelihood) Tilastollisen testaamisen perusteet Analogiamenetelmä Populaation parametrin estimaattorina käytetään vastaavaa otossuuretta (esim. keskiarvo, korrelaatiokerroin) Käyttökelpoisia suurilla otoksilla, otos on riippumaton satunnaisotos ja tietoa satunnaismuuttujan jakauman muodosta ei ole estimoitava parametri θ keskiarvo µ E x mediaani m Md (x) moodi m o Mo (x) Varianssi σ D x variaatiokerroin V σ/ µ vastaava estimaattori n x n i V s / x i Md otosmediaani Mo otosmoodi n s ( x i x) n i x 7

61 Tilastollisen testaamisen perusteet Luottamusväliestimointi Väliestimoinnissa määritetään havaintojen perusteella väli, jolla otoksesta laskettu tunnusluku sijaitsee perusjoukossa valitulla todennäköisyydellä - -> luottamus- eli varmuusväli, intervalliestimaattori, confidence interval Luottamusvälin tulkinta: jos otantaa toistetaan ja jokaisesta otoksesta konstruoidaan parametrille luottamusväli luottamustasolla, niin konstruoiduista väleistä keskimäärin ( ) % peittää parametrin ja keskimäärin % ei peitä parametria. Tilastollisen testaamisen perusteet Jos teemme johtopäätöksen, että parametri on konstruoidulla luottamusvälillä, johtopäätös on väärä todennäköisyydellä. Väärän johtopäätöksen mahdollisuus ei häviä, ellei luottamusväliä tehdä äärettömän leveäksi, jolloin luottamusväli ei enää sisällä informaatiota parametrin oikeasta arvosta. Olisi toivottavaa pystyä konstruoimaan parametrille mahdollisimman kapea luottamusväli, johon liittyvä luottamustaso olisi mahdollisimman korkea. Molempien vaatimusten yhtäaikainen täyttäminen ei ole kuitenkaan mahdollista, jos otoskoko pidetään kiinteänä. 8

62 Tilastollisen testaamisen perusteet Luottamusvälin päätepisteet saadaan kun pisteestimaattiin lisätään tai vähennetään k kertaa sen keskivirhe k riippuu jakaumasta ja halutusta luottamustasosta (yleensä - 3), k kertaa keskivirhettä kutsutaan virhemarginaaliksi yleisimmin käytetään 95% tai 99% luottamusvälejä (eli.05 tai.0) Tilastollisen testaamisen perusteet keskiarvon luottamusväli, kun perusjoukon keskihajonta tunnettu tai n>30 Kaava. x ± z α σ n z on normaalijakauman taulukosta saatava halutusta luottamustasosta riippuva luku. 99% luottamusväliä laskiessa isompi (.58) kuin 95% luottamusväliä laskiessa (.96) 9

63 Tilastollisen testaamisen perusteet esim. 5.. Säilyketehtaassa käytetään automaattisia laitteita purkkien täyttämiseen. Purkkien tulisi painaa 6 unssia. Laitteiden säätöjen tarkistamiseksi otettiin eräänä päivänä tuotannosta 00 purkin satunnaisotos, josta painon keskiarvoksi saatiin 6.5 unssia. Purkkien painon tiedetään olevan normaalijakautunut, ja keskihajonta on 0.55 unssia. Laske otoksen perusteella 99% luottamusväli keskiarvolle. Entä jos päivässä tuotetaan vain 000 purkkia? n 00; ka 6,5; keskihaj. 0,55; Z,995,58 Keskiarvon keskivirhe σ σ x n 0,55 0, Luottamusväli: UCL (Upper confidence interval limit): 6,5 +,58*0,055 6,9 LCL (Lower confidence interval limit): 6,5,58*0,055 6,0 0

64 Tilastollisen testaamisen perusteet keskiarvon luottamusväli, kun perusjoukon keskihajonta tuntematon ja n<30: Kaava. x± t α ; n s n Kerroin t-jakaumasta halutun todennäköisyyden ja otoskoon perusteella, n- on vapausasteluku (degrees of freedom) t- jakaumasta saatava kerroin on aina suurempi kuin vastaavalla todennäköisyydellä normaalijakaumasta saatava kerroin otoskoon eli vapausasteluvun kasvaessa kertoimen arvot pienenevät Tilastollisen testaamisen perusteet

65 Tilastollisen testaamisen perusteet esim Sahalla mitattiin n0 lankun paksuus tuumina. Tulokseksi saatiin.,.0,.0,.98,.4,.99,.09,.9,.3,.0 Muodosta lankun paksuuden keskiarvolle 95% luottamusväli. n 0; 0,05; t,05; 9,6 ka,05; keskihajonta 0,0878 Keskivirhe Luottamusväli: x ± tα ; n s n s x s n 0,0878 0,0776 0,05 ±,6*0,0776,05 ± 0,063 Tilastollisen testaamisen perusteet Kun n > 30, voidaan käyttää myös normaalijakaumaa (kaavaa ). Esim. kun n 3, niin t-jakaumasta 95% luottamusvälille kerroin.04 ja normaalijakaumasta kerroin.96. Jos n 0, niin t-jakaumasta kerroin.98 Jos ollaan kiinnostuneita vain luottamusvälin ala- tai ylärajasta, niin kerroin kohdasta - (t-jakaumassa kohdasta )

66 Tilastollisen testaamisen perusteet Prosenttiluvun (suhteellisen osuuden) luottamusväli (kun np>5 ja n(-p)>5): Kaava 3. p,kun px/n ja X~BIN(n,p) z ± α p( p) n Kappalemäärälle siis luottamusväli X ± z α np( p) Tilastollisen testaamisen perusteet esim Mielipidetiedustelussa kysyttiin 900 kansalaiselta suhtautumista ydinvoimaan. Kannattajia oli 576 kappaletta. Laske 95% luottamusväli kannattajien osuudelle. 3

67 Tilastollisen testaamisen perusteet n 900 p 576/900 0,64 0,05 z,975,96 Sijoitetaan kaavaan: p( p) p± z α 0,64 ±,96 n 0,64( 0,64) 900 0,64 ± 95 % todennäköisyydellä ydinvoiman kannattajien osuus perusjoukossa on 60,9-67, % 0,03 Tilastollisen testaamisen perusteet esim Hotellissa on 500 huonetta. Huoneen varanneista jättää kuitenkin aina osa tulematta, joten huoneita jää tyhjilleen, ellei oteta ylivarauksia. Hotellin johto haluaa maksimoida käyttöasteen, mutta olla kuitenkin 99.9% varma siitä, ettei kukaan varanneista jää ilman huonetta. Tehtiin otos, jossa 300 satunnaisesti valitusta varauksesta 75 oli jättänyt tulematta. Laske tämän perusteella, montako varausta uskaltaa ottaa. 4

68 Tilastollisen testaamisen perusteet Annetut tiedot: n 300; x 75; 0,00 p tulematta jättävien osuus 75/300 0,5 Haetaan LCL tulematta jättävien osuudelle (Huom. Vain alaraja) Z - Z,999 3,09 LCL p p( p) 0,5 3,09* n 0,5( 0,5) 300 z α 0,7 Enintään 83 % tulee paikalle X*0, x 60,4 Uskalletaan ottaa 60 varausta Tilastollisen testaamisen perusteet varianssin ja keskihajonnan luottamusväli: Kaava 4. n s χ n σ s α χ ; n α ; n - keskihajonnan luottamusväli saadaan ottamalla varianssin luottamusvälin päätepisteistä neliöjuuret 5

69 Tilastollisen testaamisen perusteet esim Herkässä pneumaattisessa valvontajärjestelmässä kaasun paine on normaalijakautunut. havainnosta saatiin neliösummaksi.60. Määrää varianssin 99% luottamusväli. Tilastollisen testaamisen perusteet 0,0 n (x i x ka ),60 s,60/ 0,45 n s χ α ; n α ; n n s χ 0,45 χ 0,0 ; χ 0, 0 ; 0,45 0,45 6,8 0,45,6 0,654 0,0597 6

70 Tilastollisen testaamisen perusteet suurilla (n > 50) otoksilla voidaan käyttää myös normaalijakaumaa: Kaava 5. LCL UCL, yksisuuntaisessa testissä z α z z α α + s n s n Tilastollisen testaamisen perusteet esim Tuotantoprosessista otettiin 85 kappaleen satunnaisotos ja saatiin keskihajonnaksi s Laske 99% luottamusvälit populaation keskihajonnalle. 7

71 Tilastollisen testaamisen perusteet n 85 0,0 z - /,58 s LCL z α + n s UCL z α n 0,05,58 + *85 0,05,58 *85 0,04 0,06 Tilastollisen testaamisen perusteet E z otoskoon estimointi: jos asetetaan ennalta raja virhemarginaalin suuruudelle E, voidaan ratkaista n luottamusvälin lausekkeista - keskiarvoa estimoitaessa Kaava 6. σ z ασ n n E α, jossa E maksimivirhe ja σ koeotoksen keskihajonta 8

72 Tilastollisen testaamisen perusteet esim Markkinointitutkimusfirma haluaa estimoida keskimääräisiä perheiden kuukausituloja tietyllä alueella 95% varmuudella. Estimaatin virhe saa olla korkeintaan 35 mk. Keskihajonta on tunnettu, noin 000 mk. Kuinka suuri otos tarvitaan? Tilastollisen testaamisen perusteet 0,05 z - /,96 E z n E ασ,96*

73 Tilastollisen testaamisen perusteet suhteellisen osuuden estimoinnissa : E z ( ) ( ) z α p p z p p α n, maksimi kun p 0.5 n n E E 4 Tilastollisen testaamisen perusteet esim Hotelliesimerkissä päätettiin, ettei virhe saa olla suurempi kuin 8 prosenttiyksikköä 99% varmuudella. Tarvittava otoskoko saatiin seuraavasti: 0

74 Tilastollisen testaamisen perusteet 0,0 z - /,58 E 0,08 z n 4E α,58 4*0,08 60 Tilastollisen testaamisen perusteet keskihajonnan estimoinnissa: E z σ z ασ n n E α

75 Tilastollisen testaamisen perusteet esim Tuotantoprosessin keskihajonnan estimoinnissa haluttiin 99% varmuus ja virhe sai olla korkeintaan Ensin otettiin pieni kymmenen kappaleen pilottiotos, josta keskihajonnaksi saatiin 0.5. Tämän avulla laskettiin tarvittava otoskoko seuraavasti: Tilastollisen testaamisen perusteet 0,0 z - /,58 E 0,05 0,5 n ασ z E,58* 0,5 0,05 83

76 Yleistä testaamisesta testauksessa osoitetaan otoksen perusteella perusjoukkoa koskeva olettamus eli hypoteesi oikeaksi tai vääräksi valitulla todennäköisyydellä testaamalla selvitetään, millä todennäköisyydellä otoksesta saatuja tuloksia voidaan yleistää perusjoukkoon muistuttaa estimointia, jos hypoteesi koskee parametrien mahdollisia arvoja hypoteesi voi koskea muuttujan jakauman muotoa, sen parametreja, muuttujien välistä yhteyttä Yleistä testaamisesta esim. laaduntarkkailussa testataan pysyykö tuotoksen keskiarvo tai hajonta vaaditun rajan ylä- tai alapuolella; mainonnan mediapäätöksiä varten testataan saavuttaako jokin media riittävän suuren osan kohderyhmästä; ammattiliitot testaavat eri alojen palkkajakaumien samankaltaisuutta; testataan vaikuttaako tietty elämäntapa tai ruokavalio jonkin sairauden esiintymiseen, jne. 3

77 Testauksen vaiheet. hypoteesien asettaminen. testin ja otantajakauman valinta 3. merkitsevyystason valinta ja otoskoon määrittely 4. otanta 5. testisuureen laskeminen otoksesta 6. testisuureen vertaaminen otantajakaumaan 7. päätöksenteko (nollahypoteesin hyväksyminen tai hylkääminen) 8. sanallinen tulkinta Hypoteesin muodostaminen - oletushypoteesi H 0 asetetaan siten, että sen hylkäämiselle vaaditaan "vahvat todisteet", vastaa oikeudessa syytettyä, joka on syytön, kunnes toisin todistetaan (varovaisuus- eli konservatiivisuusperiaate) - H 0 :n jääminen voimaan ei aiheuta toimenpiteitä tai muutoksia, sen hylkäys johtaa johonkin - nollahypoteesi eli oletushypoteesi H 0 : keskiarvo tms. saa tietyn arvon, eroa tai riippuvuutta ei ole, muuttuja noudattaa tiettyä jakaumaa - vaihtoehtohypoteesi H : keskiarvo poikkeaa tietystä arvosta, ero tai riippuvuus on olemassa, muuttuja ei noudata tiettyä jakaumaa (yleensä tutkija toivoo että vaihtoehtohypoteesi tulisi voimaan) - tutkimushypoteesi on eri kuin tilastollisen testin oletushypoteesi 4