031021P Tilastomatematiikka (5 op) kertausta 2. vk:een

Transkriptio

1 031021P Tilastomatematiikka (5 op) kertausta 2. vk:een Jukka Kemppainen Mathematics Division

2 2. välikokeeseen Toinen välikoe on la klo saleissa L1,L3 Jukka Kemppainen Mathematics Division 2 / 11

3 2. välikokeeseen Toinen välikoe on la klo saleissa L1,L3 Koealue: luentojen luvut 7-10 ja harjoitukset 7-11 Jukka Kemppainen Mathematics Division 2 / 11

4 2. välikokeeseen Toinen välikoe on la klo saleissa L1,L3 Koealue: luentojen luvut 7-10 ja harjoitukset 7-11 Käydään seuraavaksi läpi toisen välikokeen (ja luonnollisesti koko kurssin) kannalta tärkeitä asioita. Jukka Kemppainen Mathematics Division 2 / 11

5 Luku 7 Tilastollinen aineisto Estimaatti ja estimaattori: Hyvä estimaattori antaa keskimäärin oikeita arvoja, sillä on pieni varianssi ja havaintojen määrää lisätessä se tarkentuu (harhattomuus, tehokkuus ja tarkentuvuus). Estimaattori on satunnaismuuttuja ja estimaatti sen otoksessa saama arvo. Jukka Kemppainen Mathematics Division 3 / 11

6 Luku 7 Tilastollinen aineisto Estimaatti ja estimaattori: Hyvä estimaattori antaa keskimäärin oikeita arvoja, sillä on pieni varianssi ja havaintojen määrää lisätessä se tarkentuu (harhattomuus, tehokkuus ja tarkentuvuus). Estimaattori on satunnaismuuttuja ja estimaatti sen otoksessa saama arvo. Normaalijakaumasta johdetut χ 2 -jakauma ja Studentin t-jakauma. Jukka Kemppainen Mathematics Division 3 / 11

7 Luku 7 Tilastollinen aineisto Estimaatti ja estimaattori: Hyvä estimaattori antaa keskimäärin oikeita arvoja, sillä on pieni varianssi ja havaintojen määrää lisätessä se tarkentuu (harhattomuus, tehokkuus ja tarkentuvuus). Estimaattori on satunnaismuuttuja ja estimaatti sen otoksessa saama arvo. Normaalijakaumasta johdetut χ 2 -jakauma ja Studentin t-jakauma. Odotusarvon µ luottamusväli, kun σ tunnetaan: X µ σ n N(0,1). Jukka Kemppainen Mathematics Division 3 / 11

8 Luku 7 Tilastollinen aineisto Estimaatti ja estimaattori: Hyvä estimaattori antaa keskimäärin oikeita arvoja, sillä on pieni varianssi ja havaintojen määrää lisätessä se tarkentuu (harhattomuus, tehokkuus ja tarkentuvuus). Estimaattori on satunnaismuuttuja ja estimaatti sen otoksessa saama arvo. Normaalijakaumasta johdetut χ 2 -jakauma ja Studentin t-jakauma. Odotusarvon µ luottamusväli, kun σ tunnetaan: X µ σ n N(0,1). Odotusarvon µ luottamusväli, kun σ:aa ei tunneta: X µ S t n 1. n Jukka Kemppainen Mathematics Division 3 / 11

9 Luku 7 Tilastollinen aineisto Estimaatti ja estimaattori: Hyvä estimaattori antaa keskimäärin oikeita arvoja, sillä on pieni varianssi ja havaintojen määrää lisätessä se tarkentuu (harhattomuus, tehokkuus ja tarkentuvuus). Estimaattori on satunnaismuuttuja ja estimaatti sen otoksessa saama arvo. Normaalijakaumasta johdetut χ 2 -jakauma ja Studentin t-jakauma. Odotusarvon µ luottamusväli, kun σ tunnetaan: X µ σ n N(0,1). Odotusarvon µ luottamusväli, kun σ:aa ei tunneta: X µ S t n 1. n Suhteellisen osuuden p luottamusväli: likimain, kun n on suuri. X n p p(1 p) n N(0,1) Jukka Kemppainen Mathematics Division 3 / 11

10 Esimerkki Esim. Tuotannosta satunnaisesti otetussa 200 yksikön otoksessa oli 20 viallista. Määrää 95 %:n luottamusväli todennäköisyydelle, jolla tuotannossa syntyy viallinen yksikkö. Jukka Kemppainen Mathematics Division 4 / 11

11 Luku 8 Hypoteesin testauksesta Hypoteesien H 0 ja H 1 sekä testimuuttujan valinta, riskitaso α, kynnysarvo r 0, yksi- tai kaksisuuntainen testi. Jukka Kemppainen Mathematics Division 5 / 11

12 Luku 8 Hypoteesin testauksesta Hypoteesien H 0 ja H 1 sekä testimuuttujan valinta, riskitaso α, kynnysarvo r 0, yksi- tai kaksisuuntainen testi. Odotusarvon µ Z-testi, kun σ tunnetaan: testimuuttuja X µ σ/ n N(0,1). Jukka Kemppainen Mathematics Division 5 / 11

13 Luku 8 Hypoteesin testauksesta Hypoteesien H 0 ja H 1 sekä testimuuttujan valinta, riskitaso α, kynnysarvo r 0, yksi- tai kaksisuuntainen testi. Odotusarvon µ Z-testi, kun σ tunnetaan: testimuuttuja X µ σ/ n N(0,1). Odotusarvon T-testi, kun σ:aa ei tunneta: testimuuttuja X µ S/ n t n 1. Jukka Kemppainen Mathematics Division 5 / 11

14 Luku 8 Hypoteesin testauksesta Hypoteesien H 0 ja H 1 sekä testimuuttujan valinta, riskitaso α, kynnysarvo r 0, yksi- tai kaksisuuntainen testi. Odotusarvon µ Z-testi, kun σ tunnetaan: testimuuttuja X µ σ/ n N(0,1). Odotusarvon T-testi, kun σ:aa ei tunneta: testimuuttuja X µ S/ n t n 1. Suhteellisen osuuden p Z-testi: testimuuttuja X n p N(0,1). p(1 p) n Jukka Kemppainen Mathematics Division 5 / 11

15 Luku 8 Hypoteesin testauksesta Hypoteesien H 0 ja H 1 sekä testimuuttujan valinta, riskitaso α, kynnysarvo r 0, yksi- tai kaksisuuntainen testi. Odotusarvon µ Z-testi, kun σ tunnetaan: testimuuttuja X µ σ/ n N(0,1). Odotusarvon T-testi, kun σ:aa ei tunneta: testimuuttuja X µ S/ n t n 1. Suhteellisen osuuden p Z-testi: testimuuttuja X n p N(0,1). p(1 p) n Hajonnan σ χ 2 -testi: testimuuttuja (n 1)S2 σ 2 χ 2 n 1. Jukka Kemppainen Mathematics Division 5 / 11

16 Odotusarvojen erotuksen Z-testi, kun σ 1 ja σ 2 tunnetaan: testimuuttuja Z = X Y (µ 1 µ 2 ) N(0,1). σ σ2 2 n 1 n 2 Jukka Kemppainen Mathematics Division 6 / 11

17 Odotusarvojen erotuksen Z-testi, kun σ 1 ja σ 2 tunnetaan: testimuuttuja Z = X Y (µ 1 µ 2 ) N(0,1). σ σ2 2 n 1 n 2 Odotusarvojen erotuksen T-testi, kun σ 1 ja σ 2 tuntemattomia: testimuuttuja X Y (µ 1 µ 2 ) T = t 1 n (n1 1)s1 2+(n n1 2 1)s2 2 +n 2 2. n 2 n 1 +n 2 2 Jukka Kemppainen Mathematics Division 6 / 11

18 Odotusarvojen erotuksen Z-testi, kun σ 1 ja σ 2 tunnetaan: testimuuttuja Z = X Y (µ 1 µ 2 ) N(0,1). σ σ2 2 n 1 n 2 Odotusarvojen erotuksen T-testi, kun σ 1 ja σ 2 tuntemattomia: testimuuttuja X Y (µ 1 µ 2 ) T = t 1 n (n1 1)s1 2+(n n1 2 1)s2 2 +n 2 2. n 2 n 1 +n 2 2 Yhteensopivuuden χ 2 -testi: testimuuttuja k (n i np i ) 2 i=1 np i χ 2 k 1. Jukka Kemppainen Mathematics Division 6 / 11

19 Odotusarvojen erotuksen Z-testi, kun σ 1 ja σ 2 tunnetaan: testimuuttuja Z = X Y (µ 1 µ 2 ) N(0,1). σ σ2 2 n 1 n 2 Odotusarvojen erotuksen T-testi, kun σ 1 ja σ 2 tuntemattomia: testimuuttuja X Y (µ 1 µ 2 ) T = t 1 n (n1 1)s1 2+(n n1 2 1)s2 2 +n 2 2. n 2 n 1 +n 2 2 Yhteensopivuuden χ 2 -testi: testimuuttuja k (n i np i ) 2 i=1 np i χ 2 k 1. Jos estimoitavia parametreja on l kappaletta, niin k (n i nˆp i ) 2 i=1 nˆp i χ 2 k l 1. Jukka Kemppainen Mathematics Division 6 / 11

20 Odotusarvojen erotuksen Z-testi, kun σ 1 ja σ 2 tunnetaan: testimuuttuja Z = X Y (µ 1 µ 2 ) N(0,1). σ σ2 2 n 1 n 2 Odotusarvojen erotuksen T-testi, kun σ 1 ja σ 2 tuntemattomia: testimuuttuja X Y (µ 1 µ 2 ) T = t 1 n (n1 1)s1 2+(n n1 2 1)s2 2 +n 2 2. n 2 n 1 +n 2 2 Yhteensopivuuden χ 2 -testi: testimuuttuja k (n i np i ) 2 i=1 np i χ 2 k 1. Jos estimoitavia parametreja on l kappaletta, niin k (n i nˆp i ) 2 i=1 nˆp i χ 2 k l 1. Riippumattomuuden χ 2 -testi: testimuuttuja k l (n ij nˆp iˆq j ) 2 i=1 j=1 nˆp iˆq j χ 2 (k 1)(l 1). Jukka Kemppainen Mathematics Division 6 / 11

21 Esimerkki Esim. Uuden influenssarokotteen käyttöönottoa varten tehtiin rokotetutkimus, johon osallistui 1000 ihmistä. Koehenkilöille annettiin yksi annos rokotetta, kaksi annosta rokotetta kahden viikon välein tai ei ollenkaan rokotetta. Influenssaan sairastuneita havaittiin seuraavasti Ei rokotetta 1 annos 2 annosta Yhteensä Influenssa Ei influenssaa Yhteensä Tutki riskitasolla α = 1%, onko rokotteesta ollut hyötyä influenssan ehkäisyssä. Jukka Kemppainen Mathematics Division 7 / 11

22 Luku 9 Suurimman uskottavuuden (maximum likelihood) menetelmä Estimoitavat parametrit θ 1,...,θ l määrätään riippumattomasta otoksesta (x 1,...,x n ) niin, että L(θ 1,...,θ l ) = n f Xi (x i ;θ 1,...,θ l ) i=1 saavuttaa parametrien suhteen maksiminsa. Jukka Kemppainen Mathematics Division 8 / 11

23 Luku 9 Suurimman uskottavuuden (maximum likelihood) menetelmä Estimoitavat parametrit θ 1,...,θ l määrätään riippumattomasta otoksesta (x 1,...,x n ) niin, että L(θ 1,...,θ l ) = n f Xi (x i ;θ 1,...,θ l ) i=1 saavuttaa parametrien suhteen maksiminsa. Usein maksimoidaan L:n sijaan ln L(θ 1,...,θ l ). Jukka Kemppainen Mathematics Division 8 / 11

24 Luku 9 Suurimman uskottavuuden (maximum likelihood) menetelmä Estimoitavat parametrit θ 1,...,θ l määrätään riippumattomasta otoksesta (x 1,...,x n ) niin, että L(θ 1,...,θ l ) = n f Xi (x i ;θ 1,...,θ l ) i=1 saavuttaa parametrien suhteen maksiminsa. Usein maksimoidaan L:n sijaan ln L(θ 1,...,θ l ). Maksimi saavutetaan joko parametreja rajoittavan alueen reunalla tai gradientin nollakohdassa. Jukka Kemppainen Mathematics Division 8 / 11

25 Luku 10 Yhteisjakauma Jukka Kemppainen Mathematics Division 9 / 11

26 Luku 10 Yhteisjakauma Sm:ien X ja Y yhteisjakauman määrää kf. F XY (x,y) = P({X x} {Y y}), (x,y) R 2. Jukka Kemppainen Mathematics Division 9 / 11

27 Luku 10 Yhteisjakauma Sm:ien X ja Y yhteisjakauman määrää kf. F XY (x,y) = P({X x} {Y y}), (x,y) R 2. Yhteisjakauman tiheysfunktio on f XY (x,y) = 2 F XY (x,y). x y Jukka Kemppainen Mathematics Division 9 / 11

28 Luku 10 Yhteisjakauma Sm:ien X ja Y yhteisjakauman määrää kf. F XY (x,y) = P({X x} {Y y}), (x,y) R 2. Yhteisjakauman tiheysfunktio on f XY (x,y) = 2 F XY (x,y). x y Sm:t X ja Y ovat riippumattomia, jos ( ) F XY (x,y) = F X (x)f Y (y) f XY (x,y) = f X (x)f Y (y). Jukka Kemppainen Mathematics Division 9 / 11

29 Luku 10 Yhteisjakauma Sm:ien X ja Y yhteisjakauman määrää kf. F XY (x,y) = P({X x} {Y y}), (x,y) R 2. Yhteisjakauman tiheysfunktio on f XY (x,y) = 2 F XY (x,y). x y Sm:t X ja Y ovat riippumattomia, jos ( ) F XY (x,y) = F X (x)f Y (y) f XY (x,y) = f X (x)f Y (y). Yllä F X (x) = x f XY(u,v)dudv on reunajakauman kf. ja f X vastaava reunatiheys. Jukka Kemppainen Mathematics Division 9 / 11

30 Sm:ien X ja Y kovarianssi on Cov(X,Y) = E(XY) E(X)E(Y). Jukka Kemppainen Mathematics Division 10 / 11

31 Sm:ien X ja Y kovarianssi on Korrelaatiokerroin on Cov(X,Y) = E(XY) E(X)E(Y). ρ(x,y) = Cov(X,Y) σ X σ Y, missä σ X ja σ Y ovat sm:ien X ja Y keskihajonnat. Jukka Kemppainen Mathematics Division 10 / 11

32 Sm:ien X ja Y kovarianssi on Korrelaatiokerroin on Cov(X,Y) = E(XY) E(X)E(Y). ρ(x,y) = Cov(X,Y) σ X σ Y, missä σ X ja σ Y ovat sm:ien X ja Y keskihajonnat. Korrelaatiokkerroin mittaa sm:ien X ja Y lineaarisen riippuvuuden astetta. Jukka Kemppainen Mathematics Division 10 / 11

33 Esim. Satunnaisvektorin (X, Y) tiheysfunktio on { 8xy, kun 0 < y < x < 1, f(x,y) = 0, muulloin. (a) Määrää reunatiheydet. (b) Laske sm:ien X ja Y kovarianssi. (c) Ovatko X ja Y riippumattomia? Jukka Kemppainen Mathematics Division 11 / 11