MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Transkriptio

1 MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi A Todennäköisyyden käsite ja laskusäännöt Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 206, periodi II

2 Kurssin järjestelyt Luennot ma ja pe klo 0 2 Luennoitsija: Lasse Leskelä Vastaanotto ma 4 Y242a Harjoitukset viikoittain 2 x 2h + STACK-tehtävät Pääassistentti: Sami Helander sami.helander@aalto.fi

3 Suorittaminen Kaksi vaihtoehtoa: (a) Tentti 60% + harjoitukset 40% (b) Tentti 00% Harjoituspisteet ovat voimassa ja tenteissä.

4 Kurssikirja Introduction to Probability and Statistics for Engineers and Scientists. Sheldon M Ross. Academic Press sivua. E-kirja (Aallon verkosta):

5 Kurssimateriaalia verkossa Päämateriaali Luentokalvot Esimerkkikokoelmat Harjoitustehtävät Tilastolliset taulukot Lisämateriaalia S M Ross. Introduction to Probability and Statistics for Engineers and Scientists. Academic Press 204. I Mellin. Todennäköisyyslaskenta. I Mellin. Tilastolliset menetelmät.

6 Osaamistavoitteet Kurssin suorittanut: osaa laskea yhdistelmätapahtumien todennäköisyyksiä hyödyntämällä joukko-opin operaatioita tuntee tärkeimmät diskreetit ja jatkuvat todennäköisyysjakaumat sekä tunnistaa tilanteita, joita niillä voi mallintaa osaa yhteisjakauman perusteella laskea satunnaisvektorin tunnuslukuja sekä tunnistaa, milloin kaksi satunnaismuuttujaa ovat stokastisesti riippumattomat tuntee menetelmiä tilastollisten mallien parametrien estimoimiseen osaa laskea yksinkertaisen mallin posteriorijakauman annetusta priorijakaumasta ja havaitusta datasta osaa selittää, millaisia johtopäätöksiä voi ja ei voi tehdä valittuun tilastolliseen testiasetelmaan liittyvän p-arvon pohjalta

7 Työmäärä Osallistuminen luennoille 24 h (4 h/viikko) Osallistuminen harjoituksiin 24 h (4 h/viikko) Viikottainen itsenäinen opiskelu 72 h (6 2 h/viikko) Osallistuminen ja valmistautuminen kokeisiin 4 40 h Yhteensä h 5 op

8 Luentorunko (alustava) LA Todennäköisyyden käsite ja laskusäännöt LB Satunnaismuuttujat ja niiden jakaumat L2A Satunnaismuuttujien odotusarvot ja muunnokset L2B Satunnaismuuttujien keskihajonta ja korrelaatio L3A Satunnaismuuttujien summien normaaliapproksimaatio L3B Datajoukkojen empiiriset jakaumat ja tunnusluvut L4A Datalähteen stokastinen malli ja parametrien estimointi L4B Bayesläinen tilastollinen päättely L5A Tilastollisen merkitsevyyden testaus I L5B Tilastollisen merkitsevyyden testaus II L6A Tilastollisten estimaattien luottamusvälit L6B Lineaarinen regressio

9 Mitä tämän kurssin jälkeen?

10 Stochastics and Statistics Courses MS-C2 - S TOKASTISET PROSESSIT Periodi I, 5 op. Luennoitsija: Kalle Kytölä Esitiedot: MS-A000X Matriisilaskenta MS-A00X Differentiaali- ja integraalilaskenta MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi Kurssilla tutustutaan stokastisten prosessien eli ajasta riippuvien MS-E600 - P ROBABILITY THEORY satunnaisilmiiden teoriaan ja opitaan analysoimaan ja mallintamaan mm. luonnontieteiden ja tekniikan populaatiomalleja Markovprosessien avulla, ennakoimattomia tapahtumahetkiä Poisson-prosessin avulla, sekä yksinkertaisia uhkapelejä ja sijoitusstrategoioita martingaalien avulla. MS-E992 - A SYMPTOTIC STATISTICS Periods I II, 0 cr. Lecturers: Pauliina Ilmonen & Lasse Leskelä Esitiedot: MS-C540 Euklidiset avaruudet (or equivalent) MS-C204 Tilastollisen analyysin perusteet (or equivalent) MS-E600 Probability theory (only recommended) This is an introduction to the field of asymptotic statistics, which provides tools for analyzing the accuracy of estimators and test statistics computed from large data samples. We will start with fundamental topics such as likelihood inference, U-statistics, and rank procedures, and then proceed to selected more advanced topics. This year the course is organized as a reading seminar with weekly meetings. MS-C228 E NNUSTAMINEN JA AIKASARJA - ANALYYSI Periodi II, 5 op., BSc Luennoitsija: Lauri Viitasaari Esitiedot: MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi, MS-A02XX Differentiaali- ja integraalilaskenta 2 MS-C2 Stokastiset prosessit "Ennustaminen on vaikeaa, varsinkin tulevaisuuden" Period III, 5 cr. Lecturer: Kalle Kytöä Prerequisites: MS-C540 Euklidiset avaruudet This course is about the mathematical foundations of randomness. Probability theory is relied on in virtually any advanced topic in stochastics. The basic constructions are identical to measure theory, but there are a number of distinctly probabilistic features such as independence, notions of convergence of random variables, information contained in a sigma-algebra, conditional expectation, characteristic functions and generating functions, laws of large numbers and central limit theorems. MS-C203 KOESUUNNITTELU JA TILASTOLLISET MALLIT Periodi III, 5 op., BSc\Msc Luennoitsija: Esitiedot: MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi Kurssilla esitellään tavallisimpia koejärjestelyitä sekä menetelmiä tilas- tollisen analyysin tekemiseen. Tavoitteena on oppia valitsemaan sopiva koejärjestely tilastollisen testin toteuttamiseksi, suorittamaan testi ja analysoimaan tulokset. Kurssi kattaa regressioanalyysin perusteet, varianssianalyysin sekä valikoituja koejärjestelyitä, kuten lohkoasetelmat, faktorikokeet sekä vastepintamenetelmän. Kurssilla käytetään R-ohjelmistoa. MS-E602 - L ARGE RANDOM SYSTEMS Period IV, 5 cr. Lecturer: Kalle Kytölä Prerequisites: MS-E600 Probability theory Many interesting random systems contain a large number of simpler constituents interacting with each other. This course covers both mathematical techniques for the study of such systems, and important probabilistic models of a range of different phenomena. The theory focuses on tightness and weak convergence of probability measures. Examples include random walk and Brownian motion, percolation, Curie-Weiss model and Ising model, and voter model and contact process. -Niels Bohr MS-E22 M ULTIVARIATE STATISTICAL ANALYSIS MS-E990 H OW TO LIE WITH STATISTICS Period II, 5 cr., MSc Lecturer: Pauliina Ilmonen Prerequisites: At least one MSc statistics/probability course This course is an advanced course in statistics. Despite the name, the goal is not to learn to lie with statistics, but to learn to spot if there is something fishy in a statistical analysis. The ultimate goal is to learn to tell the truth with statistics. Majority of the lectures, instead of traditional lecturing, consists of discussions. Students will find problematic data examples themselves and their findings and ideas for improving data analyses are discussed during the lectures. Students will also learn to defend their ideas and discoveries by participating in a debate. MS-E998 I NTRODUCTION TO R- PROGRAMMING Period II (Sat and Sun ), cr., BSc\MSc Lecturer: Niko Lietzén Prerequisites: none This intensive course is an introduction to R-programming. The goal is to learn the basic commands required to work with R. Students are not expected to have any prior experience with R-programming. Note that, in order to complete the course, it is mandatory to attend all the lectures. The lectures are from 8:5 to 6:00 on Saturday 29.0 and from 8:5 to 6:00 on Sunday this course. The topics of the course are multivariate location and scatter, principal component analysis, bivariate correspondence analysis, multivariate correspondence analysis, canonical correlation analysis, discriminant analysis, classification, and clustering. Cor(x,y) = 0.02 y Periods III IV, 5 cr., MSc Lecturer: Pauliina Ilmonen Prerequisites: At least one statistics/probability course and one matrix algebra course This course is an introduction to multivariate statistical analysis. The goal is to learn basics of common multivariate data analysis techniques and to use the methods in practice. Software R is used in the exercises of x MS-C204 I NTRODUCTION TO S TATISTICAL I NFERENCE Periods III IV, 5 cr., BSc\MSc Lecturer: Pauliina Ilmonen Prerequisites: MS-A05XX First Course in probability and statistics MS-A00x Matrix algebra This course is an introduction to statistical analysis and statistical inference. Course topics include estimation, simple parametric and nonparametric tests, statistical dependence and correlation, linear regression analysis and analysis of variance. Software R is used in this course. Histogram of x Frequency Jos tietyt matemaattiset oletukset täyttyvät, voidaan tehdä käyttökelpoisia ennusteita historiallisten aikasarja-aineistojen perusteella. Kurssin tavoitteena on oppia, kuinka aikasarjoja analysoidaan ja miten niiden avulla laaditaan ennusteita. Kurssi kattaa yleisimmät mallit, kuten ARIMAmallit ja dynaamiset regressiomallit, mutta myös muita tulosten kannalta oleellisia asioita, kuten diagnostiikan ja mallin valinnan. Kurssilla käytetään R-ohjelmistoa. x MS-E997 - R ANDOM MATRICES Period V, 0 cr. Lecturer: Christian Webb Prerequisites: MS-A030X Differentiaali- ja integraalilaskenta 3 MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi (MS-C300 Kompleksianalyysi) The theory of random matrices has been a rich source of exciting mathematics with connections to many areas of mathematics and other disciplines such as number theory, combinatorics, the theory of orthogonal polynomials, physics, and statistics. Random matrices also have important engineering applications in image and signal processing and wireless communication. This course will cover the basic theory of random matrices and time permitting discuss applications such as compressed sensing, modelling sample covariance matrices, Anderson localization, and properties of random graphs.

11 Kysyttävää järjestelyistä? Luennot ma ja pe klo 0 2 Luennoitsija: Lasse Leskelä Vastaanotto ma 4 Y242a Harjoitukset viikoittain 2 x 2h + STACK-tehtävät Pääassistentti: Sami Helander sami.helander@aalto.fi

12 MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi A Todennäköisyyden käsite ja laskusäännöt Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 206, periodi II

13 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava Diskreetit satunnaismuuttujat

14 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava Diskreetit satunnaismuuttujat

15

16 Todennäköisyyden käsite Reaalimaailmassa todennäköisyys ilmenee monin eri tavoin: Huomenna sataa todennäköisyydellä 5 %. CERN on löytänyt uuden alkeishiukkasen todennäköisyydellä %. Auer vangittiin todennäköisin syin epäiltynä murhasta. Todennäköisyyden yleispätevä tieteellinen määrittely kaikkia konteksteja tyydyttävällä tavalla on vaikeaa: Subjektiivinen tulkinta Frekventistinen tulkinta (Matemaattinen todennäköisyysteoria kuitenkin soveltuu filosofisesta tulkinnasta riippumatta!) D Aldous: Annotated list of contexts where we perceive chance

17 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava Diskreetit satunnaismuuttujat

18 Satunnaisilmiö Satunnaisilmiö on ilmiö, jonka realisaatiota ei varmuudella tunneta. Realisaatio on satunnaisilmiön mahdollinen toteuma. Perusjoukko S sisältää satunnaisilmiön kaikki realisaatiot. Tapahtumia ovat perusjoukon S osajoukot A S. Tulkinta Tapahtuma A sattuu, kun satunnaisilmiön realisaatio s A. Täysi osajoukko S on varma tapahtuma. Tyhjä osajoukko on mahdoton tapahtuma.

19 Esim. Noppa Realisaatio i = nopan silmäluku Perusjoukko S = {, 2,..., 6} Tapahtumia ovat S:n osajoukot, esim. A = silmäluku on parillinen = {2, 4, 6}. B = silmäluku on suurempi kuin neljä = {5, 6}.

20 Esim. Kaksi noppaa Realisaatio on pari (i, j), missä i on ensimmäisen ja j toisen nopan silmäluku. Perusjoukko on S = {(, ), (, 2), (, 3), (, 4), (, 5), (, 6), (2, ), (2, 2), (2, 3), (2, 4), (2, 5), (2, 6), (3, ), (3, 2), (3, 3), (3, 4), (3, 5), (3, 6), (4, ), (4, 2), (4, 3), (4, 4), (4, 5), (4, 6), (5, ), (5, 2), (5, 3), (5, 4), (5, 5), (5, 6), (6, ), (6, 2), (6, 3), (6, 4), (6, 5), (6, 6)}. Tapahtumia ovat S:n osajoukot, esim. A = silmäluvut ovat samat = {(, ), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6)}. B = ensimmäisen nopan silmäluku on = {(, ), (, 2), (, 3), (, 4), (, 5), (, 6)}.

21 Esim. Huomisen sademäärä Otaniemessä (mm) Realisaatiot ovat reaalilukuja x 0. Perusjoukko S = {x R : x 0}. Tapahtumia ovat esim. A = huomenna sataa yli 0 mm = (0, ) B = huomenna ei sada = {0}

22 Tapahtumien yhdisteleminen Perusjoukon tapahtumista voidaan muodostaa uusia tapahtumia loogisin päättelysäänöin: A ja B sattuvat A tai B sattuu A ei satu B sattuu mutta A ei Todennäköisyyslaskentaa varten tapahtumat tulee ilmaista joukko-opin kielellä.

23 Tapahtumien leikkaus Tapahtuma A ja B sattuvat sisältää ne realisaatiot, jotka kuuluvat sekä joukkoon A että joukkoon B: A B = {s S : s A ja s B}. Esim (Noppa) A = Silmäluku on > 3 = {4, 5, 6} B = Silmäluku on parillinen = {2, 4, 6} A B = Silmäluku on > 3 ja parillinen = {4, 6}

24 Tapahtumien yhdiste Tapahtuma A tai B sattuu sisältää ne realisaatiot, jotka kuuluvat joko joukkoon A tai joukkoon B: A B = {s S : s A tai s B}. Esim (Noppa) A = Silmäluku on > 3 = {4, 5, 6} B = Silmäluku on parillinen = {2, 4, 6} A B = Silmäluku on > 3 tai parillinen = {2, 4, 5, 6}

25 Tapahtuman vastakohta Tapahtuma A ei satu sisältää ne realisaatiot, jotka eivät kuulu joukkoon A: A c = {s S : s A}. Esim (Noppa) A = Silmäluku on suurempi kuin 3 = {4, 5, 6} A c = Silmäluku ei ole suurempi kuin 3 = Silmäluku on korkeintaan 3 = {, 2, 3}

26 Tapahtumien erotus Tapahtuma B sattuu mutta A ei sisältää ne realisaatiot, jotka kuuluvat joukkoon B mutta eivät joukkoon A: B \ A = {s S : s B ja s A}. Esim (Noppa) A = Silmäluku on > 3 = {4, 5, 6} B = Silmäluku on parillinen = {2, 4, 6} B \ A = Silmäluku on parillinen ja 3 = {2}

27 Toisensa poissulkevat tapahtumat Tapahtumat A ja B poissulkevat toisensa, jos vain toinen niistä voi sattua, eli A B =. Tapahtumat A, A 2,... poissulkevat toisensa, jos vain yksi niistä voi sattua, eli A i A j = aina kun i j. Esim (Noppa) A = Silmäluku on parillinen, B = Silmäluku on kolme tai viisi Tapahtumat A ja B poissulkevat toisensa. A i = Silmäluku on i. Tapahtumat A, A 2,..., A 6 poissulkevat toisensa.

28 Tapahtumien yhdisteleminen Yhteenveto Tulkinta Varma tapahtuma Mahdoton tapahtuma A sattuu A ja B sattuvat A tai B sattuu A ei satu B sattuu mutta A ei A ja B poissulkevat toisensa Joukko-opin lauseke S A A B A B A c B \ A A B =

29 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava Diskreetit satunnaismuuttujat

30 Todennäköisyyden aksioomat Todennäköisyysjakauma eli todennäköisyysmitta perusjoukolla S on kuvaus, joka liittää jokaiseen tapahtumaan A S luvun P(A), ja toteuttaa: (i) Varman tapahtuman S todennäköisyys on P(S) =. (ii) Jokaiselle tapahtumalle A pätee 0 P(A). (iii) Mille tahansa äärelliselle tai äärettömälle jonolle toisensa poissulkevia tapahtumia A, A 2,... pätee P(A A 2 ) = P(A ) + P(A 2 ) + Näitä ominaisuuksia kutsutaan aksioomiksi, koska niistä voidaan johtaa muut todennäköisyyden laskusäännöt.

31 Todennäköisyyden perussäännöt Yleinen summasääntö: P(A B) = P(A) + P(B) P(A B). Poissulkevien summasääntö: P(A B) = P(A) + P(B), kun A B =. Vastakohdan ja erotuksen todennäköisyys: P(A c ) = P(A), P(B \ A) = P(B) P(A B). Monotonisuus: P(A) P(B), kun A B. Nämä säännöt voidaan johtaa todennäköisyyden aksioomista.

32 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava Diskreetit satunnaismuuttujat

33 Todennäköisyys ja kombinatoriikka Jos äärellisen perusjoukon S jokainen realisaatio on yhtä todennäköinen, on tapahtuman A S todennäköisyys P(A) = #A #S = tapahtuman A realisaatioiden lkm kaikkien realisaatioiden lkm. Suuressa perusjoukossa voi lukumäärien #A ja #S laskeminen olla vaikeaa, ellei jopa mahdotonta. Kombinatoriikka on tämäntyyppisiin ongelmiin keskittynyt matematiikan osa-alue. Esim (Vaikea kombinatorinen ongelma) Millä todennäköisyydellä 0 8 askeleen itseään välttävä satunnaiskulku päättyy etäisyydelle 0 6 lähtöpisteestään?

34 Listojen lukumäärä (toistojen kanssa) Montako PIN-koodia voidaan numeroista {0,, 2,..., 9} muodostaa? Muodostetaan kaikki PIN-koodit neljässä vaiheessa:. Valitaan ensimmäinen PIN-koodin numero: 0 tapaa 2. Valitaan seuraava PIN-koodin numero: 0 tapaa 3. Valitaan seuraava PIN-koodin numero: 0 tapaa 4. Valitaan seuraava PIN-koodin numero: 0 tapaa = Yhteensä 0 4 = 0000 tapaa 0000, 000, 0002, 0003, 0004, 0005, 0006, 0007, 0008, 0009, 000, 00, 002, 003, 004, 005, 006, 007, 008, 009, 0020, 002, 0022, 0023, 0024, 0025, 0026, 0027, 0028, 0029, 0030, 003, 0032, 0033, 0034, 0035, 00, 0037, 0038, 0039, 0040, 004, 0042, 0043, 0044, 0045, 0046, 0047, 0048, 0049, 0050, 005, 0052, 0053, 0054, 0055, 0056, 0057, 0058, 0059, 0060, 006, 0062, 0063, 0064, 0065, 0066, 0067, 0068, 0069, 0070, 007, 0072, 0073, 0074, 0075, 0076, 0077, 0078, 0079, 0080, 008, 0082, 0083, 0084, 0085, 0086, 0087, 0088, 0089, 0090, 009, 0092, 0093, 0094, 0095, 0096, 0097, 0098, 0099, 000, 00, 002, 003, 004, 005, 006, 007, 008, 009, 00, 0, 02, 03, 04, 05, 06, 07, 08, 09, 020, 02, 022, 023, 024, 025, 026, 027, 028, 029, 030, 03, 032, 033, 034, 035, 0, 037, 038, 039, 040, 04, 042, 043, 044, 045, 046, 047, 048, 049, 050, 05, 052, 053, 054, 055, 056, 057, 058, 059, 060, 06, 062, 063, 064, 065, 066, 067, 068, 069, 070, 07, 072, 073, 074, 075, 076, 077, 078, 079, 080, 08, 082, 083, 084, 085, 086, 087, 088, 089, 090, 09, 092, 093, 094, 095, 096, 097,..., 9983, 9984, 9985, 9986, 9987, 9988, 9989, 9990, 999, 9992, 9993, 9994, 9995, 9996, 9997, 9998, 9999

35 Listojen lukumäärä (ilman toistoja) Monellako tapaa on mahdollista jakaa mitalisijat SM-liigan 8 kärkijoukkueen (IFK, JYP, KÄR, LUK, PEL, SAI, TAP, TPS) kesken? Muodostetaan kaikki mitalisijakombinaatiot kolmessa vaiheessa:. Valitaan sijalle jokin joukkue: 8 tapaa 2. Valitaan sijalle 2 jokin vielä sijoittamaton joukkue: 7 tapaa 3. Valitaan sijalle 3 jokin vielä sijoittamaton joukkue: 6 tapaa = Yhteensä = 3 tapaa (IFK,JYP,KÄR) (IFK,JYP,LUK) (IFK,JYP,PEL) (IFK,JYP,SAI) (IFK,JYP,TAP) (IFK,JYP,TPS) (IFK,KÄR,JYP) (IFK,KÄR,LUK) (IFK,KÄR,PEL) (IFK,KÄR,SAI) (IFK,KÄR,TAP) (IFK,KÄR,TPS) (IFK,LUK,JYP) (IFK,LUK,KÄR) (IFK,LUK,PEL) (IFK,LUK,SAI) (IFK,LUK,TAP) (IFK,LUK,TPS) (IFK,PEL,JYP) (IFK,PEL,KÄR) (IFK,PEL,LUK) (IFK,PEL,SAI) (IFK,PEL,TAP) (IFK,PEL,TPS) (IFK,SAI,JYP) (IFK,SAI,KÄR) (IFK,SAI,LUK) (IFK,SAI,PEL) (IFK,SAI,TAP) (IFK,SAI,TPS) (IFK,TAP,JYP) (IFK,TAP,KÄR) (IFK,TAP,LUK) (IFK,TAP,PEL) (IFK,TAP,SAI) (IFK,TAP,TPS) (IFK,TPS,JYP) (IFK,TPS,KÄR) (IFK,TPS,LUK) (IFK,TPS,PEL) (IFK,TPS,SAI) (IFK,TPS,TAP) (JYP,IFK,KÄR) (JYP,IFK,LUK) (JYP,IFK,PEL) (JYP,IFK,SAI) (JYP,IFK,TAP) (JYP,IFK,TPS) (JYP,KÄR,IFK) (JYP,KÄR,LUK) (JYP,KÄR,PEL) (JYP,KÄR,SAI) (JYP,KÄR,TAP) (JYP,KÄR,TPS) (JYP,LUK,IFK) (JYP,LUK,KÄR) (JYP,LUK,PEL) (JYP,LUK,SAI) (JYP,LUK,TAP) (JYP,LUK,TPS) (JYP,PEL,IFK) (JYP,PEL,KÄR) (JYP,PEL,LUK) (JYP,PEL,SAI) (JYP,PEL,TAP) (JYP,PEL,TPS) (JYP,SAI,IFK) (JYP,SAI,KÄR) (JYP,SAI,LUK) (JYP,SAI,PEL) (JYP,SAI,TAP) (JYP,SAI,TPS) (JYP,TAP,IFK) (JYP,TAP,KÄR) (JYP,TAP,LUK) (JYP,TAP,PEL) (JYP,TAP,SAI) (JYP,TAP,TPS) (JYP,TPS,IFK) (JYP,TPS,KÄR) (JYP,TPS,LUK) (JYP,TPS,PEL) (JYP,TPS,SAI) (JYP,TPS,TAP) (KÄR,IFK,JYP) (KÄR,IFK,LUK) (KÄR,IFK,PEL) (KÄR,IFK,SAI) (KÄR,IFK,TAP) (KÄR,IFK,TPS) (KÄR,JYP,IFK) (KÄR,JYP,LUK) (KÄR,JYP,PEL) (KÄR,JYP,SAI) (KÄR,JYP,TAP) (KÄR,JYP,TPS) (KÄR,LUK,IFK) (KÄR,LUK,JYP) (KÄR,LUK,PEL) (KÄR,LUK,SAI) (KÄR,LUK,TAP) (KÄR,LUK,TPS) (KÄR,PEL,IFK) (KÄR,PEL,JYP) (KÄR,PEL,LUK) (KÄR,PEL,SAI) (KÄR,PEL,TAP) (KÄR,PEL,TPS) (KÄR,SAI,IFK) (KÄR,SAI,JYP) (KÄR,SAI,LUK) (KÄR,SAI,PEL) (KÄR,SAI,TAP) (KÄR,SAI,TPS) (KÄR,TAP,IFK) (KÄR,TAP,JYP) (KÄR,TAP,LUK) (KÄR,TAP,PEL) (KÄR,TAP,SAI) (KÄR,TAP,TPS) (KÄR,TPS,IFK) (KÄR,TPS,JYP) (KÄR,TPS,LUK) (KÄR,TPS,PEL) (KÄR,TPS,SAI) (TPS,TAP,PEL) (TPS,TAP,SAI)

36 Listojen lukumäärä Yhteenveto Fakta Järjestettyjä k alkion listoja voidaan n alkion joukosta muodostaa: toistojen kanssa n k kappaletta, ilman toistoja n(n ) (n k + ) kappaletta. Esim (PIN-koodit) Järjestettyjä k = 4 numeron listoja (toistojen kanssa) voidaan n = 0 numeron joukosta muodostaa 0 4 kappaletta Esim (SM-liigan mitalisijat) Järjestettyjä k = 3 joukkueen listoja (ilman toistoja) voidaan n = 8 kärkijoukkueen joukosta muodostaa 8(8 ) (8 3 + ) = = 3 kappaletta

37 Järjestysten lukumäärä Monellako tapaa voidaan SM-liigan kaikki 5 joukkuetta asettaa paremmuusjärjestykseen? Järjestettyjä k = 5 joukkueen listoja voidaan n = 5 liigajoukkueen joukosta muodostaa n(n ) (n k + ) eli 5 4 kappaletta Fakta n alkiota voidaan järjestää listaan n! = n(n ) tavalla. Esim (SM-liigan sarjataulukko) SM-liigan 5 joukkuetta voidaan asettaa paremmuusjärjestykseen 5! tavalla.

38 Osajoukkojen lukumäärä Kuinka monta 5 pelaajan ykkösylivoimaketjua voidaan Suomen jääkiekkomaajoukkueen 20 kenttäpelaajan joukosta muodostaa? 20 pelaajan joukosta voidaan muodostaa 5 eri pelaajan järjestettyjä listoja = kappaletta. 5 pelaajan ketju on sama huolimatta siitä, miten sen pelaajat järjestää. = Jokaista 5 pelaajan ketjua vastaa 5! = 20 järjestettyä 5 eri pelaajan listaa 5 pelaajan ylivoimaketjujen lukumäärä on ! = = 5 504

39 Osajoukkojen lukumäärä Yleistys Fakta Järjestämättömiä k alkion osajoukkoja voidaan n alkion joukosta muodostaa kappaletta. n(n ) (n k + ) k(k ) = n! k!(n k)! =: ( ) n k

40 Esim. Lottoarvonta Mikä on todennäköisyys saada 7 oikein yhdellä lottorivillä? Veikkaus Oy:n lottoarvonnan perusjoukko on S = 7:n alkion osajoukot joukosta {,..., 39} ja sen koko on #S = ( 39 7 ). Tapahtuma A = valitulla lottorivillä 7 oikein sisältää täsmälleen yhden realisaation, joten #A =. Symmetrian perusteella lottoarvonta on tasajakautunut, joten P(A) = #A #S = ( 39 7 ) =

41 Esim. Kolmoset pokerissa Mikä on todennäköisyys saada kolmoset viidellä kortilla? kolmoset = 5 kortin (järjestämätön) joukko, jossa esiintyy 3 arvoa: yksi kolmesti ja muut kerran. Muodostetaan kaikki kolmosia vastaavat korttiviisikot:. Valitaan kolmesti esiintyvä arvo a kaikista arvoista: 3 tapaa 2. Valitaan kerran esiintyvien arvojen (järjestämätön) joukko käyttämättömistä arvoista: ( 2 2 ) = 66 tapaa 3. Valitaan kolmen kortin joukko arvon a korteista: ( 4 3) = 4 tapaa 4. Valitaan yhden kortin joukko pienempää kerran esiintyvää arvoa olevista korteista: ( 4 ) = 4 tapaa 5. Valitaan yhden kortin joukko suurempaa kerran esiintyvää arvoa olevista korteista: ( 4 ) = 4 tapaa = P( kolmoset ) = 3( )( ) 2 3)( )( ) = %. ( 52 5

42 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava Diskreetit satunnaismuuttujat

43 Ehdollinen todennäköisyys Tapahtuman A ehdollinen todennäköisyys tapahtuman B sattuessa määritellään kaavalla P(A B) = P(A B), P(B) 0. P(B) Mikäli P(B) = 0, jätetään P(A B) määrittelemättä.

44 Esim. Eduskunta Eduskunnan 200 kansanedustajasta naisia on 83. SDP:llä on 34 kansanedustajaa, joista 2 on naisia. Satunnaisesti valittu kansanedustaja on SDP:n jäsen todennäköisyydellä P( SDP ) = = 0.7. Mikä on todennäköisyys, että satunnaisesti valittu naiskansanedustaja on SDP:n jäsen? P( SDP ja nainen ) P( SDP nainen ) = P( nainen ) = 2/200 83/

45 Yleinen tulosääntö Ehdollisen todennäköisyyden määritelmästä voidaan johtaa: Laskusääntö Aina kun P(A) 0, pätee yleinen tulosääntö P(A B) = P(A) P(B A). Tulkinta Yhteistapahtuman sekä A että B sattuvat todennäköisyys saadaan kertomalla tapahtuman A todennäköisyys tapahtuman B ehdollisella todennäköisyydellä A:n sattuessa.

46 Monen tapahtuman tulosääntö Laskusääntö Aina kun P(A A k ) 0, pätee yleinen tulosääntö P(A A k ) = P(A ) P(A 2 A ) P(A 3 A A 2 ) P(A k A A k ). Tulkinta Yhteistapahtuman jokainen tapahtumista A,..., A k sattuu todennäköisyys saadaan kertomalla keskenään: A :n todennäköisyys, A 2 :n ehdollinen tn tapahtuman A sattuessa, A 3 :n ehdollinen tn tapahtumien A ja A 2 sattuessa,... A k :n ehdollinen tn tapahtumien A, A 2,..., A k sattuessa.

47 Tulosääntö Esimerkki Nostetaan korttipakasta palauttamatta 3 korttia. Millä todennäköisyydellä kaikki ovat patoja? A i = i:s kortti on pata A = A A 2 A 3 Yleisen tulosäännön perusteella P(A) = P(A ) P(A 2 A ) P(A 3 A A 2 ) = Vaihtoehtoinen kombinatorinen tapa: S = kolmen kortin järjestämättömät osajoukot, #S = ( ) Tapahtuman A realisaatiot vastaavat kolmen kortin osajoukkoja patojen joukosta. Näitä on #A = ( ) 3 3 kpl. Symmetrian nojalla satunnaisilmiö on tasajakautunut, joten P(A) = #A #S = ( 3 3 ) ( 52 3 ) =

48 Stokastinen riippuvuus ja riippumattomuus Tapahtumat A ja B ovat toisistaan riippumattomat, jos P(A B) = P(A) P(B). Kokoelma tapahtumia {A i, i I } on riippumaton, jos kaikilla i, i 2,..., i k I. P(A i A ik ) = P(A i ) P(A ik ) Esim Tilanteita, joissa riippumattomuus on intuitiivisesti selvää: Perättäiset kolikonheitot, kunhan kolikkoa heitetään riittävän korkealle. Otanta palauttaen: nostetaan korista arpalippuja niin, että nostettu lippu palautetaan koriin ja sen jälkeen kori sekoitetaan hyvin.

49 Riippumattomuus ja ehdollinen todennäköisyys Fakta Kun P(A) 0 ja P(B) 0, ovat seuraavat yhtäpitävät: A ja B ovat riippumattomat. P(A B) = P(A). P(B A) = P(B). Tulkinta Jos P(A B) P(A), niin tieto B:n sattumisesta sisältää informaatiota, jota voidaan hyödyntää A:n todennäköisyyden määrittämiseen.

50 Esimerkki: Korttipakka Nostetaan pakasta satunnainen kortti. A = kortti on pata B = kortti on ässä Ovatko A ja B riippuvat vai riippumattomat? Tarkastetaan laskemalla, päteekö P(A B) = P(A) P(B). P(A) = 3 52 = 4. P(B) = 4 52 = 3. P(A B) = P( kortti on pataässä ) = 52. Koska P(A B) = P(A) P(B), ovat A ja B toisistaan riippumattomat.

51 Osituskaava Perusjoukon S ositus on kokoelma toisensa poissulkevia tapahtumia B,..., B n, joiden yhdiste on S. Laskusääntö Jos B,..., B n muodostavat perusjoukon osituksen ja P(B i ) 0 kaikilla i, niin n P(A) = P(B i ) P(A B i ). i=

52 Todistus. Tapahtumat C i = A B i poissulkevat toisensa ja niiden yhdiste on A. Poissulkevien summasäännöstä ja yleisestä tulosäännöstä P(A B i ) = P(B i ) P(A B i ) seuraa ( n ) P(A) = P C i = i= n P(C i ) = i= = n P(A B i ) i= n P(B i ) P(A B i ). i=

53 Osituskaava: Esimerkki Oletetaan tunnetuksi, että naisista 75%:lla ja miehistä 5%:lla on pitkät hiukset. Teekkareista naisia on arviolta 27%. Millä todennäköisyydellä satunnaisesti ohikulkevalla teekkarilla on pitkät hiukset? H = { ohikulkijalla on pitkät hiukset } N = { ohikulkija on nainen } M = { ohikulkija on mies } Toistensa vastakohtina N ja M muodostavat perusjoukon osituksen. Osituskaavan avulla P(H) = P(N) P(H N) + P(M) P(H M) = ( 0.27) 0.5 = 3.2%.

54 Bayesin kaava Kun tunnetaan P(A B) sekä P(A) 0 ja P(B) 0, voidaanko määrittää käänteinen ehdollinen todennäköisyys P(B A)? Laskusääntö (Bayesin kaava) P(B A) = P(A B) P(B). P(A) Todistus. Ehdollisen todennäköisyyden määritelmästä P(B A) = P(A B) P(A) = P(A B) P(B) P(B) P(A) = P(A B)P(B) P(A).

55 Bayesin kaava: Esimerkki Oletetaan tunnetuksi, että naisista 75%:lla ja miehistä 5%:lla on pitkät hiukset. Teekkareista naisia on arviolta 27%. Millä todennäköisyydellä satunnaisesti ohikulkeva pitkähiuksinen teekkari on nainen? H = { ohikulkijalla on pitkät hiukset } N = { ohikulkija on nainen } M = { ohikulkija on mies } Tiedetään: P(H N) = 0.75 P(N) = 0.27 P(H) = 0.32 (edellinen esimerkki) Bayesin kaavaa käyttämällä P(N H) = P(H N) P(N) P(H) = %.

56 Esimerkki: Tehtaan laadunvalvonta Samaa tuotetta valmistetaan kahdella tuotantolinjalla. Valmiit tuotteet sekoitetaan ja pakataan laatikoihin. Linjalta valmistuu 3 tuotetta/min, joista 2% on viallisia. Linjalta 2 valmistuu 5 tuotetta/min, joista 9% on viallisia. Tarkastetaan satunnaisesta laatikosta satunnaisesti valittu tuote. Millä todennäköisyydellä tarkastettava tuote on linjalta? Millä todennäköisyydellä vialliseksi havaittu tuote on linjalta?

57 Esimerkki: Tehtaan laadunvalvonta Ratkaisu Linjalta valmistuu 3 tuotetta/min, joista 2% on viallisia. Linjalta 2 valmistuu 5 tuotetta/min, joista 9% on viallisia. Tunnetut todennäköisyydet: L = Tuote on linjalta, P(L ) = 3/8 L 2 = Tuote on linjalta 2, P(L 2 ) = 5/8 V = Tuote on viallinen, P(V L ) = 0.02, P(V L 2 ) = 0.09 Tapahtumat L ja L 2 muodostavat perusjoukon osituksen, joten osituskaavalla P(V ) = P(V L ) P(L ) + P(V L 2 ) P(L 2 ) = = 6.375%, ja Bayesin kaavalla P(L V ) = P(V L ) P(L ) P(V ) = / %.

58 Esimerkki: Tehtaan laadunvalvonta Yhteenveto Samaa tuotetta valmistetaan kahdella tuotantolinjalla. Valmiit tuotteet sekoitetaan ja pakataan laatikoihin. Linjalta valmistuu 3 tuotetta/min, joista 2% on viallisia. Linjalta 2 valmistuu 5 tuotetta/min, joista 9% on viallisia. Tarkastettavan tuotteen alkuperän prioritodennäköisyydet ovat: Tuote on linjalta tn:llä 3/8 = 37.5 % Tuote on linjalta 2 tn:llä 5/8 = 62.5 % Tarkastettavan tuotteen alkuperän posterioritodennäköisyydet (sen jälkeen kun tuote on havaittu vialliseksi) ovat: Tuote on linjalta tn:llä.8% Tuote on linjalta 2 tn:llä 88.2%

59 Todennäköisyyden laskusäännöt Yhteenveto Summasääntö P(A B) = P(A) + P(B) P(A B) = P(A) + P(B) (jos A ja B poissulkevat toisensa) Tulosääntö P(A B) = P(A) P(B A) = P(A) P(B) (jos A ja B riippumattomat) Osituskaava P(A) = i P(B i ) P(A B i ) (jos B i :t muodostavat osituksen) Bayesin kaava P(B A) = P(A B) P(B) P(A)

60 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava Diskreetit satunnaismuuttujat

61 Satunnaismuuttuja Satunnaismuuttuja X on suure, jonka arvo määräytyy satunnaisilmiön realisaatiosta: Sattuma määrää satunnaisilmiön realisaation s S Realisaatio s määrittää satunnaismuuttujan arvon X (s) X :n arvo on a on tapahtuma {X = a} := {s S : X (s) = a} Satunnaismuuttujan X jakauma on taulukko, vektori tai funktio, josta voidaan määrittää X :n mahdolliset arvot ja niiden todennäköisyydet. Matemaattisesti (MS-E600 Probability theory): Satunnaismuuttuja on mitallinen kuvaus X : S S Tapahtuman {X B} todennäköisyys on luku P(A), missä A = X (B) on joukon B alkukuva

62 Esim. Kaksi noppaa Heitetään kahta noppaa yksi kerrallaan ja merkitään: X = nopan silmäluku X 2 = nopan 2 silmäluku M = suurin silmäluku Satunnaisilmiön realisaatiot ovat kahden alkion järjestetyt listat s = (s, s 2 ), missä s i {,..., 6} Perusjoukko S on näiden listojen kokoelma. X, X 2, M ovat perusjoukolla S määriteltyjä satunnaismuuttujia: X (s) = s, X 2 (s) = s 2, M(s) = max{s, s 2 }. Huom Jos satunnaisilmiön realisaatio tunnetaan, niin tunnetaan kaikkien siihen liittyvien satunnaismuuttujien arvot.

63 Satunnaismuuttuja: Tulkinta Satunnaismuuttuja on funktio X : S S, joka liittää jokaiseen satunnaisilmiön realisaatioon s S arvon X (s) S. Satunnaismuuttujat ovat satunnaisilmiöstä havaittavia suureita Jos satunnaisilmiön realisaatio s S tiedetään tarkasti, niin tiedetään kaikkien siihen liittyvien satunnaismuuttujien arvot. Todennäköisyyslaskennassa tutkitaan satunnaismuuttujien arvojen todennäköisyyksiä, kun satunnaisilmiötä kuvaava perusjoukon S todennäköisyysjakauma P tunnetaan. Tilastotieteessä pyritään havaittujen satunnaismuuttujien arvojen perusteella tekemään johtopäätöksiä perusjoukon S tuntemattomasta todennäköisyysjakaumasta P.

64 Satunnaismuuttujan jakauma Satunnaismuuttujan X jakauma on taulukko tai funktio, josta voidaan määrittää X :n mahdolliset arvot ja niiden todennäköisyydet: ((S, P), X ) X :n jakauma X :n mahdolliset arvot X :n todennäköisyydet X :n tilastolliset tunnusluvut Samaan satunnaisilmiöön liittyvien satunnaismuuttujien X ja Y yhteisjakauma on taulukko tai funktio, josta voidaan määrittää parin (X, Y ) mahdolliset arvot ja niiden todennäköisyydet. ((S, P), X, Y ) X :n ja Y :n yhteisjakauma X :n jakauma Y :n jakauma (X, Y ):n tilastolliset tunnusluvut

65 Noppien maksimin jakauma M = max(x, X 2 ), missä X ja X 2 ovat kahden nopan tulokset. P(M = k) = P(M k) P(M k ) = P(X k, X 2 k) P(X k, X 2 k ) ( ) k 2 ( ) k 2 = 6 6 = 2k. Satunnaismuuttujan M jakauma: k P(M = k)

66 Ensimmäisen nopan ja noppien maksimin yhteisjakauma k < i = P(X = i, M = k) = 0 k = i = P(X = i, M = k) = P(X = i, X 2 i) = k k > i = P(X = i, M = k) = P(X = i, X 2 = k) = Satunnaismuuttujien X ja M yhteisjakauma: M X

67 Yhteisjakauman rivi- ja sarakesummat M X Yht Yht 3 5 Rivisummista saadaan X :n jakauma Sarakesummista saadaan M:n jakauma

68 Ensimmäisen ja toisen nopan yhteisjakauma P(X = i, X 2 = j) = P(X = i) P(X 2 = j) = X 2 X Yht Yht

69 Seuraavalla luennolla jatketaan satunnaismuuttujien tarkastelua ja puhutaan jatkuvista jakaumista...