MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Transkriptio

1 MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 1A Todennäköisyyden käsite ja laskusäännöt Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi Periodi III

2 Kurssin järjestelyt Luennot ma ja pe klo Luennoitsija: Lasse Leskelä Vastaanotto ma 14 Y242a Harjoitukset viikoittain 2 x 2h + STACK-tehtävät Pääassistentti: Hoa Ngo hoa.ngo@aalto.fi

3 Suorittaminen Kaksi vaihtoehtoa: (a) Tentti 60% + harjoitukset 40% (b) Tentti 100% Harjoituspisteet ovat voimassa ja tenteissä.

4 Kurssikirja Introduction to Probability and Statistics for Engineers and Scientists. Sheldon M Ross. Academic Press sivua. E-kirja (Aallon verkosta):

5 Kurssimateriaalia verkossa Päämateriaali Luentokalvot Esimerkkikokoelmat Harjoitustehtävät Tilastolliset taulukot Lisämateriaalia S M Ross. Introduction to Probability and Statistics for Engineers and Scientists. Academic Press I Mellin. Todennäköisyyslaskenta. I Mellin. Tilastolliset menetelmät.

6 Osaamistavoitteet Kurssin suorittanut: osaa laskea yhdistelmätapahtumien todennäköisyyksiä hyödyntämällä joukko-opin operaatioita tuntee tärkeimmät diskreetit ja jatkuvat todennäköisyysjakaumat sekä tunnistaa tilanteita, joita niillä voi mallintaa osaa yhteisjakauman perusteella laskea satunnaisvektorin tunnuslukuja sekä tunnistaa, milloin kaksi satunnaismuuttujaa ovat stokastisesti riippumattomat tuntee menetelmiä tilastollisten mallien parametrien estimoimiseen osaa laskea yksinkertaisen mallin posteriorijakauman annetusta priorijakaumasta ja havaitusta datasta osaa selittää, millaisia johtopäätöksiä voi ja ei voi tehdä valittuun tilastolliseen testiasetelmaan liittyvän p-arvon pohjalta

7 Työmäärä Osallistuminen luennoille 24 h (4 h/viikko) Osallistuminen harjoituksiin 24 h (4 h/viikko) Viikottainen itsenäinen opiskelu h (6 12 h/viikko) Osallistuminen ja valmistautuminen kokeisiin 4 40 h Yhteensä h 5 op

8 Luentorunko (alustava) L1A Todennäköisyyden käsite ja laskusäännöt L1B Satunnaismuuttujat ja todennäköisyysjakaumat L2A Satunnaismuuttujan odotusarvo ja muunnokset L2B Keskihajonta ja korrelaatio L3A Normaaliapproksimaatio L3B Tilastolliset datajoukot L4A Parametrien estimointi L4B Tilastolliset luottamusvälit L5A Bayesläinen tilastollinen päättely L5B Frekventistiset vs. bayeslaiset menetelmät L6A Tilastollisen merkitsevyyden testaaminen L6B Kertaus

9 Mitä tämän kurssin jälkeen?

10 Stochastics and Statistics Courses MS-C S TOKASTISET PROSESSIT Periodi I, 5 op. Luennoitsija: Kalle Kytölä Esitiedot: MS-A000X Matriisilaskenta MS-A010X Differentiaali- ja integraalilaskenta 1 MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi Kurssilla tutustutaan stokastisten prosessien eli ajasta riippuvien MS-E P ROBABILITY THEORY satunnaisilmiiden teoriaan ja opitaan analysoimaan ja mallintamaan mm. luonnontieteiden ja tekniikan populaatiomalleja Markovprosessien avulla, ennakoimattomia tapahtumahetkiä Poisson-prosessin avulla, sekä yksinkertaisia uhkapelejä ja sijoitusstrategoioita martingaalien avulla. MS-E A SYMPTOTIC STATISTICS Periods I II, 1 10 cr. Lecturers: Pauliina Ilmonen & Lasse Leskelä Esitiedot: MS-C1540 Euklidiset avaruudet (or equivalent) MS-C2104 Tilastollisen analyysin perusteet (or equivalent) MS-E1600 Probability theory (only recommended) This is an introduction to the field of asymptotic statistics, which provides tools for analyzing the accuracy of estimators and test statistics computed from large data samples. We will start with fundamental topics such as likelihood inference, U-statistics, and rank procedures, and then proceed to selected more advanced topics. This year the course is organized as a reading seminar with weekly meetings. MS-C2128 E NNUSTAMINEN JA AIKASARJA - ANALYYSI Periodi II, 5 op., BSc Luennoitsija: Lauri Viitasaari Esitiedot: MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi, MS-A02XX Differentiaali- ja integraalilaskenta 2 MS-C2111 Stokastiset prosessit "Ennustaminen on vaikeaa, varsinkin tulevaisuuden" Period III, 5 cr. Lecturer: Kalle Kytöä Prerequisites: MS-C1540 Euklidiset avaruudet This course is about the mathematical foundations of randomness. Probability theory is relied on in virtually any advanced topic in stochastics. The basic constructions are identical to measure theory, but there are a number of distinctly probabilistic features such as independence, notions of convergence of random variables, information contained in a sigma-algebra, conditional expectation, characteristic functions and generating functions, laws of large numbers and central limit theorems. MS-C2103 KOESUUNNITTELU JA TILASTOLLISET MALLIT Periodi III, 5 op., BSc\Msc Luennoitsija: Esitiedot: MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi Kurssilla esitellään tavallisimpia koejärjestelyitä sekä menetelmiä tilas- tollisen analyysin tekemiseen. Tavoitteena on oppia valitsemaan sopiva koejärjestely tilastollisen testin toteuttamiseksi, suorittamaan testi ja analysoimaan tulokset. Kurssi kattaa regressioanalyysin perusteet, varianssianalyysin sekä valikoituja koejärjestelyitä, kuten lohkoasetelmat, faktorikokeet sekä vastepintamenetelmän. Kurssilla käytetään R-ohjelmistoa. MS-E L ARGE RANDOM SYSTEMS Period IV, 5 cr. Lecturer: Kalle Kytölä Prerequisites: MS-E1600 Probability theory Many interesting random systems contain a large number of simpler constituents interacting with each other. This course covers both mathematical techniques for the study of such systems, and important probabilistic models of a range of different phenomena. The theory focuses on tightness and weak convergence of probability measures. Examples include random walk and Brownian motion, percolation, Curie-Weiss model and Ising model, and voter model and contact process. -Niels Bohr MS-E2112 M ULTIVARIATE STATISTICAL ANALYSIS MS-E1990 H OW TO LIE WITH STATISTICS Period II, 5 cr., MSc Lecturer: Pauliina Ilmonen Prerequisites: At least one MSc statistics/probability course This course is an advanced course in statistics. Despite the name, the goal is not to learn to lie with statistics, but to learn to spot if there is something fishy in a statistical analysis. The ultimate goal is to learn to tell the truth with statistics. Majority of the lectures, instead of traditional lecturing, consists of discussions. Students will find problematic data examples themselves and their findings and ideas for improving data analyses are discussed during the lectures. Students will also learn to defend their ideas and discoveries by participating in a debate. MS-E1998 I NTRODUCTION TO R- PROGRAMMING Period II (Sat and Sun ), 1 cr., BSc\MSc Lecturer: Niko Lietzén Prerequisites: none This intensive course is an introduction to R-programming. The goal is to learn the basic commands required to work with R. Students are not expected to have any prior experience with R-programming. Note that, in order to complete the course, it is mandatory to attend all the lectures. The lectures are from 8:15 to 16:00 on Saturday and from 8:15 to 16:00 on Sunday this course. The topics of the course are multivariate location and scatter, principal component analysis, bivariate correspondence analysis, multivariate correspondence analysis, canonical correlation analysis, discriminant analysis, classification, and clustering. Cor(x,y) = 0.02 y Periods III IV, 5 cr., MSc Lecturer: Pauliina Ilmonen Prerequisites: At least one statistics/probability course and one matrix algebra course This course is an introduction to multivariate statistical analysis. The goal is to learn basics of common multivariate data analysis techniques and to use the methods in practice. Software R is used in the exercises of x MS-C2104 I NTRODUCTION TO S TATISTICAL I NFERENCE Periods III IV, 5 cr., BSc\MSc Lecturer: Pauliina Ilmonen Prerequisites: MS-A05XX First Course in probability and statistics MS-A00x Matrix algebra This course is an introduction to statistical analysis and statistical inference. Course topics include estimation, simple parametric and nonparametric tests, statistical dependence and correlation, linear regression analysis and analysis of variance. Software R is used in this course. Histogram of x Frequency Jos tietyt matemaattiset oletukset täyttyvät, voidaan tehdä käyttökelpoisia ennusteita historiallisten aikasarja-aineistojen perusteella. Kurssin tavoitteena on oppia, kuinka aikasarjoja analysoidaan ja miten niiden avulla laaditaan ennusteita. Kurssi kattaa yleisimmät mallit, kuten ARIMAmallit ja dynaamiset regressiomallit, mutta myös muita tulosten kannalta oleellisia asioita, kuten diagnostiikan ja mallin valinnan. Kurssilla käytetään R-ohjelmistoa. x MS-E R ANDOM MATRICES Period V, 1 10 cr. Lecturer: Christian Webb Prerequisites: MS-A030X Differentiaali- ja integraalilaskenta 3 MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi (MS-C1300 Kompleksianalyysi) The theory of random matrices has been a rich source of exciting mathematics with connections to many areas of mathematics and other disciplines such as number theory, combinatorics, the theory of orthogonal polynomials, physics, and statistics. Random matrices also have important engineering applications in image and signal processing and wireless communication. This course will cover the basic theory of random matrices and time permitting discuss applications such as compressed sensing, modelling sample covariance matrices, Anderson localization, and properties of random graphs.

11 Kysyttävää järjestelyistä? Luennot ma ja pe klo Luennoitsija: Lasse Leskelä Vastaanotto ma 14 Y242a Harjoitukset viikoittain 2 x 2h + STACK-tehtävät Pääassistentti: Hoa Ngo hoa.ngo@aalto.fi

12 MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 1A Todennäköisyyden käsite ja laskusäännöt Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi Periodi III

13 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava

14 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava

15

16 Todennäköisyyden käsite Reaalimaailmassa todennäköisyys ilmenee monin eri tavoin: Huomenna sataa todennäköisyydellä 5 %. CERN on löytänyt uuden alkeishiukkasen todennäköisyydellä %. Auer vangittiin todennäköisin syin epäiltynä murhasta. Todennäköisyyden yleispätevä tieteellinen määrittely kaikkia konteksteja tyydyttävällä tavalla on vaikeaa: Subjektiivinen tulkinta Frekventistinen tulkinta (Matemaattinen todennäköisyysteoria kuitenkin soveltuu filosofisesta tulkinnasta riippumatta!) D Aldous: Annotated list of contexts where we perceive chance

17 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava

18 Satunnaisilmiö Satunnaisilmiö on ilmiö, jonka realisaatiota ei varmuudella tunneta. Realisaatio on satunnaisilmiön mahdollinen toteuma. Perusjoukko S sisältää satunnaisilmiön kaikki realisaatiot. Tapahtumia ovat perusjoukon S osajoukot A S. Tulkinta Tapahtuma A sattuu, kun satunnaisilmiön realisaatio s A. Täysi osajoukko S on varma tapahtuma. Tyhjä osajoukko on mahdoton tapahtuma.

19 Esim. Noppa Realisaatio i = nopan silmäluku Perusjoukko S = {1, 2,..., 6} Tapahtumia ovat S:n osajoukot, esim. A = silmäluku on parillinen = {2, 4, 6}. B = silmäluku on suurempi kuin neljä = {5, 6}.

20 Esim. Kaksi noppaa Realisaatio on pari (i, j), missä i on ensimmäisen ja j toisen nopan silmäluku. Perusjoukko on S = {(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6), (2, 1), (2, 2), (2, 3), (2, 4), (2, 5), (2, 6), (3, 1), (3, 2), (3, 3), (3, 4), (3, 5), (3, 6), (4, 1), (4, 2), (4, 3), (4, 4), (4, 5), (4, 6), (5, 1), (5, 2), (5, 3), (5, 4), (5, 5), (5, 6), (6, 1), (6, 2), (6, 3), (6, 4), (6, 5), (6, 6)}. Tapahtumia ovat S:n osajoukot, esim. A = silmäluvut ovat samat = {(1, 1), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6)}. B = ensimmäisen nopan silmäluku on 1 = {(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6)}.

21 Esim. Huomisen sademäärä Otaniemessä (mm) Realisaatiot ovat reaalilukuja x 0. Perusjoukko S = {x R : x 0}. Tapahtumia ovat esim. A = huomenna sataa yli 10 mm = (10, ) B = huomenna ei sada = {0}

22 Tapahtumien yhdisteleminen Perusjoukon tapahtumista voidaan muodostaa uusia tapahtumia loogisin päättelysäänöin: A ja B sattuvat A tai B sattuu A ei satu B sattuu mutta A ei Todennäköisyyslaskentaa varten tapahtumat tulee ilmaista joukko-opin kielellä.

23 Tapahtumien leikkaus Tapahtuma A ja B sattuvat sisältää ne realisaatiot, jotka kuuluvat sekä joukkoon A että joukkoon B: A B = {s S : s A ja s B}. Esim (Noppa) A = Silmäluku on > 3 = {4, 5, 6} B = Silmäluku on parillinen = {2, 4, 6} A B = Silmäluku on > 3 ja parillinen = {4, 6}

24 Tapahtumien yhdiste Tapahtuma A tai B sattuu sisältää ne realisaatiot, jotka kuuluvat joko joukkoon A tai joukkoon B: A B = {s S : s A tai s B}. Esim (Noppa) A = Silmäluku on > 3 = {4, 5, 6} B = Silmäluku on parillinen = {2, 4, 6} A B = Silmäluku on > 3 tai parillinen = {2, 4, 5, 6}

25 Tapahtuman vastakohta Tapahtuma A ei satu sisältää ne realisaatiot, jotka eivät kuulu joukkoon A: A c = {s S : s A}. Esim (Noppa) A = Silmäluku on suurempi kuin 3 = {4, 5, 6} A c = Silmäluku ei ole suurempi kuin 3 = Silmäluku on korkeintaan 3 = {1, 2, 3}

26 Tapahtumien erotus Tapahtuma B sattuu mutta A ei sisältää ne realisaatiot, jotka kuuluvat joukkoon B mutta eivät joukkoon A: B \ A = {s S : s B ja s A}. Esim (Noppa) A = Silmäluku on > 3 = {4, 5, 6} B = Silmäluku on parillinen = {2, 4, 6} B \ A = Silmäluku on parillinen ja 3 = {2}

27 Toisensa poissulkevat tapahtumat Tapahtumat A ja B poissulkevat toisensa, jos vain toinen niistä voi sattua, eli A B =. Tapahtumat A 1, A 2,... poissulkevat toisensa, jos vain yksi niistä voi sattua, eli A i A j = aina kun i j. Esim (Noppa) A = Silmäluku on parillinen, B = Silmäluku on kolme tai viisi Tapahtumat A ja B poissulkevat toisensa. A i = Silmäluku on i. Tapahtumat A 1, A 2,..., A 6 poissulkevat toisensa.

28 Tapahtumien yhdisteleminen Yhteenveto Tulkinta Varma tapahtuma Mahdoton tapahtuma A sattuu A ja B sattuvat A tai B sattuu A ei satu B sattuu mutta A ei A ja B poissulkevat toisensa Joukko-opin lauseke S A A B A B A c B \ A A B =

29 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava

30 Todennäköisyyden aksioomat Todennäköisyysjakauma eli todennäköisyysmitta perusjoukolla S on kuvaus, joka liittää jokaiseen tapahtumaan A S luvun P(A), ja toteuttaa: (i) Varman tapahtuman S todennäköisyys on P(S) = 1. (ii) Jokaiselle tapahtumalle A pätee 0 P(A) 1. (iii) Mille tahansa äärelliselle tai äärettömälle jonolle toisensa poissulkevia tapahtumia A 1, A 2,... pätee P(A 1 A 2 ) = P(A 1 ) + P(A 2 ) + Näitä ominaisuuksia kutsutaan aksioomiksi, koska niistä voidaan johtaa muut todennäköisyyden laskusäännöt.

31 Todennäköisyyden perussäännöt Yleinen summasääntö: P(A B) = P(A) + P(B) P(A B). Poissulkevien summasääntö: P(A B) = P(A) + P(B), kun A B =. Vastakohdan ja erotuksen todennäköisyys: P(A c ) = 1 P(A), P(B \ A) = P(B) P(A B). Monotonisuus: P(A) P(B), kun A B. Nämä säännöt voidaan johtaa todennäköisyyden aksioomista.

32 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava

33 Todennäköisyys ja kombinatoriikka Jos äärellisen perusjoukon S jokainen realisaatio on yhtä todennäköinen, on tapahtuman A S todennäköisyys P(A) = #A #S = tapahtuman A realisaatioiden lkm kaikkien realisaatioiden lkm. Suuressa perusjoukossa voi lukumäärien #A ja #S laskeminen olla vaikeaa, ellei jopa mahdotonta. Kombinatoriikka on tämäntyyppisiin ongelmiin keskittynyt matematiikan osa-alue. Esim (Vaikea kombinatorinen ongelma) Millä todennäköisyydellä 10 8 askeleen itseään välttävä satunnaiskulku päättyy etäisyydelle 10 6 lähtöpisteestään?

34 Listojen lukumäärä (toistojen kanssa) Montako PIN-koodia voidaan numeroista {0, 1, 2,..., 9} muodostaa? Muodostetaan kaikki PIN-koodit neljässä vaiheessa: 1. Valitaan ensimmäinen PIN-koodin numero: 10 tapaa 2. Valitaan seuraava PIN-koodin numero: 10 tapaa 3. Valitaan seuraava PIN-koodin numero: 10 tapaa 4. Valitaan seuraava PIN-koodin numero: 10 tapaa = Yhteensä 10 4 = tapaa 0000, 0001, 0002, 0003, 0004, 0005, 0006, 0007, 0008, 0009, 0010, 0011, 0012, 0013, 0014, 0015, 0016, 0017, 0018, 0019, 0020, 0021, 0022, 0023, 0024, 0025, 0026, 0027, 0028, 0029, 0030, 0031, 0032, 0033, 0034, 0035, 0036, 0037, 0038, 0039, 0040, 0041, 0042, 0043, 0044, 0045, 0046, 0047, 0048, 0049, 0050, 0051, 0052, 0053, 0054, 0055, 0056, 0057, 0058, 0059, 0060, 0061, 0062, 0063, 0064, 0065, 0066, 0067, 0068, 0069, 0070, 0071, 0072, 0073, 0074, 0075, 0076, 0077, 0078, 0079, 0080, 0081, 0082, 0083, 0084, 0085, 0086, 0087, 0088, 0089, 0090, 0091, 0092, 0093, 0094, 0095, 0096, 0097, 0098, 0099, 0100, 0101, 0102, 0103, 0104, 0105, 0106, 0107, 0108, 0109, 0110, 0111, 0112, 0113, 0114, 0115, 0116, 0117, 0118, 0119, 0120, 0121, 0122, 0123, 0124, 0125, 0126, 0127, 0128, 0129, 0130, 0131, 0132, 0133, 0134, 0135, 0136, 0137, 0138, 0139, 0140, 0141, 0142, 0143, 0144, 0145, 0146, 0147, 0148, 0149, 0150, 0151, 0152, 0153, 0154, 0155, 0156, 0157, 0158, 0159, 0160, 0161, 0162, 0163, 0164, 0165, 0166, 0167, 0168, 0169, 0170, 0171, 0172, 0173, 0174, 0175, 0176, 0177, 0178, 0179, 0180, 0181, 0182, 0183, 0184, 0185, 0186, 0187, 0188, 0189, 0190, 0191, 0192, 0193, 0194, 0195, 0196, 0197,..., 9983, 9984, 9985, 9986, 9987, 9988, 9989, 9990, 9991, 9992, 9993, 9994, 9995, 9996, 9997, 9998, 9999

35 Listojen lukumäärä (ilman toistoja) Monellako tapaa on mahdollista jakaa mitalisijat SM-liigan 8 kärkijoukkueen (IFK, JYP, KÄR, LUK, PEL, SAI, TAP, TPS) kesken? Muodostetaan kaikki mitalisijakombinaatiot kolmessa vaiheessa: 1. Valitaan sijalle 1 jokin joukkue: 8 tapaa 2. Valitaan sijalle 2 jokin vielä sijoittamaton joukkue: 7 tapaa 3. Valitaan sijalle 3 jokin vielä sijoittamaton joukkue: 6 tapaa = Yhteensä = 336 tapaa (IFK,JYP,KÄR) (IFK,JYP,LUK) (IFK,JYP,PEL) (IFK,JYP,SAI) (IFK,JYP,TAP) (IFK,JYP,TPS) (IFK,KÄR,JYP) (IFK,KÄR,LUK) (IFK,KÄR,PEL) (IFK,KÄR,SAI) (IFK,KÄR,TAP) (IFK,KÄR,TPS) (IFK,LUK,JYP) (IFK,LUK,KÄR) (IFK,LUK,PEL) (IFK,LUK,SAI) (IFK,LUK,TAP) (IFK,LUK,TPS) (IFK,PEL,JYP) (IFK,PEL,KÄR) (IFK,PEL,LUK) (IFK,PEL,SAI) (IFK,PEL,TAP) (IFK,PEL,TPS) (IFK,SAI,JYP) (IFK,SAI,KÄR) (IFK,SAI,LUK) (IFK,SAI,PEL) (IFK,SAI,TAP) (IFK,SAI,TPS) (IFK,TAP,JYP) (IFK,TAP,KÄR) (IFK,TAP,LUK) (IFK,TAP,PEL) (IFK,TAP,SAI) (IFK,TAP,TPS) (IFK,TPS,JYP) (IFK,TPS,KÄR) (IFK,TPS,LUK) (IFK,TPS,PEL) (IFK,TPS,SAI) (IFK,TPS,TAP) (JYP,IFK,KÄR) (JYP,IFK,LUK) (JYP,IFK,PEL) (JYP,IFK,SAI) (JYP,IFK,TAP) (JYP,IFK,TPS) (JYP,KÄR,IFK) (JYP,KÄR,LUK) (JYP,KÄR,PEL) (JYP,KÄR,SAI) (JYP,KÄR,TAP) (JYP,KÄR,TPS) (JYP,LUK,IFK) (JYP,LUK,KÄR) (JYP,LUK,PEL) (JYP,LUK,SAI) (JYP,LUK,TAP) (JYP,LUK,TPS) (JYP,PEL,IFK) (JYP,PEL,KÄR) (JYP,PEL,LUK) (JYP,PEL,SAI) (JYP,PEL,TAP) (JYP,PEL,TPS) (JYP,SAI,IFK) (JYP,SAI,KÄR) (JYP,SAI,LUK) (JYP,SAI,PEL) (JYP,SAI,TAP) (JYP,SAI,TPS) (JYP,TAP,IFK) (JYP,TAP,KÄR) (JYP,TAP,LUK) (JYP,TAP,PEL) (JYP,TAP,SAI) (JYP,TAP,TPS) (JYP,TPS,IFK) (JYP,TPS,KÄR) (JYP,TPS,LUK) (JYP,TPS,PEL) (JYP,TPS,SAI) (JYP,TPS,TAP) (KÄR,IFK,JYP) (KÄR,IFK,LUK) (KÄR,IFK,PEL) (KÄR,IFK,SAI) (KÄR,IFK,TAP) (KÄR,IFK,TPS) (KÄR,JYP,IFK) (KÄR,JYP,LUK) (KÄR,JYP,PEL) (KÄR,JYP,SAI) (KÄR,JYP,TAP) (KÄR,JYP,TPS) (KÄR,LUK,IFK) (KÄR,LUK,JYP) (KÄR,LUK,PEL) (KÄR,LUK,SAI) (KÄR,LUK,TAP) (KÄR,LUK,TPS) (KÄR,PEL,IFK) (KÄR,PEL,JYP) (KÄR,PEL,LUK) (KÄR,PEL,SAI) (KÄR,PEL,TAP) (KÄR,PEL,TPS) (KÄR,SAI,IFK) (KÄR,SAI,JYP) (KÄR,SAI,LUK) (KÄR,SAI,PEL) (KÄR,SAI,TAP) (KÄR,SAI,TPS) (KÄR,TAP,IFK) (KÄR,TAP,JYP) (KÄR,TAP,LUK) (KÄR,TAP,PEL) (KÄR,TAP,SAI) (KÄR,TAP,TPS) (KÄR,TPS,IFK) (KÄR,TPS,JYP) (KÄR,TPS,LUK) (KÄR,TPS,PEL) (KÄR,TPS,SAI) (TPS,TAP,PEL) (TPS,TAP,SAI)

36 Listojen lukumäärä Yhteenveto Fakta Järjestettyjä k alkion listoja voidaan n alkion joukosta muodostaa: toistojen kanssa n k kappaletta, ilman toistoja n(n 1) (n k + 1) kappaletta. Esim (PIN-koodit) Järjestettyjä k = 4 numeron listoja (toistojen kanssa) voidaan n = 10 numeron joukosta muodostaa 10 4 kappaletta Esim (SM-liigan mitalisijat) Järjestettyjä k = 3 joukkueen listoja (ilman toistoja) voidaan n = 8 kärkijoukkueen joukosta muodostaa 8(8 1) ( ) = = 336 kappaletta

37 Järjestysten lukumäärä Monellako tapaa voidaan SM-liigan kaikki 15 joukkuetta asettaa paremmuusjärjestykseen? Järjestettyjä k = 15 joukkueen listoja voidaan n = 15 liigajoukkueen joukosta muodostaa n(n 1) (n k + 1) eli kappaletta Fakta n alkiota voidaan järjestää listaan n! = n(n 1) 1 tavalla. Esim (SM-liigan sarjataulukko) SM-liigan 15 joukkuetta voidaan asettaa paremmuusjärjestykseen 15! tavalla.

38 Osajoukkojen lukumäärä Kuinka monta 5 pelaajan ykkösylivoimaketjua voidaan Suomen jääkiekkomaajoukkueen 20 kenttäpelaajan joukosta muodostaa? 20 pelaajan joukosta voidaan muodostaa 5 eri pelaajan järjestettyjä listoja = kappaletta. 5 pelaajan ketju on sama huolimatta siitä, miten sen pelaajat järjestää. = Jokaista 5 pelaajan ketjua vastaa 5! = 120 järjestettyä 5 eri pelaajan listaa 5 pelaajan ylivoimaketjujen lukumäärä on ! = =

39 Osajoukkojen lukumäärä Yleistys Fakta Järjestämättömiä k alkion osajoukkoja voidaan n alkion joukosta muodostaa kappaletta. n(n 1) (n k + 1) k(k 1) 1 = n! k!(n k)! =: ( ) n k

40 Esim. Lottoarvonta Mikä on todennäköisyys saada 7 oikein yhdellä lottorivillä? Veikkaus Oy:n lottoarvonnan perusjoukko on S = 7:n alkion osajoukot joukosta {1,..., 40} ja sen koko on #S = ( 40 7 ). Tapahtuma A = valitulla lottorivillä 7 oikein sisältää täsmälleen yhden realisaation, joten #A = 1. Symmetrian perusteella lottoarvonta on tasajakautunut, joten P(A) = #A #S = 1 ( 40 7 ) =

41 Esim. Kolmoset pokerissa Mikä on todennäköisyys saada kolmoset viidellä kortilla? kolmoset = 5 kortin (järjestämätön) joukko, jossa esiintyy 3 arvoa: yksi kolmesti ja muut kerran. Muodostetaan kaikki kolmosia vastaavat korttiviisikot: 1. Valitaan kolmesti esiintyvä arvo a kaikista arvoista: 13 tapaa 2. Valitaan kerran esiintyvien arvojen (järjestämätön) joukko käyttämättömistä arvoista: ( 12 2 ) = 66 tapaa 3. Valitaan kolmen kortin joukko arvon a korteista: ( 4 3) = 4 tapaa 4. Valitaan yhden kortin joukko pienempää kerran esiintyvää arvoa olevista korteista: ( 4 1) = 4 tapaa 5. Valitaan yhden kortin joukko suurempaa kerran esiintyvää arvoa olevista korteista: ( 4 1) = 4 tapaa = P( kolmoset ) = 13( )( ) 2 3)( 1)( ) = %. ( 52 5

42 Sisältö Johdanto Satunnaisilmiön tapahtumat Todennäköisyyden laskusäännöt Todennäköisyys ja kombinatoriikka Ehdollinen todennäköisyys ja Bayesin kaava

43 Ehdollinen todennäköisyys Tapahtuman A ehdollinen todennäköisyys tapahtuman B sattuessa määritellään kaavalla P(A B) = P(A B), P(B) 0. P(B) Mikäli P(B) = 0, jätetään P(A B) määrittelemättä.

44 Esim. Eduskunta Eduskunnan 200 kansanedustajasta naisia on 83. SDP:llä on 34 kansanedustajaa, joista 21 on naisia. Satunnaisesti valittu kansanedustaja on SDP:n jäsen todennäköisyydellä P( SDP ) = = Mikä on todennäköisyys, että satunnaisesti valittu naiskansanedustaja on SDP:n jäsen? P( SDP ja nainen ) P( SDP nainen ) = P( nainen ) = 21/200 83/

45 Yleinen tulosääntö Ehdollisen todennäköisyyden määritelmästä voidaan johtaa: Laskusääntö Aina kun P(A) 0, pätee yleinen tulosääntö P(A B) = P(A) P(B A). Tulkinta Yhteistapahtuman sekä A että B sattuvat todennäköisyys saadaan kertomalla tapahtuman A todennäköisyys tapahtuman B ehdollisella todennäköisyydellä A:n sattuessa.

46 Monen tapahtuman tulosääntö Laskusääntö Aina kun P(A 1 A k 1 ) 0, pätee yleinen tulosääntö P(A 1 A k ) = P(A 1 ) P(A 2 A 1 ) P(A 3 A 1 A 2 ) P(A k A 1 A k 1 ). Tulkinta Yhteistapahtuman jokainen tapahtumista A 1,..., A k sattuu todennäköisyys saadaan kertomalla keskenään: A 1 :n todennäköisyys, A 2 :n ehdollinen tn tapahtuman A 1 sattuessa, A 3 :n ehdollinen tn tapahtumien A 1 ja A 2 sattuessa,... A k :n ehdollinen tn tapahtumien A 1, A 2,..., A k 1 sattuessa.

47 Tulosääntö Esimerkki Nostetaan korttipakasta palauttamatta 3 korttia. Millä todennäköisyydellä kaikki ovat patoja? A i = i:s kortti on pata A = A 1 A 2 A 3 Yleisen tulosäännön perusteella P(A) = P(A 1 ) P(A 2 A 1 ) P(A 3 A 1 A 2 ) = Vaihtoehtoinen kombinatorinen tapa: S = kolmen kortin järjestämättömät osajoukot, #S = ( ) Tapahtuman A realisaatiot vastaavat kolmen kortin osajoukkoja patojen joukosta. Näitä on #A = ( ) 13 3 kpl. Symmetrian nojalla satunnaisilmiö on tasajakautunut, joten P(A) = #A #S = ( 13 3 ) ( 52 3 ) =

48 Stokastinen riippuvuus ja riippumattomuus Tapahtumat A ja B ovat toisistaan riippumattomat, jos P(A B) = P(A) P(B). Kokoelma tapahtumia {A i, i I } on riippumaton, jos kaikilla i 1, i 2,..., i k I. P(A i1 A ik ) = P(A i1 ) P(A ik ) Esim Tilanteita, joissa riippumattomuus on intuitiivisesti selvää: Perättäiset kolikonheitot, kunhan kolikkoa heitetään riittävän korkealle. Otanta palauttaen: nostetaan korista arpalippuja niin, että nostettu lippu palautetaan koriin ja sen jälkeen kori sekoitetaan hyvin.

49 Riippumattomuus ja ehdollinen todennäköisyys Fakta Kun P(A) 0 ja P(B) 0, ovat seuraavat yhtäpitävät: A ja B ovat riippumattomat. P(A B) = P(A). P(B A) = P(B). Tulkinta Jos P(A B) P(A), niin tieto B:n sattumisesta sisältää informaatiota, jota voidaan hyödyntää A:n todennäköisyyden määrittämiseen.

50 Esimerkki: Korttipakka Nostetaan pakasta satunnainen kortti. A = kortti on pata B = kortti on ässä Ovatko A ja B riippuvat vai riippumattomat? Tarkastetaan laskemalla, päteekö P(A B) = P(A) P(B). P(A) = = 1 4. P(B) = 4 52 = P(A B) = P( kortti on pataässä ) = Koska P(A B) = P(A) P(B), ovat A ja B toisistaan riippumattomat.

51 Osituskaava Perusjoukon S ositus on kokoelma toisensa poissulkevia tapahtumia B 1,..., B n, joiden yhdiste on S. Laskusääntö Jos B 1,..., B n muodostavat perusjoukon osituksen ja P(B i ) 0 kaikilla i, niin n P(A) = P(B i ) P(A B i ). i=1

52 Todistus. Tapahtumat C i = A B i poissulkevat toisensa ja niiden yhdiste on A. Poissulkevien summasäännöstä ja yleisestä tulosäännöstä P(A B i ) = P(B i ) P(A B i ) seuraa ( n ) P(A) = P C i = i=1 n P(C i ) = i=1 = n P(A B i ) i=1 n P(B i ) P(A B i ). i=1

53 Osituskaava: Esimerkki Oletetaan tunnetuksi, että naisista 75%:lla ja miehistä 15%:lla on pitkät hiukset. Teekkareista naisia on arviolta 27%. Millä todennäköisyydellä satunnaisesti ohikulkevalla teekkarilla on pitkät hiukset? H = { ohikulkijalla on pitkät hiukset } N = { ohikulkija on nainen } M = { ohikulkija on mies } Toistensa vastakohtina N ja M muodostavat perusjoukon osituksen. Osituskaavan avulla P(H) = P(N) P(H N) + P(M) P(H M) = (1 0.27) 0.15 = 31.2%.

54 Bayesin kaava Kun tunnetaan P(A B) sekä P(A) 0 ja P(B) 0, voidaanko määrittää käänteinen ehdollinen todennäköisyys P(B A)? Laskusääntö (Bayesin kaava) P(B A) = P(A B) P(B). P(A) Todistus. Ehdollisen todennäköisyyden määritelmästä P(B A) = P(A B) P(A) = P(A B) P(B) P(B) P(A) = P(A B)P(B) P(A).

55 Bayesin kaava: Esimerkki Oletetaan tunnetuksi, että naisista 75%:lla ja miehistä 15%:lla on pitkät hiukset. Teekkareista naisia on arviolta 27%. Millä todennäköisyydellä satunnaisesti ohikulkeva pitkähiuksinen teekkari on nainen? H = { ohikulkijalla on pitkät hiukset } N = { ohikulkija on nainen } M = { ohikulkija on mies } Tiedetään: P(H N) = 0.75 P(N) = 0.27 P(H) = (edellinen esimerkki) Bayesin kaavaa käyttämällä P(N H) = P(H N) P(N) P(H) = %.

56 Esimerkki: Tehtaan laadunvalvonta Samaa tuotetta valmistetaan kahdella tuotantolinjalla. Valmiit tuotteet sekoitetaan ja pakataan laatikoihin. Linjalta 1 valmistuu 3 tuotetta/min, joista 2% on viallisia. Linjalta 2 valmistuu 5 tuotetta/min, joista 9% on viallisia. Tarkastetaan satunnaisesta laatikosta satunnaisesti valittu tuote. Millä todennäköisyydellä tarkastettava tuote on linjalta 1? Millä todennäköisyydellä vialliseksi havaittu tuote on linjalta 1?

57 Esimerkki: Tehtaan laadunvalvonta Ratkaisu Linjalta 1 valmistuu 3 tuotetta/min, joista 2% on viallisia. Linjalta 2 valmistuu 5 tuotetta/min, joista 9% on viallisia. Tunnetut todennäköisyydet: L 1 = Tuote on linjalta 1, P(L 1 ) = 3/8 L 2 = Tuote on linjalta 2, P(L 2 ) = 5/8 V = Tuote on viallinen, P(V L 1 ) = 0.02, P(V L 2 ) = 0.09 Tapahtumat L 1 ja L 2 muodostavat perusjoukon osituksen, joten osituskaavalla ja Bayesin kaavalla P(V ) = P(V L 1 ) P(L 1 ) + P(V L 2 ) P(L 2 ) = = 6.375%, P(L 1 V ) = P(V L 1) P(L 1 ) P(V ) = / %.

58 Esimerkki: Tehtaan laadunvalvonta Yhteenveto Samaa tuotetta valmistetaan kahdella tuotantolinjalla. Valmiit tuotteet sekoitetaan ja pakataan laatikoihin. Linjalta 1 valmistuu 3 tuotetta/min, joista 2% on viallisia. Linjalta 2 valmistuu 5 tuotetta/min, joista 9% on viallisia. Tarkastettavan tuotteen alkuperän prioritodennäköisyydet ovat: Tuote on linjalta 1 tn:llä 3/8 = 37.5 % Tuote on linjalta 2 tn:llä 5/8 = 62.5 % Tarkastettavan tuotteen alkuperän posterioritodennäköisyydet (sen jälkeen kun tuote on havaittu vialliseksi) ovat: Tuote on linjalta 1 tn:llä 11.8% Tuote on linjalta 2 tn:llä 88.2%

59 Todennäköisyyden laskusäännöt Yhteenveto Summasääntö P(A B) = P(A) + P(B) P(A B) = P(A) + P(B) (jos A ja B poissulkevat toisensa) Tulosääntö P(A B) = P(A) P(B A) = P(A) P(B) (jos A ja B riippumattomat) Osituskaava P(A) = i P(B i ) P(A B i ) (jos B i :t muodostavat osituksen) Bayesin kaava P(B A) = P(A B) P(B) P(A)

60 Seuraavalla luennolla puhutaan satunnaismuuttujista ja niiden jakaumista...