805306A Johdatus monimuuttujamenetelmiin, 5 op

Koko: px

Aloita esitys sivulta:

Download "805306A Johdatus monimuuttujamenetelmiin, 5 op"

Maija Aila Hakola
4 vuotta sitten
Katselukertoja:

1 monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos

2 Johdatus monimuuttujamenetelmiin Luennot Tiistaina klo (30.10., BF119-1) Keskiviikkoisin klo (MA101, poikkeus AT115B) Torstaisin klo (sali vaihtelee) Harjoitukset Ryhmä 1: maanantaisin klo (MA336/MA337) Ryhmä 2: tiistaisin klo (MA336/MA337) Kurssimateriaali Luentodiat James, G., Witten, D., Hastie, T., Tibshirani, R. (2013). An Introduction to Statistical Learning with Applications in R. Springer, New York; luvut 4 ja Harjoitusten kotitehtävät ja harjoitusten R-osuuden materiaali monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

3 Kotitehtävät tulevat kurssin kotisivuille Noppaan harjoitusta edeltävän viikon torstaina ja luentodiat luentoa edeltävänä päivänä. Kurssin kotisivut Nopassa: Loppukoepäivät tiistaina tiistaina monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

4 Johdatus monimuuttujamenetelmiin Monimuuttujamenetelmät ovat menetelmiä, joissa analyysissä on mukana yhtä aikaa useita muuttujia. Kurssilla käsitellään mm. seuraavia menetelmiä: Ohjattu oppiminen (supervised learning) K-lähimmän naapurin menetelmä Logistinen regressioanalyysi Erotteluanalyysi Ohjaamaton oppiminen (unsupervised learning) Pääkomponenttianalyysi Faktorianalyysi Ryhmittelyanalyysi monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

5 Analysoitava havaintomatriisi näyttää yleisessä muodossa tältä: x 11 x x 1p x 21 x x 2p x n1 x n2... x np, missä x ij = muuttujan X j havaittu arvo tilastoyksiköllä i (j = 1,..., p ja i = 1,..., n). Aineistossa on siis n havaintoa (riviä) ja p muuttujaa (saraketta): X1, X 2,..., X p Aineiston muuttujat voivat olla laatua ja/tai määrää mittaavia. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

6 Konkreettinen esimerkki analysoitavasta havaintomatriisista voisi näyttää puolestaan tältä: male... general female... vocation male... general male... vocation male... academic male... general female... academic Yllä n = 200, X 1 = lukutestin pistemäärä, X 2 = kirjoitustestin pistemäärä, X 3 = matematiikkatestin pistemäärä,. X 11 = opiskelulinja. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

7 Aineiston muuttujista yksi voidaan valita selitettäksi muuttujaksi eli vasteeksi male... general female... vocation male... general male... vocation male... academic male... general female... academic...jonka jälkeen analyysin tavoitteena voi olla esimerkiksi vasteen arvojen selittäminen tai ennustaminen aineiston muilla muuttujilla eli selittäjillä. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

8 Aineiston muuttujista yksi voidaan valita selitettäksi muuttujaksi eli vasteeksi male... general female... vocation male... general male... vocation male... academic male... general female... academic...jonka jälkeen analyysin tavoitteena voi olla esimerkiksi vasteen arvojen selittäminen tai ennustaminen aineiston muilla muuttujilla eli selittäjillä havaintojen luokittelu oikeisiin luokkiinsa selittävien muuttujien avulla (jos vaste on laadullinen/luokiteltu muuttuja). Edellä esitellyt tavoitteet johtavat ns. ohjatun oppimisen menetelmiin. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

9 Ohjattu oppiminen Wikipedia: Ohjattu oppiminen on tekoälyyn liittyvä koneoppimisen menetelmä, jossa opetusaineiston avulla muodostetaan funktio, jolla luokiteltava aineisto voidaan luokitella. Opetusaineisto koostuu syötteistä ja tuloksista, jotka syötteistä tulisi seurata. Oppijan tulee opetusaineiston perusteella päätellä, millaisia tuloksia tuntemattomilla syötteillä tulisi saada. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

10 Aineistoa voidaan tarkastella myös siten, että erillistä vastemuuttujaa ei määritellä. Tällöin analyysin tavoitteena voi olla esimerkiksi aineiston kokonaisvaihtelun tiivistäminen korreloimattomiin komponentteihin etsiä aineistosta mahdollisia ryhmityksiä etsiä erottelu- tai luokittelusääntöä, jonka perusteella havainnot voitaisiin jakaa toisensa poissulkeviin joukkoihin. Edellä esitellyt tavoitteet johtavat ns. ohjaamattoman oppimisen menetelmiin. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

11 Ohjaamaton oppiminen Wikipedia: Ohjaamaton oppiminen on koneoppimisen menetelmä, jossa muodostetaan malli, joka sopii havaintoihin. Se eroaa ohjatusta oppimisesta siten, että luokkia ei tunneta ennalta. Luokiteltava aineisto jaetaan luokkiin siten, että kunkin luokan alkiot muistuttavat toisiaan enemmän kuin muiden luokkien alkioita. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

12 Ennen monimuuttujamenetelmien käyttöönottoa tutkijan kannattaa (ja pitää!) tutustua sovellusalansa teoriaan (esim. minkä muuttujien ajatellaan vaikuttavan vasteeseen, mitkä piirteet ovat tunnusomaisia tietylle ryhmälle jne.) tutustua aineistoonsa yksinkertaisten kuvailevien menetelmien avulla: graaset esitykset (ristiin)taulukointi tunnusluvut. Motto George Box: All models are wrong but some are useful. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

13 Eräitä graasia esitystapoja Lukutestin pistemäärä Lukutestin pistemäärä Frekvenssi Lukutestin pistemäärä Lukutestin pistemäärä Tiheys monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

14 Luku ja kirjoitustestipistemäärien sirontakuvio Lukutestin pistemäärä Kirjoitustestin pistemäärä monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

15 gender prog read write math Parittainen sirontakuviomatriisi monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

16 Matematiikkatestin sukupuolittainen pistekuvio male Sukupuoli female Matematiikkatestin pistemäärä monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

17 lukutestin pistemäärät koulutusohjelmittain 70 Lukutestin pistemäärä academic general vocation Koulutusohjelma monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

18 Luku ja kirjoitustestipistemäärien sirontakuvio sukupuolittain Lukutestin pistemäärä Kirjoitustestin pistemäärä Male Female monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

19 read write female male Given : gender Ehtokuvio monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

20 3 ulotteinen sirontakuvio Kirjoittaminen Lukeminen Matematiikka monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

21 3 ulotteinen sirontakuvio Kirjoittaminen Lukeminen Matematiikka Miehet Naiset monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

22 3 ulotteinen sirontakuvio Kirjoittaminen Lukeminen Matematiikka Male Female monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

23 Mosaiikkikuvio private schtyp public male vocation general academic gender female vocation general academic prog monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

24 Tähtikuvio (aineiston ensimmäiset 28 havaintoa) science math write socst read monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

25 Tilanteeseen sopivan kuviotyypin valintaan vaikuttaa mm. Kuvattavien muuttujien mitta-yksikkö (luokittelu-, järjestys-, välimatka- tai suhdeasteikko) ja jatkuvuusominaisuus (diskreetti/jatkuva) Kuvion muuttujien lukumäärä Havaintojen lukumäärä aineistossa Usean muuttujan yhteiskäyttäytymisen (p 3) selkeä graanen esittäminen on usein vaikeaa tai jopa mahdotonta. Graasia menetelmiä käydään läpi tarkemmin kurssin ensimmäisessä harjoituksessa. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

26 Aineistoon liittyviä yksiulotteisia tunnuslukuja monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

27 Aineistoon liittyvä ristiintaulukko monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

28 Aineistoon liittyviä parittaisia riippuvuustunnuslukuja monimuuttujamenetelmiin, 5 op 29. lokakuuta / 28

Samankaltaiset tiedostot

805306A Johdatus monimuuttujamenetelmiin, 5 op

805306A Johdatus monimuuttujamenetelmiin, 5 op monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos K:n lähimmän naapurin menetelmä (K-Nearest neighbours) Tarkastellaan aluksi pientä (n = 9) kurjenmiekka-aineistoa, joka on seuraava: