805306A Johdatus monimuuttujamenetelmiin, 5 op

Transkriptio

1 monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos

2 K:n lähimmän naapurin menetelmä (K-Nearest neighbours) Tarkastellaan aluksi pientä (n = 9) kurjenmiekka-aineistoa, joka on seuraava: Petal.Length Petal.Width Species setosa virginica setosa setosa versicolor virginica virginica versicolor virginica Erään aineistoon kuulumattoman kurjenmiekan terälehden pituus (Petal.Length) on 4.6 cm ja leveys (Petal.Width) on 2.0 cm. Minkä kurjenmiekkalajin (Species) kasvista on kyse? monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

3 Esitettyyn luokitteluongelmaan liittyvä havaintoaineiston informaatio voidaan esittää esimerkiksi seuraavan kuvan avulla: luokiteltava havainto Petal.Width Setosa Virginica Versicolor Petal.Length Luokittelisitko havainnon yllä olevan kuvan perusteella setosa lajin kurjenmiekaksi? monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

4 K:n lähimmän naapurin menetelmässä ideana on luokitella havainto siihen luokkaan, johon suurin osan sen K:sta lähimmästä naapurista kuuluu Luokittelua varten tarvitaan etäisyysmitta mittaamaan kahden havainnon välistä etäisyyttä (läheisyyttä) Pisteiden (x1, y 1 ) ja (x 2, y 2 ) välinen euklidinen etäisyys d e tavanomaisessa kaksiulotteisessa koordinaatistossa on d e = (x 1 x 2 ) 2 + (y 1 y 2 ) 2 Esimerkissämme luokiteltavan havainnon (4.6,2.0) euklidinen etäisyys havaintoaineiston seitsemänteen havaintoon (5.1,1.5) on siten d e = ( ) 2 + ( ) 2 = 0.71 monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

5 Seuraavassa kuvassa on esitetty havaintoaineistoon kuuluvien havaintojen euklidiset etäisyydet luokiteltavasta havainnosta: luokiteltava havainto Petal.Width Setosa Virginica Versicolor Petal.Length Valitaan luokittelun kriteeriksi esimerkiksi K = 3 lähintä havaintoa. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

6 Valituista kolmesta lähimmästä havainnosta kaksi kuuluu lajiin versicolor ja yksi lajiin virginica, kun taas lajiin setosa kuuluvia havaintoja ei kolmen lähimmän naapurin joukossa ole. Nyt voidaan arvioida, että P(Species = versicolor Petal.Length = 4.6, Petal.Width = 2.0) = 2/3 P(Species = virginica Petal.Length = 4.6, Petal.Width = 2.0) = 1/3 P(Species = setosa Petal.Length = 4.6, Petal.Width = 2.0) = 0/3 Ns. Bayes-luokittelijan perusteella luokiteltava havainto luokitellaan siihen luokkaan, johon liittyvä yllä annettu ehdollinen todennäköisyys on suurin. Havainto luokitellaan siten versicolor lajin kurjenmiekaksi. Jos luokittelun kriteerinä olisi lähimmän (K = 1) naapurin kriteeri, luokittelisimme havainnon lajin virginica kurjenmiekaksi, koska aineistossamme ko. lajin edustaja sijaitsee lähimpänä luokiteltavaa havaintoa. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

7 K:n lähimmän naapurin menetelmä voidaan suorittaa R:llä esimerkiksi class()-paketin funktiolla knn(): monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

8 Edellisen esimerkin alussa annetut yhdeksän havaintoyksikköä muodostivat ns. opetusaineiston, jonka perusteella muodostettiin uusien havaintojen luokitettelusääntö. Uusien havaintojen luokittelu tehtiin kyseisen luokittelusäännön perusteella. K:n lähimmän naapurin menetelmässä Vastemuuttuja Y on luokiteltu muuttuja Selittävät muuttujat (p kpl) voivat olla joko luokiteltuja tai jatkuvia muuttujia Havaintojen luokittelu perustuu Bayes-luokittelijaan, jonka perusteella havainto, jonka p-ulotteinen selittäjävektori on x 0, luokitellaan siihen vasteen luokkaan j, jossa P(Y = j X = x 0 ) on suurin. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

9 Bayes-luokittelijassa esiintyviä ehdollisia todennäköisyyksiä P(Y = j X = x 0 ) ei kuitenkaan tunneta, joten ne on estimoitava opetusaineiston perusteella Luokittelusäännön muodostamista varten valitaan luokittelussa vaikuttavien lähimpien naapurihavaintojen lukumäärä K Etsitään aineistosta luokiteltavan havainnon K lähintä naapuri(havainto)a jonkin sopivan etäisyysmitan avulla. Merkitään näiden havaintojen muodostamaa joukkoa merkinnällä N 0 Bayes-luokittelijan ehdollisia todennäköisyyksiä P(Y = j X = x 0 ) voidaan nyt estimoida kaavalla P(Y = j X = x 0 ) = 1 I(y i = j) K i N 0 Todennäköisyyttä P(Y = j X = x 0 ) estimoidaan siis vasteen luokkaan j kuuluvien havaintojen suhteellisella osuudella K:n lähimmän naapurin joukossa. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

10 Uusi havainto luokitellaan siihen luokkaan j, jossa sen havaintoproilin x 0 liittyvä estimoitu ehdollinen todennäköisyys tapahtumalle P(Y = j) on suurin Lähimpien naapureiden valintaa varten tarvitaan tilanteeseen sopiva etäisyys- tai samankaltaisuusmitta d, joka mittaa p-ulotteisessa avaruudessa sijaitsevien havaintojen (pisteiden) a 1 = (x 11, x 12,..., x 1p ) ja a 2 = (x 21, x 22,..., x 2p ) etäisyyden tai samankaltaisuuden määrän Numeerisille (jatkuville) muuttujille käytetään yleisimmin ns. euklidista etäisyyttä, jolloin d(a 1, a 2 ) = (x 11 x 21 ) 2 + (x 12 x 22 ) (x 1p x 2p ) 2 monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

11 Tällöin esimerkiksi 1-ulotteisessa tilanteessa a1 = x 11 ja a 2 = x 21 : d(a 1, a 2) = (x 11 x 21) 2 = x 11 x 21 2-ulotteisessa tilanteessa a1 = (x 11, x 12) ja a 2 = (x 21, x 22) : jne... d(a 1, a 2) = (x 11 x 21) 2 + (x 12 x 22) 2 Binäärimuuttujille ja merkkijonoille voidaan käyttää esim. Hammingin etäisyyttä, joka laskee käytännössä kahden samanmittaisen merkkijonon toisistaan poikkeavien vastinalkioiden lukumäärän Bittijonojen ( ) ja ( ) välinen Hammingin etäisyys on 1. Merkkijonojen kanava ja panama välinen Hammingin etäisyys on 2. Sopivan etäisyysmitan löytyminen on haastavinta luokiteltujen aineistojen ja ns. seka-aineistojen tilanteissa monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

12 Mikä olisi sopiva naapuruston koko K? Jos K on liian pieni, luokittelijasta tulee epävakaa suuri, voi naapuruston yleisin luokka poiketa oikeasta liian usein monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

13 Sopiva K:n arvo löytyy usein kokeilemalla (katso demo!). Pienidimensioisille (ja samalla riittävästi havaintoja sisältäville) aineistoille sopiva K:n arvo löytyy usein väliltä 510. Virheellisten osuus K:n eri arvoilla (hsb aineisto) Virheellisten osuus K monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

14 Eräässä K:n lähimmän naapurin menetelmän versiossa luokittelusääntö huomioi kaikki opetusaineiston havainnot (jolloin K = n) siten, että (lähimpien) naapurien vaikutus luokitteluun heikkenee sitä mukaa mitä kauempana ne ovat luokiteltavasta havainnosta (ns. painotetun K-lähimmän naapurin menetelmä). K lähimmän naapurin menetelmän etuja ovat mm.: Luokittelu- ja oppimismenetelmänä tehokas ja häiriösietoinen (vähäinen reagointi outliereihin) monissa sovellustilanteissa Luokittelija paranee sitä mukaa, kun opetusaineistoa saadaan lisää Menetelmä on parametriton menetelmä, joten selittäjien jakaumien muodosta ei tarvitse tehdä vaativia oletuksia monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

15 haittoja ovat mm.: Ei suositella suuridimensioisille aineistoille: jos esimerkiksi 20 selittäjästä vain muutama selittäjä on luokittelun kannalta merkityksellinen, voivat samankaltaiset luokat joutua kauaksi erilleen ja luokittelijan 'hyvyys' heikkenee (ns. dimensionaalisuuden kirous, curse of dimensionality) Hyvän etäisyysmitan d valinta voi olla haastavaa Esimerkiksi tilanteeseen, jossa selittäjät noudattavat multinormaalijakaumaa, on olemassa parempia luokittelumenetelmiä K lähimmän naapurin menetelmä on esimerkki ns. laiskasta oppijasta: opetusvaihe on nopea, mutta luokitteluvaihe on hidas. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

16 Esimerkki Laajennetaan aiempaa kurjenmiekka-esimerkkiä siten, että analysoimme R:n mukana tulevaa iris-aineistoa, jossa on mittaustiedot kaikkiaan 150 kurjenmiekasta seuraavista muuttujista: Sepal.Length: Sepal.Width: Petal.Length: Petal.Width: Species: verholehden pituus verholehden leveys terälehden pituus terälehden leveys kasvin laji Aineistossa on 50 edustajaa kustakin kolmesta lajista: versicolor, setosa ja virginica. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

17 Poimitaan ko. aseistosta 75 kappaleen satunnaisotos, joka toimii jatkossa analyysissämme opetusaineistona. Tavoitteena on luokitella tämän jälkeen alkuperäiseen aineistoon jäljelle jääneet 75 havaintoa k lähimmän naapurin menetelmällä oikeisiin lajiluokkiinsa. Opetusaineiston poiminta Opetusaineistoon valitaan siis selittäjiksi aineiston kaikki neljä numeerista muuttujaa ja kasvin oikean lajin kertova muuttuja talletetaan omaksi vektoriksi nimellä oikealaji. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

18 Opetusaineiston parittainen sirontakuviomatriisi: Petal.Length setosa versicolor virginica Petal.Width Sepal.Length Sepal.Width monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

19 Luokitellaan seuraavaksi alkuperäiseen havaintoaineistoon testiaineistoksi jääneet havainnot eri lajeihin kuuluviksi k lähimmän naapurin menetelmällä. Valitaan analyysissä käytettäväksi k:n arvoksi 5. Oikein luokiteltujen osuus on nyt ( )/75 = 0.92 eli 92 %. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

20 Luokituksen lopputulos näkyy parittaisessa sirontakuviomatriisissa seuraavasti: Petal.Length Setosa Versicolor Virginica Väärä luokitus Petal.Width Sepal.Length Sepal.Width monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

21 Tässä esimerkissä luokituksen lopputulos jopa paranee, jos käytämme selittäjänä vain kahta muuttujaa: Petal.Length ja Petal.Width Setosa Versicolor Virginica Väärä luokitus Petal.Length Petal.Width monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

22 Selittäjien standardoinnista Jos selittävät muuttujat on mitattu eri mittayksiköissä ja/tai niiden vaihtelu on selvästi eri suurta, kannattaa analyysissä usein käyttää standardoituja selittäjiä. Muuttujan standardointi z i = x i x s x, i = 1,..., n Standardoidulla muuttujalla aritmeettinen keskiarvo x = 0 ja keskihajonta s x = 1. Ilman standardointia suuren vaihtelun (varianssin) omaava muuttuja hallitsee etäisyyslaskentaa ja peittää alleen muiden muuttujien yhteyden vasteeseen. monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

23 Esimerkki Luokiteltavalla muuttujalla on kolme mahdollista arvoa: A, B ja C. Selittäjänä ovat numeeriset muuttujat x ja y ja opetusaineistossa tilanne on seuraava: 15 Ryhmä A Ryhmä B Ryhmä C 10 y x monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

24 Luokiteltavaksi saadaan uusi havainto: 15 Ryhmä A Ryhmä B Ryhmä C Luokiteltava piste y x Kumpi selittäjistä on mielestäsi parempi selittäjä? Onko selittäjien vaihtelu yhtä suurta? monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

25 Etsitään luokiteltavalle havainnolle opetusaineiston 10 lähintä naapuria, kun etäisyyslaskennessa on mukana kumpikin muuttuja y y + s y y Ryhmä A Ryhmä B Ryhmä C Luokiteltava piste Lähimmat naapurit y s y Kumpi muuttujista vaikuttaa enemmän lähimpien naapureiden etsinnässä? Ovatko nämä naapurit läheisiä luokiteltavalle havainnolle kummankin selittäjän suhteen? x monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26

26 Käytetään seuraavaksi lähimpien naapureiden etsinnässä selittäjien standardoituja arvoja, jolloin tilanne on seuraava: 3 2 standardoitu y standardoitu x Nyt kumpikin selittäjä vaikuttaa yhtä suurella painolla lähimpien naapureiden etsinnässä, monimuuttujamenetelmiin, 5 op 29. lokakuuta / 26