805306A Johdatus monimuuttujamenetelmiin, 5 op

Transkriptio

1 monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos

2 Pääkomponenttianalyysi (PCA, Principle component analysis) Tarkastellaan n havaintoyksikön havaintoaineistoa, joka pitää sisällään muuttujat X 1, X 2,..., X p. Vastemuuttujaa Y ei ole. Tarkoituksena on muuntaa alkuperäiset muuttujat X 1, X 2,..., X p korreloimattomiksi uusiksi muuttujiksi, jotka ovat muuttujien X 1, X 2,..., X p lineaarikombinaatioita. Näitä uusia muuttujia kutsutaan pääkomponenteiksi Ensimmäinen pääkomponentti selittää mahdollisimman suuren osan alkuperäistäisten muuttujien (eli aineiston) vaihtelusta Toinen pääkomponentti selittää mahdollisimman paljon 1. pääkomponentilta selittämättä jääneestä aineiston vaihtelusta Kolmas pääkomponentti selittää mahdollisimman paljon 1. ja 2. pääkomponentilta selittämättä jääneestä aineiston vaihtelusta, jne. monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

3 Pääkomponentit määritellään siten, että ne ovat korreloimattomia keskenään Pääkomponentteja voidaan muodostaa enintään m p kappaletta Menetelmässä analysoidaan itsea asiassa aineiston kovarianssi-/korrelaatiomatriisia (ja sen riippuvuusrakennetta) Menetelmän yhtenä keskeisenä tavoitteena on tiivistää useiden muuttujien informaatio muutamaan keskeiseen pääkomponenttiin Pääkomponenttien analysointi voi auttaa havaitsemaan riippuvuussuhteita, jotka eivät muuten tulisi näkyviin k ensimmäistä pääkomponenttia voidaan käyttää jatkoanalyyseissä (esim. usean selittäjän regressioanalyysissä) monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

4 Pääkomponenttianalyysin edellytykset ja huomioitavia seikkoja: Mitään varsinaisia jakaumaoletuksia ei ole, mutta muuttujien X 1, X 2,..., X n multinormaalijakauteneisuus tuo analyysiin lisää tulkinnallisuutta ja hyvyyttä Koska laskenta perustuu kovarianssi-/korrelaatiomatriisiin, muuttujien riippuvuuksien tulisi olla lineaarisia Kovarianssimatriisiin perustuvassa analyysissä (analyysissä mukana alkuperäiset muuttujat) muuttujien skaalaus vaikuttaa tuloksiin Korrelaatiomatriisiin perustuvassa analyysissä (analyysissä käytetään standardoituja muuttujia) yllä mainittua skaalausvaikutusta ei ole Ensimmäinen pääkomponentti on suora, joka kulkee mahdollisimman läheltä kaikkia havaintopisteitä Loput pääkomponentit ovat em. suoran kanssa ortogonaalisia monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

5 Pääkomponenttianalyysin perusidea: Ensimmäinen pääkomponentti on muotoa Toinen pääkomponentti on muotoa Z 1 = φ 11 X 1 + φ 21 X 2 Z 2 = φ 12 X 1 + φ 22 X 2 monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

6 K lähimmän naapurin menetelmän yhteydessä tarkasteltiin pientä kurjenmiekka-aineistoa, josta piirretyt sirontakuviot alkuperäisillä ja keskistetyillä muuttujilla (Petal.Length ja Petal.Width) on esitetty alla: Petal.Width Keskistetty Petal.Width Petal.Length Keskistetty Petal.Length Aineisto on siis kaksiulotteinen, mutta missä suunnassa vaihtelua on eniten? monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

7 Pääkomponenttianalyysin perusidea: etsitään ensimmäisenä se suunta, 1. pääkomponentti, jossa vaihtelua on eniten. 3 2 Keskistetty Petal.Width Keskistetty Petal.Length Katso visuaalinen demo 1. pääkomponentin oikean suunnan etsimisestä: making-sense-of-principal-component-analysis-eigenvectors-eigenvalues monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

8 Seuraavaksi etsitään se suunta, 2. pääkomponentti, jossa 1. pääkomponentin selittämän vaihtelun jälkeen jäävää aineiston vaihtelua on eniten. 1. ja 2. pääkomponentin tulee olla toisistaan riippumattomia. 3 2 Keskistetty Petal.Width Keskistetty Petal.Length monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

9 2. pääkomponentti pääkomponentti pääkomponentti pääkomponentti Voisiko aineiston vaihtelun esittää kahden alkuperäisen muuttujan sijasta pelkästään 1. pääkomponentin avulla menettämättä oleellista informaatiota? monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

10 Usean muuttujan (p 2) tilanteessa pääkomponenttianalyysi toimii ulottuvuuksien (dimensions) vähentämismenetelmänä, joka mahdollistaa useiden muuttujien (p kpl) vaihtelun tiivistämisen vähäisempään määrään uusia muuttujia (pääkomponentteja), jotka ovat toisistaan riippumattomia yksinkertaisten graasten menetelmien mielekkään käyttämisen havaintoaineiston piirteiden kuvaamisessa poikkeavien havaintojen (oudokit) löytämisen aineistosta ns. päävaikutuksen eliminoinnin: jos joku muuttujista on hallitseva pääselittäjä, sen vaikutus halutaan mahdollisesti eliminoida, jotta muut potentiaaliset selittäjät saadaan esiin monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

11 Tarkastellaan teorian esittämisen lomassa R:n mukana tulevaa USArrests-aineistoa, joka sisältää tiedot seuraavista muuttujista USAn 50 osavaltioista vuodelta 1973: Assault Pahoinpitelypidätysten lukumäärä (per henkilöä) Murder Murhapidätysten lukumäärä (per henkilöä) Rape Raiskauspidätysten lukumäärä (per henkilöä) UrbanPop Osavaltion kaupungistumisaste (%) Murder Assault UrbanPop Rape monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

12 Aineistoon liittyvät kovarianssi- ja korrelaatiomatriisit ovat seuraavat: Voisiko tässä aineistossa esiintyvän vaihtelun tiivistää vähäisempään määrään muuttujia ilman, että oleellista informaatiota häviää? monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

13 Pääkomponenttien määrittely Havaintoaineisto sisältää n havaintoyksikön mittaustiedot muuttujista X 1, X 2,..., X p. 1. pääkomponentti Z 1 määritellään sellaisena alkuperäisten muuttujien X 1, X 2,..., X p lineaarikombinaationa Z 1 = φ 11 X 1 + φ 21 X φ p1 X p, (1) jonka varianssi on suurin. Kertoimia φ11, φ 21,..., φ p1 sanotaan 1. pääkomponenttiin liittyviksi latauksiksi (loadings) ja niiltä edellytetään, että p φ 2 j1 = 1. j=1 Yhdessä ne muodostavat latausvektorin φ 1 = (φ 11, φ 21,..., φ p1 ) T monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

14 Kertoimien laskemista varten muuttujat X1, X 2,..., X p keskistetään keskiarvoonsa, jonka jälkeen 1. pääkomponentin latausvektorin φ 1 tehtävänä on maksimoida lauseke 2 max 1 n p p φ 11,..., φ p1 φ j1 x ij n, missä φ 2 j1 = 1 i=1 j=1 Pääkomponentin lataukset φ11, φ 21,..., φ p1 voidaan ratkaista ns. ominaisarvohajotelman avulla ja latausten voi ajatella määrittelevän p-ulotteiseen avaruuteen sen suunnan, jossa aineisto vaihtelee eniten. Yksittäisiin havaintoyksiköihin i (i = 1,..., n) liittyviä pääkomponentin arvoja z i1 = φ 11 x i1 + φ 21 x i φ p1 x ip sanotaan pistemääriksi (score). j=1 monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

15 Ensimmäisen pääkomponentin määrittelyn jälkeen toinen pääkomponentti Z 2 määritellään sellaisena alkuperäisten muuttujien X 1, X 2,..., X p lineaarikombinaationa, jolla on suurin varianssi sellaisten alkuperäisten muuttujien lineaarikombinaatioiden joukossa, jotka ovat korreloimattomia ensimmäisen pääkomponentin kanssa: Z 2 = φ 12 X 1 + φ 22 X φ p2 X p, missä p φ 2 j2 = 1 j=1 ja cov(z 1, Z 2 ) = 0 (2) Kertoimet φ12, φ 22,..., φ p2 muodostavat nyt 2. pääkomponenttiin liittyvän latausvektorin φ 2. Z 1 :n ja Z 2 :n korreloimattomuus tarkoittaa käytännössä sitä, että ne ovat kohtisuorassa toisiinsa nähden (vrt. edellinen esimerkki). monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

16 Useampiulotteisen (p > 2) havaintoaineiston tilanteessa seuraavat pääkomponentit määritellään samoilla periaatteilla kuin edellä esitetyt kaksi ensimmäistä pääkomponenttia. Esimerkiksi 3. pääkomponentti Z3 määritellään siten, että p Z 3 = φ 13 X 1 + φ 23 X φ p3 X p, missä φ 2 j3 = 1 j=1 ja lisäksi cov(z 1, Z 3 ) = 0 ja cov(z 2, Z 3 ) = 0 Kertoimet φ13, φ 23,..., φ p3 muodostavat nyt 3. pääkomponenttiin liittyvän latausvektorin φ 3. Kaikkiaan pääkomponentteja voidaan muodostaa p kappaletta. Pääkomponenttien muodostamisen jälkeen havaintoaineistoa voidaan kuvailla esimerkiksi parittaisten sirontakuvioiden sijasta kahden pääkomponentin välisillä sirontakuvioilla. (3) monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

17 Esimerkki Suoritetaan seuraavaksi USArrests-aineistolle pääkomponenttianalyysi, joka saadaan tehtyä R:llä funktiolla prcomp(). Ensimmäisen pääkomponentin latausvektori φ1 on siis ( , , , ) T ja itseisarvoltaan suurimmat lataukset liittyvät pidätysmuuttujiin Murder, Assault ja Rape. Toisessa pääkomponentissa itsestään selvästi suurimman latauksen saa puolestaan kaupungistumismuuttuja UrbanPop. monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

18 Aineiston ensimmäinen osavaltio on Alabama, jonka havaintoarvot muuttujilla ovat: Murder= 13.2, Assault= 236, UrbanPop= 58 ja Rape= Havaittuja arvoja vastaavat standardoidut arvot ovat , , ja Alabaman pistemäärä 1. pääkomponentille on siten ( ) ( ) ( ) Vastaavasti Alabaman 2. pääkomponentin pistemääräksi on ( ) Aineiston kaikkien osavaltioiden kahden ensimmäisen pääkomponentin väliset pistemäärät voidaan nyt esittää esimerkiksi sirontakuviona (esitetty seuraavalla kalvolla). monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

19 2. pääkomponentin pistemäärä Mississippi North Carolina South Carolina West Virginia Georgia Vermont Alaska Alabama Arkansas Kentucky Louisiana Tennessee South Dakota Maryland Montana North Dak Wyoming Maine Idaho Florida New Mexico Virginia New Hampshire Michigan Indiana Iowa Missouri Delaware Oklahoma Kansas Nebraska Texas Oregon Pennsylvania Arizona Illinois Minnesota Wisconsin Nevada New York Ohio Colorado Washington Connecticut New Jersey California Massachusetts Rhode Utah Hawaii Island pääkomponentin pistemäärä Huom.: Yllä olevassa kuvassa kuvattujen muuttujien välinen korrelaatiokerroin on nolla. Kuinka suuri osa aineiston kokonaisvaihtelusta voidaan esittää kahden ensimmäisen pääkomponentin avulla? monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

20 Edellä esitettyä sirontakuviota voidaan täydentää esittämällä kunkin muuttujan X 1,..., X p pääkomponentteihin 1. ja 2. liittyvät lataukset nuolina, jolloin saadaan muodostettua ns. biplot PC Mississippi North Carolina South Carolina Murder West Virginia Georgia Vermont Alaska Alabama Arkansas Kentucky Louisiana Tennessee South Dakota Assault Maryland Montana North Dak Wyoming Maine Idaho Florida New Mexico Virginia New Hampshire Michigan Indiana Iowa Missouri Delaware Oklahoma Kansas Nebraska Texas Rape OregonPennsylvania Arizona Illinois Minnesota Wisconsin Nevada New York Ohio Colorado Washington Connecticut New Jersey California Massachusetts Rhode Utah Hawaii Island UrbanPop PC1 monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

21 Ensimmäisen komponentin pistemäärään rikosmuuttujilla Murder, Assault ja Rape lataus on likimain yhtä suuri ja etumerkiltään sama, kun taas kaupungistumismuuttujan UrbanPop vaikutus pistemäärään on vähäisempi. 1. pääkomponentti voitaisiin nimetä siten esimerkiksi yleisrikollisuutta kuvaavaksi muuttujaksi. Toisen komponentin pistemäärään muodostumista hallitsee puolestaan selvästi suurimman latauksen omaava Assault -muuttuja. Voisiko ko. pääkomponentin siis nimetä karkeasti kaupungistumisastetta kuvailevaksi komponentiksi? Sirontakuviosta nähdään mm. se, että Florida on saanut 1. pääkomponentin pistemääräksi pienen arvon. Kyseinen arvo kertoo nyt siitä, että Floridassa on tehty vuonna 1973 selvästi keskimääräistä enemmän rikoksia. Toisella pääkomponentilla Floridan pistemäärä on likimain nolla, joten Floridan kaupungistumisaste on ollut vuonna 1973 suurin piirtein keskimääräinen kaikkien USAn osavaltioiden joukossa. monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

22 Havaintoaineiston (keskiarvoihinsa keskistettyjen muuttujien) kokonaisvarianssi määritellään siten, että se on p Var(X j ) = j=1 p j=1 1 n n xij 2, (4) i=1 josta m. pääkomponentin selittämä varianssi on n zim 2 = 1 n i=1 n p φ jm x ij i=1 j=1 2 (5) monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

23 Kaavojen (4) ja (5) perusteella m. pääkomponentin selittämä osuus (PVE, proportion of variance explained) aineiston kokonaisvaihtelusta on siten ( ) 2 n p φ jm x ij j=1 p n i=1 xij 2 j=1 i=1 Kun halutaan tietää M ensimmäisen pääkomponentin selittämä osuus aineiston kokonaisvaihtelusta, kyseisten pääkomponenttien PVE-luvut summataan yhteen Havaintoaineistosta voidaan muodostaa yhteensä min(n 1, p) pääkomponenttia, joiden PVE-lukujen summa on yksi monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

24 R:llä tietoa pääkomponenttien keskihajonnoista ja niiden merkityksestä kokonaisvaihtelun selittäjinä on mahdollista tulostaa mm. summary()-funktiolla. USArrests-aineiston pääkomponenttianalyysistä saadaan seuraava tulostus: Kahden ensimmäisen pääkomponentin avulla voidaan siis selittää noin 86.8 % aineiston vaihtelusta ja 1. pääkomponentti selittää yksinään noin 62 %. Edellä esitetyn taulukon informaatio voidaan esittää eri tavoilla myös graasesti (katso seuraava dia). monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

25 Pääkomponentin selittämä osuus kokonaisvaihtelusta (PVE) Kumulatiivinen PVE Variances Pääkomponentti Pääkomponentti Pääkomponentti Vasemmanpuoleisin kuva on nimeltään scree plot. monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

26 Vaikka n p havaintomatriisista voidaan muodostaa kaikkiaan min(n 1, p) pääkomponenttia, kaikista pääkomponenteista ei olla yleensä kiinnostuneita, sillä pääkomponenttianalyysin yksi keskeinen tavoite on havaintoaineiston informaation tiivistäminen. Kuinka montaa pääkomponenttia aineiston jatkoanalyyseissä tulisi käyttää? Kysymykseen ei ole yksikäsitteistä vastausta, mutta valinnan voi tehdä esim. seuraavien suositusten avulla: Etsitään scree plotista mutka, jonka jälkeen pääkomponenttien selittämän kokonaisvaihtelun määrä ei enää laske paljon Otetaan jatkoanalyysiin mukaan vain ne pääkomponentit, joiden varianssi on ykköstä suurempi avulla voidaan selittää riittävän paljon (esimerkiksi 85 %) aineiston kokonaisvaihtelusta sisällölle voidaan antaa mielekäs tulkinta. monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

27 Analyysissa käytettävien muuttujien skaalaamisesta Edellä käsitellyssä esimerkissä pääkomponentti suoritettiin R-ohjelman komennolla prc1 <- prcomp(usarrests, scale=true) Komennossa käytetty lisämääre scale=true määrittelee sen, että havaintoaineiston muuttujat normeerataan ennen pääkomponenttianalyysin tekemistä. Normeerauksen jälkeen muuttujien keskiarvo on nolla ja keskihajonta on yksi. Normeerauksella on vaikutusta havaintoaineiston kovarianssimatriisiin, mutta ei korrelaatiomatriisiin. Itse asiassa normeeratun havaintoaineiston kovarianssimatriisi vastaa korrelaatiomatriisia. Millaisia tuloksia saisimme, jos normeerausta ei tehdä? monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28

28 USArrest-aineiston muuttujien varianssit ovat: Muuttuja varianssi Assault Murder 19.0 Rape UrbanPop Muuttujan Assault varianssi on selvästi suurin. Tämän takia on itsestään selvää, että jos pääkomponenttianalyysi tehdään pelkästään keskiarvoonsa keskistetyillä muuttujilla, ensimmäisen pääkomponentin selvästi suurin lataus tulee muuttujalle Assault. monimuuttujamenetelmiin, 5 op 28. marraskuuta / 28