MATRIISILASKENTAA MATRIX ESIM1 /// PITUUS PAINO IKA SP X X X

Transkriptio

1 MATRIISILASKENTAA MATRIX ESIM1 X X X MAT DIM ESIM1 /* rowesim1=3 colesim1=4 / selvitetään matriisin dimensiot MAT YKS=CON(3,1) / muodostetaan pystyvektori, jossa on havaintojen lukumäärä ykkösiä MATRIX YKS /// YKS MAT SUMMA=YKS'*ESIM1 / lasketaan muuttujasummat MATRIX SUMMA MAT YKS2=INV(YKS'*YKS) / lasketaan ykkösten summa ja muodostetaan siitä käänteisluku MATRIX YKS2 /// MAT KESKIARVOVEKTORI=SUMMA*YKS2 / jaetaan muuttujasumma havaintojen määrällä MATRIX KESKIARVOVEKTORI MAT KESKIARVOMATRIISI=YKS*KESKIARVOVEKTORI MATRIX KESKIARVOMATRIISI MAT POIKKEAMAMATRIISI=ESIM1-KESKIARVOMATRIISI / lasketaan havaintojen poikkeama keskiarvosta MATRIX POIKKEAMAMATRIISI X X X

2 MAT NELIOSUMMAMATRIISI=POIKKEAMAMATRIISI'*POIKKEAMAMATRIISI / poikkeamien neliösummat MATRIX NELIOSUMMAMATRIISI PITUUS PAINO IKA SP MAT KOVARIANSSIMATRIISI=NELIOSUMMAMATRIISI/(n-1) / jaetaan neliösummat vapausasteillaan MATRIX KOVARIANSSIMATRIISI PITUUS PAINO IKA SP MAT DIAGONAALI=DIAG(KOVARIANSSIMATRIISI) MAT TRANSFORM DIAGONAALI BY SQRT(X#) / muodostetaan diagonaalimatriisi variansseista / otetaan variansseista neliöjuuri MATRIX DIAGONAALI PITUUS PAINO IKA SP MAT KORRELAATIOMATRIISI=INV(DIAGONAALI)*KOVARIANSSIMATRIISI*INV(DIAGONAALI) MATRIX KORRELAATIOMATRIISI PITUUS PAINO IKA SP CORR AINEISTOO*,CUR+1 Means, std.devs and correlations of AINEISTOO* N=3 Variable Mean Std.dev. Pituus Paino Ikä SP Correlations: Pituus Paino Ikä SP Pituus Paino Ikä SP

3 REGRESSIOANALYYSI MATRIX Y MATRIX X /// Paino /// Vakio Pituus Ikä SP MAT B=INV(X'*X)*X'*Y MATRIX B /// Paino Vakio Pituus Ikä SP Linear regression analysis: Data AINE2, Regressand Paino N=7 Variable Regr.coeff. Std.dev. t beta Pituus Ikä SP constant Variance of regressand Paino= df=6 Residual variance= df=3 R= R^2= Mallin yhtälö on: Paino=3.115*Pituus+0.601*Ikä-45.42*SP Malli selittää 86.67% Painon vaihtelusta. Nyrkkisäännön mukaan kaikki selittäjät ovat merkitseviä, koska kaikkien t >2. Eksaktimmin testattaessa, verrattaisiin saatuja t-testisuureita vapausastetta (n-k-1) ja valittua merkitsevyystasoa vastaavaan t-jakauman arvoon. 3

4 FAKTORIANALYYSI (eksploratiivinen) Aineistona on kymmenottelutulokset vuoden 2008 olympialaisista ja vuoden 2011 yleisurheilun mm-kisoista. Kisan keskeyttäneet on poistettu. Kolmelta ottelijalta puuttuu seiväshyppytulos, joten he eivät ole mallinnuksessa mukana. Means, std.devs and correlations of DECA0811 N=48 # of missing observations =3 Variable Mean Std.dev. 100ma pituus kuula korkeus ma m_aid kiekko seiväs keihäs ma ma pituus kuula korkeus 400ma 110m_ai kiekko seiväs keihäs 1500ma 100ma pituus kuula korkeus ma m_aid kiekko seiväs keihäs ma Alkuperäinen maximum-likelihood menetelmällä saatu faktorilatausmatriisi: F1 F2 F3 F4 h^2 100ma pituus kuula korkeus ma m_aid kiekko seiväs keihäs ma Varimax-rotatoitu ja latausten mukaan järjestetty lopullinen faktorilatausmatriisi: F2 F3 F4 F1 Sumsq 400ma ma m_aid kuula ma kiekko seiväs keihäs pituus korkeus Sumsqr Ensimmäinen faktori voitaneen latausten perusteella nimetä nopeudeksi. Toinen faktori voidaan nimetä voimaksi. Kolmas faktori on hieman epäselvä, mutta kyseeseen voisi tulla jonkinmoinen suoritustekniikka. Viimeinen faktori olkoon ponnistusvoima. 4

5 PÄÄKOMPONENTTIANALYYSI Alla on pääkomponenttianalyysi ajettuna yllä olevalle kymmenotteluaineistolle. Principal_components /// PCOMP1 PCOMP2 PCOMP3 PCOMP4 PCOMP5 PCOMP6 PCOMP7 PCOMP8 PCOMP9 PCOMP10 100ma pituus kuula korkeus ma m_aid kiekko seiväs keihäs ma Variances_of_principal_components /// PCOMP1 PCOMP2 PCOMP3 PCOMP4 PCOMP5 PCOMP6 PCOMP7 PCOMP8 PCOMP9 PCOMP10 Variance Variances_of_pr.components_(in_percentages) /// PCOMP1 PCOMP2 PCOMP3 PCOMP4 PCOMP5 PCOMP6 PCOMP7 PCOMP8 PCOMP9 PCOMP10 Per_cent Cumulat Pääkomponenttien varianssit kertovat kuinka monen muuttujan vaihtelun kyseiset pääkomponentit pystyvät tiivistämään. Ensimmäinen tiivistää 2.4 muuttujan vaihtelun. Tässä prosenttiluvut osuvat yksiin varianssien kanssa, koska muuttujia on kymmenen. Kumulatiivisestä kertymästä nähdään, kuinka suuren osuuden vaihtelusta pääkomponentit pystyvät selittämään. Jos halutaan selittää 80%, niin valitaan 5 pääkomponenttia. Suuren pudotuksen käyttö johtaisi kolmeen pääkomponenttiin ja 66.8% selitysasteeseen. 3 Varianss Komponen Alla vielä pääkomponenttimatriisi järjestettynä latausten mukaiseen suuruusjärjestykseen. /// PCOMP1 PCOMP2 PCOMP3 PCOMP4 PCOMP5 PCOMP6 PCOMP7 PCOMP8 PCOMP9 PCOMP10 400ma ma m_aid kuula keihäs kiekko ma korkeus seiväs pituus

6 KORRESPONDENSSIANALYYSI Alla on tehty korrespondenssianalyysi itsemurhatavoista Englannissa. Aineisto on luokiteltu iän, sukupuolen ja tekotapojen mukaan. ages pois gas hang guns jump other C1 C2 m m m w w w C1 C2 pois gas hang guns jump other C2-akselin suunnassa näyttäisi ikä vähenevän ja vastaavasti sukupuoli jakaa aineiston vaakasuunnassa. 0.6 C guns Moniulotteinen korrespondenssianalyysi aineistosta muodostetun Burtin matriisin avulla. male female pois gas hang guns jump other age10 age40 age70 male female pois gas hang guns jump other age age age Akselit näyttävät käännähtäneen ympäri. Naisille ja miehille tyypilliset tavat ovat pysyneet samoina. C1 C2 male C2 female age70 pois gas hang hang jump age40 guns female male jump pois other guns age age10 age other age gas m40 m70 m10 hang other pois gas w40 w70 jump w10 C1 6 C1

7 MULTIDIMENSIONAALINEN SKAALAUS MATRIX CSEIGEN.M Eigenvalues /// DIM1 DIM2 DIM3 DIM4 DIM5 DIM6 DIM7 DIM8 DIM9 DIM10 Eigenval MATRIX CSCENT.M Eigenvalues_(in_percentages) /// DIM1 DIM2 DIM3 DIM4 DIM5 DIM6 DIM7 DIM8 DIM9 DIM10 Per_cent Cumulat MATRIX LSCAL.M LS_scales /// DIM1 DIM2 tvl shk tvs teco kate kaco siol mks tvo vpv DIM mks kaco teco siol kate vpv tvo tvs shk tvl -20 MATRIX LSDIST.M LS_distances DIM1 /// tvl shk tvs teco kate kaco siol mks tvo vpv tvl shk tvs teco kate kaco siol mks tvo vpv Muuttujat: Pidän enemmän... tvl tummasta kuin vaaleasta leivästä. shk salmiakista kuin hedelmäkarkeista. tvs tummasta kuin vaaleasta suklaasta. teco teestä kuin kahvista. kate kaakaosta kuin teestä. kaco kaakaosta kuin kahvista. siol siideristä kuin oluesta. mks makeasta kuin kuivasta siideristä. tvo tummasta kuin vaaleasta oluesta. vpv valkoviinistä kuin punaviinistä. Mitään mullistavia johtopäätöksiä ei päästä tekemään. Kun on molemmilla dimensioilla pieni arvo, niin maku näyttäisi olevan makeaan taipuvainen. 7

8 RYHMITTELYANALYYSI Single linkage, Input: KUNNAT2003 Group average, Input: KUNNAT2003 Complete linkage, Input: KUNNAT2003 Ranua Rovaniemenmlk Kemijärvi Simo Muonio Utsjoki Inari Kemi Tornio Rovaniemi Keminmaa Sodankylä Kittilä Kolari Pello Tervola Pelkosenniemi Posio Enontekiö Ylitornio Savukoski Salla Rovaniemenmlk Kemijärvi Simo Muonio Utsjoki Inari Kemi Tornio Rovaniemi Keminmaa Ranua Sodankylä Pello Kolari Kittilä Tervola Pelkosenniemi Posio Enontekiö Ylitornio Savukoski Salla Sodankylä Pello Kolari Kittilä Tervola Pelkosenniemi Rovaniemenmlk Kemijärvi Simo Muonio Utsjoki Inari Kemi Tornio Rovaniemi Keminmaa Ranua Posio Enontekiö Ylitornio Savukoski Salla 8

9 Unweighted centroid, Input: KUNNAT2003 Rovaniemenmlk Kemijärvi Simo Muonio Utsjoki Inari Kemi Tornio Rovaniemi Keminmaa Ranua Sodankylä Pello Kolari Kittilä Tervola Pelkosenniemi Posio Enontekiö Ylitornio Savukoski Salla Minimum variance (Wards method), Input: KUNNAT2003 Nimi G2 G3 G4 Kemi Kemijärvi Keminmaa Rovaniemi Tornio Inari Muonio Rovaniemenmlk Simo Utsjoki Kittilä Kolari Pelkosenniemi Pello Tervola Enontekiö Posio Ranua Salla Savukoski Ylitornio Sodankylä Rovaniemenmlk Kemijärvi Simo Muonio Utsjoki Inari Kemi Tornio Rovaniemi Keminmaa Sodankylä Pello Kolari Kittilä Tervola Pelkosenniemi Ranua Posio Enontekiö Ylitornio Savukoski Salla 9

10 LOGISTINEN REGRESSIOANALYYSI Alla yritetään binäärisen logisteisen regressioanalyysi avulla mallintaa onko kunta kaupunki vai ei. Logistic regression analysis: Data KUNNAT2003, Yvariate=Kaupun Deviance= df=436 Log-likelihood= Parameter Estimate s.e. Wald X^2 Wald p Asukaslu Asukasmu Tulotaso Veropros Korkeako Naisteno Lastenos Seniorei Ulkomaal Constat MAT LOAD OR.M / Odds Ratios and 95% confidence intervals MATRIX OR.M Odds_Ratios_and_95%_confidence_intervals_from_/LOGREG /// OR lower upper Asukaslu Asukasmu Tulotaso Veropros Korkeako Naisteno Lastenos Seniorei Ulkomaal Constat Mallissa on 3 ei-merkitsevää selittäjää: Tulotaso, Korkeakoulutettujen osuus ja Ulkomaalaisten osuus. Nämä voidaan päätellä joko p-arvoista (>0.05 ) tai siitä, että ykkönen mahtuu riskisuhteiden (Odds ratio) luottamusväleille. Malin yhtälö on: ln(p/(1-p))= * Asukaslu *Asukasmu *Tulotaso *Veropros *Korkeako *Naisteno *Lastenos *Seniorei *Ulkomaal Sipoon todennäköisyys olla kaupunki: Asukaslu=18177, Asukasmu=2.4, Tulotaso=13474, Veropro=18.75, Korkeako=29.3, Naisteno=50.4, Lastenos=23.4, Seniorei=12.2, Ulkomaal=1.3 ln(p/(1-p)= * * * * * * * * * = => p/(1-p)=exp( )= => p=(1-p)* => p( )= => p= /( )= Sipoon todennäköisyys olla kaupunki on siis mallimme mukaan n. 17%. 10

11 JÄRJESTYSASTEIKOLLINEN LOGISTINEN REGRESSIOANALYYSI (POISSON REGR.) Käytetään samaa aineistoa ja samoja selittäviä muuttujia, mutta nyt pyritään ennustamaan kunnan tyyppi: 1. kaupunkimaiset, 2 taajaan asutut vai 3. maaseutumaiset kunnat. Data KUNNAT2003: Deviance= df=436 Yvariate=Tyyppi ERROR=Normal LINK=LOG Parameter Estimate s.e. z Asukaslu ?? Asukasmu Tulotaso Veropros Korkeako Naisteno Lastenos Seniorei Ulkomaal I Malin yhtälö on: Y= *Asukaslu *Asukasmu *Tulotaso *Veropros *Korkeako *Naisteno *Lastenos *Seniorei *Ulkomaal Sipoon tyypin ennuste: Y= * * * * * * * * * = e Y = = > 2 Malli siis ennustaa Sipoon olevan taajaan asuttu kunta, eli ennustus osuu oikeaan. MONIULOTTEINEN LOGISTINEN REGRESSIOANALYYSI (POISSON REGRESSIO) Alla on Helsingin taloja käsittelevälle aineistolle ajettu moniulotteinen logistinen regressioanalyysi, jossa selitettävänä muuttujana on MP= maan päällisten kerrosten lukumäärä. Selittävät muuttujat ovat: käyttöönottovuosi, tilavuus, kerrospinta-ala, asuinpinta-ala, asuntojen lukumäärä ja asukkaiden lukumäärä. Mallissa on yksi ei-merkitsevä selittäjä, ASYHT=asukkaiden yhteislukumäärä. Data HESA: Deviance= df=1222 Yvariate=MP ERROR=Normal LINK=LOG Parameter Estimate s.e. z KAVU TILAV KERALA ASHALA ASLKM ASYHT I Mallin yhtälö on: Y= *KAVU *TILAV *KERALA *ASHALA *ASLKM *ASYHT Vanhimman talon ennuste on: Y= * * * * * * = e Y = = > 5 Malli siis ennustaa talossa olevan 5 maanpäällistä kerrosta. Todellisuudessa niitä on 3. 11

12 EROTTELUANALYYSI Halutaan erotella Tyyppiarvot neljään taittajakauteen: alkuajat (musta), Kallen kausi (punainen), Hessun kausi (vihreä) ja nykyaika (sininen). Tyyppiarvot eroteltuna taittajien suhteen D2 V&L MV KK KK MV KK TLKK P&N KK KK MV L&M L&M PT JL HR HR PP P&T PT M&T M&S KT L&M&S P&T PT M&B PP L&M H&H Oheisessa kuvaajassa erottelu onnistuu täydellisesti, koska yhtenä luokittelijana on lehden ilmestymisvuosi. D Eig.val. % Can.corr Chi^2 df P D1 Discriminator_loadings /// %1 %2 %3 KORK LEV PAINO SIVUT ARTIK TOIM JUTUT KIRJ NAIS PIIR VALO TAUL GRAF KAAV VUOSI MATRIX DISCRXR.M Correlations_variables_and_discriminators /// Discr1 Discr2 Discr3 KORK LEV PAINO SIVUT ARTIK TOIM JUTUT KIRJ NAIS PIIR VALO TAUL GRAF KAAV VUOSI Tyyppiarvot eroteltuna taittajien suhteen D MV H&H K TL KK P&N KK KK KK KK V&L MV MV M&B M&S PP L&M M&T KT PP PT HR M&S M&S PT P&T P&T HR L&M PT JL L&M L&M KK MV Tässä aidompi tilanne, kun ilmestymisvuosi ei ole selittäjänä. Nykyaika on helposti eroteltavissa ja alkuaikakin saadaan eroteltua varsin hyvin. D Eig.val. % Can.corr Chi^2 df P MATRIX DISCRL.M D1 MATRIX DISCRL.M Discriminator_loadings /// %1 %2 %3 KORK LEV PAINO SIVUT ARTIK TOIM JUTUT KIRJ NAIS PIIR VALO TAUL GRAF KAAV MATRIX DISCRXR.M Correlations_variables_and_discriminators /// Discr1 Discr2 Discr3 KORK LEV PAINO SIVUT ARTIK TOIM JUTUT KIRJ NAIS PIIR VALO TAUL GRAF KAAV

13 MONIULOTTEINEN VARIANSSIANALYYSI (MANOVA) ANOVA Normaali yksisuuntainen varianssianalyysi, kun halutaan selvittää poikkeavatko eri taittajaaikakausien lehdet toisistaan tilastollisen sisällön osalta: (TIL=kuvaajat+taulukot+kaavat) ANALYSIS OF VARIANCE Results for dependent variable TIL: Means and deviations Total Means Deviations N of obs One-way fixed effects analysis of variance Source sum of squares df mean squares Between groups Within groups Total F test for equality of means: F-value = It equals the 80.37% point of the F(3, 87) distribution. Risk of rejecting the nullhypothesis, when true, is Test for equality of means without assuming equal group variances: Brown-Forsythe statistic = with df 3 and Appr. risk of rejecting the null hypothesis, when true, is H 0 : µ A =µ K =µ H =µ N H 1 : µ i µ j, kun i j,eli odotusarvot ovat ryhmissä samat,eli ainakin yksi odotusarvo poikkeaa Koska p-arvo 0.196>0.05, niin H 0 jää voimaan, eli taittajakaudet eivät poikkea toisistaan. MANOVA Moniulotteinen varianssianalyysi, kun testataan poikkeavatko taittajakausien odotusarvovektorit toisistaan. Vektorin komponentit ovat kaavojen, taulukoiden ja kuvaajien lukumäärät. MULTIVARIATE ANALYSIS OF VARIANCE TESTS FOR THE L EFFECTS: Criterion test value parameters p-value Wilk's lambda , 3, 87 Rao's f-appr , Barlett's chi-square appr Lawley-Hotelling T0** Barlett-Nanda-Pillai trace Roy's largest root H 0 : µ A =µ K =µ H =µ N H 1 : µ i µ j, kun i j,eli odotusarvovektorit ovat ryhmissä samat,eli ainakin yksi odotusarvovektori poikkeaa Käytetään testauksessa Wilksin λ n F-jakauma-approksimaatiota. Koska p-arvo <0.05, niin H 0 kaatuu, eli ainakin joku taittajakausista poikkeaa. 13

14 Mahdollisia jatkotoimenpiteitä, kun nollahypoteesit kaatuvat: Normaalien yksiulotteisten varianssianalyyisen tulokset edellisessä tilanteessa ovat: Univariate tests Variable F-statistics df p-value KAAV TAUL GRAF Näistä testeistä näemme, että kuvaajien määrät poikkeavat (0.0025<0.05), mutta kaavojen (0.2590>0.05) ja taulukoiden (0.1139>0.05) määrät eivät poikkea taittajakausien välillä. HOTELLINGIN T 2 -testi Toinen asia mitä voidaan testata on, mitkä taittajakaudet poikkeava toisistaan. Siihen voi käyttää Hotellingin T 2 -testiä. Verrataan odotusarvovektoreita toisiinsa pareittain. H 0 : µ A =µ K H 1 : µ A µ K Hotelling's two-sample test for equality of mean vectors: T2= p=3 n1=14 n2=17 P1= Koska havaittu p-arvo 0.206>0.05, niin H 0 jää voimaan. H 0 : µ A =µ H H 1 : µ A µ H Hotelling's two-sample test for equality of mean vectors: T2= p=3 n1=14 n2=40 P1= Koska havaittu p-arvo 0.275>0.05, niin H 0 jää voimaan. H 0 : µ A =µ N H 1 : µ A µ N Hotelling's two-sample test for equality of mean vectors: T2= p=3 n1=14 n2=20 P1= Koska havaittu p-arvo <0.05, niin H 0 kaatuu. H 0 : µ K =µ H H 1 : µ K µ H Hotelling's two-sample test for equality of mean vectors: T2= p=3 n1=17 n2=40 P1= Koska havaittu p-arvo >0.05, niin H 0 jää voimaan. H 0 : µ K =µ N H 1 : µ K µ N Hotelling's two-sample test for equality of mean vectors: T2= p=3 n1=17 n2=20 P1= Koska havaittu p-arvo <0.05, niin H 0 kaatuu. H 0 : µ H =µ N H 1 : µ H µ N Hotelling's two-sample test for equality of mean vectors: T2= p=3 n1=40 n2=20 P1= Koska havaittu p-arvo <0.05, niin H 0 kaatuu. Näemme siis, että taittajakausista nykyaika poikkeaa kaikista muista. Muut taittajakaudet eivät poikkea näiden muuttujien lineaarikombinaatioiden suhteen. Koska tässä testattiin useita hypoteesejä samoista muuttujista, niin tulisi käyttää jotain korjausmenetelmää vertailuarvoja valittaessa. Esimerkiksi voisi käyttä Bonferronikorjausta, jolloin havaittu merkitsevyystaso olisi 0.05/6= Tällöin kaatuisi vain Kalle vs. Nykyaika. Bonferroni-korjausta parempia korjausmenetelmiä on olemassa. 14