TAMPEREEN TEKNILLINEN YLIOPISTO Teknis-luonnontieteellinen osasto Miika Huikkola Insinöörimatematiikan opiskelijoiden menestyksen ja opiskeluorientaatioiden analysointi erotteluanalyysillä ja GUHA-tiedonlouhintamenetelmällä Diplomityö Aihe hyväksytty osastoneuvoston kokouksessa 8.6.2005 Tarkastajat: Professori Seppo Pohjolainen Professori Esko Turunen Erikoistutkija Kirsi Silius
Alkusanat Olen tehnyt tämän diplomityön Tampereen teknillisen yliopiston Matematiikan laitoksella. Työni aihe yhdisti kiinnostavalla tavalla kaksi sydäntäni lähellä olevaa asiaa - matematiikan ja opetuksen. Työni hyvästä ohjauksesta tahdon kiittää professori Seppo Pohjolaista, professori Esko Turusta ja erikoistutkija Kirsi Siliusta. Lisäksi tahtoisin kiittää Matematiikan laitoksen opetushenkilökuntaa erinomaisesta opetuksesta näiden neljän opiskeluvuoden aikana. Kiitos myös muulle Matematiikan laitoksen ja Hypermedialaboratorion henkilökunnalle loistavasta työilmapiiristä. Lisäksi tahdon kiittää vanhempiani opintojeni tukemisesta ja Marikalle lämmin kiitos itseni tukemisesta ja kieliasun huollosta. Kiitos kuuluu myös kaikille opiskelukavereille - teidän ansiostanne opiskelu oli myös hauskaa. Tuomakselle toivotan onnea opintojensa alkutaipaleelle. Kiitos myös teille kaikille muille, jotka olette olleet mukana elämäni eri käänteissä - tämä on niistä yksi. Tampereella 6. syyskuuta 2005 Miika Huikkola Kissanmaankatu 22 B 35 33530 Tampere ii
Tiivistelmä TAMPEREEN TEKNILLINEN YLIOPISTO Teknis-luonnontieteellinen osasto Matematiikan laitos Huikkola, Miika: Insinöörimatematiikan opiskelijoiden menestyksen ja opiskeluorientaatioiden analysointi erotteluanalyysillä ja GUHA-tiedonlouhintamenetelmällä Diplomityö, 87 sivua, lisäksi 26 sivua liitteitä Tarkastajat: Professori Seppo Pohjolainen, professori Esko Turunen ja erikoistutkija Kirsi Silius Rahoitus: Matematiikan laitos Syyskuu 2005 Teknillisellä alalla matematiikka luo pohjan sekä opiskelulle, että usealle ammattiaineelle. Suomessa diplomi-insinöörikoulutukseen otetaan suhteellisen suuria määriä opiskelijoita ja joidenkin lähtötaso matematiikan taidoissa sekä opiskelutottumuksissa ei ole yliopistokoulutuksen edellyttämällä tasolla. Jotta opetusta voidaan kehittää vastaamaan näitä haasteita, tarvitaan tietoa opiskelijoiden suuntautumisesta opiskeluun - opiskeluorientaatioista. Tämä tutkimus on osa Matematiikan laitoksen ja Hypermedialaboratorion matematiikan opetuksen kehittäminen -tutkimusta. Lähtökohtana tutkimukselle on 860:lle Insinöörimatematiikka 1 kurssin syksyllä 2004 aloittaneelle opiskelijalle teetetty kysely. Tämän kyselyn sekä opiskelijoiden kurssimenestyksen perusteella on tässä tutkimuksessa tarkoitus kartoittaa opiskelijoiden kurssimenestykseen yhteydessä olevia opiskeluorientaatioita. Kyselystä ja opiskelijoiden kurssisuoritukseen liittyvistä tiedoista muodostettuun aineistoon sovellettiin GUHA-tiedonlouhintamenetelmää ja erotteluanalyysiä. Erotteluanalyysin päätuloksena saatiin lopulta kolme menestystä erottelevaa orientaatiota - yrittävä merkityssuuntautuminen, omistautumaiii
0. Tiivistelmä ton pintasuuntautuminen ja välineellinen orientaatio. GUHA-menetelmällä saadut tulokset toivat esille epävarmuuden ja kritiikittömän suhtautumisen yhteyden heikkoon kurssimenestykseen. Sen sijaan itsevarmuus ja motivaatio ovat yhteydessä hyvään kurssimenestykseen. Tuloksien käyttö opetuksen kehittämiseen painottuvat opiskelijan oman aktiivisuuden, itsetunnon ja motivaation nostamiseen. Vaikka nämä seikat ovat opiskelijasta itsestään lähtöisiä, on opettajan niihin mahdollista myös yliopistotasolla vaikuttaa. Opiskelijoiden aktivointi sekä itsevarmuuden terve tukeminen on mahdollista tekemällä opetuksesta henkilökohtaisempaa ja ohjatumpaa niille, jotka sitä tarvitsevat ja haluavat. iv
Abstract TAMPERE UNIVERSITY OF TECHNOLOGY Department of science and engineering Institute of mathematics Huikkola, Miika: Students performance and learning orientations. Application of discriminant analysis and GUHA data mining method Master of Science thesis, 87 pages and 26 pages in appendices Examiners: Professor Seppo Pohjolainen, professor Esko Turunen and senior researcher Kirsi Silius Funding: Institute of mathematics September 2005 In the branch of engineering mathematics creates a basis for studying and a number of vocational subjects. A relatively high amount of students are selected into M.Sc. training programmes and some of them do not have high enough level in mathematical skills and ways of studying. To improve teaching to face with these challenges, some information is needed about learning orientations. This research is a part of research concerning improvement in mathematics teaching which is being researched in Institute of mathematics and Hypermedia laboratory. Starting point for a study is a questionnaire which was answered by 860 students. These students had started Engineering mathematics 1 course in the autumn 2004. By the answers of this questionnaire and the information of each students performance concernig the course, this study aims at finding out learnig orientations which are interrelated with course performance. The data was formed out of questionnaire results and information related to course performance. Discriminant analysis and GUHA data minig method were applied to data. As a main result of discriminant analysis three different v
0. Abstract learning orientations were found. These orientations were willing meaning directed orientation, uninterested surface orientation and instrumental orientation. The results obtained by GUHA method showed the connection of insecurity and non-critical attitude with low course performance. Furthermore self-confidence and motivation had connection with higher course performance. Using the results to improve mathematics teaching is directed at supporting students activity, self-esteem and motivation. Even though these concepts are very personal, teacher can have an influence - even at university. Activating and supporting self-confidence is possible by customizing more personal and more guided teaching for students who need it and want it. vi
Sisältö i Alkusanat Tiivistelmä Abstract ii iii v Merkinnät 1 1 Johdanto 4 2 Lineaarialgebraa ja tilastomatematiikkaa 6 2.1 Lineaarialgebra.......................... 6 2.1.1 Vektorit ja matriisit................... 6 2.1.2 Lohkomatriisit...................... 10 2.2 Tilastomatematiikkaa....................... 12 2.2.1 Tilastollisia peruskäsitteitä................ 14 2.2.2 Estimaateista....................... 16 2.2.3 Jakaumia......................... 17 2.2.4 Tilastollinen testaus................... 19 2.2.5 Erotteluanalyysissä käytettäviä matriiseja....... 20 vii
Sisältö 3 Erotteluanalyysi 22 3.1 Menetelmän pääpiirteet..................... 22 3.2 Erotteluanalyysin teoriaa..................... 23 3.3 Erotteluanalyysin käsitteitä................... 28 3.4 Erotteluanalyysin toiminta.................... 30 3.5 Askeltava erotteluanalyysi.................... 30 4 Erotteluanalyysin testisuureet 33 4.1 Wilksin lambda.......................... 33 4.1.1 Wilksin lambda ryhmien keskiarvojen eron testisuureena 33 4.1.2 Wilksin Lambda erottelufunktioiden merkitsevyyden testisuureena....................... 35 4.2 Boxin M-testisuure........................ 36 5 GUHA-tiedonlouhinta 38 5.1 Yleistä tiedonlouhinnasta..................... 38 5.2 GUHA-menetelmän teoriaa................... 38 5.3 Esimerkki GUHA-menetelmästä................. 44 5.4 GUHA-menetelmä käytännössä................. 47 6 Opiskeluorientaatiot 51 6.1 Käsitteitä............................. 51 6.2 Aikaisempia tutkimuksia..................... 54 7 Aineiston kuvaus ja tutkimuksen lähtökohdat 57 7.1 Aineiston kuvaus......................... 57 7.2 Tutkimuskysymys ja hypoteesi.................. 58 viii
Sisältö 8 GUHA-menetelmän soveltaminen aineistoon 59 8.1 Samankaltaisten muuttujien etsiminen............. 59 8.2 Huonoon ja hyvään opiskelumenestykseen vaikuttavia tekijöitä 61 9 Erotteluanalyysin soveltaminen aineistoon 65 9.1 Askeltava erotteluanalyysi.................... 65 9.2 Kuvaileva erotteluanalyysi aineistolle.............. 67 9.3 Ennustava erotteluanalyysi.................... 71 10 Luotettavuuden arviointi 74 10.1 GUHA-menetelmän luotettavuus................ 74 10.2 Erotteluanalyysin luotettavuus.................. 75 11 Tulosten analysointi 77 12 Johtopäätökset 80 12.1 Erotteluanalyysin ja GUHA-menetelmän päätulokset..... 80 12.2 Didaktiset muutokset ja rakenteellinen kehittäminen...... 81 12.3 Tutkimuksen jatkaminen..................... 82 13 Yhteenveto 84 Liite 1 88 Liite 2 97 Liite 3 101 Liite 4 110 Liite 5 113 ix
Merkinnät DA GUHA LISp-Miner MDA SPSS TTY Erotteluanalyysi (Discriminant analysis) Tiedonlouhintamenetelmä General Unary Hypotheses Automation Tiedonlouhintasovellus Laboratory of Intelligent Systems Prague Monen ryhmän erotteluanalyysi (yli kaksi ryhmää) Tilasto-ohjelmisto, valmistaja SPSS inc. Tampereen teknillinen yliopisto 1
Sisältö 0 Nollavektori 1 Ykkösvektori [1, 1,..., 1] T Jokaisella-kvanttori a, b, c, d Nelikenttään liittyvät luvut (GUHA) A B Joukkojen A ja B karteesinen tulo A T Matriisin A transpoosi A 1 Matriisin A inverssi AC Matriisien A ja C matriisitulo Likimain yhtäsuuri kuin << Selvästi pienempi kuin := Määritellään siten että B Ryhmien välisen systemaattisen vaihtelun momenttimatriisi C Kompleksilukujen joukko d : A B Kuvaus d joukolta A joukolle B det(a), A Matriisin A determinantti E(x) Satunnaismuuttujan x odotusarvo Olemassaolo-kvanttori Sisältyminen f(x) Satunnaismuuttujan x tiheysfunktio FALSE Totuusarvo EPÄTOSI f(x) Funktion f gradientti g Ryhmien lukumäärä (erotteluanalyysi) H 0 Nollahypoteesi H 1 Nollahypoteesin negaatio I Yksikkömatriisi λ Ominaisarvo λ i i:nneksi suurin ominaisarvo L n Havaintopredikaattikieli ln(x) Luonnollinen logaritmi luvusta x \ Joukko-opillinen vähennys N Luonnollisten lukujen joukko {0, 1, 2,...} n Otosvektoreiden lukumäärä (erotteluanalyysi) n r Ryhmän R r alkioiden lukumäärä (erotteluanalyysi) ν(h) Väitteen H totuusarvo Tyhjä joukko Ω Otosavaruus φ, ψ Kaavoja (GUHA) p Satunnaismuuttujan dimensio (erotteluanalyysi) p(a) Tapahtuman A todennäköisyys 2
Sisältö R R n R 1,..., R g σ 2 S S S i Σ f(x)dx T TRUE W i W x x x i Reaalilukujen joukko Reaalinen n-ulotteinen vektoriavaruus Ryhmiä Varianssi Tapahtumien joukko Otoskovarianssimatriisi Ryhmän R i otoskovarianssimatriisi Summa Kovarianssimatriisi Funktion f(x) Riemann-integraali Kokonaisvaihtelun momenttimatriisi Totuusarvo TOSI Yhdiste Leikkaus Ryhmän R i sisäisen vaihtelun momenttimatriisi Yhdistetyn sisäisen vaihtelun momenttimatriisi Satunnaismuuttuja Otoskeskiarvo Ryhmän R i otoskeskiarvo 3
Luku 1 Johdanto Tutkimuksen lähtökohtana on Tampereen teknillisen yliopiston matematiikan laitoksen syksyllä 2004 teettämä kysely opintojakson insinöörimatematiikka 1 opiskelijoille. Opiskelijat olivat pääsääntöisesti opintonsa aloittaneita ensimmäisen vuosikurssin opiskelijoita. Kysely tehtiin silmälläpitäen opiskelijoiden opiskeluorientaatioiden kartoitusta. Insinöörimatematiikka 1:n opiskelijat muodostavat hyvän tutkimuskohteen, sillä kyseisen opintojakson suorittaa valtaosa kaikista TTY:n opiskelijoista. TTY:n matematiikan laitos on aiemmin tehnyt opiskeluorientaatioden kartoitusta perusmatematiikan opiskelijoille. Perusmatematiikka on lyhyen matematiikan lukiossa suorittaneille TTY:n opiskelijoille suunnattu opintojakso. Tästä on tehnyt diplomityönsä Minna Honkiniemi, saaden tuloksena kuusi eri opiskeluorientaatioryhmää. Lisäksi Pekka Männistö on tehnyt klusterianalyysiä soveltaen kartoituksen tietotekniikan koulutusohjelman vuonna 2003 insinöörimatematiikka 1 opintojakson aloittaneiden opiskelijoiden opiskeluorientaatioista. Tutkimukseeni liittyy myös Heli Raassinan diplomityö, joka koskee tiettyjä insinöörimatematiikan opiskelijoita, jotka on teetetyn lähtötasotestin perusteella valittu harjoittelemaan matematiikan perustaitoja. Tämän tutkimuksen tavoitteena on tutkia kahta menetelmää ja niitä mahdollisesti yhdessä käyttäen saada kohderyhmä luokiteltua opiskeluorientaatioryhmiin, sekä löytää opiskelumenestykseen vaikuttavia tekijöitä. Tulevan tutkimuksen kannalta yksi tehtävä on myös poimia kysymysjoukosta niitä kysymyksiä, jotka ovat tietyssä mielessä parhaita sisällyttää myös tulevaan opiskelijoille teetettävään kyselyyn. Viimeinen vaihe tässä tutkimuksessa koostuu datan analysoinnin johtopäätöksistä ja pohdiskelusta, kuinka orientaatioryhmiin jakoa ja mahdollisesti muuta tutkimuksessa ilmenevää tietoa voidaan 4
1. Johdanto hyödyntää TTY:n opetuksen kehittämisessä. Tämän työn luvuissa 2-5 esitellään tutkimuksessa käytettyjen tilastollisten menetelmien taustalla oleva matemaattinen teoria, luvussa 6 esitellään ja määritellään kasvatustieteen käsitteitä, joita tässä työssä tarvitaan. Luvussassa 7 kuvataan käytetty aineisto ja selvitetään tutkimuksen lähtökohdat. Luvut 8 ja 9 keskittyvät esiteltyjen kahden menetelmän soveltamiseen luvussa 7 esiteltyyn aineistoon. Luvussa 10 pohditaan tutkimuksen luotettavuutta ja luvut 11, 12 ja 13 kokoavat tutkimustulokset vaiheittain yhteen. 5
Luku 2 Lineaarialgebraa ja tilastomatematiikkaa 2.1 Lineaarialgebra Tämän osion tarkoituksena on määritellä tässä esityksessä käytetyt merkinnät sekä toimia viitteenä myöhemmin tulevalle erotteluanalyysin teorialle. 2.1.1 Vektorit ja matriisit Vektorin merkintänä käytetään tavallisesti lihavoitua pientä kirjainta esimerkiksi n-vektori a R n ja matriisin merkintänä isoa kirjainta esimerkiksi n p-matriisi A R n p tai p p-matriisi Σ R p p. Matriisi voidaan ajatella taulukkona, jonka komponentit ovat reaalilukuja. Kirjoitetaan matriisi A R n p taulukkomuodossa: a 11 a 12... a 1p a 21 a 22... a 2p A =..... a n1 a n2... a np Reaalilukua a ij kutsutaan matriisin A ij:nneksi alkioksi. 6
2. Lineaarialgebraa ja tilastomatematiikkaa Vektorilla tarkoitetaan niin sanottua pystyvektoria, jonka voidaan ajatella olevan matriisin yksi sarake. Esimerkiksi vektoriavaruuden R n vektori a 1 a 2 a =. a n on pystyvektori, jonka i:s komponentti on reaaliluku a i, i = 1, 2,..., n. Vektori a on n 1-matriisi. Transpoosi Matriisin A R m n transpoosia merkitään A T ja se määritellään siten, että jos a 11 a 12... a 1n a 21 a 22... a 2n A =...., a m1 a m2... a mn niin a 11 a 21... a m1 A T a 12 a 22... a m2 =..... a 1n a 2n... a mn Symmetrisyys Määritelmä 2.1.1. Matriisi A on symmetrinen jos A T = A. Matriisitulo Olkoon A = a 11 a 12... a 1n a 21 a 22... a 2n.... a m1 a m2... a mn 7
2. Lineaarialgebraa ja tilastomatematiikkaa ja B = b 11 b 12... b 1p b 21 b 22... b 2p.... b n1 b n2... b np. Matriisien A R m n ja B R p m välinen matriisitulo määritellään siten, että tulomatriisin C = AB ij:s alkio c ij saadaan kaavasta c ij = n a ik b kj. k=1 Matriisin definiittisyys Määritelmä 2.1.2. Symmetrinen matriisi A on positiivisesti definiitti, jos kaikilla nollavektorista eroavilla vektoreilla x R n on voimassa x T Ax > 0. Määritelmä 2.1.3. Symmetrinen matriisi A on positiivisesti semidefiniitti, jos kaikilla nollavektorista eroavilla vektoreilla x R n on voimassa x T Ax 0. Matriisin determinantti Neliömatriisin A R n n determinanttia merkitään A tai det(a), det : R n n R. Kokoa 1 1 olevan matriisin determinantti on matriisin ainoa alkio a 11. Ennen determinantin määritelmää, otetaan käyttöön käsitteet alimatriisi ja kofaktori. Määritelmä 2.1.4. Olkoon A n n matriisi ja olkoon M ij matriisi, joka saadaan, kun matriisista A poistetaan i:s rivi ja j:s pystyrivi. Tällöin M ij on matriisin A ij:s alimatriisi. Määritelmä 2.1.5. Olkoon M ij matriisin A i, j:s alimatriisi. Matriisin ij:s kofaktori A ij on tällöin A ij = ( 1) i+j M ij. 8
2. Lineaarialgebraa ja tilastomatematiikkaa Määritelmä 2.1.6. Matriisin A R n n determinantti määritellään seuraavasti: n A = det(a) = a 1k A 1k, missä a ij on matriisin A ij:s alkio ja A ij on matriisin A ij:s kofaktori. [7] Matriisitulon determinantilla on voimassa: AB = A B kaikille n n-matriiseille A ja B. k=1 Matriisin inverssi Neliömatriisin A R n n inverssiä merkitään A 1. Inverssi on olemassa jos ja vain jos det(a) 0. Tällöin pätee aina A 1 A = I = AA 1. Vektoria, jonka kaikki alkiot (n kpl) ovat ykkösiä, merkitään lihavoidulla ykkösellä 1 R n : 1 1 = 1.. 1 Vastaavasti vektoria, jonka kaikki alkiot ovat nollia, merkitään 0 0 = 0.. 0 9
2. Lineaarialgebraa ja tilastomatematiikkaa 2.1.2 Lohkomatriisit Matriisi voidaan muodostaa myös lohkomatriisina eli kirjoittamalla matriisimuotoon alkioiksi muita matriiseja. Esimerkiksi matriisi L = voidaan kirjoittaa muodossa 1 1 1... 1 1 a 11 a 12 a 1n..... 1 a n1 a n2 a nn 1 b 11 b 12 b 1n..... 1 b n1 b n2 b nn L = 1 1 T 1 A 1 B, missä 1 R n. Olkoon neliömatriisi L R n n esitetty seuraavasti lohkomatriisina: [ A B L = C D missä A R q q, B R q p, C R p q ja D R p p. Lisäksi luonnollisille luvuille p, q ja n pätee n = p + q. Mikäli A 1 on olemassa, niin tällöin matriisin L determinantti voidaan esittää seuraavasti: ], L = A D CA 1 B (2.1) Todistus: Esitetään matriisi ensin kolmen matriisin matriisitulona [ ] [ ] [ ] [ A B A 0 I 0 I A L = = 1 B C D 0 I C D CA 1 B 0 I Koska lohkokolmiomatriisin determinantti on sen diagonaalimatriisien determinanttien tulo [1], saadaan matriisitulon determinantin tulosäännön mukaan L = A D CA 1 B. 10 ].
2. Lineaarialgebraa ja tilastomatematiikkaa Ortonormaalisuus Määritelmä 2.1.7. Vektorit a ja b ovat ortogonaaliset jos a T b = 0. Määritelmä 2.1.8. Vektori a on normeerattu jos a T a = 1. Määritelmä 2.1.9. Vektorijoukko {u 1, u 2,..., u n } on ortonormaali jos u T i u j = 0 kaikilla i j ja u T i u i = 1 kaikilla i = 1, 2,..., n. Mikä tahansa vektori v 0 voidaan normeerata seuraavasti: v 0 = v vt v Tällöin v 0 on normeerattu vektori, jolla on sama suunta kuin vektorilla v. Ominaisarvoista Matriisin A R n n ominaisarvot ovat yhtälön ratkaisut λ C. Ax = λx, x 0 (2.2) Tietyllä ratkaisulla λ 0 vektorit x ovat ominaisarvoon λ 0 liittyviä ominaisvektoreita. Yhtälölle (2.2) voidaan johtaa ekvivalentteja muotoja kulloisenkin käyttötarpeen mukaan. Siirtämällä termi λx = λix vasemmalle puolelle ja käyttämällä matriisitulon osittelulakia, saadaan yhtälön (2.2) kanssa yhtäpitävä muoto (A λi)x = 0. (2.3) Koska lineaarisella homogeenisella yhtälöryhmällä Bx = 0 on nollavektorista eroava ratkaisu jos ja vain jos matriisin B determinantti on nolla, niin yhtälön (2.3) kanssa yhtäpitävä on myös yhtälö A λi = 0. (2.4) Yhtälöstä (2.4) voidaan ratkaista ominaisarvot, ja yhtälöstä (2.3) edelleen ominaisvektorit. Matriisi on positiivisesti definiitti jos ja vain jos sen ominaisarvot ovat positiivisia. Matriisi on positiivisesti semidefiniitti jos ja vain jos sen ominaisarvot ovat ei-negatiivisia. 11
2. Lineaarialgebraa ja tilastomatematiikkaa 2.2 Tilastomatematiikkaa Tässä kappaleessa lähteenä ovat teokset [22], [12] [15]. Satunnaisilmiöllä tarkoitetaan reaalimaailman ilmiötä, jonka lopputulosta ei voida päätellä sen alkutilasta. [14] Havaittua satunnaisilmiötä kutsutaan satunnaiskokeen tulokseksi eli alkeistapaukseksi. Koska reaalimaailmassa satunnaisilmiöitä on ääretön määrä, rajoitutaan tilastomatematiikassa tiettyihin satunnaisilmiöihin. Kaikkien mahdollisten alkeistapausten muodostamaa joukkoa kutsutaan otosavaruudeksi Ω. Otosavaruuden Ω osajoukkoa kutsutaan tapahtumaksi. Merkitään kaikkien tapahtumien muodostamaa joukkoa symbolilla S. Kolmikko (Ω, S, p) on todennäköisyysavaruus. jos seuraavat kolme vaatimusta ovat voimassa: 1) Otosavaruus Ω on ei-tyhjä joukko. 2) Joukko S on σ-algebra eli toteuttaa seuraavat aksioomat: Ω S (2.5) A S Ω \ A S (2.6) A 1, A 2,... S i A i S. (2.7) 3) Kuvaus p : S R toteuttaa seuraavat aksioomat: 0 p(a) 1 kaikilla tapahtumilla A S (2.8) Jos A 1, A 2,... S ja A i A j = kun i j, (2.9) niin p( i A i ) = i p(a i ) Kuvausta p kutsutaan todennäköisyydeksi. p(ω) = 1. (2.10) Määritelmä 2.2.1. Kuvaus x : Ω R n, n 1 (merkitään lyhyemmin x R n ), joka liittää vektorin x i = x(ω i ) jokaiseen otosavaruuden alkioon ω i on satunnaismuuttuja. 12
2. Lineaarialgebraa ja tilastomatematiikkaa Jos satunnaismuuttujasta johdetaan jokin muu satunnainen olio kuin vektori (esimerkiksi matriisi), niin tällöin puhutaan satunnaissuureesta. Koetoistoilla tarkoitetaan reaalimaailmassa tehtyjä havaintoja satunnaismuuttujan arvoista. Satunnaismuuttujan arvoja kutsutaan realisaatioiksi, otosvektoreiksi tai havainnoiksi. Koetoistoja indeksoidaan i:llä ja oletetaan, että koetoistoja tehdään aina numeroituva määrä, joten indeksoinniksi voidaan aina valita i = 1, 2, 3,... Koetoistoa i vastaava alkeistapahtuma on ω i ja tätä alkeistapahtumaa vastaava satunnaismuuttujan x arvo on x i = x(ω i ). Havaittujen otosvektoreiden joukkoa kutsutaan otokseksi. Satunnaismuuttuja x R n on jatkuva, jos sen ylinumeroituva arvojoukko on joko R n :n osaväli tai välien yhdiste ja satunnaismuutuja voi saada minkä tahansa arvon arvojoukostaan. [15] Avaruuden R n suljettu osaväli määritellään karteesisena tulona [a 1, b 1 ]... [a n, b n ]. Vastaavasti avoin osaväli määritellään (a 1, b 1 )... (a n, b n ). Olkoon satunnaismuuttujan x R n realisaatio x(ω) jaettu seuraavasti: x 1 (ω) x 2 (ω). x n (ω) = x 1 (ω) x 2 (ω). x p (ω). x p+q (ω) = [ xp (ω) x Q (ω) missä x P : Ω R p, x Q : Ω R q ja n = p + q. Tällöin sanotaan, että satunnaismuuttujat x P R p ja x Q R q ovat samassa kokeessa realisoituvia satunnaismuuttujia. ], 13
2. Lineaarialgebraa ja tilastomatematiikkaa 2.2.1 Tilastollisia peruskäsitteitä Tiheysfunktio Jos jatkuva satunnaismuuttuja x R p käyttäytyy riittävän säännöllisesti, voidaan tapahtumaan A S liittyvä todennäköisyys kuvata tiheysfunktion f : S R : x f(x) avulla siten, että p(a) = f(x)dx. A Tästä eteenpäin oletetaan, että satunnaismuuttujalla on aina olemassa tiheysfunktio. Tilastollinen riippumattomuus Määritelmä 2.2.2. Olkoon satunnaismuuttujalla x R p tiheysfunktio f(x), joka on määritelty koko avaruudessa R p. Olkoon x 1 x 2 x =.. x k Satunnaismuuttujat x i R n i (i = 1, 2,..., k) ja k i=1 n i = p ovat tilastollisesti riippumattomat jos tiheysfunktio f(x) voidaan esittää osamuuttujien tiheysfunktioiden f 1,..., f k tulona: f(x) = f 1 (x 1 )f 2 (x 2 )...f k (x k ). Satunnaismuuttujan odotusarvo Määritelmä 2.2.3. Olkoon x R p satunnaismuuttuja, jonka tiheysfunktio on f(x). Matriisiarvoisen funktion G(x) : R p R m m odotusarvo määritellään E(G(x)) = G(x)f(x)dx. R p Odotusarvo on olemassa jos yllämainittu integraali on olemassa. Integraali lasketaan matriisista komponenteittain. 14
2. Lineaarialgebraa ja tilastomatematiikkaa Esimerkki 2.2.1. Erityisesti satunnaismuuttujan x odotusarvo saadaan seuraavasti E(x) = xf(x)dx. R p Kovarianssimatriisi Määritelmä 2.2.4. Kovarianssimatriisi kuvaa satunnaismuuttujan x R p jakaumaa ja se määritellään odotusarvon avulla seuraavasti: Σ = E((x E(x))(x E(x)) T ), mikäli tarvittavat odotusarvot ovat olemassa. Varianssi ja keskihajonta Varianssi on reaaliluku ja sillä tarkoitetaan yksiulotteisen satunnaismuuttujan kovarianssia. Varianssia merkitään σ 2. Keskihajonta on varianssin neliöjuuri ja sitä merkitään symbolilla σ. Korrelaatio Olkoon satunnaismuuttujan x = [x 1, x 2,..., x p ] T kovarianssimatriisi σ 11 σ 12... σ 1p σ 21 σ 22... σ 2p Σ =...... σ p1 σ p2... σ pp Reaalisten satunnaismuuttujien x i ja x j välinen korrelaatio määritellään tällöin kaavalla σ ij corr(x i, x j ) =. σii σii Korrelaatio on luku, joka kertoo kahden satunnaismuuttujan välisestä line- 15
2. Lineaarialgebraa ja tilastomatematiikkaa aarisesta yhteydestä. Positiivinen korrelaatio kertoo, että mikäli satunnaismuuttuja saa suurempia arvoja, niin myös toinen satunnaismuuttuja saa todennäköisesti suurempia arvoja. Negatiivinen korrelaatio taas kertoo yhteyden olevan päinvastaista. Korrelaation itseisarvon numeerisille arvoille on valittu seuraavat sanalliset tulkinnat: corr(x i, x j ) 0-0.3 0.3-0.6 0.6-0.8 0.8-1 Korrelaatio merkityksetön kohtalainen huomattava voimakas [24]. 2.2.2 Estimaateista Käytännön tilastomatematiikassa käytössä on vain otos, eikä satunnaismuuttujan todellisista ominaisuuksista ole tarkkaa tietoa. Niinpä täytyy määritellä otoksesta laskettavia estimaatteja tavallisimmille suureille. Seuraavassa käydään läpi näistä muutamia. Estimaattori on mielivaltaiselle otoskoolle käypä satunnaissuure, joka arvioi haluttua parametria ja on datamatriisin funktio. Käsitteellä estimaatti tarkoitetaan otoksesta laskettavaa numeerista arviota estimaattorille. [21] Parametrin θ (voi olla esimerkiksi skalaari, vektori, matriisi tai useampia näistä yhdessä) suurimman uskottavuuden estimaatti (maximum likelihood) ˆθ on otoksesta laskettava estimaatti, joka maksimoi uskottavuusfunktion L arvon otosvektoreilla x 1, x 2,..., x n L(x 1, x 2,...x n, θ) = f(x 1, θ)f(x 2, θ),..., f(x n, θ), missä f(x, θ) on satunnaismuuttujan x tiheysfunktio parametrein θ. Huomautus. Tyypillisesti estimoitavia parametreja ovat odotusarvo ja kovarianssimatriisi. Olkoon θ oikea parametrinarvo. Estimaattori ˆθ on harhaton jos E(ˆθ) = θ kaikilla mahdollisilla parametrinarvoilla θ ja otoksen suuruuksilla. Otoskeskiarvo Satunnaismuuttujan x odotusarvoa voidaan estimoida otoskeskiarvolla: x = 1 n x i = 1 n n XT 1. Otoskeskiarvo on harhaton estimaattori odotusarvolle. 16 i=1
2. Lineaarialgebraa ja tilastomatematiikkaa Otoskovarianssimatriisi Suurimman uskottavuuden estimaattori kovarianssimatriisille on S = 1 n (x i x)(x i x) T = 1 n n XT (I 1 n 11T )X. i=1 Kovarianssimatriisille estimaatti S u = 1 n (x i x)(x i x) T = 1 n 1 n 1 XT (I 1 n 11T )X on harhaton. i=1 2.2.3 Jakaumia Seuraavissa määritelmissä p 1 ja kaikki vapausasteet ovat luonnollisia lukuja. Normaalijakauma Määritelmä 2.2.5. Satunnaismuuttuja x R on normaalijakautunut jos sen tiheysfunktio on muotoa f(x) = 1 ] [ σ 2π exp (x µ)2 2σ 2 ja σ > 0. Tällöin merkitään x N(µ, σ 2 ). Ylläolevan normaalijakauman tapauksessa satunnaismuuttujan x odotusarvo on µ ja varianssi σ 2. Multinormaalijakauma Määritelmä 2.2.6. Satunnaismuuttuja x R p on multinormaalijakautunut kun sen tiheysfunktio on muotoa [ 1 f(x) = exp 1 ] (2π) p 2 det(σ) 2 (x µ)t Σ 1 (x µ), 17
2. Lineaarialgebraa ja tilastomatematiikkaa missä µ R p ja p p matriisi Σ on symmetrinen ja positiivisesti definiitti. Tällöin merkitään x N p (µ, Σ). Ylläolevan multinormaalijakauman tapauksessa satunnaismuuttujan odotusarvovektori on µ ja kovarianssimatriisi Σ. χ 2 -jakauma Määritelmä 2.2.7. Olkoon x R p ja x N p (0, I) tällöin satunnaismuuttuja u = x T x on χ 2 -jakautunut vapausastein p. Tällöin merkitään u χ 2 (p). Wishartin jakauma Wishartin jakaumaa voidaan pitää edellä esitetyn χ 2 -jakauman yleistyksenä, missä satunnaissuure on matriisi. Määritelmä 2.2.8. Olkoon satunnaismuuttujat z j R p, j = 1, 2,.., m riippumattomasti N p (0, Σ)-jakautuneet. Satunnaissuure Z = m j=1 zzt on tällöin Wishart-jakautunut vapausastein m. Tällöin merkitään Z W p (Σ, m). [11, s.174] Wilksin lambda-jakauma Määritelmä 2.2.9. Olkoon satunnaissuure A R p p Wishart-jakautunut vapausastein m 1 ja satunnaissuure B R p p Wishart-jakautunut vapausastein m 2 riippumattomasti A:sta. Tällöin suhde A A + B noudattaa Wilksin lambda-jakaumaa parametrein p, m 1 ja m 2. [11] 18
2. Lineaarialgebraa ja tilastomatematiikkaa F-jakauma Määritelmä 2.2.10. Olkoon samassa kokeessa realisoituvat satunnaismuuttujat x 1, x 2 R χ 2 -jakautuneita vapausastein n 1 ja n 2. Tällöin satunnaissuure F = n 2x 1 n 1 x 2 on F-jakautunut vapausastein n 1, n 2. Tällöin merkitään F F (n 1, n 2 ). Satunnaismuuttujan kertymäfunktio Määritelmä 2.2.11. Satunnaismuuttujan x R n kertymäfunktio on F, jos se toteuttaa yhtälön p({x x y}) = F (y) kaikilla vakiovektorin y R n arvoilla. Epäyhtälö x y tulkitaan komponenteittain. Kertymäfunktion tulkinta on, että se kertoo todennäköisyyden millä satunnaismuuttuja x saa annettua vakiovektoria y pienemmän tai yhtäsuuren arvon. Yleistetty varianssi Määritelmä 2.2.12. Olkoon satunnaismuuttujan x R n otoskovarianssimatriisi S. Tällöin satunnaismuuttujan x yleistetty varianssi on matriisin S determinantti S. 2.2.4 Tilastollinen testaus Hypoteesin testauksen periaatteena on tutkia, onko jokin väite mahdollinen annetussa tapauksessa. Testaus tapahtuu otoksen perusteella siten, että jos otos on merkittävästi ristiriidassa annetun hypoteesin negaation kanssa, voidaan hypoteesi hyväksyä. Hypoteesina voi olla esimerkiksi kahden ryhmän eli otosvektorijoukon otoksessa ryhmien kovarianssimatriisit ovat yhtäsuuret. 19
2. Lineaarialgebraa ja tilastomatematiikkaa Toinen esimerkki testattavasta hypoteesista voisi olla kahden ryhmän odotusarvot ovat erisuuret. Käytännön työssä nämä luonnollisesti muotoillaan matemaattisiksi väitteiksi. Testausta varten määritellään hypoteesista riippuen testisuure. Otoksesta lasketaan testisuureelle arvo, jonka perusteella hypoteesi joko hyväksytään tai hylätään. Testisuureen oletetaan noudattavan tunnettua jakumaa ja niin kutsuttu nollahypoteesi H 0 laaditaan siten, että sen ollessa tosi tämä jakauma tunnetaan. Testisuureen arvon ja tunnetun jakauman perusteella katsotaan sijoittuuko testisuureen arvo testisuureen jakauman harvinaiseen vai tavalliseen osaan. Jos testisuureen arvo on harvinaisella alueella, voidaan nollahypoteesi H 0 hylätä ja tämän negaatio H 1 ottaa käyttöön. Mikäli testisuureen arvo on tavallisella alueella, voidaan nollahypoteesin olettaa pätevän. Harvinaista aluetta kutsutaan kriittiseksi alueeksi. Kriittinen alue määräytyy kiinnitetyn p-arvon mukaan. Tämä p-arvo on tässä tutkimuksessa 0.1 ja tätä todennäköisyyttä vastaava osa testisuureen tiheysfunktion valitusta päästä määrää kriittisen alueen. Jos testisuureen suuret arvot ovat harvinaisia ja johtavat nollahypoteesin hylkäämiseen, on kriittinen alue jakauman oikealla hännällä ja testisuureen pienien arvojen ollessa harvinaisia vasemmalla hännällä. Jos testisuureen pienet ja suuret arvot johtavat nollahypoteesin hylkäämiseen, on kriittinen alue jakauman molemmilla hännillä. [14] 2.2.5 Erotteluanalyysissä käytettäviä matriiseja Olkoon aineistomme otos, jota kuvaa matriisi X 1 X 2 X =. Rn p, X g missä lohkomatriisi X r sisältää r:nteen ryhmään R r kuuluvat otosvektorit x ri ja on muodostunut seuraavasti: 20
2. Lineaarialgebraa ja tilastomatematiikkaa X r = x T r1 x T r2. x T rn r, missä r = 1,..., g ja luonnollinen luku n r > 0 on ryhmään R r kuuluvien otosvektoreiden lukumäärä. Toisin sanoen otoksen vektori x ri on r:nnen ryhmän i:ttä havaintoa satunnaismuuttujasta x. Merkitään r:nnen ryhmän otoskeskiarvoa x r. Seuraavissa määritelmissä yllä mainitut merkinnät ovat voimassa. Määritelmä 2.2.13. Havaintojen x ri kokonaisvaihtelun momenttimatriisi on g n r T = (x ri x)(x ri x) T. r=1 i=1 Määritelmä 2.2.14. Ryhmien X 1, X 2,..., X g välisen systemaattisen vaihtelun momenttimatriisi on g B = n r (x r x)(x r x) T. r=1 Määritelmä 2.2.15. Ryhmän X r sisäisen vaihtelun momenttimatriisi on n r W r = (x ri x r )(x ri x r ) T. i=1 Määritelmä 2.2.16. Kaikkien ryhmien yhdistetyn sisäisen vaihtelun momenttimatriisi on g W = W r. [16] r=1 Matriisit B ja W r ovat positiivisesti semidefiniittejä. Matriisi W on positiivisesti definiitti. Yllä määriteltyjä matriiseja T, B, W r ja W käytetään erotteluanalyysiin liittyvissä luvuissa. 21
Luku 3 Erotteluanalyysi Tässä luvussa lähteinä ovat pääsääntöisesti [13], [10] ja [6]. 3.1 Menetelmän pääpiirteet Erotteluanalyysi (discriminant analysis, DA) voidaan jakaa kahteen ryhmään, tavalliseen erotteluanalyysiin (DA) ja monen ryhmän erotteluanalyysiin (MDA). Tästä eteenpäin puhuttaessa erotteluanalyysistä, tarkoitetaan yleistä monen ryhmän erotteluanalyysiä, jonka erityistapaus tavallinen erotteluanalyysi luonnollisesti on. Erotteluanalyysin lähtökohta on datan jaottelu ensin tietyn jaottelusäännön avulla. Tämä jaottelu voisi esimerkiksi olla neljä ikäryhmää, alle 10- vuotiaat, 10-20-vuotiaat, 20-30-vuotiaat ja yli 30-vuotiaat. Tämän jälkeen pyritään muodostamaan erottelufunktio, joka erottelee mahdollisimman hyvin eri ryhmät ennustavien muuttujien avulla. Erottelufunktiota tai erottelufunktioita voidaan käyttää myöhemmin ryhmään ennustamiseen, jolloin puhutaan ennustavasta erotteluanalyysistä (PDA, predictive discriminant analysis). Toinen erotteluanalyysin muoto on niin sanottu kuvaileva erotteluanalyysi (DDA, descriptive discriminant analysis). Tämän menetelmän periaatteena on saada tietoa niistä muuttujien muodostamista kokonaisuuksista, jotka vaikuttavat ryhmien erilaisuuteen. Matemaattisen teorian kannalta nämä kummatkin tavat ovat samoja, mutta tulkinnallisesti puhutaan eri menetelmistä. [10] 22
3. Erotteluanalyysi 3.2 Erotteluanalyysin teoriaa Olkoon n:n kappaleen otos p + 1-vektoreita {z 1, z 2,..., z n }. Olkoon jokainen otosvektori muotoa z k = [y k x T k ]T. Erotteluanalyysi lähtee liikkeelle jaottelusta, eli otosvektoreiden jakamisesta ryhmiin, joukkoihin R 1,..., R g tietyllä kriteerillä. Kriteerin on oltava luonteeltaan sellainen, että yksikään otosvektori ei kuulu useampaan kuin yhteen luokkaan. Otosvektorin ensimmäistä komponenttia y, jonka perusteella jaottelu tapahtuu kutsutaan kriteerimuuttujaksi. Muuttujia, joiden arvoista vektorit x k koostuvat, kutsutaan selittäviksi muuttujiksi. Esimerkki 3.2.1. Olkoon kriteerimuuttujana henkilön ikä. Jaottelu voisi tapahtua esimerkiksi seuraavan taulukon mukaisesti y k <18 18-25 >25 Ryhmä R 1 R 2 R 3 Tällöin ne otosvektorit, joissa kriteerimuuttuja (ikä) on alle 18, tulevat jaotelluiksi ryhmään R 1. Otosvektorit, joissa kriteerimuuttuja on välillä 18-25 tulevat jaotelluiksi ryhmään R 2. Lopuksi ne otosvektorit, joissa kriteerimuuttuja saa suurempia arvoja kuin 25, tulevat luokitelluiksi ryhmään R 3. Huomautus. Tässä oletetaan, että kaikkien otosvektorien kriteerimuuttuja tulee jaotelluksi johonkin ryhmään. Mikäli jokin kriteerimuuttuja ei täytä minkään ryhmän kriteereitä, voidaan tätä kriteerimuuttujaa vastaavat otosvektorit olettaa olevan pois alkuperäisestä otoksesta. Muodostetaan kriteerivektori y jaottelun mukaisesti kriteerimuuttujista: y = y 1 y 2. y n = missä kutakin ryhmää R r vastaa kriteerivektorin y lohko y r, missä r = 1,..., g. 23 y 1 y 2. y r. y g,
3. Erotteluanalyysi Merkitään ryhmään R r kuuluvien objektien lukumäärää n r :llä ja merkitään kaikkien ryhmiin kuuluvien objektien lukumäärää n = g n r. r=1 Muodostetaan datamatriisi X otosvektoreista x ri, i = 1,..., n r, r = 1,..., g seuraavasti. Jokaista ryhmää R r vastaa matriisi x T r1 x T r2 X r =.. x T rn r Edelleen näistä matriiseista muodostetaan analyysissä käytettävä datamatriisi X R n p X = missä kukin lohkomatriisi X i vastaa ryhmän R i objekteja siten, että kukin matriisin X i vaakarivi vastaa yhtä ryhmän realisaatiota ja jokaisessa vaakarivissä on p komponenttia. Oletetaan kutakin ryhmää R 1,..., R g vastaavat tiheysfunktiot f 1 (x), f 2 (x),..., f g (x) tunnetuiksi. Edelleen oletetaan, että kunkin ryhmän R r kovarianssimatriisit ovat identtiset, sekä ryhmien keskiarvovektorit ovat toisistaan eroavat. Näiden oletusten toteutumiseen ja testaamiseen palataan luvussa Erotteluanalyysin testisuureet. Erotteluanalyysissä tarkoituksena olisi löytää erottelufunktio d : R n R jonka avulla ryhmät R 1,..., R g saataisiin eroteltua mahdollisimman hyvin muuttujan x avulla. Intuitiivisesti tämä voitaisiin toteuttaa siten, että pyritään jollain tapaa esittämään reaalilukuna p-ulotteisen satunnaismuuttujan ryhmien sisäinen vaihtelu ja ryhmien välinen vaihtelu. Tämän jälkeen pyritään maksimoimaan ryhmien välisen vaihtelun suhde ryhmien sisäiseen vaihteluun, jolloin kuten kuvat 3.1 ja 3.2 osoittavat, päästään tässä mielessä hyvään erotteluun. Kuvissa kutakin ryhmää vastaa yksi tiheysfunktio, jotka kuvien tapauksissa ovat normaalijakaumia. 24 X 1 X 2. X g,
3. Erotteluanalyysi 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 3 2 1 0 1 2 3 4 5 Kuva 3.1. Kolmen ryhmän tiheysfunktiot. Pieni ryhmien sisäinen vaihtelu ja suuri ryhmien välinen vaihtelu 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 3 2 1 0 1 2 3 Kuva 3.2. Kolmen ryhmän tiheysfunktiot. Suuri ryhmien sisäinen vaihtelu ja pieni ryhmien välinen vaihtelu 25
3. Erotteluanalyysi Ennen kuin ylläolevaan tilanteeseen päästään, on lähdettävä liikkeelle määritellyistä käsitteistä kriteerivektori ja datamatriisi, joiden komponentit on ryhmitelty vastaavasti ryhmien jaottelun mukaan. Tarkastellaan aluksi lineaarikombinaatiota, jonka haluttaisiin toteutuvan y = y 1 y 2. y g = Xa = X 1 a X 2 a. X g a, (3.1) missä X on datamatriisi, joka sisältää selittävät muuttujat ja a on etsittävä vektori. Yhtälön toteuttavaa ratkaisua a ei yleisessä tapauksessa ole, joten vektori pyritään saamaan sellaiseksi, että ryhmien välisen hajonnan ja ryhmien sisäisen hajonnan välinen suhde olisi mahdollisimman suuri. Ryhmien sisäistä hajontaa valitaan kuvaamaan neliösumma a T Wa ja ryhmien välistä hajontaa neliösumma a T Ba, missä momenttimatriisit W ja B on määritelty määritelmissä (2.2.14) ja (2.2.15). Erottelufunktio määräytyy vektorin a 0 perusteella ja on muotoa: d : R n R : d(x) = a T x. (3.2) Etsitään vektoria a optimointiprobleeman ratkaisuna max a a T Ba a T Wa. (3.3) Seuraavassa kuvassa havainnollistetaan tilannetta, kuinka erottelufunktion määrävä vektori (kuvassa a) tulee sijoittumaan tietyssä kaksiulotteisessa tapauksessa. Punaiset pisteet vastaavat yhtä jaoteltua ryhmää (normaalipainoiset) ja siniset pisteet toista (ylipainoiset). Tässä tapauksessa pyritään löytämään erottelufunktio, joka pituuden ja kengännumeron perusteella erottelee painoluokan mahdollisimman hyvin. 26
3. Erotteluanalyysi dm Pituus a Normaalipainoiset 18 17 Ylipainoiset 16 Kengännumero 38 40 42 44 Kuva 3.3. Erottelufunktion määräävän vektori a määräytyminen etsittäessä erottelufunktiota kahden ryhmän tapauksessa Lause 3.2.1. Matriisin W 1 B suurinta ominaisarvoa vastaava ominaisvektori on optimointiprobleeman (3.3) ratkaisu. Todistus: Merkitään maksimoitavaa funktiota f(a) = at Ba a T Wa. Ylläoleva voidaan kirjoittaa identiteettinä f(a)(a T Wa) = a T Ba. Derivoidaan tämä vektorin a suhteen, jolloin saadaan f(a)(a T Wa) + 2Waf(a) = 2Ba. Koska ääriarvokohdassa on välttämättä f(a) = 0, saadaan edellisestä yhtälöstä ääriarvokohdalle Ba = f(a)wa. 27
3. Erotteluanalyysi Koska matriisi W on positiivisesti definiitti, on sillä olemassa inverssi ja edellinen yhtälö saadaan muotoon W 1 Ba = f(a)a. (3.4) Yhtälön (3.4) nähdään olevan matriisin W 1 B ominaisyhtälö, missä ominaisarvo on f(a) ja vastaava ominaisvektori a. Funktio f(a) saa luonnollisesti globaalin maksiminsa, kun vektoriksi valitaan a suurinta positiivista ominaisarvoa vastaava ominaisvektori a 1. [12] Muut erottelufunktiot muodostetaan matriisin W 1 B positiivisia ominaisarvoja vastaavien ominaisvektoreiden avulla. Suuruusjärjestyksessä k:nnetta positiivista ominaisarvoa vastaava ominaisvektori on optimointitehtävän ratkaisu. [12] max at Ba a T Wa ehdoilla a T Wa j = 0, j = 1,..., k 1 Näin ollen erottelufunktion määräävä vektori löydetään ominaisarvotehtävänä. Yhtä positiivista ominaisarvoa vastaa aina yksi erottelufunktio. Matriisin W 1 B i:nneksi suurinta positiivista ominaisarvoa λ i vastaava ominaisvektori a i määrää ominaisarvoon λ i liittyvän erottelufunktion d i = a T i x. Matriisin W 1 B positiivisten ominaisarvojen ja siten erottelufunktioiden lukumäärä on korkeintaan min{p, g 1}, missä p on selittävien muuttujien lukumäärä ja g on jaoteltujen ryhmien lukumäärä. [13] Matriisilla W 1 B ja positiivisesti semidefiniitti matriisi W 1/2 BW 1/2 ovat similaarisia, joten niillä on samat ominaisarvot. Näin ollen ominaisarvot voidaan laskea positiivisesti semidefiniitin matriisin ominaisarvoina ja ne ovat aina ei-negatiivisia. 3.3 Erotteluanalyysin käsitteitä Optimointiprobleeman (3.3) ratkaisuna saadun ominaisarvoa λ i vastaavan normeeratun 1 ominaisvektorin a i komponentteja a 1, a 2,...a p kutsutaan erottelufunktion d i standardoiduiksi painokertoimiksi. 1 Voidaan normeerata esimerkiksi W-metriikan suhteen 28
3. Erotteluanalyysi Ei-standardoidut painokertoimet ã i saadaan komponenteittain standardoiduista seuraavalla kaavalla: s y ã i = a i s i missä s y on kriteerivektorin y komponenttien estimoitu keskihajonta ja s i on selittävän muuttujan x i estimoitu keskihajonta. Lisäksi ei-standardoituihin painokertoimiin tulee mukaan vakiotekijä tietyin kriteerein. [10, s. 40] Havainnon ˆx erottelupistemäärä (discriminant score) on erottelufunktion d i arvo pisteessä ˆx ts. a T i ˆx Ryhmän R i sentroidi µ i on ryhmään kuuluvien otosvektoreiden keskiarvo. Rakennematriisi (structure matrix) kertoo kunkin muuttujan yksittäisen korrelaation kunkin erottelufunktion arvoon. Tämän matriisin perusteella voidaan kukin erottelufunktio nimetä ja tulkita sen käyttäytymistä. Nimeäminen tapahtuu niiden muuttujien perusteella, jotka eniten korreloivat nimettävänä olevan erottelufunktion kanssa. Mikäli erotteluanalyysiä halutaan käyttää luokitteluun, on käytännön kannalta järkevää määritellä luokitteluun parhaiten soveltuva funktio. Luokittelu voitaisiin toki tehdä määriteltyjen erottelufunktioiden avulla siten, että havainto tulee luokitelluksi siihen ryhmään, jonka erottelupistemäärät ovat lähimpänä 2 kyseisen ryhmän sentroidin erottelupistemääriä. SPSS-ohjelmisto tarjoaa funktion, jonka perusteella käyttäjän on luokittelu helppo tehdä, minkä vuoksi se esitellään seuraavassa kappaleessa. Luokittelufunktion (classification function) perusteella havainnot luokitellaan ennalta jaoteltuihin ryhmiin. Havainto luokitellaan siihen ryhmään, jota vastaava luokittelufunktio saa suurimman arvon. Ryhmää R r vastaava luokittelufunktio määritellään L r (x) = (µ T r S 1 )x 1 2 µt r S 1 µ r + ln n r n, missä S = 1 W. Tämä voidaan esittää muodossa n g L r (x) = b T r x + c r. [10, s.59] Tällöin vektorin b r komponentit ovat ryhmään R r liittyvän luokittelufunktion kertoimet. 2 Se miten etäisyys määritellään onkin jo toinen juttu 29
3. Erotteluanalyysi 3.4 Erotteluanalyysin toiminta Edellä esitetyn teorian mukaan erotteluanalyysissä pyritään etsimään sellainen vektori a, että neliösummien a T Ba ja a T Wa välinen suhde maksimoituu. Tämä tehtävä palautuu lauseen (3.2.1) matriisin W 1 B ominaisarvotehtäväksi. Jokaista tämän matriisin positiivista ominaisarvoa vastaa yksi erottelufunktio, joka määräytyy tähän ominaisarvoon liittyvän normeeratun ominaisvektorin perusteella. 3.5 Askeltava erotteluanalyysi Edellä käsitellyssä teoriassa pidettiin mukana jatkuvasti kaikkia muuttujia riippumatta siitä, onko muuttujilla mitään vaikutusta erotteluun. Kun erottelufunktiota muodostetaan, ei yllämainittu proseduuri millään tapaa testaa, kannattaako muuttujaa ottaa malliin mukaan. Jotta erottelufunktion määrittelevästä vektorista saataisiin kohtuullisen kokoinen ja siten helpommin käsiteltävä ja jotta malliin ei otettaisi turhia muuttujia mukaan on kehitelty askeltava (stepwise) erotteluanalyysi. Lähteenä seuraavassa askeltavan menetelmän tapauksessa on [19][ss. 93-97] Ideana askeltavassa erotteluanalyysissä on tuoda malliin mukaan muuttuja, katsoa kuinka se erottelee ryhmiä ja jos se erottelee tarpeeksi hyvin, otetaan se mukaan malliin eli selittävien muuttujien joukkoon. Tämän jälkeen käydään kaikki mallissa olevat muuttujat läpi ja katsotaan voidaanko joku muuttuja ottaa mallista pois ilman, että menetetään merkittävästi erotteluinformaatiota. Erotteluinformaation määrän testaukseen voidaan käyttää Wilksin lambda suuretta. Oletetaan, että mallissa on mukana q muuttujaa. Algoritmi luonnollisesti lähtee liikkeelle siitä, että malliin otetaan ensin mukaan yksi muuttuja, eli tapauksesta q = 1. Kirjoitetaan dataan liittyvät matriisit W ja T muodossa [ ] W11 W W = 12 W 21 W 22 [ ] T11 T T = 12, T 21 T 22 30
3. Erotteluanalyysi missä matriisit T 11, W 11 R q q ovat momenttimatriisit, jotka on laskettu otosvektoreista, joissa on mukana mallissa olevien q:ta muuttujaa vastaavat komponentit. Voidaan ajatella, että ryhmät tulevat hyvin erotelluiksi, kun mallissa mukana olevien muuttujien näkökulmasta ryhmien keskiarvovektorit eroavat ja yksikään mallissa mukana olematon muuttuja ei tuo merkittävästi eroa ryhmien keskiarvovektoreihin. Olkoon kunkin ryhmän R i keskiarvovektori µ i R q i = 1,..., g muodostettu mallissa mukana olevista q:sta muuttujasta. Tarkastellaan hypoteeseja: H 0 : µ 1 = µ 2 =... = µ g H 1 : µ i µ j joillekin i j. Oletetaan, että ryhmät R 1,..., R g ovat multinormaalijakautuneita, jolloin suure W 11 / T 11 noudattaa Wilksin lambda-jakaumaa. Testataan lisäinformaatiota tarkastelemalla suhdetta (katso tulos (2.1)) Λ = W T = W 11 W 22 W 21 W 1 11 W 12 T 11 T 22 T 21 T 1 11 T 12 = Λ mukana Λ pois, (3.5) missä Λ mukana = W 11 T 11 ja Λ pois = W 22 W 21 W 1 11 W 12. Suure Λ T 22 T 21 T 1 11 T mukana muodostaa 12 testisuureen lisäinformaatiolle ja noudattaa myös Wilksin lambda-jakaumaa. Lisäksi se kertoo matriisin WT 1 determinantin muutoksen kun mallissa mukana olevien muuttujien vaikutus on poistettu. Ennen varsinaisen valintamenettelyn esittelyä kerrotaan, mitä erilaiset arvot suureille Λ mukana ja Λ pois merkitsevät. Perustelut pohjautuvat siihen, että momenttimatriiseista saadaan helposti vastaavat kovarianssimatriisit. Momenttimatriisin determinanttia voidaan siis ajatella yleistettynä varianssina. Jos Λ mukana 1, niin mallissa olevat q muuttujaa eivät erottele ryhmiä kovin hyvin toisistaan, sillä mallissa mukana olevien muuttujien ryhmien sisäinen yleistetty varianssi on lähes sama kuin kaikkien havaintojen yleistetty varianssi. Jos Λ mukana << 1, niin mallissa olevat q muuttujaa erottelevat ryhmiä hyvin toisistaan, sillä mallissa mukana olevien muuttujien ryhmien sisäinen yleistetty varianssi on hyvin pieni verrattuna kaikkien havaintojen yleistettyyn varianssiin. 31
3. Erotteluanalyysi Jos Λ pois 1, niin mallin ulkopuolella olevat p q muuttujaa eivät tuo oleellista muutosta suureen Λ arvoon, sillä determinantin WT 1 muutos on vähäinen. Jos Λ pois << 1, niin jokin mallin ulkopuolella oleva muuttuja tuo suureen Λ arvoon merkitsevän muutoksen ja sisältää siten erottelun kannalta oleellista informaatiota, sillä determinantin WT 1 arvo muuttuu selvästi, jolloin suhde W muuttuu siten, että sisäisen yleistetyn varianssin suhde kaikkien T havaintojen yleistettyyn varanssiin pienenee. Päätetään seuraavan ((q + 1):nnen) muuttujan valinnasta malliin. Valitaan se muuttuja, joka antaa suureelle Λ pienimmän arvon. F-jakautunut suure, joka kertoo kuinka paljon Wilksin lambda muuttuu, kun uusi muuttuja lisätään saadaan seuraavasti: F muutos = ( n g q )( 1 Λq+1 /Λ ) mukana g 1 Λ q+1 /Λ mukana (3.6) missä Λ q+1 viittaa Wilksin lambdaan (3.5), jossa uusi malliin mukaan tuotava (testattava) muuttuja on otettu huomioon. Jos tätä F-arvoa vastaava p-arvo alittaa kiinnitetyn merkitsevyystason (Fto-enter), valitaan uusi muuttuja malliin. Tämän jälkeen tutkitaan mallissa olevia muuttujia, voidaanko joku tai jotkut niistä pudottaa mallista pois erottelun kärsimättä ts. että suuretta (3.6) vastaava p-arvo jollain mallissa olevalla muuttujalla ylittaisi kiinnitetyn p-arvon (F-to-remove). Muuttujat käydään kukin yksitellen läpi ja jokaisella askeleella tarkistetaan malliin mukaan otettava muuttujaehdokas, sekä mallissa mukana olevat muuttujat. Askeltava menetelmä loppuu kun yhtään muuttujaa ei enää kelpuuteta malliin mukaan. Askeltava menetelmä siis valitsee malliin mukaan tulevat muuttujat. Kun muuttujat on valittu, suoritetaan tavallinen erotteluanalyysi käyttäen vain valittuja muuttujia vastaavaa osaa datamatriisista. 32
Luku 4 Erotteluanalyysin testisuureet 4.1 Wilksin lambda Tässä kappaleessa on pääsääntöisenä lähteenä [13]. Wilksin lambdaa käytetään erotteluanalyysissä testisuureena kahdessa eri yhteydessä. Sen avulla voidaan testata, ovatko jaoteltujen ryhmien keskiarvot toisistaan merkittävästi eroavia. Sitä käytetään myös testaamaan erottelufunktioiden tuomaa lisäerotteluinformaatiota. Hieman virheellisesti voidaan puhua erottelufunktioiden merkitsevyyden testaamisesta. 4.1.1 Wilksin lambda ryhmien keskiarvojen eron testisuureena Erotteluanalyysin kannalta keskeistä on, että jaotellut ryhmät todellakin eroavat toisistaan. Luonteva keino tämän eron selvittämiseen olisi tutkia ryhmien R 1, R 2,..., R g odotusarvojen µ 1, µ 2,..., µ g R p eroa. Siihen, että kaksi odotusarvoa µ l ja µ m eroavat toisistaan, riittää, että yksikin komponentti vektoreista µ l ja µ m eroaa tilastollisesti merkitsevästi. Merkitsevyyden testaamiseen voidaan käyttää Wilksin lambda testiä. Koska erotteluanalyysissä vaaditaan, että ryhmät R 1, R 2,..., R g, joita vastaavat odotusarvot ovat µ 1, µ 2,..., µ g eroavat toisistaan, asetetaan nollahypoteesiksi ryhmien odotusarvojen yhtäsuuruus: H 0 : µ 1 = µ 2 =... = µ g, 33
4. Erotteluanalyysin testisuureet jolloin H 1 : µ i µ j jollekin i j. Oletetaan lisäksi, että jokaisella ryhmällä on sama kovarianssimatriisi Σ. Suurimman uskottavuuden estimaattorit odotusarvolle µ = µ 1 =... = µ g ja kovarianssimatriisille Σ ovat nollahypoteesin vallitessa vastaavasti: x = 1 n XT 1 ja S = 1 n XT (I X 1 n 11T ) X. Testisuure Wilksin lambda on Λ = W T = W W + B, missä matriisit W ja B lasketaan kappaleen 2.2.5 määritelmien mukaan annetusta otoksesta. Wilksin lambda voi saada arvoja välillä [0, 1]. Testisuureen Λ arvo, joka on selvästi pienempi kuin 1, tarkoittaa, että ryhmien keskiarvovektorit eroavat toisistaan. Testisuureen arvot lähellä 1:tä kertovat ryhmien keskiarvojen olevan (otoksen perusteella) samat. Jälkimmäisessä tapauksessa ei erotteluanalyysin oletukset toteudu. Testisuureen arvon 1 tulkinta on, että tällöin ryhmien keskiarvovektorit yhtyvät koko aineiston keskiarvovektoriin. Oletetaan, että ryhmien jakaumat ovat normaaleja ja nollahypoteesi H 0 on voimassa. Nyt voidaan tarkastella aineistoa otoksena jakaumasta N p (µ, Σ), jolloin matriisit W ja B ovat riippumattomia ja noudattavat Wishartin jakaumaa: W W p (Σ, n g) B W p (Σ, g 1). Niinpä testisuure Λ noudattaa Wilksin Λ-jakaumaa [3] parametreilla p, n g ja g 1. Testisuureelle voidaan käyttää approksimaatiota missä R = (1 Λ1/s )(ms p(g 1)/2 + 1), Λ 1/s p(g 1) m = (n 1)(p + g)/2 34
4. Erotteluanalyysin testisuureet ja [4] p s = 2 (g 1) 2 4 p 2 + (g 1) 2 5. Suure R on nyt likimain F-jakautunut vapausastein p(g 1) ja ms p(g 1) 2 + 1, jolloin testaus palautuu F-jakaumaan. 4.1.2 Wilksin Lambda erottelufunktioiden merkitsevyyden testisuureena Wilksin lambda tulee erotteluanalyysin tapauksessa esille myös toisessa yhteydessä, erottelufunktioiden tuoman lisäinformaation testauksessa. Erottelufunktioitahan on tunnetusti korkeintaan min{g 1, p}, mutta kun ajattellaan erotteluanalyysiä prosessina, ei sellaisia erottelufunktioita tarvita, jotka eivät tuo erotteluun mitään lisäinformaatiota jo muodostettujen erottelufunktioiden suhteen. On syytä huomata, että tässä vaiheessa oltaessa on jo varmistuttu siitä, että ryhmien keskiarvot eroavat toisistaan. Wilksin lambda ei kuitenkaan tässä tule esille kuin nimellisesti, sillä testisuureen jakaumaa voidaan arvioida suoraan χ 2 -jakauman avulla. Oletetaan, että kunkin ryhmän kovarianssimatriisi tunnetaan ja se on kullakin ryhmällä sama. Merkitään tätä kovarianssimatriisia totutulla tavalla symbolilla Σ. Merkitään ryhmän R i otoskeskiarvoa x i. Olkoot ryhmän R i otosvektorit peräisin normaalijakaumasta N p (µ i, Σ) kaikilla i = 1,..., g. Kun halutaan testata erottelufunktioiden tuomaa erotteluinformaatiota, niin aluksi testataan, eroavatko ryhmät ylipäätään toisistaan. Toisin sanoen ensin testataan erotteluinformaatio kaikilla erottelufunktioilla. Tämän jälkeen pudotetaan aina yksi erottelufunktio pois ja testataan, erottelevatko jäljelle jääneet erottelufunktiot ryhmiä toisistaan. Olkoon seuraavassa mukaan otettujen erottelufunktioiden lukumäärä r. Olkoot τ 1, τ 2,..., τ d ratkaisut yhtälölle B τσ = 0, (4.1) missä d on erottelufunktioiden maksimimäärä. Asetetaan hypoteeseiksi: H 0 : τ r+1 + τ r+2 +... + τ d = 0 H 1 : τ r+1 + τ r+2 +... + τ d > 0. 35