Lineaariset luokittelumallit: regressio ja erotteluanalyysi

Transkriptio

1 Lineaariset luokittelumallit: regressio ja erotteluanalyysi Aira Hast

2 Johdanto Tarkastellaan menetelmiä, joissa luokittelu tehdään lineaaristen menetelmien avulla. Avaruus jaetaan päätösrajojen avulla osiin, joissa luokittelumuuttuja saa saman arvon. Regressiossa luokalle k voidaan muodostaa diskriminanttifunktio δ k (x) ja luokitella havainto x luokkaan, jossa δ k (x) saa suurimman arvon. Luokittelussa voidaan hyödyntää myös posterioritodennäköisyyksiä.

3 Päätösrajat Lineaarisissa luokittelumenetelmissä päätösrajat (moniulotteisessa tapauksessa päätöspinnat, hypertasot) ovat lineaarisia. Luokan k ja l rajalla Useita tapoja löytää lineaariset päätösrajat (indikaattorimatriisin lineaarinen regressio, lineaarinen diskriminanttianalyysi, logistinen regressio, separoivat hypertasot).

4 Päätösrajan lineaarisuus Päätösraja lineaarinen, jos δ k (x):n tai Pr(G=k X=x):n jokin monotoninen transformaatio lineaarinen. Muuttujien X 1, X 2,...,X p joukko voidaan laajentaa sisältämään myös X 12, X 22,...,X 1 X 2,..., jolloin täydennetyn avaruuden lineaariset päätösrajat ovat alkuperäisessä avaruudessa kvadraattisia.

5

6 Indikaattorimatriisin lineaarinen regressio K luokkaa, joihin kuulumista vastaa indikaattori Y k (k=1,...,k) siten, että Y k =1, jos G=k ja muulloin 0. X syötetiedot sisältävä (p+1)-sarakkeinen matriisi. Opetusaineistossa N havaintoa, jonka perusteella muodostetaan lineaarisella regressiolla sovite.

7 Indikaattorimatriisin lineaarinen regressio Kerroinmatriisi saadaan yhtälöstä Luokiteltavalle havainnolle x lasketaan ulostulon sovite (fitted output)..

8 Indikaattorimatriisin lineaarinen regressio Luokittelu tehdään näin saadun vektorin suurimman komponentin perusteella Menetelmässä regressiolla saadaan Y k :n ehdollisen odotusarvon estimaatti, jonka arvo maksimoidaan luokittelulla. Satunnaiselle Y k :lle..

9 Indikaattorimatriisin lineaarisen regression ongelmia Jäykkä menetelmä, mikä voi olla ongelmallista kaukana opetusaineistosta tehtävissä luokitteluissa. voi saada negatiivisia ja ykköstä suurempia arvoja, vaikka. Kun luokkien määrä K 3, voi esiintyä luokkien peittymistä (masking) ja jokin luokka peittyy täysin muilla luokilla. Ongelma voidaan ratkaista käyttämällä muita menetelmiä.

10 Peittyminen

11 Peittyminen

12 Lineaarinen diskriminanttianalyysi (LDA) Luokan k prioritodennäköisyys π k ja. f k (x) on k luokassa X:n luokkaehdollinen tiheys. Optimaalisessa luokittelussa olisi tunnettava luokan posterioritodennäköisyys.

13 Lineaarinen diskriminanttianalyysi (LDA) Oletus: luokan k tiheysfunktio noudattaa multinormaalijakaumaa Oletus: kaikissa luokissa sama kovarianssimatriisi Σ k =Σ.

14 Lineaarinen diskriminanttianalyysi (LDA) Päätösrajat lineaarisia Lineaarinen diskriminanttifunktio luokassa k Luokittelusääntönä voidaan käyttää

15 Lineaarinen diskriminanttianalyysi (LDA) Yleensä ei tunneta tarkasti jakauman parametreja, vaan ne on estimoitava opetusaineistosta.

16 Lineaarinen diskriminanttianalyysi (LDA) Kun luokkia kaksi, LDA vastaa luokittelua pienimmän neliösumman perusteella. Kun luokkia enemmän kuin kaksi ei LDA:ssa esiinny peittymistä. Jos kovarianssimatriisit eivät ole samoja, on käytettävä neliöllistä diskriminanttianalyysiä (QDA).

17 Neliöllinen diskriminanttianalyysi(qda) Luokassa k kovarianssimatriisi Σ k. Neliöllinen diskriminanttifunktio Luokittelusääntö Päätösrajat ovat toisen asteen polynomeja.

18 Neliöllinen diskriminanttianalyysi(qda) Kvadraattiset rajat voidaan muodostaa myös LDA:n avulla laajentamalla avaruus useampiulotteiseksi neliölliseksi polynomiavaruudeksi. QDA:lla saadaan yleensä hieman parempia tuloksia, mutta estimoitavia parametreja on enemmän kuin LDA:ssa.

19 Neliöllinen diskriminanttianalyysi(qda)

20 Regularisoitu diskriminanttianalyysi (RDA) RDA on QDA:n ja LDA:n kompromissi. Regularisoitu kovarianssimatriisi muotoa. on yhdistetty kovarianssimatriisi, jota käytetään LDA:ssa. α [0,1] ja se määrätään esimerkiksi validointidatan perusteella.

21 Erotteluanalyysi Havaintojen kokonaisvaihtelua kuvataan kovarianssimatriisilla T. Luokkien välistä vaihtelua kuvataan kovarianssimatriisilla B (between) ja luokkien sisäistä vaihtelua kovarianssimatriisilla W (within). Menetelmällä pyritään löytämään aliavaruus, jolle luokkien välinen ero näkyy selvimmin.

22 max a T a Ba T a Wa Erotteluanalyysi Etsitään lineaarikombinaatio Z=a T X siten, että

23 Kysymyksiä? Kiitos!

24 Kotitehtävä 1/2 a) Määritä päätösraja luokkien 1 ja 2 välillä LDA:n avulla, kun μ 1 =(1,1) T ja μ 2 =(3,3) T π 1 = π 2 = 0,5 Vihje: Päätösrajalla δ 1 (x) = δ 2 (x)

25 Kotitehtävä 2/2 b) Luokittele seuraavat havainnot x1 x