Diskriminanttianalyysi I

Transkriptio

1 Diskriminanttianalyysi I Aira Hast

2 Sisältö LDA:n kertaus LDA:n yleistäminen FDA FDA:n ja muiden menetelmien vertaaminen Estimaattien laskeminen

3 Johdanto Lineaarinen diskriminanttianalyysi (LDA) yksinkertainen luokittelumenetelmä, joka ei kuitenkaan ole aina riittävä tai sen oletukset eivät toteudu LDA voidaan muotoilla lineaarisena regressio-ongelmana, minkä avulla menetelmä voidaan yleistää paremmaksi FDA:ssa lineaarinen regressio korvataan parametrittomalla regressiolla laajentamalla kantafunktioiden joukkoa.

4 LDA:n kertaus Hyviä puolia Yksinkertainen luokittelija: luokittelee havainnon lähimmän luokan keskipisteen perusteella Bayesin luokittelija, mikäli luokissa sama kovarianssi Päätösrajat lineaarisia (yksinkertaisuus) Usein paras luokittelija yksinkertaisuutensa vuoksi: estimoituihin lineaarisiin päätösrajoihin liittyy pieni varianssi

5 LDA:n kertaus Huonoja puolia Lineaariset päätösrajat eivät aina riittäviä luokkien erottamiseen Luokilla ei usein ole samat kovarianssit Aineiston kuvaaminen luokan keskipisteen ja kovarianssimatriisin perusteella ei ole aina riittävä luokittelua varten LDA soveltuu huonosti tilanteeseen, jossa useita selittäjiä

6 LDA:n yleistäminen LDA:n ongelma muotoillaan uudelleen lineaarisen regression ongelmaksi ja yleistetään regressio parametrittomaksi regressioksi, mikä lisää kantavektorien määrää (FDA) Sovitetaan malli LDA:lla, mutta sakotetaan kertoimet sileiksi (PDA) Luokat esitetään normaalijakaumien sekajakaumana (MDA)

7 LDA:n uudelleenmuotoilu K luokkaa Opetusaineistossa N havaintoa G={1,...,K} kertoo mihin luokkaan havainto kuuluu Opetusaineiston havainnot muotoa (g i,x i ), i=1,2,...,n Funktio θ : G R 1 määrää pisteet luokille

8 LDA:n uudelleenmuotoilu Valitaan θ ja β siten, että Vaaditaan siis, että θ:n määräämä pisteytys on optimaalisesti ennustettu lineaarisella regressiolla. Tällöin voidaan muodostaa yksiulotteinen erottelu luokkien välille.

9 LDA:n uudelleenmuotoilu Yleisemmin: voidaan löytää L ( K-1) itsenäistä funktiota θ l ja näitä vastaavia lineaarisia funktioita n l (X)=X T β l (l=1,...,l), jotka optimaalisia moniulotteisessa regressiossa. Valitaan θ ja β siten, että keskimääräinen jäännösneliösumma minimoituu

10 LDA ja kanoninen korrelaatio LDA on ekvivalentti kanonisen korrelaatioanalyysin kanssa: lineaariset selittäjät muodostavat yhden joukon ja luokkaan kuulumista kuvaavat muuttujat toisen joukon Kanonisen korrelaation avulla voidaan löytää optimaaliset β l ASR:n ratkaisusta voidaan johtaa Mahalanobis-etäisyydet luokan keskipisteeseen

11 LDA ja FDA LDA voidaan suorittaa lineaaristen regressioiden avulla luokittelemalla havainnot soviteavaruudessa lähimmän luokan keskipisteen perusteella. Yleisempi luokittelu voidaan muodostaa korvaamalla lineaariset regressiot parametrittomilla sovitteilla (esim. splinit, kernelit)

12 FDA Regressio-ongelman yleisempi muoto tällöin ASR{ k, k } 1 K N K 2 k 1 ( k ( gi) k ( xi )) J( k ) N k 1 i 1 J riippuu käytetystä parametrittomasta regressiosta (esim. splinit, MARS) ja sen avulla voidaan muokata yleinen kaava tarkoituksenmukaiseksi (välttää ylisovittaminen)

13 Esimerkki (1/2) Käytetään regressiossa jokaiselle n l toisen asteen polynomia. Tällöin FDA:lla saadut päätösrajat ovat neliöllisiä. Neliölliset päätösrajat saataisiin LDA:lla, jos laajennetaan alkuperäisten selittäjien joukko neliöillä ja ristitermeillä. Tällöin LDA:n antamat päätösrajat ovat lineaarisia laajennetussa avaruudessa, mutta neliöllisiä alkuperäisessä avaruudessa.

14 Esimerkki (2/2)

15 FDA ja muut menetelmät Verrataan eri menetelmien tuloksia puheentunnistusesimerkissä. K=11 (vastaa esimerkissä vokaaliäännettä) p=10 (selittäjiä, jotka tunnistettu puheesta)

16 FDA ja muut menetelmät

17 FDA ja muut menetelmät

18 FDA:n estimaattien laskeminen Y on indikaattorimatriisi, siten että y ik =1, kun g i =k, muuten y ik =0. Algoritmi: 1. Y:n moniulotteinen adaptiivinen ja parametrittoman regression sovite X:ssä on Ŷ. S λ lineaarinen operaattori (Ŷ=S λ Y) ja η * (x) sovitettujen regressiofunktioiden vektori.

19 FDA:n estimaattien laskeminen 2. Optimaalinen pisteytys: tehdään ominaisarvohajotelma: missä ominaisvektorit Ө on normalisoitu s.e. missä D π =Y T Y/N (estimoidut luokkaprioritodennäköisyydet)

20 FDA:n estimaattien laskeminen 3. Päivitetään malli askeleesta 1 alkaen optimaalisia pisteitä käyttäen FDA:ssa vältytään LDA:ssa esiintyvältä peittymiseltä

21 Yhteenveto LDA:n alkuoletukset eivät aina täyty ja luokittelu lineaaristen päätösrajojen avulla ei ole aina riittävä ->yleistäminen FDA:ssa palautetaan LDA:n ongelma lineaarisen regression ongelmaksi, joka korvataan parametrittomalla regressiolla

22 Kiitos! Kysymyksiä?

23 Tehtävä Vertaile LDA:ta ja FDA:ta (oletukset, mitä etuja ja mitä haittoja menetelmillä, millaiset päätösrajat saadaan yms.)