SGN-2500 Johdatus hahmontunnistukseen 2007 Luennot 4 ja 5

Transkriptio

1 SGN-2500 Johdatus hahmontunnistukseen 2007 Luennot 4 ja 5 Jussi Tohka jussi.tohka@tut.fi Signaalinkäsittelyn laitos Tampereen teknillinen yliopisto SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 1/38

2 Bayesin päätösteoria Bayesin päätösteoria muodostaa luokituksen teorian selkärangan. Se kertoo miten suunnitella paras mahdollinen luokitin kun hahmontunnistusongelman kaikki tilastolliset piirteet ovat tunnetut. Teoria on suhteellisen itsestäänselvien asioiden formalisointi, ja se muodostaa vankan pohjan luokittimien myöhemmälle tarkastelulle. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 2/38

3 Notaatiosta Jatkossa olemme hieman huolettomampia notaation kanssa. Emme esimerkiksi indeksoi satunnaismuuttujan tiheysfunktiota satunnaismuuttujan symbolilla. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 3/38

4 Kalaesimerkki Tehtävänä erottaa kaksi eri kalalajia toisistaan: 1. Meriahven 2. Lohi SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 4/38

5 Kalaesimerkki Tehtävänä erottaa kaksi eri kalalajia toisistaan: 1. Meriahven 2. Lohi Mittaamme liukuhihnaa pitkin tulevasta kalasta (tai sen kuvasta) piirrevektorin. Merkitään tätä x:llä. Tehtävänä x:n perusteella sijoittaa kala jompaan kumpaan luokkaan: ω = ω 1 (meriahven) tai ω = ω 2 (lohi). SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 4/38

6 Kalaesimerkki Tehtävänä erottaa kaksi eri kalalajia toisistaan: 1. Meriahven 2. Lohi Mittaamme liukuhihnaa pitkin tulevasta kalasta (tai sen kuvasta) piirrevektorin. Merkitään tätä x:llä. Tehtävänä x:n perusteella sijoittaa kala jompaan kumpaan luokkaan: ω = ω 1 (meriahven) tai ω = ω 2 (lohi). Tilastollisesti tarkastelemme satunnaismuuttujaparia (X, ω), jossa X kuvaa piirrevektoria ja ω todellista luokkaa. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 4/38

7 Kalaesimerkki Yritämme siis pitää luokitusvirheen minimissään. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 5/38

8 Kalaesimerkki Yritämme siis pitää luokitusvirheen minimissään. Tarkastellaan tilannetta ennen kuin piirrevektori on mitattu ja oletetaan että meressä on enemmän meriahvenia kuin lohia, ts. P(ω 1 ) > P(ω 2 ). Jos luokitus olisi tehtävä pelkästään tämän tiedon perusteella, miten edettäisiin? SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 5/38

9 Kalaesimerkki Yritämme siis pitää luokitusvirheen minimissään. Tarkastellaan tilannetta ennen kuin piirrevektori on mitattu ja oletetaan että meressä on enemmän meriahvenia kuin lohia, ts. P(ω 1 ) > P(ω 2 ). Jos luokitus olisi tehtävä pelkästään tämän tiedon perusteella, miten edettäisiin? Koska meressä on enemmän meriahvenia virheen minimoimiseksi sanoisimme, että kyseessä on meriahven, eli päätössääntönä: Luokitus on ω 1 jos P(ω 1 ) > P(ω 2 ) ja muutoin ω 2. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 5/38

10 Kalaesimerkki Yritämme siis pitää luokitusvirheen minimissään. Tarkastellaan tilannetta ennen kuin piirrevektori on mitattu ja oletetaan että meressä on enemmän meriahvenia kuin lohia, ts. P(ω 1 ) > P(ω 2 ). Jos luokitus olisi tehtävä pelkästään tämän tiedon perusteella, miten edettäisiin? Koska meressä on enemmän meriahvenia virheen minimoimiseksi sanoisimme, että kyseessä on meriahven, eli päätössääntönä: Luokitus on ω 1 jos P(ω 1 ) > P(ω 2 ) ja muutoin ω 2. Järkevämpää on tietenkin ottaa sekä piirrevektorit, että prioritodennäköisyydet huomioon. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 5/38

11 Kalaesimerkki Nyt meillä on piirrevektori x mitattuna. x 1 on kalan pituus ja x 2 sen valoisuuslukema. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 6/38

12 Kalaesimerkki Nyt meillä on piirrevektori x mitattuna. x 1 on kalan pituus ja x 2 sen valoisuuslukema. Tunnemme prioritodennäköisyydet P(ω 1 ),P(ω 2 ) ja luokkatodennäköisyydet p(x ω 1 ) ja p(x ω 2 ). SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 6/38

13 Kalaesimerkki Nyt meillä on piirrevektori x mitattuna. x 1 on kalan pituus ja x 2 sen valoisuuslukema. Tunnemme prioritodennäköisyydet P(ω 1 ),P(ω 2 ) ja luokkatodennäköisyydet p(x ω 1 ) ja p(x ω 2 ). Näiden perusteella voimme laskea posterior-todennäköisyydet: P(ω j x) = p(x ω j)p(ω j ). p(x) SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 6/38

14 Kalaesimerkki Päätämme hihnalla olevan kalan luokan sen perusteella kumman luokan todennäköisyys sen jälkeen kun olemme mitanneet piirrevektorin on suurempi. Ts. luokitus on ω 1 jos P(ω 1 x) > P(ω 2 x) ja muulloin se on ω 2. P(ω j x) lasketaan Bayesin säännöstä: P(ω j x) = p(x ω j)p(ω j ) p(x). Tämä on Bayesin (minimivirhe) päätössääntö. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 7/38

15 Terminologiaa Luokat ω 1,...,ω c Piirreavaruus F (yleensä R d ) Luokitin eli päätössääntö on funktio α : F {ω 1,ω 2,...,ω c }. Luokitin jakaa siis piirreavaruuden osiin luokkien kesken. (Tällä luennolla) oletamme, että p(x ω i ) ja P(ω i ) tunnetaan. Bayesin minimivirheluokitin on päätössääntö, joka minimoi luokitusvirheen. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 8/38

16 Luokitusvirhe Koska luokitusongelma on luonteeltaan tilastollinen, niin myös luokitusvirhe on tilastollinen käsite. Riittää myös tarkastella piirrevektoria x yleisesti (eikä kaikkia sen esittämiä kohteita erikseen) SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 9/38

17 Luokitusvirhe Koska luokitusongelma on luonteeltaan tilastollinen, niin myös luokitusvirhe on tilastollinen käsite. Riittää myös tarkastella piirrevektoria x yleisesti (eikä kaikkia sen esittämiä kohteita erikseen) Luokittimen α luokitusvirhe E(α) = E(α(x) x)p(x)dx = F F [1 P(α(x) x)]p(x)dx, jossa siis P(α(x) x) on todennäköisyys että α luokittaa x:n oikein. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 9/38

18 Luokitusvirhe P(α(x) x) = p(x α(x))p(α(x)) p(x) SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 10/38

19 Luokitusvirhe P(α(x) x) = p(x α(x))p(α(x)) p(x) Joten E(α) = 1 F p(x α(x))p(α(x))dx = 1 F p(x,α(x))dx Luokittimen α luokitusvirhe on siis yhtä suuri kuin tapahtuman {(x, α(x))} komplementin todennäköisyys. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 10/38

20 Luokitusvirhe Päätösalueiden avulla c E(α) = [1 p(x ω i )P(ω i )]dx R i i=1 = 1 c i=1 R i p(x ω i )P(ω i )dx. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 11/38

21 Bayesin minimivirheluokitin Bayesin minimivirheluokitin määritellään α Bayes (x) = arg max P(ω i x). ω i,i=1,...,c SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 12/38

22 Bayesin minimivirheluokitin Bayesin minimivirheluokitin määritellään α Bayes (x) = arg max P(ω i x). ω i,i=1,...,c Bayesin minimivirheluokitin siis valitsee luokista ω 1,...,ω c luokan jonka posterior todennäköisyys on suurin kun on havaittu x SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 12/38

23 Bayesin minimivirheluokitin Bayesin minimivirheluokitin määritellään α Bayes (x) = arg max P(ω i x). ω i,i=1,...,c Bayesin minimivirheluokitin siis valitsee luokista ω 1,...,ω c luokan jonka posterior todennäköisyys on suurin kun on havaittu x Tämä minimoi luokitusvirheen E(α). SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 12/38

24 Bayesin minimivirheluokitin Bayesin kaavasta α Bayes (x) = arg max ωi,i=1,...,c p(x ω i)p(ω i ) p(x) SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 13/38

25 Bayesin minimivirheluokitin Bayesin kaavasta α Bayes (x) = arg max ωi,i=1,...,c p(x ω i)p(ω i ) p(x) p(x) sama kaikille luokille. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 13/38

26 Bayesin minimivirheluokitin Bayesin kaavasta α Bayes (x) = arg max ωi,i=1,...,c p(x ω i)p(ω i ) p(x) p(x) sama kaikille luokille. α Bayes (x) = arg max ωi,i=1,...,c p(x ω i )P(ω i ) SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 13/38

27 Bayesin minimivirheluokitin Bayesin kaavasta α Bayes (x) = arg max ωi,i=1,...,c p(x ω i)p(ω i ) p(x) p(x) sama kaikille luokille. α Bayes (x) = arg max ωi,i=1,...,c p(x ω i )P(ω i ) Käytännössä: Laske P(ω i )p(x ω i ) kaikille luokille. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 13/38

28 Bayesin minimivirheluokitin Bayesin kaavasta α Bayes (x) = arg max ωi,i=1,...,c p(x ω i)p(ω i ) p(x) p(x) sama kaikille luokille. α Bayes (x) = arg max ωi,i=1,...,c p(x ω i )P(ω i ) Käytännössä: Laske P(ω i )p(x ω i ) kaikille luokille. Sijoita x (tai sitä vastaava kohde) luokkaan jolle P(ω i )p(x ω i ) on suurin. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 13/38

29 Bayesin minimiriskiluokitin Oletetaan, että on a toimenpidettä joista tehtävänä valita sopivin. Merkitään toimenpiteitä α 1,...,α a. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 14/38

30 Bayesin minimiriskiluokitin Oletetaan, että on a toimenpidettä joista tehtävänä valita sopivin. Merkitään toimenpiteitä α 1,...,α a. Toimenpiteet liitetään luokitukseen tappiofunktion (engl. loss function) λ avulla. Sen arvo λ(α i ω j ) kuvaa toimenpiteestä α i aiheutuvaa tappiota kun todellinen luokka on ω j. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 14/38

31 Bayesin minimiriskiluokitin Oletetaan, että on a toimenpidettä joista tehtävänä valita sopivin. Merkitään toimenpiteitä α 1,...,α a. Toimenpiteet liitetään luokitukseen tappiofunktion (engl. loss function) λ avulla. Sen arvo λ(α i ω j ) kuvaa toimenpiteestä α i aiheutuvaa tappiota kun todellinen luokka on ω j. Päätössäännöt ovat nyt kuvauksia α piirreavaruudesta toimenpiteiden joukolle. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 14/38

32 Bayesin minimiriskiluokitin Ehdollinen tappio eli ehdollinen riski R(α i x) = c j=1 λ(α i ω j )P(ω j x), joka toimenpiteestä α i seuraa kun havaittu piirrevektori on x. Bayesin minimiriskiluokitin yksinkertaisesti laskee ehdolliset riskit jokaiselle toimenpiteelle ja valitsee toimenpiteen, jonka ehdollinen riski on pienin. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 15/38

33 Bayesin minimiriskiluokitin Samaan tapaan kuin Bayes luokitin myös Bayesin minimiriskiluokitin takaa optimaalisen luokitustuloksen. Se nimittäin minimoi kokonaisriskin R total (α) = R(α(x) x)p(x)dx, päätössääntöjen α suhteen. Bayesin minimiriskiluokitin hyödyllinen kun eri toimenpiteillä eri kustannukset SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 16/38

34 Roskapostiesimerkki Tuleva sähköpostiviesti kuuluu joko normaalipostiluokkaan ω 1 tai roskapostiluokkaan ω 2. On kaksi toimenpidettä α 1 (pidä sähköpostiviesti inboxissa) ja α 2 (viesti menee /dev/null:n). Koskapa normaalin viestin menettäminen on (yleensä) noin kolme kertaa tuskallisempaa kuin roskapostin saaminen inboxiin, valitsemme tappiofunktion λ(α 1 ω 1 ) = 0 λ(α 1 ω 2 ) = 1 λ(α 2 ω 1 ) = 3 λ(α 2 ω 2 ) = 0. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 17/38

35 Roskapostiesimerkki Tiedetään, että P(ω 1 ) = 0.4,P(ω 2 ) = 0.6 ja olemme viestin piirrevektorista laskeneet p(x ω 1 ) = 0.35,p(x ω 2 ) = Huomaa, että yleisesti EI päde c i=1 p(x ω i) = 1. Laskemme ensin posterior todennäköisyydet kummallekin luokalle: P(ω 1 x) = = 0.264; P(ω 2 x) = SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 18/38

36 Roskapostiesimerkki Bayesin minimiriskiluokitusta varten laskemme lisäksi ehdollisen riskin kummallekin toimenpiteelle. Ne ovat R(α 1 x) = = 0.736, R(α 2 x) = = Eli siis Bayes luokitin on sitä mieltä, että meili on roskapostia, mutta minimiriskiluokitin silti antaa sen sujahtaa inboxiin koska virheluokituksen tappio on tässä tapauksessa pienempi. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 19/38

37 Erotinfunktiot Bayes luokitinta käsitellessämme huomasimme, että sama luokitin voidaan esittää useammalla eri tavalla. Yleisesti luokitin määritellään usein apufunktioiden, ns. erotinfunktioiden avulla. Jokaisella luokalla ω i on oma erotinfunktionsa g i (x), joka ottaa syötteekseen piirrevektorin x. Luokitin asettaa sitten piirrevektorin x luokkaan ω i jos kaikille i j g i (x) > g j (x). SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 20/38

38 Erotinfunktiot Figure 2.5 from Duda, Hart, Stork: Pattern Classification, Wiley, 2001 SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 21/38

39 Erotinfunktiot Esim. Bayes luokittimelle: g i (x) = P(ω i x),i = 1,...,c tai g i (x) = p(x ω i )P(ω i ),i = 1,...,c. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 22/38

40 Erotinfunktiot Sama luokitin voidaan siis esittää useiden erilaisten erotinfunktioiden avulla: Tulos: Olkoon f : R R monotonisesti kasvava, ts.f(x) < f(y) aina kun x < y. Tällöin erotinfunktiot ja g i (x),i = 1,...,c f(g i (x)),i = 1,...,c määrittelevät saman luokittimen. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 23/38

41 Lineaariset erotinfunktiot Myöhemmin olemme kiinnostuneita erityisesti muotoa g i (x) = wi T x + w i0 olevista erotinfunktioista. Näitä kutsutaan lineaarisiksi erotinfunktioiksi. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 24/38

42 Kaksi luokkaa Kun luokkia on vain kaksi, luokitin on kätevää esittää yhden ja ainoan erotinfunktion avulla g(x) = g 1 (x) g 2 (x). Tällöin, jos g(x) > 0, niin x sijoitetaan luokkaan ω 1 ja muutoin x sijoitetaan luokkaan ω 2. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 25/38

43 Päätösalueet ja päätöspinnat Päätösalueet voidaan esittää erotinfunktioiden avulla näppärästi: R i = {x : g i (x) > g j (x) i j}. Päätösalueiden rajapintoja, ts. joukkoja R ij = {x : g i (x) = g j (x),g k (x) < g i (x) k i,j}. kutsutaan päätöspinnoiksi. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 26/38

44 Päätösalueet ja päätöspinnat Figure 2.6 from Duda, Hart, Stork: Pattern Classification, Wiley, 2001 SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 27/38

45 Päätösalue-esimerkki Kahden luokan luokitusongelma. P(ω 1 ) = 0.6,P(ω 2 ) = 0.4 ja p(x ω 1 ) = 1 2π exp[ 0.5x 2 ] ja p(x ω 2 ) = 1 2π exp[ 0.5(x 1) 2 ]. Tehtävänä etsiä päätösalueet Bayes luokittimelle. Päätösalue R 1 on niiden x:ien joukko joille P(ω 1 x) > P(ω 2 x). Päätösalue R 2 on niiden x:ien joukko joille P(ω 2 x) > P(ω 1 x). Päätöspinta on x:ien joukko jolle P(ω 2 x) = P(ω 1 x). SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 28/38

46 Päätösalue-esimerkki class 1 class Luokkatiheysfunktiot SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 29/38

47 Päätösalue-esimerkki Päätöspinta: P(ω 1 x) = P(ω 2 x) p(x ω 1 )P(ω 1 ) = p(x ω 2 )P(ω 2 ), missä käytettiin Bayesin sääntöä ja kerrottiin p(x):llä. p(x ω 1 )P(ω 1 ) = p(x ω 2 )P(ω 2 ) ln[p(x ω 1 )P(ω 1 )] = ln[p(x ω 2 )P(ω 2 )]. (x/2) 2 + ln 0.6 = ((x 1)/2) 2 + ln 0.4 x 2 4 ln 0.6 = x 2 2x ln 0.4 x = ln 0.6 ln R 1 = {x : x < x }, R 2 = {x : x > x }. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 30/38

48 Päätösalue-esimerkki Class 1 decision region class 1 class 2 Class 2 decision region P(ω 1 x) ja P(ω 2 x) ja päätösalueet SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 31/38

49 Normaalijakauma Yksi piirre: (d = 1) missä σ > 0. p(x) = 1 2πσ exp[ 1 2 (x µ σ )2 ], SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 32/38

50 Normaalijakauma Yksi piirre: (d = 1) missä σ > 0. Monta piirrettä: p(x) = 1 2πσ exp[ 1 2 (x µ σ )2 ], p(x) = 1 (2π) d/2 det(σ) exp[ 1 2 (x µ)t Σ 1 (x µ)], x,µ ovat d-paikkaisia vektoreita and Σ on d d positiividefiniitti matriisi. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 32/38

51 Erotinfunktiot normaalijakaumalle Erotinfunktiot g i (x) = p normal (x µ i, Σ i )P(ω i ). Logaritmi oikeasta puolesta: g i (x) = 1 2 (x µ i) T Σ 1 i (x µ i ) d 2 ln 2π 1 2 ln det(σ i)+ln P(ω i ). SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 33/38

52 Tapaus 1 Σ i = σ 2 I Siis piirteet riippumattomia ja jokaisella piirteellä sama varianssi. Nyt voidaan kirjoittaa g i (x) = x µ i 2 2σ 2 + ln P(ω i ). Avaamalla (Euklidinen) normi saadaan: g i (x) = 1 2σ 2 (x T x 2µ T i x + µt i µ i) + ln P(ω i ). Koska x T x sama kaikille luokille voidaan sekin tiputtaa: g i (x) = 1 σ 2(µT i x 1 2 µt i µ i ) + ln P(ω i ). SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 34/38

53 Tapaus 1 Σ i = σ 2 I Erotinfunktiot g i (x) = 1 σ 2(µT i x 1 2 µt i µ i ) + ln P(ω i ) lineaarisia. Joten luokitin lineaarinen. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 35/38

54 Pienimmän etäisyyden luokitin Pienimmän etäisyyden luokitin on edellisen erikoistapaus kun P(ω i ) = 1 c. Piirrevektori x sijoitetaan luokkaan, jonka keskiarvovektori on lähinnä x:ää. Pienimmän etäisyyden luokitin on lineaarine luokitin. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 36/38

55 Tapaus 2: Σ i = Σ Sallimme nyt tilastollisesti riippuvat piirteet. Luokkien kovarianssimatriisit kuitenkin samoja. Luokiti lineaarinen myös tässä tapauksessa: g i (x) = wi T x + w i0, missä ja w i = Σ 1 µ i w i0 = 1 2 µt i Σ 1 µ i + ln P(ω i ). SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 37/38

56 Tapaus 3: Σ i mielivaltainen Nyt emme oleta mitään ylimääräistä luokkatiheysfunktioista. Tässä tapauksessa erotinfunktioita g i (x) = 1 2 (x µ i) T Σ 1 i (x µ i ) d 2 ln 2π 1 2 ln det(σ i)+ln P(ω i ). ei voida paljoa sieventää, vain termi d 2 jättää pois. ln 2π voidaan Nämä luokittimet ovat huomattavasti monimutkaisempi kuin lineaariset luokittimet. SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja 5 p. 38/38