13 / 99 2. Bayesin päätösteoria 2.1. Johdanto Bayesin päätösteorian (Bayesian decision theory) avulla on mahdollista johtaa optimaalisia tilastollisia luokittelijoita. Perustuu todennäköisyyslaskentaan ja olettaa tarvittavat todennäköisyydet tunnetuiksi. Merkitään asiaintilaa (state of nature) symbolilla ω kalanlajittelun esimerkissä tarkoittaa tarkasteltavan kalan lajia: ω ω 1, kun kala on meriahven ja ω ω 2, kun kala on lohi koska asiaintila on niin ennustamaton, tulkitaan ω muuttujaksi, joka täytyy kuvailla probabilistisesti Asiaintila ω on tässä diskreettiarvoinen, koska sillä on vain kaksi tilaa. Sen tiloihin liittyy a priori todennnäköisyydet P(ω j ), jotka kuvastavat tilojen suhteellisia esiintymiskertoja populaatiossa: P(ω 1 ): meriahvenien suhteellinen osuus saaliskaloissa P(ω 2 ): lohien suhteellinen osuus saaliskaloissa jos muita tiloja ei ole, P(ω 1 ) + P(ω 2 ) 1 Mikäli luokittelijalla ei ole muuta tietoa kaloista kuin a priori todennäköisyydet, päätössääntö on yksinkertainen: päätä ω 1 jos P(ω 1 ) > P(ω 2 ), muutoin päätä ω 2 Tavallisesti käytettävissä on muutakin tietoa, nimittäin aiemmin mainittuja kohteita luonnehtivia piirteitä. Olkoon x kalan kirkkautta kuvaava jatkuva-arvoinen satunnaismuuttuja, jonka jakauma p( x ω) riippuu asiaintilasta. Jakaumaa kutsutaan luokkaehdolliseksi todennäköisyystiheysfunktioksi (class-conditional probability density function): satunnaismuuttujan x tiheysfunktio oletuksella että asiaintila on ω. Tällöin tiheysfunktioiden p( x ω 1 ) ja p( x ω 2 ) välinen ero kuvastaa näiden kalalajien kirkkauseroja populaatiossa (kuva alla):
14 / 99 Tiheysfunktioita voidaan käyttää hyväksi luokittelussa Bayesin kaavan avulla. Tämän johtamiseksi kirjoitetaan ensin yhteistodennäköisyystiheys (joint probability density) sille, että hahmo kuuluu luokkaan ω j JA sillä on piirteen arvo x: p( ω j, x) P( ω j x)p( x) p( x ω j )P( ω j ) Tästä saadaan kuuluisa Bayesin kaava (Bayes formula): P( ω j x) p( x ω j )P( ω j ) --------------------------------- p( x) Tämä voidaan ilmaista sanallisesti seuraavasti: p( x ω j )P( ω j ) -------------------------------------------- 2 i 1 p( x ω i )P( ω i ) likelihood prior posterior ----------------------------------------- evidence likelihood : uskottavuus a priori todennäköisyydestä lasketaan siis a posteriori todennäköisyys
15 / 99 A posteriori todennäköisyys ω j, kun piirrearvo x on havaittu. P( ω j x) kuvastaa todennäköisyyttä, että asiaintila on Tiheysfunktiota p( x ω) kutsutaan uskottavuusfunktioksi (likelihood function). Se kuvastaa asiaintilan ω j uskottavuutta suhteessa mittausarvoon x siten, että mitä suurempi funktion arvo on piirreavaruuden pisteessä x, sitä uskottavammin asiaintila on ω j. Nimittäjässä esiintyvä termi p(x) on lähinnä skaalaustekijä, jolla varmistetaan se, että posteriori-todennäköisyydet summautuvat arvoon 1 kaikkialla piirreavaruudessa. Se kuvastaa muuttujan x tiheyttä yli koko populaation. Tästä saadaan Bayesin päätössääntö (Bayes decision rule): Päätä ω 1 jos P( ω 1 x) > P( ω 2 x), muutoin päätä ω 2 Ekvivalentti päätössääntö: Päätä ω 1 jos p( x ω 1 )P( ω 1 ) > p( x ω 2 )P( ω 2 ), muutoin päätä ω 2
16 / 99 Bayesin päätössääntö minimoi luokitteluvirheen keskimääräisen todennäköisyyden, mikä nähdään seuraavasti: Virheen keskimääräinen todennäköisyys saadaan lausekkeesta: P( virhe) P( virhe, x) dx Tämä saa pienimmän arvonsa, kun kohdissa x. P( virhe x) P( virhe x)p( x) dx saa pienimmän arvonsa kaikissa Yleisesti ottaen, kun havaitaan piirrearvo x, virheellisen luokittelupäätöksen todennäköisyys on: P( virhe x) Noudatettaessa Bayesin päätössääntöä pätee jokaisessa pisteessä x: Siispä virheen keskimääräinen todennäköisyys saa pienimmän mahdollisen arvonsa käytettäessä Bayesin päätössääntöä! M.O.T. P( ω 1 x), kun päätetään ω 2 P( ω 2 x), kun päätetään ω 1 P( virhe x) min[ P( ω 1 x), P( ω 2 x) ] Mikään muu päätössääntö ei voi alittaa Bayesin luokitteluvirhettä. Mikäli siis todennäköisyydet tunnetaan (priorit ja jakaumat), kannattaa käyttää Bayesin päätössääntöön perustuvaa luokittelijaa. Muut luokittelijat tuottavat korkeintaan yhtä hyviä tuloksia, todennäköisesti huonompia. Käytännön vaikeus on tietysti määrätä todennäköisyydet tarkasti.
17 / 99 2.2. Bayesin päätösteoria - jatkuva-arvoiset piirremuuttujat Yleistetään edellisen kappaleen tulokset: sallitaan useita piirteitä d-ulotteinen piirrevektori (satunnaismuuttuja) x piirreavaruudessa R d sallitaan useita asiaintiloja { ω 1,..., ω c } sallitaan muitakin toimintoja (action) kuin päätöksenteko asiaintilasta (kuten kieltäytyminen päätöksenteosta, mikäli hahmon luokka ei näytä selvältä) { α 1,..., α a } käyttämällä virheen todennäköisyyttä yleisempää kustannusfunktiota (cost function) kustannusfunktio λ( α i ω j ) ilmaisee kuinka suuri kustannus syntyy tekemällä toiminto α i asiaintilassa ω j Bayesin kaava on samaa muotoa kuin aiemmin: P( ω j x) p( x ω j )P( ω j ) --------------------------------- p( x) p( x ω j )P( ω j ) -------------------------------------------- c i 1 p( x ω i )P( ω i ) Oletetaan nyt, että havaitaan piirrevektori x ja halutaan tehdä sen perusteella toiminto α i. Tähän toiminnon tekemiseen liittyvän kustannuksen odotusarvo on: Päätösteoreettisessa terminologiassa kustannuksen odotusarvoa (expected loss) kutsutaan riskiksi (risk), ja suuretta R( α i x) kutsutaan ehdolliseksi riskiksi (conditional risk). Bayesin päätösproseduuri: c R( α i x) λ( α i ω j )P( ω j x) j 1 Valitse se toiminto α i, jota vastaava ehdollinen riski R( α i x) on pienin
18 / 99 Bayesin päätössääntö tuottaa optimaalisen suorituskyvyn, mikä nähdään seuraavasti: Ongelmana on löytää kokonaisriskin minimoiva päätössääntö. Yleinen päätössääntö on funktio α(x), joka kertoo mikä toiminto α i { α 1,..., α c } tulee valita kunkin tapauksen x kohdalla. Kokonaisriski on tiettyyn päätössääntöön liittyvä kustannuksen odotusarvo: R R( α( x) ) R( α( x), x) dx R( α( x) x)p( x) dx Kun α(x) päätyy valintaan α i siten, että lauseke saa pienimmän arvonsa. M.O.T. R( α i x) on pienin kaikilla x, ylläoleva Pienintä kokonaisriskiä kutsutaan Bayesin riskiksi (Bayes risk) R*, joka on samalla pienin saavutettavissa oleva riski. Tarkastellaan 2-luokkaista erikoistapausta: R( α 1 x) λ 11 P( ω 1 x) + λ 12 P( ω 2 x) R( α 2 x) λ 21 P( ω 1 x) + λ 22 P( ω 2 x) jossa on yksinkertaistettu merkintöjä käyttämällä λ ij Valitaan siis α 1, jos R( α 1 x) < R( α 2 x), eli jos: λ( α i ω j ) ( λ 21 λ 11 )P( ω 1 x) > ( λ 12 λ 22 )P( ω 2 x) eli ( λ 21 λ 11 )p( x ω 1 )P( ω 1 ) > ( λ 12 λ 22 )p( x ω 2 )P( ω 2 ) eli p( x ω 1 ) ( λ ------------------- 12 λ 22 ) p( x ω 2 ) ( ------------------------ P ( ω2 ) > -------------- λ 21 λ 11 ) P( ω 1 ) Alinta muotoa kutsutaan likelihood ratio -suureeksi ja sen käyttöä päätössääntönä LR-testiksi, jossa verrataan kahden uskottavuusfunktion suhdetta kynnysarvoon.
19 / 99 Johdetaan aiemmin esitelty minimivirheluokittelija (minimum-error-rate classifier): Toiminto α i olkoon nyt hahmon luokittelu luokkaan ω i. Oikean ja väärän luokittelun kustannukset olkoon 0-1-kustannusfunktion mukaiset: λ( α i ω j ) 0 i j 1 i j Oikealla päätöksellä ei siis ole kustannuksia, ja kaikki väärät päätökset maksavat saman verran. Tätä kustannusfunktiota vastaava ehdollinen riski on nyt: c R( α i x) λ( α i ω j )P( ω j x) P ω j x 1 P( ω i x) j 1 j i Päätössääntö: eli: eli: Valitse α i, jos Valitse α i, jos Valitse α i, jos R( α i x) < R( α j x) kaikilla j i 1 P( ω i x) < 1 P( ω j x) kaikilla j i P( ω i x) > P( ω j x) kaikilla j i Alla kuva, jossa piirretty LR-suhde edellisen kuvan esimerkille:
20 / 99 2.3. Luokittelijat, diskriminanttifunktiot ja päätöspinnat Luokittelijat voidaan esittää monella tavalla yhden suosituimmista ollessa diskriminanttifunktiot g i (x), i1,...,c. Suomeksi voidaan käyttää nimeä erottelufunktiot. Jokaiselle luokalle siis suunnitellaan oma diskriminanttifunktio. Luokittelija sijoittaa piirrevektorin x omaavan hahmon luokkaan ω i, jos: g i ( x) > g j ( x) kaikilla j i eli suurimman lukuarvon tuottavan funktion luokkaan. Riskin minimointiin perustuvalle Bayesin luokittelijalle voidaan valita: g i (x) - R( α i x), jolloin suurimman diskriminanttifunktion arvo vastaa pienintä ehdollista riskiä. Minimivirheeseen perustuvalle Bayesin luokittelijalle voidaan valita: g i (x) P( ω i x), jolloin suurimman diskriminanttifunktion arvo vastaa suurinta a posteriori todennäköisyyttä
21 / 99 Diskriminanttifunktiota voidaan muokata vaikuttamatta päätössääntöön. Esimerkiksi, toimivasta d-funktiosta g i (x) saadaan uusi muunnoksella f(g i (x)), jossa f() on monotonisesti kasvava funktio. Eräitä suosittuja diskriminanttifunktioita ovat: g i ( x) P( ω i x) p( x ω i )P( ω i ) -------------------------------------------- c j 1 g i ( x) p( x ω i )P( ω i ) p( x ω j )P( ω j ) g i ( x) ln p( x ω i ) + ln P( ω i ) Päätössäännön tarkoitus on jakaa piirreavaruus päätösalueisiin (decision regions) R 1,...,R c. Mikäli siis g i ( x) > g j ( x) kaikilla j i, niin piirevektori x kuuluu päätösalueeseen R i, ja päätössääntö luokittelee hahmon luokkaan ω i. Päätösalueita erottaa toisistaan päätöspinnat (decision boundary):
22 / 99 Kaksiluokkaisessa tapauksessa luokittelijaa kutsutaan Englanniksi dichotomizer, joka tulee jakamisesta kahteen osaan. Kahden diskriminanttifunktion sijasta käytetään yhtä, joka määritellään seuraavasti: g( x) g 1 ( x) g 2 ( x) Päätössääntö on: Päätä ω 1, jos g( x) > 0, muutoin päätä ω 2 Usein käytetään seuraavia funktioita: g( x) P( ω 1 x) P( ω 2 x) g( x) ln p ( x ω 1) ------------------- ln P ( ω 1) + -------------- p( x ω 2 ) P( ω 2 )
23 / 99 2.4. Normaalijakauma Bayesin luokittelijan rakenteen määrittelee ehdolliset tiheysfunktiot p( x ω i ) ja prioritodennäköisyydet P(ω i ). Eniten tutkittu tiheysfunktiomuoto on normaalijakauma (normal density, Gaussian), koska sen analyyttinen käsiteltävyys on hyvä ja koska se sopii hyvin mallintamaan usein esiintyvää signaaliin summautunutta kohinaa. Ensialkuun palautetaan mieleen skalaariarvoisen funktion f(x) tilastollisen odotusarvon (expected value) määritelmä, kun x on jatkuva-arvoinen muuttuja: ε[ f( x) ] f( x)p( x) dx Diskreetin muuttujan x D tapauksessa odotusarvo lasketaan kaavalla: Huomaa, että jatkuva muuttujan x tapauksessa käytetään todennäköisyystiheysfunktiota p(x) (pienellä p:llä), kun diskreetin muuttujan x tapauksessa käytetään todennäköisyysjakaumaa (todennäköisyysmassaa) P(x) (isolla P:llä). Jatkuva-arvoisen skalaarimuuttujan x normaalijakauma eli Gaussin jakauma: ε[ f( x) ] f( x)p( x) x D p( x) 1 -- ----------- x µ 2 1 2 σ --------------e 2πσ Muuttujan x odotusarvo ja neliöllisen poikkeaman odotusarvo eli varianssi: µ ε[ x ] xp( x) dx σ 2 ε[( x µ ) 2 ] ( x µ ) 2 p( x) dx
24 / 99 Usein merkitään p( x) N ( µ, σ 2 ), katso kuva alla: 2.4.1. Piirrevektorin tiheysfunktio Monimuuttujainen (multivariate) normaalijakauma p( x) N( m, Σ) : p( x) 1 -- ( x m) t Σ 1 ( x m) 1 2 -----------------------------------e ( 2π) d 2 Σ 1 2, jossa m on x:n d-ulotteinen odotusarvovektori (mean vector), ja Σ on dxdkokoinen kovarianssimatriisi (covariance matrix), Σ ja Σ 1 ovat kovarianssimatriisin determinantti ja käänteismatriisi, yläindeksi t tarkoittaa transpoosia. m ε[ x ] xp( x) dx Σ ε[ ( x m) ( x m) t ] ( x m) ( x m) t p( x) dx
25 / 99 Odotusarvo vektorista saadaan ottamalla odotusarvo vektorin komponenteista erikseen: m i ε[ x i ] Kovarianssimatriisin elementti σ ij edustaa komponenttien x i ja x j välistä kovarianssia ja määritellään seuraavasti: σ ij ε[ ( x i m i )( x j m j ) ] Kovarianssimatriisi on aina symmetrinen ja positiivinen semidefiniitti (eli determinantti nolla tai positiivinen). Determinantti on nolla esimerkiksi silloin, kun osa piirrevektorin komponenteista ovat identtisiä tai korreloivat täydellisesti keskenään. Jos komponentit x i ja x j ovat tilastollisesti riippumattomia (statistically independent), elementti σ ij 0. Mutta ei välttämättä toisinpäin, sillä kovarianssianalyysissä arvioidaan lineaarista riippumattomuutta, ja riippuvuuksiahan on olemassa epälineaarisiakin! Diagonaalielementit σ ii σ i 2 ovat komponenttien x i varianssit. Alla esimerkki 2- ulotteisen piirrevektorijoukon kovarianssimatriisista: S 2 σ 11 σ 12 σ 1 σ12 σ 21 σ 2 22 σ 21 σ 2 σ 1 2 σ12 σ 12 σ 2 2 Monimuuttujaisen normaalijakauman määrittelee siis d+d(d+1)/2 parametria, eli odotusarvovektori ja kovarianssimatriisin riippumattomat elementit. Esimerkiksi diskreetin muuttujan x tapauksessa lasketaan näitä suureita vastaavat otoskeskiarvo ja otoskovarianssimatriisi seuraavasti: N 1 x --- x N i i 1 S N 1 --- x N ( i x) ( x i x) t i 1
26 / 99 Alla kuva 2-ulotteisesta Gaussin jakaumasta. Jakauma on vino, koska esimerkkitapauksessa piirteet x 1 ja x 2 korreloivat positiivisesti (esimerkiksi kalan pituus ja paino). Ellipsit kuvastavat pisteitä, joissa r 2 ( x m) t Σ 1 ( x m) vakio Suuretta r kutsutaan Mahalanobis-etäisyydeksi piirrevektorin x ja luokan jakauman odotusarvon m välillä. (Kuvassa odotusarvoa m merkitään symbolilla µ.) Sitä käytetään usein luokittelijoissa mitattaessa sitä kuinka etäällä/lähellä hahmo on eri luokkia, tähän palataan pian. Ellipsien akselit voidaan haluttaessa laskea ominaisarvoanalyysin kautta. Tyypillisesti kuvat piirretään siten, että sisin ellipsi on yhden keskihajonnan (standard deviation) etäisyydellä keskipisteestä, seuraava kahden keskihajonnan, jne.
27 / 99 2.5. Diskriminanttifunktioita normaalijakaumalle Käytettäessä diskriminanttifunktiona aiemmin esitettyä muotoa g i ( x) ln p( x ω i ) + ln P( ω i ) normaalijakautuneen satunnaismuuttujan x tapauksessa p( x ω i ) N( m i, Σ i ) ja: g i ( x) 1 -- ( x m 2 i ) t 1 d Σ i ( x m i ) -- ln 2π 1 2 2 -- ln Σ i + ln P( ω i ) Tarkastellaan seuraavaksi eräitä usein käytännössä esiintyviä erikoistapauksia. 2.5.1. Tapaus Σ i σ 2 I Tässä tapauksessa kaikkien luokkien kovarianssimatriisi on identtinen ja on yksikkömatriisin muotoinen päädiagonaalielementin saadessa arvon σ 2. Esim.: Σ σ 2 0 0 σ 2 Näin käy jos piirrevektorin komponentit eli piirteet ovat tilastollisesti lineaarisesti riippumattomia ja jokaisen piirteen varianssi on sama σ 2. Geometrisesti tulkittuna tämä tarkoittaa ympyrämäisesti samalla tavalla jakautuneita luokkia, jotka sijaitsevat piirreavaruuden kohdissa m i.
28 / 99 Tällöin Σ i σ 2d ja Σ 1 ----- 1 σ 2 I Koska 2. ja 3. termi diskriminanttifunktiossa ovat riippumattomia luokasta, ne eivät vaikuta erottelukykyyn ja voidaan siten jättää pois. Saadaan siis: g i ( x) 2 x m i ---------------------- 2σ 2 + ln P( ω i ) Ensimmäisen termin osoittajassa esiintyvä lauseke on pisteiden x ja m i välinen Euklidinen etäisyys: d 2 x m i ( x m i ) t ( x m i ) ( x j m ij ) 2 j 1 x 2 x x-m i m i x 1
29 / 99 Edellä esitettyä diskriminanttifunktiota voidaan muokata edelleen laskemalla etäisyyslauseke auki, jolloin saadaan: g i ( x) 1 -------- 2σ 2 x t t t [ x 2m ix + mi mi ] + ln P( ω i ) Termi x t x on sama kaikille luokille, joten se voidaan jättää pois. Merkitään nyt: 1 1 t w i ----- σ 2 m i ja w i0 -------- 2σ 2 m imi + ln P( ω i ) Tällöin saadaan muoto, jota kutsutaan lineaariseksi diskriminanttifunktioksi: t g i ( x) w ix + wi0 Lineaarista diskriminanttifunktiota käyttävää luokittelijaa kutsutaan lineaariseksi koneeksi (linear machine). Voidaan osoittaa, että lineaarisella koneella luokkia erottelevina päätöspintoina toimivat hypertasot, jotka voidaan laskea suoraviivaisesti jokaisen luokkaparin i-j välille asettamalla g i (x)g j (x): g i ( x) g j ( x) 0 t t w ix + wi0 w jx wj0 0 1 ----- σ 2 ( m i m j ) t 1 t 1 t x --------m 2σ 2 imi + ln P( ω i ) + --------m 2σ 2 jmj ln P( ω j ) 0 ( m i m j ) t 1 t t x -- ( m 2 imi m jmj ) σ 2 ln P( ω i + ------------- ) 0 P( ω j ) ( m i m j ) t 1 x -- ( m 2 i m j ) t m i m j ( m i + m j ) -------------------------σ 2 ln P ω i + ------------- ( ) 0 2 P( ω j ) ( m i m j ) t 1 x -- ( m 2 i m j ) t ( m i m j ) t ( m i + m j ) -------------------------σ 2 ln P ( ω i) + ------------- ( m 2 P( ω j ) i m j ) 0 m i m i m j m j 2 ( m i m j ) t 1 x -- ( m 2 i + m j ) -------------------------ln P ( ω i) + ------------- ( m 2 P( ω j ) i m j ) m i σ 2 m j ( m i m j ) t x x 0 ( ) 0 0 Yhtälö ( m i m j ) t ( x x 0 ) 0 edustaa pisteen x 0 kautta kulkevaa hypertasoa L, joka on kohtisuorassa luokkien i ja j keskipisteitä yhdistävää janaa m i -m j vastaan.
30 / 99
31 / 99 Mikäli prioritodennäköisyydet ovat yhtäsuuret P(ω i )P(ω j ), lausekkeista nähdään 1 että x 0 -- ( m eli hypertaso kulkee luokkakeskipisteiden puolivälistä. 2 i + m j ) Mikäli P( ω i ) > P( ω j ), leikkauspiste x 0 siirtyy poispäin luokasta ω i. Alla olevassa piirroksessa uusi leikkauspiste on x 0 ja ε>0 tulee lausekkeesta: ε σ 2 --------------------------ln P ( ω i) ------------- 2 m i m P( ω j ) j L x 2 m i m i -m j L x 0 x 0 ε(m i -m j ) m j x 1 Mikäli priorit ovat samat kaikille luokille, diskriminanttifunktiota voidaan yksinkertaistaa edelleen poistamalla vastaavat termit. Lisäksi voidaan poistaa luokasta riippumattomat σ-termit, joten päätössäännöksi saadaan: Päätä ω i mikäli x m i < x m j j i Tätä kutsutaan minimietäisyysluokittelijaksi (minimum distance classifier), jota käytetään monissa sovelluksissa. Tämän luvun perusteella nähdään mitä matemaattisia oletuksia on oltava voimassa, jotta päätössääntö toimisi optimaalisesti.
32 / 99 2.5.2. Tapaus Σ i Σ Luokkien kovarianssimatriisit ovat identtiset, mutta muutoin mielivaltaiset. Geometrisen tulkinnan mukaan luokkien muodot on piirreavaruudessa ovat samanlaiset, mutta ne sijaitsevat eri paikoissa m i. Koska osa diskriminanttifunktion termeistä on jälleen luokasta riippumattomia, saadaan yksinkertaistamisen jälkeen: g i ( x) 1 -- ( x m 2 i ) t Σ 1 ( x m i ) ln P( ω i ) Mikäli luokkien priorit ovat samat, saadaan päätössäännöksi yksinkertaistamisen jälkeen: Päätä ω i mikäli ( x m i ) t Σ 1 ( x m i ) < ( x m j ) t Σ 1 ( x m j ) j i Etäisyysmittana käytetään tässä Mahalanobis-etäisyyttä, joka siis huomioi luokkaellipsien kiertymisen piirreavaruudessa. Alla olevassa kuvassa esiintyvät luokan jakauman muotoa kuvastavan ellipsin kaksi pistettä ovat yhtä etäällä luokan keskipisteestä tämän metriikan mukaan! x 2 x 1
33 / 99 Vastaavalla tavalla kuin edellisessä kappaleessa diskriminanttifunktiosta voidaan jättää pois luokasta riippumattomia termejä ja muuntaa se lineaariseen muotoon:, jossa t g i ( x) w ix + wi0 w i Σ 1 1 t 1 m i ja w i0 -- m 2 iσ mi + ln P ( ω ) i Päätöspinnat ovat siis jälleen hypertasoja, mutta nyt tasot eivät ole yleisesti ottaen kohtisuorassa luokkien keskipisteitä yhdistäviä janoja vastaan. Tasojen yhtälöt voidaan johtaa vastaavalla tavalla kuin edellä.
34 / 99 2.5.3. Tapaus Σ i mielivaltainen Kullakin luokalla on mielivaltainen kovarianssimatriisi, joten alkuperäisestä diskriminanttifunktiosta voidaan pudottaa pois vain termi (d/2)ln 2π. Pienen manipulaation jälkeen saadaan kvadraattinen (neliöllinen) muoto:, jossa g i ( x) x t t W i x + w ix + wi0 1 1 1 1 t 1 W i --Σ 2 i, wi Σ i mi ja w i0 -- 1 m 2 iσi mi -- ln Σ 2 i + ln P( ω i ) Kaksiluokkaisessa ongelmassa päätöspinnat ovat hyperkvadreja (hyperquadrics): hypertasot hypertasoparit hyperpallot hyperellipsoidit hyperparaboloidit hyperhyperboloidit Jopa 1-ulotteisessa tapauksessa päätösalueet saattavat jakaantua moneen osaan: Seuraavilla sivuilla on esitetty lisää esimerkkejä päätöspinnoista.
35 / 99
36 / 99
37 / 99 Allaolevassa kuvassa pyritään erottelemaan neljä Gaussista luokkaa toisistaan: Luokittelija tekee päätöksen jakaumien muodot huomioiden. Alla olevassa kuvassa keskellä oleva piste x kuuluu luokkaan ω 2, vaikka se on lähempänä luokan ω 1 keskipistettä! Minimietäisyysluokittelija sijoittaisi hahmon siis luokkaan ω 1. x 2 ω 1 ω 2 x 1
38 / 99 2.6. Virheen todennäköisyydestä Tarkastellaan kaksiluokkaista tapausta, jossa luokittelijalle on opetettu päätöspinta. Koska luokkajakaumat ovat yleensä osittain päällekkäiset, tapahtuu ajoittain luokitteluvirhe: piirrevektori x kuuluu päätösalueeseen R 1, vaikka hahmo kuuluu luokkaan ω 2 piirrevektori x kuuluu päätösalueeseen R 2, vaikka hahmo kuuluu luokkaan ω 1 Virheen todennäköisyys saadaan seuraavasti: P( virhe) P( x R 2, ω 1 ) + P( x R 1, ω 2 ) P( x R 2 ω 1 )P( ω 1 ) + P( x R 1 ω 2 )P( ω 2 ) p ( x ω )P( ω ) dx 1 + p( x ω 1 2 )P( ω 2 ) dx R 2 R 1 Tulosta havainnollistetaan seuraavassa kuvassa. Päätöspinta on tässä pelkkä kynnys x* ja se on selvästi asetettu epäoptimaaliseen kohtaan; Bayesin valinta on x B. Kuvankin mukaan Bayesin päätössääntö johtaa pienimpään luokitteluvirheeseen, koska virhettä edustava pinta-ala on pienin mahdollinen.
39 / 99 Moniluokkaisessa tapauksessa on helpompaa laskea oikean luokittelun todennäköisyys: c P( oikein) P( x R i, ω i ) i 1 c i 1 c i 1 P( x R i ω i ) P ( ω i ) R i p( x ω i )P( ω i ) dx Bayesin luokittelija maksimoi tämän todennäköisyyden valitsemalla päätösalueet siten, että integroitava lauseke on suurin mahdollinen kaikilla x. Tämän johdosta virheen todennäköisyys on pienin mahdollinen: P(virhe)1-P(oikein).
40 / 99 2.7. Spesifisyys, sensitiivisyys, testin ennustearvo, ROC-käyrät Kaksiluokkaisessa ongelmassa on usein hyödyllistä tarkastella spesifisyyttä ja sensitiivisyyttä, jotka kuvastavat luokittelijan kykyä erotella luokat toisistaan. Tarkastellaan esimerkkinä hiihtäjien doping-testausta, jossa tavoitteena on erottaa dopingia käyttäneet. Seuraava nelikenttä kuvastaa minkä verran hiihtäjiä luokittelija on luokitellut oikein ja väärin: Test positive Test negative Doping present True positives False negatives Doping absent False positives True negatives Sensitiivisyys: Sensitivity ---------------------------------------------------------------------------- True positives True positives + False negatives Spesifisyys: Specificity True negatives ---------------------------------------------------------------------------- True negatives + False positives Positiivisen testin ennustearvo: Predictive value of positive test --------------------------------------------------------------------------- True positives True positives + False positives Negatiivisen testin ennustearvo: Predictive value of negative test ----------------------------------------------------------------------------- True negatives True negatives + False negatives
41 / 99 Voidaan käyttää myös seuraavia nimikkeitä kentille: oikea hälytys (hit): true positives, TP väärä hälytys (false alarm): false positives, FP väärä hylkäys (miss): false negatives, FN oikea hylkäys (correct rejection): true negatives, TN Tarkastellaan tilannetta, jossa käytetään vain yhtä piirrettä. Oletetaan, että jakaumat ovat osittain päällekkäiset kuten kuvassa (esittää tutkapulssin ilmaisemista vastaanotetun signaalin amplitudimittauksella): TN TP FN FP Kuvaan on piirretty päälle edellä esitetyn nelikentän mukaiset merkinnät (TP, FP, TN, FN), joille on näin saatu geometriset tulkinnat. Kun kynnysarvo x* (päätöspinta) on kiinnitetty, sensitiivisyys ja spesifisyys saadaan laskettua helposti luokittelutuloksista kun tapausten luokat tunnetaan. Luokkien erottuvuuden mittana voidaan käyttää suuretta: d' µ 2 µ -------------------- 1 σ, joka ilmaisee Gaussisesti jakautuneiden luokkien keskipisteiden välisen etäisyyden (yhteisen) keskihajonnan monikertana. Mitä suurempi d on, sitä paremmin luokat erottuvat toisistaan ja luokittelija suoriutuu hyvällä suorituskyvyllä.
42 / 99 Jos oletetaan tietyllä etäisyydellä d sijaitsevat jakaumat ja muutellaan luokittelijan kynnysarvoa x* systemaattisesti, saadaan jokaisella asetuksella (aineisto läpiajamalla) yksi sensitiivisyys-spesifisyys-lukupari. Nämä lukuparit voidaan esittää koordinaattipisteinä koordinaatistossa, jossa vaaka-akselina on väärien hälytysten todennäköisyys (1-Spesifisyys) ja pystyakselina oikean hälytyksen todennäköisyys (Sensitiivisyys): Sensitiivisyys 1-Spesifisyys Jokaisella d -suureen arvolla saadaan erillinen käyrä, ROC-käyrä. Jos d 0, jakaumat ovat täysin päällekkäisiä ja erottuvuus huonoin. Erottuvuus on sitä parempi, mitä lähempää käyrä menee vasenta ylänurkkaa. Tutkaesimerkissämme valittu x*- kynnysarvo on johtanut osumaan täplän osoittamaan kohtaan. Vaihtelemalla kynnysarvoa, täplä liikkuisi pitkin käyrää d 3.
43 / 99 Kuvasta tehdään tärkeä havainto: Jakaumien ollessa kiinnitetyt, kun sensitiivisyys kasvaa suureksi niin spesifisyys pienenee huomattavasti, ja päinvastoin. Mitä tämä tarkoittaa tutkasignaalin ilmaisussa? Jakaumien ollessa monimutkaiset ROC-käyrä on monimutkaisempi: 2.8. Bayesin päätösteoria diskreeteille muuttujille Useissa sovelluksissa piirteet ovat kokonaislukumuuttujia, jotka voivat saada arvot v 1,...,v m. Todennäköisyystiheysfunktioista tulee singulaarisia ja integraalimerkinnät joudutaan vaihtamaan summamerkintöihin. Esimerkiksi Bayesin kaava saa muodon: P( ω j x) P( x ω j )P( ω j ) --------------------------------- P( x) P( x ω j )P( ω j ) -------------------------------------------- c i 1 P( x ω i )P( ω i ) Ehdollisen riskin määritelmä ei muutu, joten toiminnon α valinta saadaan kaavasta:
44 / 99 α* arg min R( ω i x) i Suurimpaan posterioritodennäköisyyteen perustuvan päätössäännön muoto ei myöskään muutu, eikä aiemmin esiteltyjen diskriminanttifunktioiden muodot. 2.9. Bayesin verkot Kaikissa sovelluksissa tietämyksemme ratkaistavasta ongelmasta ei sisällä tietoa piirteiden jakaumista, vaan osassa tiedetään jotain piirteiden välisistä riippuvuuksista tai riippumattomuuksista. Bayesin verkot (Bayesian networks) on kehitetty mallintamaan tällaista tietoa ja tekemään sen perusteella tilastollista päättelyä. Muita nimikkeitä ovat Bayesin uskomusverkot (Bayesian belief networks), kausaaliverkot (causal neworks) ja uskomusverkot (belief networks). Mikäli kahdelle satunnaismuuttujalle x ja y pätee: p(x, y) p(x)p(y), näiden muuttujien sanotaan olevan tilastollisesti riippumattomia. Samoin jonkin piirrevektorin komponentit voivat olla tilastollisesti riippumattomia. Alla olevassa kuvassa on esitetty 3-ulotteisten piirrevektorien avulla erään luokan sijoittuminen piirreavaruuteen. Muuttujat x 1 ja x 3 ovat toisistaan tilastollisesti riippumattomia, mutta muut eivät. Mistä tämä nähdään? Bayesin verkot ovat suunnattuja syklittömiä verkkoja, joka sisältää solmuja ja niitä yhdistäviä suunnattuja linkkejä. Linkit esittävät muuttujien välisiä riippuvuussuhteita, kuten syy-seuraus-suhteita. Verkot voivat toimia myös moniulotteisten jatkuvien jakaumien esitystapana, mutta käytännössä niitä on eniten sovellettu diskreettien todennäköisyysmassojen esittämiseen. Kukin solmu A, B,... esittää yhtä ongelman muuttujaa. Kullakin diskreetillä muuttujalla voi olla useita eri tiloja, joita merkitään pienellä kirjaimella vastaavasti a i, b j,... alaindeksin merkitessä tiettyä tilaa. Esimerkiksi A voi merkitä binäärisen kytkimen tilaa: a 1 on ja a 2 off, jolloin vaikkapa P(a 1 )0,739 ja P(a 2 )0,261. Todennäköisyydet summautuvat ykköseksi kaikissa muuttujissa. Alla olevassa kuvassa solmusta A solmuun C kulkeva linkki esittää ehdollisia todennäköisyyksiä P( c i a j ), joka tiiviimmin ilmaistaan muodossa P( c a), jossa a ja c ovat muuttujien A ja C tilat koottuina vektoreiksi: a [ a 1,, a n ] T ja c [ c 1,, c m ] T.
45 / 99 Bayesin päättelyn avulla voidaan verkkoa hyödyntäen laskea kunkin muuttujan eri arvojen todennäköisyydet. Itse asiassa, mikä tahansa useasta muuttujasta koostuvan yhdistelmän todennäköisyys (yhteistodennäköisyys, joint probability) on mahdollista laskea verkosta. Todennäköisyyksien laskennassa huomioidaan verkon ilmoittamat riippuvuudet, jolloin päästään yksinkertaistamaan (ja nopeuttamaan) laskentaa merkittävästi. Tarkastellaan ensin yksittäisen muuttujan arvojen todennnäköisyyksien laskemista esimerkkien avulla. Ennen esimerkkejä kolme tärkeää seikkaa: 1) Marginalisointi, jossa todennäköisyyksiä summataan määrättyjen muuttujien
46 / 99 P(a) P(b a) P(c b) P(d c) P(e) E A B C D P(f e) F G P(g e) kaikkien vaihtoehtojen ylitse. Alla esiintyvissä merkinnöissä esiintyy kaksin- ja kolminkertaisia summauslausekkeita, esimerkiksi: 2) Bayesin kaava, eli: H P(h f,g) Figure 2.25. Vasemmalla lineaarinen ketju, oikealla silmukka. a, b, c P( a, b, c) a P( a, b) P( a)p( b a) b c P( a, b, c)
47 / 99 3) Vakiotermien siirtäminen summalausekkeen vasemmalle puolelle nopeuttaa laskentaa. Seuraavaksi havainnollistetaan verkon muuttujien todennäköisyyksien laskemista. Vasemman puoleiselle verkolle voidaan laskea esimerkiksi P(d): a, b, c c P( d) P( a, b, c, d) a, b, c a, b, c P( a)p( b, c, d a) a, b, c P( a)p b a P( a)p b a a, b, c ( )P( c, d a, b) ( )P( c a, b)p( d a, b, c) P( a)p( b a)p( c b)p( d c) P( d c) P( c b) P( b a)p( a) b a Huomaa, että viimeisellä rivillä kyseessä on sisäkkäiset silmukat. Entä kuinka lasketaan P(b) samalle verkolle? Aivan vastaavalla tavalla: Vastaavasti oikeanpuoleiselle silmukkarakenteelle voidaan laskea esimerkiksi P(h): Entä kuinka lasketaan P(g) samalle verkolle? Edellä olevissa lausekkeissa viimeisen muodon johtaminen edelliseltä riviltä vaikuttaa vain laskennan määrään.
48 / 99 a, c, d c a P( b) P( a, b, c, d) a, c, d a, c, d P( a)p( b, c, d a) a, c, d P( a)p b a P( a)p b a a, c, d P( c b) ( )P( c, d a, b) ( )P( c a, b)p( d a, b, c) P( a)p( b a)p( c b)p( d c) d P( b a)p( a) P( d c) P( b a)p( a) c a P( c b) d P( d c) Edellä laskettiin tiettyjien muuttujien arvojen todennäköisyyksiä, kun verkon muiden muuttujien arvoja ei tunnettu. Tällöin laskelmissa tuli käydä kaikki mahdolliset muuttujien arvot läpi ja laskea näiden vaihtoehtojen todennäköisyyksillä painotettu tulos. Seuraavaksi havainnollistetaan Bayesin verkon käyttämistä tiettyjen muuttujien posteriotodennäköisyyksien laskemisessa, kun eräiden muuttujien arvot tunnetaan. Käytännön sovelluksissa muuttujien arvot saadaan esimerkiksi muista sovelluksista syötteinä tai vaikkapa mittaamalla ohjattavan toimilaitteen sensoreilla. Tätä ulkoista informaatiota voidaan kutsua todisteaineistoksi (evidence) toimintaympäristön tilasta. Merkitään muuttujajoukon X a posteriori todennäköisyyttä symbolilla P( X e). Muuttuja e merkitsee muuttujajoukkoon X muista verkon osista saatavaa todistu-
49 / 99 e, f, g P( h) P( e, f, g, h) e, f, g e, f, g f, g e, f, g P( e)p( f, g, h e) e, f, g P( e)p f e P( e)p f e ( )P( g, h e, f) ( )P( g e, f)p( h e, f, g) P( e)p( f e)p g e P( h f, g) e ( )P( h f, g) P( e)p( f e)p( g e) saineistoa siitä missä tilassa X on. Voidaankin määritellä, että uskomus (belief) tarkoittaa ehdollista todennäköisyyttä P( X e) että muuttujajoukko X on tietyssä tilassa, kun verkon sisältämä todennäköisyystieto tunnetaan. Ajatuksena on hyödyntää päättelyssä ulkoisen informaation lisäksi kaikki verkon sisältämä todennäköisyystieto linkkien esittämän riippuvuustiedon mukaisesti minkä tahansa muuttujan posteriorien laskemiseksi. Tyypillisesti halutaan laskea tietyn muuttujan todennäköisin tila; esimerkiksi onko saaliskala todennäköisemmin lohi vai meriahven, kun vuodenaika, kalastuspaikkakunta ja muita mittaustietoja on käytettävissä. Oleellisessa roolissa on Bayesin kaavasta saatava lauseke: P( X e) P( X, e) ----------------- P( e) αp ( X, e ) Tämä posterioritodennäköisyyden lauseke lasketaan jokaiselle muuttujan X tilalle erikseen, minkä jälkeen suurin todennäköisyysarvo määrää todennäköisimmän
50 / 99 e, f, h P( g) P( e, f, g, h) e, f, h e, f, h f, h e, f, h P( e)p( f, g, h e) e, f, h P( e)p f e P( e)p f e ( )P( g, h e, f) ( )P( g e, f)p( h e, f, g) P( e)p( f e)p g e P( h f, g) e ( )P( h f, g) P( e)p( f e)p( g e) tilan. Termiä α voidaan laskea aivan lopuksi; lausekkeen käyttöä havainnollistetaan seuraavaksi. Esimerkki: Kalalajin päätteleminen Bayesin verkon avulla Kuvatkoon alla esitetty kaavio käytettävää Bayesin verkkoa: Seuraavat taulukot kuvaavat asiantuntijan asettamia todennäköisyyksiä:
51 / 99 a 1 talvi a 2 kevät a 3 kesä a 4 syksy c 1 kirkas c 2 keskink. c 3 tumma P(a) A aika B paikka P(x a) P(x b) X laji P(c x) P(d x) C kirkkaus P(b) D pituus b 1 Pohjois-Atlantti b 2 Etelä-Atlantti x 1 lohi x 2 meriahven d 1 pitkä d 2 lyhyt P(a i ) 0,25 0,25 0,25 0,25 P(b i ) 0,6 0,4 P(c i x 1 ) 0,6 0,2 0,2 P(c i x 2 ) 0,2 0,3 0,5 P(d i x 1 ) 0,3 0,7 P(d i x 2 ) 0,6 0,4 i,j P(x 1 a i,b j ) P(x 2 a i,b j ) 1,1 0,5 0,5 1,2 0,7 0,3 2,1 0,6 0,4 2,2 0,8 0,2 3,1 0,4 0,6 3,2 0,1 0,9 4,1 0,2 0,8 4,2 0,3 0,7 Käytetään nyt esiteltyä Bayesin verkkoa päättelemään kalalaji. (Päätelmiä voitaisiin tehdä mistä tahansa muustakin verkon muuttujasta.) Kirjoitetaan ensin verkon
52 / 99 muuttujien tilastollisten riippuvuuksien mukainen yhteistodennäköisyyden lauseke: P( a, b, x, c, d) P( a)p( b a)p( x a, b)p( c a, b, x)p( d a, b, x, c) Kerätään todistusaineistoa kullekin muuttujalle olettaen että muuttujat ovat tilastollisesti riippumattomia: kala on väriltään vaalea (c 1 ) kala on saalistettu Etelä-Atlantilta (b 2 ) ei tiedetä mihin vuodenaikaan kala on saatu pituustietoa ei ole käytettävissä. Millä todennäköisyydellä kala on lohi? P( a)p( b)p( x a, b)p( c x)p( d x) P( x 1 c 1, b 2 ) P ------------------------------ ( x 1, c 1, b 2 ) P( c 1, b 2 ) αp ( x, c, b ) 1 1 2 α a, d α a, d P( x 1, a, b 2, c 1, d) P( a)p( b 2 )P( x 1 a, b 2 )P( c 1 x 1 )P( d x 1 ) αp( b 2 )P( c 1 x 1 ) P( a)p( x 1 a, b 2 ) a α( 0, 114) d P( d x 1 ) Millä todennäköisyydellä kala on meriahven? P( x 2 c 1, b 2 ) P ------------------------------ ( x 2, c 1, b 2 ) P( c 1, b 2 ) αp ( x, c, b ) 2 1 2 α( 0, 066) Kala on joko lohi tai meriahven, joten posteriorit summautuvat arvoon 1. Tästä
53 / 99 saadaan, että α1/0,18, P(x 1 c 1,b 2 )0,63 ja P(x 2 c 1,b 2 )0,27. Saaliskala on siis todennäköisemmin lohi! Esimerkki loppuu. Mikäli ei tiedetä mitään ongelmaa kuvaavien muuttujien tilastollisista riippuvuuksista, voidaan käyttää esimerkiksi Naiivia Bayesin verkkoa (Naive Bayes network). Tällöin muuttujat oletetaan ehdollisesti riippumattomiksi ja verkon rakenne on erityisen yksinkertainen: X A B C D Kuvassa juurimuuttuja (solmu) X on muuttuja, jonka suhteen tilastollisen riippumattomuuden oletus tehdään. X voi olla esimerkiksi luokkamuuttuja, jonka avulla (A/B/C/D)-muuttujien edustama hahmo pyritään tunnistamaan. Päättely perustuu posterioritodennäköisyyksien laskentaan kuten edellä. P( x a, b, c, d) αp( x)p( a x)p( b x)p( c x)p( d x) Mikäli riippumattomuusoletus pitää paikkansa sovelluksessa, kyseessä on minimivirheluokittelija. Naiivia Bayes-verkkoa on käytetty suurella menestyksellä monissa käytännön sovelluksissa. Toinen vaihtoehto on käyttää algoritmeja, jotka pyrkivät rakentamaan verkon automaattisesti opetusaineiston perusteella tarkastelemalla muuttujien välisiä riippuvuuksia.