Korvalääketeteellsen aneston luokttelu Bayes -verkolla Katja Mettnen Tapereen Ylopsto Inforaatoteteden tedekunta Mateatkan, tlastoteteen ja flosofan latos
TIIVISTELMÄ... 4 JOHNTO... 6. ESITTELY... 6. FREKVENTISTINEN J BYESILÄINEN TOENNÄKÖISYYS... 6.3 EHOLLINEN TOENNÄKÖISYYS J RIIUMTTOMUUS... 7.4 BYESIN TEOREEM... 8.4. Eserkk lääketeteellsestä dagnosonnsta...0 3 EROTTELUNLYYSI... 3. YLEISTÄ EROTTELUNLYYSISTÄ... 4 BYES -VERKOT...8 4. JOHTUS BYES VERKKOIHIN...8 4.. Graafteoraa...8 4.. Bayes -verkon äärtelä...9 4..3 Bayes -verkon rakenteeseen lttyvät oletukset ja äärtelä...9 4..4 Bayes -verkko ja kausaalsuus...0 4..5 -separaato...3 4..6 I-ap...4 4..7 Bayes -verkon rppuattouusoletusten tausta...5 4. BYES -VERKON RKENTEEN OIMINEN TST...6 4.. steääräfunktohn perustuvat enetelät...6 4.. Rajoteperusteset enetelät...9 4.3 BYES -VERKON RMETRIEN OIMINEN...9 4.3. Johdanto paraetren estontn...9 4.3. Verkon paraetren estont...4 4.4 BYES -VERKOT LUOKITTELIJN...47 4.4. Nav Bayesn luokttelja...47 4.4. TN...49 4.4.3 Ylenen Bayes -verkko luokttelussa...5 5 OTILIEN LUOKITTELU TUTIRYHMIIN BYES -VERKKOJEN VULL...5 5. KORVLÄÄKETIETEELLINEN INEISTO...5 5. UUTTUVN TIEON KÄSITTELY...54 5.3 WEK 3...57 5.4 KÄYTETYT LUOKITTELIJT, TESTISETELM J LUOKITTELUTRKKUUS...57
5.5 TULOKSET...60 5.5. Kyenen luoktteljaa...60 5.5. Muuttuja 40...6 5.5.3 Yhdeksän uuttujaa...76 5.5.4 Vs uuttujaa...8 5.6 YHTEENVETO TULOKSIST...85 6 YHTEENVETO...89 LÄHTEET...90 LIITE MUUTTUJIEN NIMET, RVOT J RVOJEN LUKUMÄÄRÄT...94 LIITE NIIVI LUOKITTELIJ YHEKSÄN MUUTTUJ -TOENNÄKÖISYYSJKUMT.97 LIITE 3 TN YHEKSÄN MUUTTUJ TOENNÄKÖISYYSJKUMT...99
TIIVISTELMÄ Tään työn teoraosuudessa on estetty luoktteleven Bayes-verkkojen teoraa. Koska kysyyksessä on luoktteluongela, nn teoraosuudessa estetään luokttelutehtävään lttyvä näkohta. Tavotteena on rakentaa luokttelja sten, että väärnluoktuksen ahdollsuus nodaan. Muta tärketä hyvän luoktteljan prtetä ovat väärn luokttelesen ja a pror esntystodennäkösyyksen huooon ottanen. Koska työn kontekst on Bayes -verkot, nn työssä on johdateltu bayeslaseen päättelyyn ja estelty ehdollsen todennäkösyyden käste sekä Bayesn lause. Lsäks teoraosuudessa on vertaltu bayeslasta todennäkösyyden äärtelää frekventstseen äärtelään. Bayes -verkkoa esttävän graafn oletetaan olevan suunnattu ja sykltön G sks teorosuudessa on estetty yös graafteoraa. Bayes -verkon oppsessa on kaks vahetta. Ensnnäkn on opttava Bayes -verkon rakenne. Bayes -verkon rakenteen oppseen on kaks lähestystapaa. Tässä työssä rakenteen oppseen on käytetty psteääräperustasta lähestystapaa. Snä haetaan kakk ahdollset verkkorakenteet jollan hakualgortlla, psteytetään saadut verkot ja valtaan parhaan psteäärän saanut verkko Bayes -verkon rakenteeks. Tähän lttyen työssä on esteltynä vuorkpelyalgort. Vahtoehtonen Bayes -verkon rakenteen oppseen käytetty enelä, neltään rajoteperustanen enetelä constrant based, on estelty tässä työssä suppeast. Tonen Bayes -verkon oppseen lttyvä näkökohta on Bayes -verkon paraetren estont. Työssä on paneuduttu tarken paraetren estontn yleensä frekventstsessä ja bayeslasessa elessä. Huoonarvosta on se, että Bayes -verkko vo olla frekventstnen. Tään työn eprsessä osuudessa on luokteltu 85 huauspotlasta tautryhn käyttäen luoktteljota: nav, TN, GBN, GBN ja GBN 3. Nav luokttelja perustuu oletukseen, että uuttujat ovat ehdollsest rppuattoa, kun luoktteluuuttuja on annettu. Verkkorakenne on tällä luoktteljalla puu, jossa anoa vanhep on luoktteluuuttuja. TN Tree ugented Nave-Bayes -luokttelja sall tosen vanhean luoktteluuuttujan lsäks. TN -luoktteljan rakenteen oppnen pohjautuu tunnettuun Chown ja Lun vuonna 968 esttäään enetelään puutyyppsten Bayes -verkkojen
oppseen. Ylesessä Bayes -verkossa General Bayes Network, GBN luoktteluuuttuja on kuten kä tahansa solu, ekä solujen vanhepen lukuäärää ole rajotettu. Tässä työssä kästellään kolea ylestä luoktteljaa. Näden luoktteljoden rakenteden oppseen on käytetty psteääräperustasta lähestystapaa. Käytetyt psteäärät eroavat nällä luoktteljolla. Luoktteljalla GBN käytetty psteäärä on Bayes - psteäärä. Luoktteljalla GBN käytetty psteäärä on ML Mnu escrpton Length -psteäärä ja luoktteljalla GBN 3 käytetyn psteäärän ollessa IC kake Inforaton Crteron -psteäärä. Koska tässä työssä kästellään verkkoja, jossa puuttuva arvoja e sallta, nn puuttuvat arvot korvattn uuttujen keskluvulla. uuttuvn arvohn lttyvää probleatkka on yös nän ollen kästelty epraosuudessa. Kaken kakkaan epraosuudessa kästellään 5 er luoktteljaa, edellä estettyjä luoktteljota selttäven uuttujen lukuäärllä 40, yhdeksän ja vs. Tään aneston potladen luokttelu tautryhn kustkus Neurnoa, Benng postonal vertgo, Menèren taut, Sudden eaffness, Trauatc Vertgo ja Vesbular Neurts tehtn käyttäen open-source ohjelaa Weka 3 Wakato Envronent for Knowledge nalyss.
Johdanto. Esttely Lopputyön ssältö on jaettu sten, että ensks luvussa kerrotaan ylesä asota frekventstsestä ja bayeslasesta päättelystä, sekä estellään ehdollsen todennäkösyyden käste kaavoneen ja laajennetaan tätä Bayesn teoreeaan eserkkeneen. Luvussa 3 estellään luoktteluun lttyvää teoraa ja tähdennetään hyvän luoktteljan onasuuksa. Luvussa 4 kerrotaan graafteorasta, Bayes -verkkojen taustalla olevasta teorasta sekä estellään enetelä Bayes-verkon rakenteen ja paraetren estoseks. Verkon paraetren oppsen alustukseks on tässä luvussa estettynä ensn ylesä paraetren estontn lttyvä näkökohta. Luvussa 5 kerrotaan anestosta, testasetelasta, käytetystä ohjelasta, käytetystä luoktteljosta, puuttuven havantohn lttyvästä probleatkasta, sekä lopuks tulokssta. Luvussa 6 on loppuyhteenveto.. Frekventstnen ja bayeslänen todennäkösyys Useat estä tutustuessaan todennäkösyyslaskentaan tutustuvat aluks todennäkösyyden frekventstseen äärtelään. Frekventstnen todennäkösyys äärtetään suhteellsen frekvenssn kautta, tosn sanoen jos koe tostetaan n kertaa ja tapahtua esntyy n kertaa, nn todennäkösyys on suhteen n /n raja-arvo, kun n. Frekventststä lähestystapaa luonnehtvat kaks näkökulaa. Ensnnäkn todennäkösyys kästetään aalan fyskaalseks onasuudeks todennäkösyyden äärttänen e rpu todennäkösyyden äärttävästä henklöstä objektvnen todennäkösyys. Toseks todennäkösyys vodaan äärttää van sellasten kokeden tulokslle, jotka ovat anakn peraatteessa tostettavssa. Lsäks oletetaan, että tostettavssa olevat kokeet ovat rppuattoa tosstaan. Selväst frekventstnen todennäkösyyden tulknta to totuttuhn eserkkehn kolkonhetosta ja nopanhetosta. Frekventstsen koulukunnan edustajalla e ole juur sanottavaa anutlaatussta, e-tostettavsta tapahtusta. Eserkks kysyykseen kä on todennäkösyys, että Tappara vottaa jääkekon SM-kultaa vuonna 008 e frekventstseltä pohjalta voda vakuuttavast vastata. Vakka Tapparan enestysestä 6
lgassa on tetoa edellsltä vuoslta, nn tätä tetoa e voda yksnään käyttää todennäkösyyden, että Tappara votaa SM-kultaa vuonna 008 äärttäseen. Kaus 007-008 on anutkertanen lgakaus: joukkueden pelaajat vahtuvat, osa pelaajsta kärs loukkaantussta jne. Vodaan sanoa, että ykskään akasep kaus e ole ollut saanlanen kun kaus 007-008. [3] Bayeslänen todennäkösyys on erlanen todennäkösyyden tulknta, jota vodaan soveltaa edellä anttuun anutlaatuseen tlanteeseen ja okeastaan kakkn tlantesn, john lttyy epävaruustekjä. Tapahtuan x bayeslänen todennäkösyys on henklön uskouksen aste tapahtualle saadun uuden datan valossa. Bayeslänen lähestystapa on tse asassa noratvnen lähestystapa, joka äärttää ten datan ptäs vakuttaa henklön ajatteluun ja ahdollsen tonnan valntaan. Tavotteena on vähentää tlanteeseen lttyvä epävaruutta sten, että kakk ahdollnen nforaato käytetään hyväks. Bayesläsen päättelyn tunnusprre on, että uskoukset tunteattosta suuresta estetään suoraan todennäkösyyden teren. Nää todennäkösyydet kästetään tavallsest subjektvsks todennäkösyyksks. Foraal enetelä, joka yhdstää uuden tedon akasen saatavlla olevaan tetoon on neltään Bayesn lause Bayes theore [3,, 7]. Bayeslastä lähestystapaa krtsodaan stä, että se esttää uskouksen asteet suoraan todennäkösyyden teren. Kysytään, että ks uskouksen asteen ptäs täyttää todennäkösyyden säännöt ja llä astekolla nää todennäkösyydet ptäs tata..3 Ehdollnen todennäkösyys ja rppuattouus Olkoot uuttujat X ja Y dskreettejä uuttuja. Ehdollnen todennäkösyys ehdolla Y äärtellään seuraavast: X, Y X Y, Y > 0 Y ssä X, Y on uuttujen X ja Y yhtestodennäkösyysfunkto ja Y on uuttujan Y reunajakaua. Muuttujat X ja Y ovat tosstaan rppuattoa, jos XYX. Tällön uuttujan Y arvojen havatsenen e vakuta uuttujan X arvojen esntystodennäkösyyksn. Ylesest on voassa, että jos uuttujat X,,X n ovat 7
8 rppuattoa täydellsest, nn nden yhtestodennäkösyysfunkto on uotoa X,,X n X X n. Yleensä tlanne on se, että uuttujat evät ole keskenään rppuattoa. Vo kutenkn olla, että uuttujat ovat ehdollsest rppuattoa keskenään. Muuttujat X ja Y ovat ehdollsest rppuattoa ehdolla Z, erktään IndX;YZ, jos XY, ZXZ. Tää tarkottaa, että kun uuttuja Z on havattu, nn uuttujan Y havatsenen e tuo lsänforaatota X ennustaseen..4 Bayesn teoreea na e ole helppoa laskea ehdollsa todennäkösyyksä suoraan käyttäen ehdollsen todennäkösyyden kaavaa. Käytännöllnen kaava, joka yhdstää useta erlasa ehdollsa todennäkösyyksä, on Bayesn teoreea. Yksnkertasn uoto Bayesn teoreeasta on uotoa: B B B B, ssä ja B ovat tapahtua ja on :n kopleentt. Tää Bayesn lauseen yksnkertasn uoto seuraa suoraan ehdollsen todennäkösyyden äärtelästä: B B B. Saaan tapaan B B ja B B. Saadaan B B ja B B.
9 Selväst on nn, että tapahtuat B ja B ovat tostensa possulkevat ja unon B B B. Tästä seuraa todennäkösyyden addtvsuuden ja ehdollsen todennäkösyyden äärtelän nojalla, että B B B B B. Nyt ehdollsen todennäkösyyden kaava saadaan uotoon:, B B B B B B. 3 Bayesn teoreea vodaan krjottaa paljon yleseässsä uodossa. Jos tapahtuaa,...,, ovat tostensa possulkevat ja B on tonen tapahtua, nn tällön n k k k k k B B B B B B B K. 4 Kaavassa 4 estettn Bayesn teoreea hyväks käyttäen tapahtua. Korvataan nyt tapahtuat hypoteesen joukolla H,...,H. Tästä hypoteesen joukosta ols löydettävä sopvn hypotees käsllä olevaan käytännön tlanteeseen. Olkoon on havattu otos tarkasteltavan tlanteen datasta. Korvataan tapahtua B kaavassa 4 :llä. Todennäkösyys H on hypoteesn H prortodennäkösyys. rortodennäkösyydellä tarkotetaan hypoteesn H todennäkösyyttä ennen havantoja datasta, tosn sanoen tää todennäkösyys kuvaa ennakkokästystä ahdollsuudesta, että H on okea hypotees. Todennäkösyydet H tulktaan todennäkösyyksks, että data havataan, kun H on okea hypotees. Nää todennäkösyydet ovat havatun otoksen uskottavuuksa lkelhood er hypoteesen valltessa. Bayesn teoreea vodaan tulkta nyt pävtystyökaluks, joka yhdstää havatun datan ja hypoteesn H prortodennäkösyyden. ävtetyt todennäkösyydet, tosn sanoen todennäkösyydet, että er hypoteest ovat voassa velä datan havatsesen jälkeen ovat
posterortodennäkösyyksä H,...,n. Nää posterortodennäkösyydet saadaan soveltaalla edellä estettyä Bayesn kaavaa: H k k H k n. 5 H H H Monest ollaan knnostuneta löytäään se kakken todennäkösn hypotees H H, kun data on annettu. Jos tällasa kakken todennäköspä hypoteeseja on useta, nn valtaan yks hypotees aksaalsest todennäkösten hypoteesen joukosta. Mkä tahansa tällanen aksaalsest todennäkönen hypotees on neltään axu a posteror M hypotees. [] M -hypotees äärtetään Bayesn teoreeaan avulla laskealla jokaselle hypoteesehdokkaalle posterortodennäkösyydet. M -hypotees M H on uotoa: H M H H arg ax H H H H H arg ax H H H H arg ax, 6 ssä venen relaato seuraa stä, että on aksonnn suhteen vako. Jos prortodennäkösyydet H H j, kun j, nn tarkastelun kohteena on enää H, joka on tse asassa H :n uskottavuusfunkto. Tosn sanoen, kun H :n prortodennäkösyydet ovat yhtäsuuret, nn H LH ;. Tällön M -hypotees on ML hypotees axu lkelhood hypothess. ML -hypotees on uotoa H ML arg ax H. 7 h H.4. Eserkk lääketeteellsestä dagnosonnsta otlaalle tehdään test, jonka pohjalta tehdään dagnoos. Hypoteeseja on kaks: otlaalla on harvnanen saraus ta potlaalla e ole harvnasta sarautta. Testtuloksa on 0
yös kaks: Negatvnen testtulos ja postvnen testtulos. rortetäyksenä on, että koko populaatossa van 0,8 prosentlla on tää harvnanen saraus. Tedetään yös, että test antaa okean postvsen tuloksen 98 % tapaukssta, jolla saraus okeast on. Vastaavast tedetään, että test antaa okean negatvsen tuloksen 97 % tapaukssta, jolla sarautta e ole. otlas saa laboratorosta postvsen testtuloksen. täskö potlas nyt dagnosoda harvnasen sarauden kantajaks? Tehtävänä on nyt äärttää M - hypotees, tosn sanoen se hypotees, joka akso posterortodennäkösyyden. Lasketaan todennäkösyydet estetylle kahdelle hypoteeslle, kun evdenss, joka nyt on testtulos, on havattu. Merktään H Henklöllä on saraus ja H Henklöllä e ole sarautta. Todennäkösyydet hypoteeselle ovat H 0,008 ja H 0,99. Merktään Havatut postvset tapaukset. Todennäkösyys ensäselle hypoteeslle, kun data on havattu on uotoa H H 0,008 0,98 H 0,07, 0,0376 ja todennäkösyys toselle hypoteeslle on uotoa H H 0,99 0,03 H 0,793. 0,0376 Jälkänen hypotees akso posterortodennäkösyyden. agnoos on nyt, että potlaalla e ole kysestä sarautta.
3 Erotteluanalyys 3. Ylestä erotteluanalyysstä Olkoon kappaletta ryhä ta luokka v v,...,, v. Erotteluanalyysn dscrnant analyss tavotteena on sjottaa x johonkn nästä :stä ryhästä. Havanto x x,..., x ssältää ykslön saaat arvot datan uuttujlle x, x,,x p. p Havanto x on pste p-ulottesessa avaruudessa. Jos x kuuluu luokkaan v j j, nn sllä on theysfunkto f j x p R. Erottelusääntö dscrnant rule d vastaa p R :n p jakoa tostensa possulkevn aluesn R,..., R R j R. Erottelusääntö äärtetään seuraavast: Sjota x ryhään v j, jos x R j j. [6,0] Edellä estettn foraalst erotteluanalyysn lähtökohdat. Väheän foraalst lastuna erotteluanalyys vastaa seuraavaan kysyykseen. Kun on annettu ykslö ja tähän kyseseen ykslöön lttyvät uuttujen arvot, nn stä populaatosta ta ryhästä tää ykslö on lähtösn. Kuvtteellnen eserkk kauppateteellsen pääsykokeesta. ääsykokeessa on erlasa kysyyssarjoja. ääsykoekysyysten vastausten perusteella halutaan luoktella opskeljat kahteen luokkaan v ja v : Luokassa v ovat opskeljat, jotka pärjäävät opnnossaan hyvn. Luokassa v ovat opskeljat, jotka evät enesty opnnossaan. Kuvassa on nota psteäärä vastaava psteparv sten, että jokasen psteen kohdalla on erkntä kupaan luokkaan ykslö kuuluu. Kuvassa on vva, joka erottaa kaksulottesesta avaruudesta kaks aluetta R ja R. Ykslöt, jotka osuvat alueelle R, luoktellaan kuuluvaks luokkaan v ja vastaavast ykslöt, jotka osuvat alueelle R luoktellaan luokkaan v. Huoataan, että jotkut ykslöt, jotka kuulusvat okeast ryhään v, ovat alueella R ja vastaavast uutaa ryhään v kuuluva sjottuu alueelle R.
Kuvtteellnen eserkk pääsykokeden psteäärstä vs. opnnossa enestynen 0 00 R Kysyyssarja 80 60 40 R V V 0 0 0 0 0 30 40 50 60 Kysyyssarja Kuva Eserkk luokttelutehtävästä opskeljoden luokttelu opnnossa enestyvn ja eenestyvn Erotteluanalyysn tavotteena on luoda sellanen sääntö alueet R ja R, joka no väärnluoktuksen ahdollsuutta. Kahden luokan tapauksessa väärnluoktusvahtoehtoja on kaks. Tonen on, että ykslö kuuluu luokkaan v ja luoktellaan kuuluvaks luokkaan v, kun tonen väärnluoktusvahtoehto on, että ykslö kuuluu luokkaan v ja luoktellaan kuuluvaks luokkaan v. [0] Edellä anttu väärnluoktuksen ahdollsuuden nont on erottelusäännön tärken prre. Lsäks on oleassa uta prtetä, jota optaalsen luokttelusäännön ptäs ssältää. Eserkks tosella populaatolla vo olla suurep esntystodennäkösyys kun tosella syystä, että tonen populaato on suhteellsest paljon suurep kun tonen. Optaalsen luokttelusäännön ptäs ss ottaa huooon esntystodennäkösyydet a pror [0]. Tonen lsäprre, jonka luokttelusääntöön vo knnttää, on käste tappo. Vo olla, että okeast luokkaan v kuuluvan luokttelu luokkaan v on pahep vrhe kun, että luokkaan v kuuluva luokteltasn väärn luokkaan v. Tosn sanoen ensn antusta 3
väärnluoktuksesta aheutuu suurep tappo kun jälkäsestä. Eserkks jos tehtävänä on päättää, sarastaako potlas flunssaa va leukeaa, ols kohtalokkaapaa dagnosoda leukeaa sarastava flunssapotlaaks, kun dagnosoda flunssaa sarastava leukeapotlaaks. Kuvassa on tappoatrs, jossa on väärnluoktuksesta aheutuvat tappot, kun ykslö on luokteltu luokkaan v sen kuuluessa luokkaan v j. Ensäsestä väärnluoktusvrheestä aheutuva tappo on Cv v ja vastaavast tosesta väärnluoktusvrheestä aheutuva tappo on Cv v. Okenluoktuksen tappo on luonnollsest 0. [0] Luoktellaan v v opulaato v 0 C v C 0 Kuva Tappoatrs Olkoon nyt f x ja f x todennäkösyysfunktot, john ltetään p -ulottenen satunnasuuttujavektor populaatossa v ja v. Objekt, johon on knntettynä ttavektor x on luokteltava joko luokkaan v ta v. Olkoon Ω otosavaruus, tosn sanoen kakken ahdollsten havantojen x kokoela. Olkoon R se arvojen x joukko, jolle objektt luoktellaan kuuluvaks luokkaan v ja olkoon R Ω-R jäljelle jäävä arvojen joukko x, jolle objektt luoktellaan luokkaan v. Koska jokanen objekt on luokteltava toseen luoksta, nn joukot R ja R ovat keskenään tosensa possulkeva ja keskenään tyhjentävät. Ehdollnen todennäkösyys v v, että luoktellaan objekt luokkaan v, kun se on okeast kotosn luokasta v on v v X R v f x x. 8 d R Vastaavast ehdollnen todennäkösyys v v, että luoktellaan objekt luokkaan v, kun se okeast on kotosn luokasta v on v v X R v f x dx. 9 R Olkoon v luokkaan v kuulusen prortodennäkösyys ja v luokkaan v kuulusen prortodennäkösyyys, kun v v. Nyt kakk okenluoktuksn ja 4
väärnluoktuksn lttyvät todennäkösyydet vodaan johtaa prortodennäkösyyden ja ehdollsen luokttelutodennäkösyyden tulona: luokteltu oken luokkaan v X R v v luokteltu väärn luokkaan v v X R v, luokteltu oken luokkaan v v X R v, luokteltu väärn luokkaan v v X R v. kasen anttn, että väärnluoktuksen ahdollsuuden nonnn lsäks ols jossan tapauksssa järkevää tarkastella yös väärnluoktuksesta aheutuvaa tappota. Kuvan tappoatrsssa on kahden luokan tapauksessa aheutuvat tappot. Näden tappoden avulla äärtetään odotettu väärnluoktuksesta aheutuva tappo ECM, expected cost of sclassfcaton: ECM Cv v v v v 0 v v v Cv v v v v 0 v v v 0 Cv v v v v Cv v v v v. Järkevän luokttelusäännön ptäs olla sellanen, että ECM on ahdollsan pen. Tehtävänä on nyt keskääräsen tappon nont; halutaan jakaa avaruus kahteen alueeseen R ja R sten, että odotettu tappo on ahdollsan pen. lueet R ja R, jotka novat odotetun tappon ECM äärtetään arvolla x, jolle on voassa seuraavat epäyhtälöt. R : R : fx C v v v f x C v v fx C v < f x C v v v v v Kun prorjakauat ovat saat, väärnluoktuksesta aheutuvat tappot ovat saat, ta sekä prorjakauat että tappot ovat saat, nn epäyhtälöt yksnkertastuvat. Käytännössä tapana on soveltaa vahtoehtoa, jossa sekä prorjakauat että väärnluoktuksesta aheutuvat tappot oletetaan saoks, tosn sanoen 5
v C v v C v v v [0]. 3 Nyt odotetun tappon novat alueet ovat uotoa: fx R :, 4 f x fx R : <. 5 f x Edellä estettn luokttelukrteerks odotettua väärnluoktuksen tappota. Kun väärnluoktuksesta aheutuvaa tappota e oteta huooon, vodaan alueet R ja R valta eserkks sten, että nodaan väärnluokttelun ahdollsuuden kokonastodennäkösyyttä TM, Total probablty of sclassfcaton. TM väärnluoktellaan luokkaan väärnluoktellaan luokkaan v fx dx v R R f x dx v ta väärnluoktellaan luokkaan v v väärnluoktellaan luokkaan v 6 Itse asassa tappon huootta jättänen on saa asa kun tappoden yhtäsuuruus. Nyt kokonastodennäkösyyttä novat alueet ovat R : R : f x v, 7 f x v f x v <. 8 f x v Eserkk Olkoot datasta estodut ryhn v ja v lttyvät theysfunktot f x ja f x. Oletetaan, että tappot ovat Cv v 00 ja Cv v 50 ja että luokkn kuulusen prortodennäkösyydet ovat v 0, ja v 0,8. Määrtetään nyt luokttelualueet f x 00 0, R : 0, 5 f x 50 0,8 6
f x 00 0, R : < 0, 5. f x 50 0,8 Oletetaan, että theysfunktoden arvot uudella arvolla x 0 ovat f x 0 0,3 ja f x 0 0,5. Määrtetään osaäärä f f x x 0 0 0.3 0,6, 0,5 ja huoataan, että saatu osaäärä on suurep kun 0.5; tosn sanoen fx 0 0,3 C v v v > 0,5 x 0 0,5. f C v v Havanto x 0 R ja nän ollen se luoktellaan kuuluvaks luokkaan v. Edellä estetystä luokttelukrteerestä hean pokkeava lähestystapa on tarkastella posterorjakauaa. Jos luoklla v,,v on prortodennäkösyydet v,, v, nn Bayesn erottelusääntö sjottaa uuden havannon x 0 shen ryhään ssä v j x 0 v j Lv j x 0 aksotuu. Selvää on, että jos luokken prortodennäkösyydet ovat saat, nn Bayesn erottelusääntö palautuu suuran uskottavuuden säännöks. Tosn sanoen aksotavaks jää van uskottavuusfunkto [6,0]. Tlastoteteellsssä lähtessä, jossa tarkastellaan luoktteluongelaa ylesellä tasolla, posterorjakauan tarkastelun yhteydessä antaan posterorjakauan aksont. Kun ettään uuden havannon ennustaseen lttyvä näkökohta, nn posterorjaukauan aksont on yks ratkasu tähän ennustasongelaan. Tonen on posterorjakauan odotusarvo, joka on nn bnäärsen kun onarvosten uuttujen tapauksssa saa kun Bayes - ennuste. Medaan on ylesest käytetty pste-estaatt, utta luoktteluongelssa stä harven käytetään. 7
4 Bayes -verkot 4. Johdatus Bayes verkkohn 4.. Graafteoraa Olkoon V äärellnen solujen nodes, vertces joukko ja olkoon E kaaren arcs, edges joukko. Tällön par GV,E on graaf graph. Graafn kaaret ovat suunnattuja drected ta suuntaaattoa undrected. Kaar u,v on suunnattu solusta u soluun v jos parlla u,v on äärätty järjestys, tosn sanoen jos u,v v,u. Jos u,vv,u, nn kaar u,v on suuntaaaton. Graafa sanotaan suuntaaattoaks graafks undrected graph, jos kakk sen kaaret ovat suuntaaattoa. Suunnattu graaf drected graph on graaf, jossa kakk kaaret ovat suunnattuja. Graaf on sykltön acyclc, jos graafssa e ole yhtään sellasta polkua path, jossa alotussolu on saa kun lopetussolu. Graafsta, joka on suunnattu ja sykltön, käytetään ylesest lyhennettä G drected acyclc graph. [7] Kuvassa 3 on eserkt suunnatusta syklttöstä ja syklsstä graafesta. Merktään edellä olevaa graafa S:llä ja jälkästä graafa :llä. Graafn S äärttelee solujen joukko V{, B, C, } ja kaaren joukko E{, C,B, C,C, }. Vastaavast graafn äärttelee solujen joukko V{E, F, G, H} ja kaaren joukko E{E, G,G, H,F, E,G, F}. Graaf on syklnen, koska eserkks polku E-G-F-E on sykl. Määrtellään seuraavaks solut juur, vanhep, laps, jälkelänen ja leht. Juursolu on sellanen solu, johon e tule yhtään kaarta, tosn sanoen,jolla e ole yhtään vanhepaa. Solulla on laps, jos stä lähtee kaar toseen soluun. Lehtsolulla e ole yhtään lasta. Kuvan 3 suunnatussa syklttöässä graafssa solun laps on C ja solun jälkeläset ovat C,. Solun vanhep on solu C. 8
Kuva 3 Syklset ja syklttöät graaf 4.. Bayes -verkon äärtelä Bayes -verkko on graafnen estys uuttujajoukon UX,...,X n yhtestodennäkösyysjakaualle. Bayes -verkon katsotaan koostuvan kahdesta osasta: Bayes-verkon verkkorakenne on suunnattu sykltön graaf G. Muuttujajoukko U vastaa solujoukkoa ja kaaret kuvaavat uuttujen välsä rppuvuuksa. Lsäks jokaseen uuttujaan/soluun ltetään pakallset todennäkösyysjakauat ehdollstettuna uuttujen vanhepn. Foraaln lastuna Bayes -verkon äärttää kakskko B G, Θ, ssä G on suunnattu sykltön graaf ja joukko Θ { x a X } paraetreja, jotka esttävät jokasen solun ehdollset todennäkösyydet vanhepen suhteen, tosn sanoen x a X x a X. Kuhunkn soluun lttyvää jakauaa X ax kutsutaan pakallseks todennäkösyysjakauaks local probablty dstrubuton. [3, 4] 4..3 Bayes -verkon rakenteeseen lttyvät oletukset ja äärtelä Bayes -verkon ydndea on, että joukko ehdollsa rppuattouuksa kuvataan sen rakenteessa. Bayes -verkon avulla saadaan äärtettyä yhtestodennäkösyysjakaua 9
n X,..., X X a X, ssä joukko X vttaa uuttujan X vanhepn. n Bayes -verkon rakenne G on yhtestodennäkösyysjakauan I-ap Independency appng, ks. Määrtelä 3, luku 4..6. Tää tarkottaa, että yhtestodennäkösyysjakaua toteuttaa kakk verkon G ehdollset rppuattouudet Markov -oletus. Tää tarkottaa, että Bayes -verkon graafnen osuus e vo knä ssältää ehdollsa rppuattouuksa, jotka evät ole voassa yhtestodennäkösyysjaukauassa. Verkko G on Bayes -verkko, jos ja van jos se on yhtestodennäkösyysjakauan naalnen I-ap nal I-ap. Verkko G on yhtestodennäkösyysjakauan naalnen I-ap, jos yhdenkn kaaren srtänen rkkoo I-ap:n onasuuksa. [8] 4..4 Bayes -verkko ja kausaalsuus Saat syyt aheuttavat saossa olosuhtessa saoja vakutuksa, on eräs ahdollnen kausaallan forulont, esttää akateekko Ova Ketonen krjassaan Se pyör sttenkn. Meneättä lan syvälle kausaalsuuden oleukseen, vodaan van sanoa, että syyseuraus-suhteen todstanen e ole helppo tehtävä. Mllon syyt ta olosuhteet ta vakutukset ovat rttävän saat, ja ten rttävä saanlasuus todennetaan, poht Ketonen. Oa eserkkn kausaalsuudesta on seuraava: Rasvasen ruoan syönen lhottaa. Va olko tuo sttenkään eserkk kausaalsuudesta? Luvussa 4.. esttelen, kunka Bayes -verkossa kaaret kuvaavat solujen ta uuttujen välsä rppuvuuksa. Rppuvuuksen tulknnassa on syytä olla varovanen. Bayes - verkko vo olla kausaalverkko. Tällön kaaret solujen välllä ovat tulkttavssa sten, että jos solusta lähtee kaar soluun B, nn solulla on suora vakutus soluun B. Bayes -verkko on kutenkn tulkttavssa kausaalseks, jos ja van jos se on rakennettu tetyn eneteln. Kausaalsen Bayes -verkon saa uodostettua käyttäen hyväks rajoteperustasa enetelä constrant based ethods [8]. Rajoteperustaset enetelät on lyhyest esteltynä luvussa 4... Kuten edellä estettn, nn solujen välset suhteet vodaan tulkta kausaalsks. Tässä työssä estellään tarken Bayes -verkon, jonka solujen välset kaaret tulktaan tlastollsks rppuvuuksks probablstc dependency, deaa. Työn eprsessä 0
osuudessa esttelen Bayes -verkkoja, jotka on rakennettu luoktteleaan potlaat okesn otoneurologsn tauttyyppehn ja tässä yhteydessä solujen välset kaaret tulktaan tlastollsks rppuvuuksks. Kuva 4 Eserkk Bayes -verkosta Kuvtellaan kuvan 4 verkko kausaalseks verkoks. Verkon takana on seuraavanlanen tarna: ekka asuu alueella, jossa aanjärstysten esntystodennäkösyys on M0.00 ja urtojen todennäkösyys on V0.00. ekka on lähdössä vkonloppuressulle ja on sopnut kahden er naapurn Ilkka, Katr kanssa, että he sottavat, jos ekan urtohälytn laukeaa päälle. Murtohälytn on nn herkkä, että se reago yös aanjärstyksn. Kuvan graafssa ovat kaaret uuttujsta aanjärstys ja urtovaras uuttujaan hälytys, koska nllä katsotaan olevan suora vakutus shen, laukeaako hälytn. Vastaavast uuttujalla hälytys on suora vakutus uuttujn puhelu Ilkalta ja puhelu Katrlta. Stä vaston uuttujat aanjärstys ja urtovaras evät vakuta suoraan puheluhn Ilkalta ja Katrlta, vaan uuttujan hälytys H kautta. Ss KH, M, VKH. Muuttujat aanjärstys ja urtovaras ovat rppuattoa erktään M V.
Kyseset uuttujat evät kutenkaan ole rppuattoa, kun hälytn on lauennut tosn sanoen MV,H MH. Muuttujat puhelu Ilkalta ja puhelu Katrlta ovat rppuattoa, kun uuttuja hälytys on havattu, ss IK, HIH. Yhtestodennäkösyysjaukaa on nyt uotoa M, V, H, I, K MVHM,VIHKH. Jokaseen soluun/uuttujaan ltetään pakallnen todennäkösyysjakaua, kun vanheat on annettu. Kuvassa 4 on solujen veressä ehdollset todennäkösyystaulukot CT. Nyt eserkks, M, V, H, I, K M VH M, VIHKH 0,998 0,999 0,00 0,90 0,700,006. Kuvan 4 Bayes -verkon uuttujat ovat bnääruuttuja. Ylesest, jos äärtetään n bnäärarvosen uuttujan yhtestodennäkösyysjaukaua, sen laskeseen tarvtsee äärttää n - kappaletta yhtestodennäkösyyksä. Eserkn Bayes -verkossa uuttuja on 5 kappaletta, ss uuttujen yhtestodennäkösyysjakauan laskeseks tarvtss teorassa laskea 5-3 kappaletta yhtestodennäkösyyksä. Eserkktapauksessa tarvts äärttää 0 todennäkösyyttä. rtkkelssa Bayesan Network wthout Tears [9, s.53] eserkn Bayes -verkossa on sjotettu kyenen solua tosnsa nähden tetyllä tavalla. Yhtestodennäkösyysjakauan äärttäseks tarvts äärttää todennäkösyyttä. Tää luku on huoattavast penep kun 0-03! [9] Bayes -verkon avulla pystytään esttäään yhtestodennäkösyysjakaua kopaktst. Yhtestodennäkösyysjakauan laskesen lsäks Bayes -verkosta saadaan äärtettyä yös reunajakauat. Jos halutaan eserkks äärttää yllä olevan eserkn tapauksessa todennäkösyys K0, nn tää tapahtuu argnalsonnlla. Tosn sanoen reunatodennäkösyys on nyt uotoa K 0 Σ M M M { 0,} V { 0,} I { 0,} H { 0,} Σ Σ Σ M { 0,} V { 0,} I { 0,} H { 0,} Σ Σ Σ Σ Σ K 0 H M V I H H M, V V K 0, M, V, I, H I { 0,} V { 0,} I { 0,} H { 0,} Σ Σ Σ H M, V K 0 H. 9
4..5 -separaato Edellsen luvun eserkssä kerron, tkä uuttujat ovat ehdollsest rppuattoa ja tkä rppuva. Selvtän seuraavaks, kunka uuttujen välset ehdollset rppuattouudet saadaan selvtettyä Bayes -verkosta. Usen käytetty enetelä ehdollsten rppuattouuksen löytäseen Bayes -verkon rakenteesta on earln vuonna 988 esttää d-separaato d-separaton. Määrtelä d-separaato Olkoon polku vuorotteleven solujen ja kaaren sekvenss ja olkoon Z solujen joukko suunnatussa syklttöässä graafssa G. Tällön joukko Z d- separo polun p, jos anakn tonen ehdosta on voassa:. polku p ssältää ketjun j k ta dvergotuvan haaran j k, että j Z.. polku p ssältää konvergotuvan haaran j k sten, että j Z Nonescj Z, ssä erkntä Nonescj vttaa solun j e-jälkeläsn. Jos X, Y ja Z ovat tostensa possulkevat verkon G solujen osajoukot, nn sanotaan, että Z d-separo joukot X ja Y, erk. X YZ G, jos ja van jos Z d-separo jokasen polun, joka lähtee joukon X solusta ja päättyy joukon Y soluun. Tosn sanoen joukot X ja Y ovat tosstaan rppuattoa ehdolla Z, jos joukko Z d-separo joukot X ja Y. [] Kuva 5 Eserkknä Bayes -verkko, jolla deonstrodaan d-separaatota. eonstrodaan kuvan 5 avulla d-separaatota. Joukko E ssältää nn sanotut evdensssolut. Evdensssolu on solu, johon lttyvän uuttujan arvo on havattu. Muuttuja X on rppuaton uuttujasta X j kun solujen X e ja X e arvot on annettu. Nän 3
on, koska kakk kole polkua uuttujen X ja X j välllä on suljettu blokattu, engl. blocked. olut on suljettu seuraavast: X e on evdensssolu ja oleat kaaret suuntautuvat stä pospän. X e on evdensssolu ja tonen kaar on shen tseensä pän ja tonen kaar on stä pospän. X e3,ekä ykskään sen jälkelässtä, ole evdensssolu ja oleat kaaret ovat shen tseensä pän. Kuvan 5 graafssa on yks solu jätetty lan neä. Nettöän evdensssolun erktys on se, että se on osa polkua solusta X soluun X j. 4..6 I-ap Määrtelä Markov -oletus Jokanen uuttuja X on rppuaton e-jälkelässtään, kun sen vanheat X Y Z ax on annettu, tosn sanoen X ax, G NonescX X ax. Määrtelä 3 I-ap G G on todennäkösyysjakauan I-ap, jos d-separaaton avulla graafssa G estetyt ehdollset rppuattouudet pätevät yös todennäkösyysjakauassa, ts. jos X Y Z X Y Z, ssä erknnällä G tarkotetaan Y:n ja X:n d-separaatota ehdolla Z ja erknnällä X Y Z vtataan ehdollseen todennäkösyyteen todennäkösyysjakauassa. [8] Teoreea Jos G on jakauan I-ap, nn tällön graafn G yhtestodennäkösyysjakua on uotoa n X,..., X n X a X. 0 Todstus Teoreea Ylesest uuttujajoukon yhtestodennäkösyysjaukaua äärtetään X,..., X X X,..., X X X,..., X X X X. n Tään saa helpost todstettua käyttäen ketjusääntöä: n n n n 4
X n X,..., X X,..., X X X,..., X,..., X X,..., X X,..., X n n n n X n X n n,..., X n... X X X, X... X X X Tehdään oletus, että uuttujen joukko X,..., X X n on tetyssä järjestyksessä, ja että tää järjestys pätee yös graafssa G; jos uuttuja X on uuttujan X j vanhep graafssa G nn tällön <j, ss a X X,..., X ja X,..., X a X Nonesc X. Ketjusäännön ukaan n,..., X n X X,..., X X. Koska G on jakauan I-ap, nn X Nonesc X, a X X a X, ja täten X X,..., X a X, a X X a X X X,..., X X a X., stä vodaan päätellä että 4..7 Bayes -verkon rppuattouusoletusten tausta Kuten on jo tullut anttua, Bayes -verkko koodaa joukon rppuattouuksa rakenteessaan. Rppuattouusoletukset pohjautuvat seuraavn oletuksn [8, 35]: Kausaalnen rttävyys-ehto Causal Suffcency ssupton: E ole oleassa ylesä plo-uuttuja engl. Hdden, latent, jotka ovat havattujen uuttujen vanhepa. Markov -oletus: Kun on annettu Bayes -verkon all, kakk uuttujat ovat rppuattoa e-jälkelässtään, ehdolla nden vanheat. Uskollsuus-oletus Fathfulness ssupton: Bayes -verkon graaf G ja sen todenäkösyysjakaua ovat toslleen uskollsa sten, että todennäkösyysjakauassa on voassa van ne rppuattouudet ekä yhtään sen enepää ta vähepää, jotka on estetty verkon rakenteessa G. Määrtelä 4 Markov -petto Kaklle uuttujlle Markov blanket 5 X U Markov -petto engl. BL X U on kä tahansa uuttujen joukko sten, että jokaselle uuttujalle Y U BL X { X}, X Y BL X.
Bayes -verkkokontekstssa uuttujan X Markov -peton löytää helpost graafsta. Se ssältää uuttujan X vanheat, uuttujan X lapset ja uuttujan X lapsen uut vanheat. Nyt ehdollset rppuattouudet ovat lastavssa seuraavast: Muuttuja X on ehdollsest rppuaton verkon usta uuttujsta, kun uuttujan X Markov-petto on annettu [34]. 4. Bayes -verkon rakenteen oppnen datasta 4.. steääräfunktohn perustuvat enetelät Ylesest kun puhutaan Bayes -verkon rakenteen oppsesta, halutaan löytää ratkasu seuraavaan ongelaan. Kun on annettu opetusjoukko u,,u n ptää löytää Bayes - verkko, joka parhaten sop opetusjoukkoon. Yks ylesstä tavosta ratkasta tää ongela on käyttää psteääräfunktota parhaan verkkorakenteen löytäseen. steäärä-perustanen score-based enetelä on varsn käyttökelponen enetelä, varsnkn yhtestodennäkösyysjakauan estontn. Menetelän dea pähknänkuoressa on, että jollan hakualgortlla haetaan kakk ahdollset Bayes - verkot, psteytetään saadut verkot käyttäen jotan tunnettua etrkkaa ja valtaan se rakenne Bayes -verkon rakenteeks, joka antaa parhaan psteääräfunkton arvon. arhaan psteääräfunkton arvon antaa se rakenne, joka parhaten kuvaa annettua dataa [8,0] arhaten dataa kuvaa se verkkorakenne, joka akso verkkorakenteen G posterortodennäkösyyden ScoreG, G, ssä on opetusjoukko. Käytetään Bayesn sääntöä ja saadaan G G Score G, G. Koska nttäjä e rpu rakenteesta G, nn aksotavaks jää osottaja. Todennäkösyys G vodaan jättää huootta, tosn sanoen oletetaan, että kakk verkkorakenteet ovat yhtä todennäkösä ta stten asetetaan verkkorakenteen prorjakauaks jokn uu kun tasajakaua.[8] 6
Kaks usen käytettyä psteääräfunktota ovat Bayesn psteäärää Bayesan scorng ja ML -tta nun descrpton length. Nää psteääräfunktot ovat asyptoottsest ekvvalentteja ja asyptoottsest oketa, tosn sanoen otoskoon kasvaessa datasta optulla Bayes -verkolla koodattu yhtestodennäkösyysjakaua lähenee stä okeaa jakauaa, stä havannot on pottu, todennäkösyydellä. [3,4] Jora Rssasen vuonna 978 esttään ML -peraatteen ukaan tavotteena on löytää all, jonka avulla havantoanesto vodaan kuvata ahdollsan lyhyest. ML - peraatteeseen perustuva kaksosanen krteer ottaa huooon alln tsessään ja alln antaan kuvauksen datasta. Mall on tään gradun kontekstssa Bayes -verkko, joka kuvaa datan yhtestodennäkösyysjakauan B. Olkoon 7 B G, Θ Bayes -verkko ja olkoon u,,u N opetusjoukko, ssä u :lla erktään kakken nden uuttujen arvoja, jotka kuuluvat uuttujajoukkoon U. Bayes -verkon B ML -tta ehdolla opetusjoukko on uotoa log N ML B B LL B, 3 log N ssä B on verkon paraetren lukuäärä. Ensänen ter B kokonasuudessaan kertoo verkon B kuvauksen ptuuden sten, että lasketaan kunka onta bttä tarvtaan verkon B koodaseen, kun jokasta paraetra ϑ Θ koht log N tarvtaan bttä. Tonen ter on verkon B nuserkknen logartotu uskottavuusfunkto, kun on annettu: N LL B log u, 4 B joka ttaa kunka kunka onta bttä tarvtaan kuvaaaan opetusjoukko pohjautuen yhtestodennäkösyysjakauaan B. Tlastollnen tulknta logartodulle uskottavuudelle on, että tä suurep logartotu uskottavuus on, stä paren B allntaa opetusjoukon todennäkösyysjakauaa. ML -tan ensänen ter ohjaa verkon koplekssuutta, tosn sanoen tää ter rankasee verkkoja, jossa on paljon paraetreja. [0]
Kun ML -tta on nforaatoteoreettnen krteer, nn bayeslänen lähestystapa verkkorakenteen valntaan on käyttää Bayesn rchlet B psteäärää. Maksotavana on nyt G G G G n q j r Γ j Γ N jk jk j Γ j N j k Γ jk 8, 5 ssä Γ on gaafunkto, jk on hyperparaetr, j on ekvvalentt otoskoko, q on uuttujan x vanhepen er tlojen yhdstelen lukuäärä ja r on uuttujan x tlojen lukuäärä. Oletuksena on, että pakallset todennäkösyydet noudattavat ultnojakauaa rchlet -jakauasta tarken luvussa 4.3. steääräperustaset enetelät ss yrttävät optoda valtun psteäärän. Tuloksena on verkkorakenne, joka akso tään psteäärän. Kakken ahdollsten verkkorakenteden avaruus on valtettavast valtava; avaruus on kobnatornen, ptäen ssällään supereksponentaalsen lukuäärän erlasa rakenteta. Ylesest ongela psteäärän aksovan rakenteen löytäseen on N -kova engl. N-hard. Ratkasu tähän ongelaan on käyttää heurstsa hakualgorteja. aljon käytettyjä heurstsa hakualgorteja ovat. vuorkpely hll clbng, sulotu jäähdytys sulated annealng, best frst search ja geneettset algortt. [8,5] 4... Hll Clbng Bayes -verkon rakenteen oppsta varten ptää olla päätettynä seuraavat asat kun käytetään psteääräperustasta lähestystapaa: steäärä, jolla arvodaan verkon hyvyyttä. Hakuavaruus ja shen lttyvät salltut operaatot, jotka tuottavat annetusta rakenteesta tosen. Hakualgort, joka opto haun. Vuorkpelyalgortssa äärtetyn hakuavaruuden tlat ovat ahdollsa verkkorakenteta ja operaatolla äärtetään verkkorakenteden lähesyydet. Operaatot hakuavaruudessa ovat kaaren lsäys, kaaren posto ja kaaren kääntänen sten että yks operaato kerrallaan on sallttu. Haku vodaan alottaa täysn tyhjällä verkolla ta stten e-
tyhjällä, jonka asantuntja on tuottanut alkuverkoks. Käyttäen operaatota löydetään suuran psteäärän tuottava verkko. Vakka vuorkpelyalgort on paljon käytetty heurstnen hakualgort, sen käyttö e ole täysn ongelatonta, nttän ana e ole taketa stä, että globaal aks saavutetaan. Tään ongelan välttäseks vodaan käyttää eserkks enetelä TBU -haku engl. Tabu-search ja sulated annealng. Kolas ehdotettu keno on käyttää satunnasest tuotettuja alotusverkkoja engl. ultple rando restarts. [8,0,5] 4.. Rajoteperusteset enetelät steääräperustenen lähestystapa verkon rakenteen oppseen käyttää kulakvenään stä, että Bayes -verkko esttää uuttujen yhtestodennäkösyysjakauan. Rajoteperustenen lähestystapa puolestaan käyttää hyväkseen tetoa stä, että verkkorakenne ptää ssällään joukon ehdollsa rppuattouussuhteta kästteen d-separaato ukaan earl 988. Rajoteperustenen enetelä käyttääkn rppuattouustestejä ehdollsten rppuattouuksen löytäseen attrbuutten välllä ja edelleen nätä suhteta verkon rakentaseen. Kaks paljon käytettyä rppuattouustestä tässä yhteydessä ovat Χ -test ja kesknänen nforaato-test utual nforaton test. Englannnkelsessä krjallsuudessa rajoteperustaset enetelät tunnetaan neltä CI-based algorths ta constrant-based algorths [8,36]. 4.3 Bayes -verkon paraetren oppnen 4.3. Johdanto paraetren estontn Bayes -verkkokontekstssa lähestynen paraetren estontn vo olla joko frekventstnen ta bayeslänen. Kästtelen aluks paraetren estonta ykssolusen verkon kautta, jonka jälkeen esttelen, ten estont tapahtuu onsolusten verkkojen yhteydessä. Suuran uskottavuuden enetelän esttelyssä pohjatetona on käytetty kurssonsteta, sekä entt Huuhtasen teosta Mateaattnen tlastotede [6]. Suuran uskottavuuden enetelässä lähtökohtana on valta paraetrn estaatks se paraetravaruuden pste, jossa saadulla knteällä otosavaruuden psteen arvolla 9
otoksen yhtesjakauan pstetodennäkösyys saavuttaa suuran arvonsa. Nän saatua paraetrn arvoa vodaan ptää uskottavpana ehdokkaana paraetrlle. Olkoon X,,X n satunnasvektor, jonka yhtesjakauan theysfunkto ta pstetodennäkösyysfunkto on fx,, x n ;, ssä Θ on tunteaton paraetr. Tässä vo olla joko skalaar ta vektor. Määrtelä 4 Uskottavuusfunkto Havatun otoksen x,, x n uskottavuusfunkto äärtellään paraetrn Θ funktona L; x,, x n f; x,, x n. skreetesssä tapauksssa L; x,, x n kuvaa tapahtuan {X x,, X n x n } todennäkösyyttä. Käytännössä X,, X n on yleensä otos jakauasta, jonka theysfunkton uoto on tunnettu. Uskottavuusfunkto on nyt uotoa n ; x,..., xn X x L, 6 kun X on dskreett. Määrtelä 5 ML -estaatt Suuran uskottavuuden estaatt araetrn ML - estaatt on sellanen paraetravaruuden Θ pste ˆ ˆ x,..., x, joka toteuttaa ehdon n L ˆ; x,..., xn sup L ; x,..., xn. ML -estaattor on vastaavast satunnasuuttujsta Θ X,, X n nän rppuva otossuure ˆ X,..., X. n Koska uskottavuusfunkto on ana postvnen, vodaan uskottavuusfunkton sjasta tarkastella logartotua uskottavuusfunktota; uskottavuusfunkto saavuttaa aksnsa, kun sen uunnos ln L; x,, x n saavuttaa aksnsa. Tavallsest ML - estaatt löydetään sten, että ratkastaan nn sanotut uskottavuusyhtälöt. Olkoon,..., k paraetrvektor. Tällön välttäätön ehto äärarvokohdalle psteessä ˆ ˆ,..., ˆ on, että k 30
ln L ˆ,.., ˆ k 0 : ln L ˆ,.., ˆ k 0. k Ratkastaan nää uskottavuusyhtälöt ja tuloksena on haluttu akskohta. Eserkk 3 Bnäärnen uuttuja, ML -estaatt Olkoon Bayes -verkko ykssolunen verkko, jonka solu vo saada kaks er arvoa, tosn sanoen Ω X x, x. Tavotteena on estoda paraetr X x. Oletetaan, että data-alkot,, ovat rppuattoa, kun on annettu;,...,. Oletetaan yös, että tapahtuat ovat denttsest jakautuneta, tosn sanoen x ja x -,,,. Uskottavuusfunkto on nyt uotoa L,...,, ssä on arvon x esntysten lukuäärä ja vastaavast on arvon x esntysten lukuäärä. Estaatt todennäkösyydelle, että seuraava data-alko on x, on saa kun paraetrn ML -estaatt. Logartotu uskottavuusfunkto on uotoa ln L ln ln. ervodaan saatu funkto paraetrn suhteen, saadaan [ ln ln ]. setetaan dervaatta nollaks ja ratkastaan : 0 0. 3
Nyt ss x. 7 Eserkk 4 Multnojakaua, ML -estaatt Olkoon Bayes -verkko ykssolunen verkko, jonka solu/uuttuja on onarvonen, tosn sanoen Ω X x,, x r, ja olkoon Xx, sekä,, r. Oletuksena luonnollsest on, että Σ. Oletetaan, että datajoukossa, uuttuja X saa arvon x kertaa. Nyt uskottavuusfunkto ja logartotu uskottavuusfunkto ovat uotoa ja r L 8 r ln L ln. 9 Jälkänen on nyt aksotava ehdolla, että Σ. Määrtetään ensks Lagrangen funkto r F, λ ln λ, 30 joka stten dervodaan,, r suhteen. ervaataks saadaan r r r F, λ λ λ ln,,, r. setetaan tulos nollaks ja ratkastaan, saadaan. λ Otetaan seuraavaks Lagrangen funktosta dervaatta λ:n suhteen ja asetetaan tulos nollaks, saadaan r. 3
Korvataan nyt : t äsken saadulla tuloksella ja saadaan yhtälö λ r, josta saadaan, että λ ja r r λ, stä seuraa, että. 3 Nyt halutaan ennustaa, että seuraavan alkon arvo on x, tosn sanoen x. Frekventstsessä lähestystavassahan tää on ML -estaatt, el tässä tapauksessa x. 3 Bayesläsessä lähestystavassa paraetr kästetään satunnasuuttujaks. Tälle paraetrlle asetetaan prorjakaua, yhdstetään tähän prortetoon datasta saatu nforaato, ja saadaan paraetrn posterorjakaua. Bayes -sääntö on uotoa, 33 joka vodaan sanallsest krjottaa uotoon posteror uskottavuus pror. Todennäkösyys vodaan ss jättää posterortodennäkösyyden äärttäsestä pos, koska se on paraetrsta rppuaton vako. Ylesest kun pror-nforaatota on käytettävssä, projakauan valnnassa vodaan käyttää kahta er enetelää: rorjakaua uodostetaan subjektvsen ennakkokästyksen perusteella eserkks 33
asantuntjan avustuksella ta stten valtaan prorjakauaks konjugaattnen prorjakaua. Krjotetaan Bayes -sääntö tosessa uodossa:, 34 dskreetssä tapauksessa ja jatkuvassa tapauksessa f f f. 35 f f d Tarkastellaan Bayes -säännön äärtelää jatkuvassa tapauksessa. Kaavan avulla saadaan käteväst, anakn peraatteessa, uuden datan perusteella uokattua theysfunktota. Käytännössä kaavan soveltanen e kutenkaan ole ongelatonta. Jos uskottavuusfunkto f ja prorjakaua f evät ole suhteellsen yksnkertasa ateaattsa funktota, vo kaavan 35 nttäjän ntegront osottautua hankalaks tehtäväks. Bayesläset tlastoteteljät ovat kehttäneet kästteen konjugaattset prorjakauat, jonka avulla laskenta saadaan suortettua juohevan. Konjugaattsten perheden avulla posterorjakaua vodaan esttää suljetussa uodossa. Tätä kautta ratkasu ennustaseen on yös löydettävssä suljetussa uodossa. [] Uskottavuusfunkto äärätään pohjalla oleven oletusten perusteella otos noudattaa eserkks Bernoull -jakauaa ykskästtesest. Konjugaattnen prorjakaua rppuu yksn anoastaan uskottavuusfunkton uodosta. Kun prorjakauaks valtaan konjugaattnen prorjakaua, on yös posterorjaukaua saasta jakauaperheestä. Konjugaattnen prorjakaua äärtetään systeaattsest uskottavuusfunkton avulla sten, että uskottavuusfunktossa otoksesta rppuvat tert korvataan prorjakauan paraetrellä. Eserkk 5 Konjugaattnen prorjakaua bnoaalselle uskottavuudelle Eserkssä 3 Bernoull -jakauan uskottavuusfuntoks saatn L. Korvataan nyt otoksesta rppuvat tert prorjakauan paraetrella: ja. Uskottavuusfunkto on nyt uotoa L, joka ustuttaa, vakota 34
35 valla olevaa Beta-jakauan theysfunktota. Nyt prorjakaua on, jonka noralsova vako on, Β Γ Γ Γ. Mlle tahansa kokonasluvulle γ gaafunkto äärtetään Γγ γ-!. araetrn prorjakaua on beta-jakaua; ~ Beta,. osterorjakaua on uotoa Β Β,, d d. 36 Täydennetään nttäjää sopvast ja saadaan Β Β Β,,, d,,, Β Β 37 stä seuraa, että posterorjakaua on, Β. 38 Myös posterorjakaua on täten beta -jakaua; ~Beta,. Eserkk 6 Konjugaattnen prorjakaua Multnonaalselle uskottavuudelle Eserkssä 3 onarvosen uuttujan uskottavuusfunktoks saatn r L. Multnoaalselle uskottavuudelle konjugaattnen perhe on rchlet-jakauat. Ylesest rchlet -jakauan theysfunkto on Γ Γ r r, 39 ssä r. osterorjakaua on nyt
L r r r Γ r, 40 Γ r ssä r. Nyt ~r,, r ja ~r,, r r. Edellä estettn konjugaattsen prorjakauan käste. Luonnollnen kysyys elestän on kysyys prorjakauan paraetrestä; ten äärätä konjugaattsen prorjakauan paraetrt? Käytetään eserkknä saatua konjugaattsta prorjakauaa bnoaalselle uskottavuudelle, ss beta-jakauaa Beta,. Jos on oleassa näkeys betajakauan odotusarvosta ja varansssta, nn paraetrt vodaan ratkasta näden avulla. Eserkknä tlanne, jossa tlastoteteen professor pähkälee, että selvttääkö Maja hänen tulevan kurssnsa. Edellsvuosen perusteella hän arvo, että keskäärn hänen kurssnsa on selvttänyt 70 % opskeljosta varanssn ollessa 0,0. Beta-jakauan odotusarvo ja varanss ovat uotoa sjotus sjotus E 0,7 ja Var 0, 0. Ratkastaan paraetrt kaavosta ja paraetrelle saadaan arvot 7 ja 3. Estelty enetelä on teorassa käyttökelponen enetelä prorjakauan paraetren ääräseen. Käytännössä tätä enetelää vo olla hankala soveltaa, nttän jakauan varanssn asettanen ntuton pohjalta on vakeaa. Saantyyppnen enetelä kun tä edellä estettn, on käyttää hyväks jakauan fraktl-para ta keskarvoa ja yhtä fraktla. äätöksentekjällä vo olla eserkks näkeys, että paraetrn prorjakaua noudataa beta-jakauaa odotusarvonaan 0,5 ja 5 % fraktlnaan 0,. Näden suureden avulla ratkastaan kuten edellä prorjakauan paraetrt. [] Tosentyyppnen tapa ratkasta asa, on käyttää nn sanottua kuvtteellsta otostetoa hyväks. Olkoon nden opskeljoden osuus, joka läpäsee erään tlastoteteen kurssa ja oletetaan, että prorteto vodaan esttää beta-jakauan avulla. araetrn odotettu 36
arvo on 0,. Lsäks vätetään, että jos havannodaan 00 opskelja otos, nn van 0 opskeljaa läpäss kurssn ja sten paraetrn odotusarvo lasks arvoon 0.8. Tosn sanoen, nykynen odotusarvo on sjotus 0,, ja posterorjakauan odotusarvo on 0 E 00 sjotus 0,8 Kun nästä kahdesta odotusarvosta ratkastaan prorparaetrt, saadaan 80 ja 400. Kun halutaan äärttää todennäkösyys x, ssä data ptää ssällään rppuattoa denttsest jakautuneta uuttuja, on vahtoehtoja useap kun yks rppuen stä, halutaanko löytää yksttänen arvo paraetrelle, va halutaanko käyttää hyväks koko posterorjakauan antaa nforaato. Jälkäsen lähestystavan ukaan bayeslänen ennustanen pohjautuu allen ennusteden keskarvottaseen, panotettuna alln paraetren posterortodennäkösyyksllä:, d d. 4 alataan eserkkn dskreetstä kaksarvosesta uuttujasta. Määrtetään nyt Bayes - ennuste tulevalle havannolle. Määrtetään ensn,:,. 4 osterortodennäkösyydekshän saatn. Β, Nyt, koska,,, nn 37
38,, Β B B, 43 ssä - ja B - ja,,,, Β Β B B B d B B. Nyt ennusteet ovat Β Β B B B,, 44 Β Β B B B B,, 0. 45 Vastaavalla tavalla saadaan äärtettyä Bayes-ennuste havannolle onarvosen dskreetn uuttujan tapauksessa. osterortodennäkösyydeks saatn Γ Γ r r Ja, koska r I r I r I I n n n 0 0 0, K, ssä I. on ndkaattorfunkto, nn Γ Γ r I r,, 46 stä seuraa, kun erktään ' I, että
39 r r Γ Γ Γ Γ Γ Γ, ' '. 47 Kun halutaan käyttää pste-estaatta, on tässäkn valttavana teorassa useap kun yks lähestystapa; osterorjakauan odotusarvo, ood ta edaan. osterorjakauan edaann käyttöä Bayes -estaattna e kylläkään dskreetten Bayes -verkkojen tapauksessa suosta, koska edaann äärttänen e ole suoravvasta. Bayes -estaattorn takana on valttu tappofunkto LT;, joka lasee estaattorn TX,, X n arvon pokkeaan paraetrn arvosta aheutuvan tappon. Rskfunkto RT; on tappofunkton odotusarvo satunnasotoksen yhtesjakauan suhteen: [ ] [ ] dx x x T L x T L E T L E T R ; ; ; ;. 48 Rskfunkto lasee sen keskääräsen tappon, joka aheutuu estaattorn TX,, X n valnnasta. Koska todellsta paraetrn arvoa e luonnollsestkaan tunneta, valtaan se estaattor, jolla on penn rskfunkton arvo kaklla :n arvolla. Kun panotetaan rskfunktota projakauan ssältäällä nforaatolla, tosn sanoen kun otetaan rskfunktosta odotusarvo prorjakauan suhteen, saadaan Bayes -rsk [ ] d T R T R E R ; ;, 49 jota noalla nodaan estaattorn TX,, X n arvon pokkeaan paraetrn arvosta aheutuvan tappo. Estaattora, joka no Bayes-rskn, kutsutaan Bayes - estaattorks. Kun äärtetään Bayes -estaattora, vodaan Bayes -rskn nonnn sjasta noda posterorjakauan suhteen laskettua tappofunkton odotusarvoa. Olkoon,
40 [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ], ; ; ; ; ; ; ; ; ; dx d x T L x dx d x x T L dx d x f T L d dx x f T L d T L E T L E E T R E R ϖ 50 stä näkee, että Bayes -rsk notuu, kun E x [LT;] notuu. ste-estonnssa tappofunkto hejastaa valtun estaatn arvon ja todellsen estaatn arvon yhteensopvuutta. Merktään nyt valttua arvoa notaatolla a ja todellsta paraetrn arvoa notaatolla. Jos a on lähellä todellsta paraetrn arvoa, nn aheutuva tappo ja tappofunkton arvo La, ovat penä. Kole ylesest käytettyä tappofunktota ovat nelöllnen tappofunkto, tsesarvotappofunkto ja 0- tappofunkto. Nelöllnen tappofunkto, joka on uotoa L, a -a, rankasee suursta pokkeasta ankaran, kun taas tsesarvotappofunkto L, a-a ja 0- tappofunkto > b a b a a L, 0,, 5 ovat väheän herkkä suurlle pokkealle. Nelöllseen tappofunktoon lttyvä Bayes-estaattor on posterorjakauan odotusarvo d B ˆ. ja tsesarvotappfunktoon lttyvä Bayes-estaattor on posterorjakauan edaan. 0- tappofunktoon ltetään yleensä nn sanottu M -estaattor, tosn sanoen valtaan se estaatn arvo, joka akso posterorjakauan: arg ax ˆ B. Estaatn arvo, joka akso posterorjakauan, on tunnetust ood. osterorjakauan aksonnn sjaan vodaan tarkastella logartodun posterorjakauan aksonta: ln arg ax ln arg ax ˆ B.
4 Ensänen terhän on logartotu uskottavuusfunkto. Maksonttehtävä eroaa ss suuran uskottavuuden aksonnsta tern ln osalta; M -estaattora kutsutaankn rangastuks suuran uskottavuuden estaattorks penalzed axu lkelhood estator [8]. Selvää on, että kun paraetrn prorjakaua on tasajakaua, nn ML-estaattor ja M -estattor ovat saoja. Kun taas otoskoko on suur, nn ML -estaattor ja M -estaattor lähenevät tosaan; tällön paraetrn prorjakauan erktys hekkenee. Vtaten edellsn eserkkehn, jossa posterorjaukaks saatn Beta, - jakaua ja r,, -jakaua, äärtän seuraavaks nätä jakaua vastaavat paraetrn pste-estaatt. Beta, -jakauan odotusarvo ja ood ovat uotoa d c d f E x 0 5 ja arg ax x. 53 Jakauan r,, r r. koponentn odotusarvo on d f E, 54 ssä r ja r. rchlet-jakauan oodn. koponentt on r x M arg ax ˆ,. 55 Huoataan, että sekä kaksarvosen että onarvosen uuttujan tapauksessa paraetrn posterorjakauan odotusarvo on saa kun tä saatn laskealla Bayes-ennuste. Frekventstnen ratkasu todennäkösyyteen x on ML ˆ.