805306A Johdatus monimuuttujamenetelmiin, 5 op

Transkriptio

1 monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos

2 Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista X 1,..., X p sellainen yhdistelmä (matemaattinen funktio), joka parhaiten erottelisi vastemuuttujan Y eri luokat toisistaan Vastemuuttuja Y voi olla joko kaksi- tai useampiluokkainen (K 2) Selittäjien oletetaan usein noudattavan ns. multinormaalijakaumaa Analyysin perusideana on mallittaa selittäjien X (yhteis)jakauma erikseen jokaisessa vastemuuttujan luokassa ja käyttää sen jälkeen ns. Bayesin kaavaa estimoitaessa todennäköisyyttä P(Y = k X = x) monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

3 Olkoon π k (k = 1,..., K) kokonaistodennäköisyys tai ns. priori sille, että satunnaisesti valittu havainto kuuluu vastemuuttujan luokkaan k. f k (X ) = P(X = x Y = k) X :n (yhteis)tiheysfunktio havainnolle, joka tulee vasteen luokasta k. Tällöin f k (x) saa suhteellisen suuria arvoja silloin, kun luokan k havainnolla on suuri todennäköisyys sille, että selittävien muuttujien arvoilla X x Vastaavasti fk (x) saa suhteellisen pieniä arvoja silloin, kun luokan k havainnolla on pieni todennäköisyys sille, että selittävien muuttujien arvoilla X x monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

4 Bayesin kaavan mukaan p k (x) = P(Y = k X = x) = π kf k (x) K π l f l (x) l=1 (1) Bayesin kaavassa (1) esitettyä todennäköisyyttä p k (x) = P(Y = k X = x) sanotaan ns. posterioritodennäköisyydeksi Posterioritodennäköisyys kuvaa selittävien muuttujien arvot X = x omaavan havaintoyksikön todennäköisyyttä (tai todennäköisyystiheyttä) kuulua vasteen luokkaan k monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

5 Todennäköisyyksien πk estimointi on helppoa, jos havaintoaineisto on kerätty perusjoukosta yksinkertaisella satunnaisotannalla. Tällöin π k = n k /n, missä n k = vastemuuttujan Y luokkaan k kuuluvien havaintojen lukumäärä ja n = n 1 + n n K = havaintojen kokonaislukumäärä. X :n tiheysfunktion f k (x) estimointi on haastavampaa, joten tiheysfunktion muodosta tehdään yleensä ainakin joitakin yksinkertaistavia oletuksia Tiheysfunktioiden fk (x) ja priorien π k estimoinnin jälkeen voimme arvioida posterioritodennäköisyyksiä ja muodostaa luokittelusäännön, jonka avulla kukin havaintoyksikkö voidaan luokitella tai ennustaa kuuluvaksi vasteen tiettyyn luokkaan monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

6 Lineaarinen erotteluanalyysi: yksi selittäjä Oletetaan seuraavaksi, että K-luokkaista vastemuuttujaa Y selitetään yhdellä jatkuvalla selittäjällä X. Lineaarisen erotteluanalyysin keskeisimmät vaiheet ovat: Estimoidaan tiheysfunktiot fk (x) ja priorit π k (k = 1,..., K) Sijoitetaan saadut estimaatit Bayesin kaavaan (1), jotta saamme estimaatit posterioritodennäköisyyksille p k (x) Luokitellaan kukin havainto siihen luokkaan, jossa havaintoon liittyvä p k (x) on suurin Oletetaan seuraavaksi, että luokassa k (k = 1,..., K ) selittävä muuttuja X noudattaa normaalijakaumaa eli X N(µ k, σ 2 k ). monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

7 Tällöin X :n tiheysfunktio luokassa k on muotoa ( ) 1 f k (x) = exp 1 (x µ 2πσk 2σk 2 k ) 2, (2) missä µ k ja σk 2 luokassa k. ovat muuttujan X odotusarvo ja varianssi vasteen Oletetaan lisäksi, että σ 2 1 =... = σ2 K = σ2 (vakiovarianssioletus). Sijoittamalla kaavassa (2) esitetty tiheysfunktio f k (x) Bayesin kaavaan (1), saadaan posterioritodennäköisyys esitettyä muodossa p k (x) = π ( 1 k exp 2πσ 1 (x µ 2σ 2 k ) 2) K l=1 π ( 1 l exp 2πσ 1 (3) (x µ 2σ 2 l ) 2) monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

8 Ns. Bayes-luokittelija luokittelee selittäjän arvon X = x omaavan havainnon siihen luokkaan, jossa posterioritodennäköisyys on suurin. Edellä esitetty luokittelusääntö voidaan esittää myös yhtäpitävästi siten, että selittäjän X arvon x omaava havainto luokitellaan siihen luokkaan, jossa saa suurimman arvon. δ k (x) = x µk σ 2 µ2 k 2σ 2 + log(π k) (4) Jos esimerkiksi vaste on kaksiarvoinen (K = 2) ja π1 = π 2, Bayes luokittelija luokittelee havainnon luokkaan 1, jos 2x(µ 1 µ 2 ) > µ 2 1 µ 2 2 ja muulloin havainto luokitellaan luokkaan 2. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

9 Jotta luokittelusääntöjä (3) ja (4) voitaisiin soveltaa käytännössä, tuntemattomat parametrit µ 1,..., µ K, π 1,..., π K ja σ 2 täytyy estimoida havaintoaineiston informaation perusteella. Parametrien estimoinnissa voidaan käyttää seuraavia estimaattoreita: µ k = 1 n k i:y i =k σ 2 = 1 n K x i K ja (x i µ k ) 2 (5) k=1 i:y i =k Yllä n k = luokkaan k kuuluvien havaintojen lkm ja n = havaintojen kokonaislukumäärä. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

10 Selittäjän X luokkakohtaisia odotusarvoja µ k (k = 1,..., K) estimoidaan siis luokkakohtaisten keskiarvojen avulla ja varianssin σ 2 estimaattori σ 2 on painotettu keskiarvo luokkakohtaisista otosvariansseista. Kun esimerkiksi K = 2, saadaan σ 2 kirjoitettua muodossa σ 2 = (n 1 1)S (n 2 1)S 2 2 n 2 missä luokissa 1 ja 2 otosvarianssi lasketaan tavanomaisella kaavalla Sk 2 = 1 n k n k (x 1 i µ k ) 2 i=1 Jos priorit π 1,..., π K tunnetaan etukäteen, ko. todennäköisyyksiä voidaan luonnollisesti hyödyntää suoraan luokittelussa., monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

11 Jos taas priorit ovat tuntemattomia, ne voidaan estimoida jo aiemmin esitetyllä periaatteella π k = n k n (6) Lineaarisen erotteluanalyysin luokittelussa kaavoilla (5) ja (6) saadut estimaatit sijoitetaan kaavassa (4) esiteltyyn erottelusääntöön, jolloin saadaan δ k (x) = x µ k σ 2 µ2 k 2 σ 2 + log( π k) (7) Näiden ns. erottelufunktioiden δ k (x) perusteella havainto, jonka arvo muuttujalla X = x, luokitellaan siihen luokkaan k (k = 1,..., K), jossa erottelufunktio saa suurimman arvon. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

12 Esimerkki Erääseen havaintoaineistoon (n = 233) kuuluu 30-vuotiaita aikuisia, joista 117 on miehiä ja loput 116 naisia. Seuraavassa pistekuviossa on esitetty miesten ja naisten pituuksien jakaumat: Sukupuoli Mies Nainen Pituus (cm) monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

13 Analysoidaan aineistoa lineaarisen erotteluanalyysin avulla ja pyritään luokittelemaan/ennustamaan aineistoon kuuluvien henkilöiden sukupuoli pituuden avulla. Havaintoaineistosta lasketut sukupuolittaiset keskiarvot ja keskihajonnat ovat: Sukupuoli- Havaintojen Keski- Keskiluokka lukumäärä arvo hajonta Mies (1) Nainen (2) Oletetaan, että miesten pituus noudattaa N(µ 1, σ 2 )-jakaumaa ja että naisten pituus noudattaa N(µ 2, σ 2 )-jakaumaa. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

14 Jakaumien tuntemattomien parametrien µ 1, µ 2 ja σ 2 sekä priorien π 1 ja π 2 estimaateiksi saadaan: µ 1 = X 1 = µ 2 = X 2 = σ 2 = S 2 = (n 1 1)S (n 2 1)S 2 2 n 2 = (117 1) (116 1) π 1 = n 1 /n = 117/ π 2 = n 2 /n = 116/ monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

15 Seuraavassa kuvassa on esitetty miesten ja naisten pituusjakaumien tiheysfunktioiden estimaatit ja pituuden havaintoarvot aineistossa. Miehet Naiset monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

16 Erottelufunktioiden δ k (x) = x µ k µ2 k + log( π σ 2 2 σ 2 k ), missä k = 1, 2, arvoiksi 177 cm pitkälle henkilölle saadaan: δ 1 (177) = 177 µ 1 σ 2 µ2 1 2 σ 2 + log( π 1) = log(0.502) δ 2 (177) = 177 µ 2 σ 2 µ2 2 2 σ 2 + log( π 2) = log(0.498) Nyt siis δ 1 (177) > δ 2 (177), joten kyseinen henkilö luokitellaan kuuluvaksi luokkaan 1 eli mieheksi. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

17 Seuraava kuva havainnollistaa vielä edellä esitellyn päätäntäsäännön käyttäytymistä havaintoaineistossa. Musta katkoviivan vasemmalle puolelle kuuluvat havainnot luokitellaan kuuluvaksi luokkaan 2 eli naisiksi ja oikealle puolelle kuuluvat havainnot luokkaan 1 eli miehiksi. Miehet Naiset monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

18 Erotteluanalyysi ja R R:ssä lineaarinen erotteluanalyysi voidaan suorittaa MASS-paketin funktiolla lda(). Analysoidaan lyhyesti edellä käsitelty esimerkkiaineisto ko. funktiolla: monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

19 Funktiossa lda() määritellään ensin analyysissä käytettävä malli muodossa: luokiteltava muuttuja selittävä(t) muuttuja(t) argumentilla CV=TRUE saadaan talletettua muodostettavaan malliobjektiin (opetus)aineiston havaintojen luokittelun lopputulokset Talletetusta malliobjektista voidaan poimia kullekin aineiston havainnolle vasteen ennusteettu arvo komponentilla class (esim. malli$class) posterioritodennäköisyydet tilastoyksikön kuulumiselle vasteen eri luokkiin komponentilla posterior (esim. malli$posterior) monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

20 Luokituksen onnistumista voidaan nyt kuvata esimerkiksi yksinkertaisella funktion table() tuottamalla ristiintaulukolla tai Epi-paketin informatiivisempia ristiintaulukoita tuottavalla funktiolla stat.table(). Lisää R:n erotteluanalyysistä erillisissä esimerkeissä ja kurssin harjoituksissa. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

21 Useamman selittäjän lineaarinen erotteluanalyysi Useamman selittäjän X 1,..., X p (p 2) tilanteessa oletetaan, että X = (X 1,..., X p ) noudattaa multinormaalijakaumaa, merk. X N p (µ, Σ). Odotusarvovektorissa E(X ) = µ on p alkiota, jotka kuvaavat muuttujien X 1,..., X p odotusarvoja µ 1 µ 2 E(X ) = µ =. µ p Cov(X ) = Σ on X :n p p kovarianssimatriisi Var(X 1 ) Cov(X 1, X 2 )... Cov(X 1, X p) Cov(X 2, X 1 ) Var(X 2 )... Cov(X 2, X p) Cov(X ) = Σ Cov(X p, X 1 ) COV (X p, X 2 )... Var(X p) monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

22 Multinormaalin todennäköisyysjakauman tiheysfunktio f(x) on muotoa ( ) 1 f (x) = exp 1 (2π) p/2 Σ 1/2 2 (x µ)t Σ 1 (x µ) Kaksiulotteisessa normaalijakaumassa odotusarvovektori µ ja kovarianssimatriisi Σ 'typistyvät' muotoon ( ) µ1 E(X ) = µ = µ 2 ja Σ = Cov(X ) = ( Var(X1 ) ) Cov(X 1, X 2 ) Cov(X 2, X 1 ) Var(X 2 ) Kyseisen jakauman tiheysfunktio voitaisiin esittää matriisimerkintöjen sijasta muodossa ( ) 1 1 f (x 1, x 2 ) = exp 2πσ x1 σ x2 1 ρ 2 2(1 ρ 2 x 1 x x 1 x 2 ) Q(x 1, x 2 ), 2 missä Q(x 1, x 2 ) = ( x1 µ x 1 σ x 1 ) 2 ( x2 µ x 2 σ x 2 ja merkitä jakaumaa merkinnällä (X 1, X 2 ) N 2 (µ X1, µ X2, σx 2 1, σx 2 2, ρ X1 X 2 ) ) 2 2ρx1 x 2 ( x1 µ x 1 σ x 1 ) ( x2 ) µ x 2 σ x 2 monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

23 Alla esitetyissä kuvissa on esitetty kaksi kaksiulotteista normaalijakaumaa. Vasemmanpuoleisessa kuvassa muuttujilla X 1 ja X 2 on yhtä suuri varianssi ja Cor(X 1, X 2 ) = 0, kun oikeanpuoleissa kuvassa Cor(X 1, X 2 ) = 0.7. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

24 Useamman selittäjän (p 2) tilanteessa oletetaan, että X N p (µ k, Σ) vasteen luokassa k, missä µ k on luokkakohtainen odotusarvovektori ja Σ kaikille luokille k = 1,..., K yhteinen kovarianssimatriisi. Sijoittamalla luokkaan k liittyvän p-ulotteisen normaalijakauman N p (µ k, Σ) tiheysfunktio f k (x) Bayesin kaavaan (1) voidaan johtaa Bayes-luokittelija havaintoyksikölle, jolla X = x, muotoon δ k (x) = x T Σ 1 µ k 1 2 µt k Σ 1 µ k + log(π k ) (8) Havaintoyksikkö luokitellaan siihen luokkaan, jossa δ k (x) saa suurimman arvon. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

25 Alla on havainnollistettu kahden selittäjän lineaarisen erotteluanalyysin asetelmaa, kun vastemuuttujalla on kolme luokkaa, joissa odotusarvovektori µ k on luokkakohtainen ja kovarianssimatriisi Σ on kaikissa luokissa sama. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

26 Luokkien Bayes-luokittelijassa (8) esiintyvät tuntemattomat parametrit µ 1,..., µ K, π 1,..., π K ja Σ on jälleen estimoitava havaintoaineiston perusteella. Estimoinnissa käytetään kaavoissa (5) ja (6) esitettyjä periaatteita. Parametrien estimoinnin jälkeen selittäjien arvot X = x omaava havainto sijoitetaan siihen luokkaan k, jossa luokittelija δ k (x) saa suurimman arvon. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

27 Esimerkki kahden selittäjän erotteluanalyysistä Aiemmin luokittelimme havaintoja sukupuolen eri luokkiin pituuden perusteella. Lisätään nyt toiseksi selittäjäksi henkilön paino. Kuvataan aineiston muuttujien jakaumaa sirontakuvion avulla: Pituus (cm) Paino (kg) Mies Nainen monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

28 Analyysi saadaan tehtyä R:llä jälleen lda()-funktion avulla: Mallituksen onnistumisesta saadaan edelleen ensimmäinen näkemys 2x2 -taulukon avulla: monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

29 Kvadraattinen erotteluanalyysi (QDA = Quadratic Discriminant Analysis) Lineaarisessa erotteluanalyysissä oletimme, että jokaisessa vasteen luokassa k havainnot noudattavat p-ulotteista multinormaalijakaumaa N(µ k, Σ). Oletus luokkien yhteisestä kovarianssimatriisista ei ole aina realistinen. Oletetaan seuraavaksi, että luokasta k tulevalle havainnolle pätee, että X N(µ k, Σ k ), missä Σ k on luokan k kovarianssimatriisi. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

30 Tällöin lineaarisen erotteluanalyysin yhteydessä esitelty Bayes-luokittelija luokittelee havainnon, jolla X = x siihen luokkaan, jolla δ k (x) = 1 2 xt Σ 1 k saa suurimman arvon. x + x T Σ 1 k µ k 1 2 µt Σ 1 k µ 1 2 log Σ k + log π k (9) Tuntemattomat parametrit µ 1,..., µ K, Σ 1,..., Σ K ja π 1,..., π K täytyy jälleen estimoida havaintoaineiston perusteella. Saadut estimaatit sijoitetaan luokittelijaan (9) ja havainto voidaan sen jälkeen luokitella kuuluvaksi siihen vasteen luokkaan k, jolle δ k (x) saa suurimman arvon. Samalla ko. luokassa k havaintoon liittyvä posterioritodennäköisyys P(Y = k X = x) on suurin. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

31 Seuraava kuvapari havainnollistaa lineaarisen ja kvadraattisen erotteluanalyysin tulosten eroja kaksiarvoisen vasteen tilanteessa: monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

32 Kvadraattinen erotteluanalyysi ja R R:ssä kvadraattinen erotteluanalyysi voidaan suorittaa MASS-paketin funktiolla qda(), jonka syntaksi on identtinen edellä esitellyn lda()-funktion kanssa. Analysoidaan lyhyesti edellä käsitelty (pituus, paino)-aineisto ko. funktiolla sukupuolen ollessa vasteena: monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

33 Luokittelun onnistumisen mittaamisesta Edellä esitellyn kahden selittäjän lineaarisen erotteluanalyysin onnistumista kuvattiin seuraavan ristiintaulukon avulla: Vasteen Vasteen todellinen luokka ennustettu luokka Mies Nainen Yhteensä Mies Nainen Yhteensä Yllä olevaa taulukko kutsutaan ns. sekaannusmatriisiksi (confusion matrix). Taulukon perusteella on helppo nähdä, että kaikkiaan = 211 havaintoa luokiteltiin oikein eli oikein luokiteltujen havaintojen osuus on 211/ Väärien luokitusten osuus (error rate) on puolestaan monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

34 Miesten joukossa väärin luokiteltujen osuus on 14/ Naisten joukossa vastaava osuus on 8/ , joten luokittelu onnistui jonkin verran paremmin naisten joukossa. Mitä jos haluaisimme välttää luokittelussamme enemmän virhettä, jossa luokittelisimme naisen mieheksi? Edellisessä luokituksessa niin tapahtui 8 havaintoyksikön kohdalla. Kaksiluokkaisen vasteen ollessa kyseessä edellinen luokittelu perustui periaatteeseen, jonka mukaan havaintoyksikkö luokiteltiin naiseksi, jos P(Y = Nainen X = x) > 0.5 ja muulloin havaintoyksikkö luokiteltiin mieheksi. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

35 Jos laskemme em. posterioritodennäköisyyden kynnysarvon 0.2:een eli luokittelemme havainnon naiseksi, kun P(Y = Nainen X = x) > 0.2, saamme sekaannusmatriisiksi Vasteen Vasteen todellinen luokka Ennustettu luokka Mies Nainen Yhteensä Mies Nainen Yhteensä Naisten keskuudessa väärin luokiteltujen osuus on nyt enää 3.4 %, mutta osuuden laskemisen 'hintana' on väärin luokitultujen osuuden nousu miesten keskuudessa peräti 23.5 prosenttiin. Samalla koko aineistossa väärin luokiteltujen osuus on noussut 18.0%:iin! monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

36 Eräitä diagnostiikkatunnuslukuja Seuraavaksi esitellään muutamia luokittelun onnistumista kuvaavia termejä/tunnuslukuja, jotka ovat yleisessä käytössä mm. epidemiologisissa tutkimuksissa. Määritellään kaksiarvoisen vasteen arvot siten, että - tarkoittaa potilaan olevan terve ja + tarkoittaa potilaan olevan sairas. Tällöin vasteen luokittelussa (tai diagnosoinnissa) voidaan saada seuraavia tuloksia: Vasteen Vasteen ennustettu luokka todellinen luokka + Yhteensä TN FP N + FN TP P Yhteensä N P n monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

37 Luokittelun onnistumisen kuvaamisssa keskeisiä käsitteitä ovat etenkin Sensitiivisyys (herkkyys, sensitivity): oikein tautia sairastavaksi luokiteltujen osuus kaikista kyseistä tautia sairastavista. Sensitiivisyys = TP/P Spesisyys (tarkkuus, specicy): oikein terveiksi luokiteltujen osuus kaikista terveistä. Spesisyys = TN/N ROC-käyrä (receiver operating characteristics), jonka avulla pyritään kuvaamaan luokittelun onnistumista luokittelijan (8) eri kynnysarvoilla. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

38 Sensitiivisyys ja spesisyys riippuvat siitä, mihin kohtaan positiivisen ja negatiivisen luokituksen raja eli posterioritodennäköisyyden kynnysarvo luokittelussa asetetaan. ROC-käyrän perusmuoto on seuraava: ROC käyrä Sensitiivisyys Spesifisyys monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

39 Luokittelusäännöllä p 2 (x) > 0.2 sijoita luokkaan 2, saamme esimerkissämme sekaannusmatriisiksi Vasteen Vasteen todellinen luokka Ennustettu luokka Mies Nainen Yhteensä Mies Nainen Yhteensä Nyt sensitiivisyys = 112/ , Spesisyys = 79/ ja 1-spesisyys = Luokittelusäännöllä jos p 2 (x) > 0.8 sijoita luokkaan 2, puolestaan sensitiivisyys = spesisyys = ja 1-spesisyys = Erottelusäännön kynnysarvoihin 0.2 ja 0.8 liittyvät diagnostiikkapisteet löytyvät ROC-käyrältä seuraavasti: monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40

40 ROC käyrä Sensitiivisyys (0.043, 0.733) (0.325, 0.966) Spesifisyys Luokittelijan onnistumista kokonaisuudessan voidaan kuvata ROC-käyrän alle jäävä pinta-alan AUC (=area under the curve) avulla. Ideaalitilanteessa (täydellinen luokittelija) AUC = 1, jolloin ROC-käyrä kulkee pisteiden (0,0),(0,1) ja (1,1) kautta. monimuuttujamenetelmiin, 5 op 13. marraskuuta / 40