1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI

Transkriptio

1 1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI 1

2 1.1 Funktion optimointiin perustuvat klusterointialgoritmit Klusteroinnin onnistumista mittaavan funktion J optimointiin perustuvissa klusterointialgoritmeissä ratkaisu esitetään usein parametrivektorin Θ = (Θ T 1,..., Θ T m) T, missä Θ i on klusteriin C i liittyvät parametrit, avulla Parametrivektoreiden avulla voidaan määrittää löydettävien klustereiden rakenne (esim. hypertaso, hyperpallon kuori, toruksen kuori jne). Tämä on hyödyllinen ominaisuus esim. tietokonenäön sovellutuksista (kohteen ja taustan erottaminen toisistaan) Tehdään siis a priori oletus klustereiden rakenteesta ja esitetään se parametrien avulla Klustereiden lkm m oletetaan yleensä tunnetuksi 2

3 C-means tai k-means -algoritmi Muita nimiä ovat LBG (Linde-Buzo-Gray), Isodata, Lloydin -algoritmi Valitse luokkien lukumäärä c Aseta alkuarvot luokkien mallivektoreille m j Toista kunnes mallivektorit m j eivät enää muutu Luokittele näytteet x k hakemalla kutakin näytettä lähin mallivektori Päivitä luokkien mallivektorit laskemalla keskiarvo luokkaan osuneista näytteistä m k = 1 N k x i C k x i, missä N i on klusteriin C i kuuluvien havaintojen lkm Eniten käytetty klusterointialgoritmi Haittana: algoritmi antaa eri tuloksen eri ajokerroilla, johtuen mallivektorien satunnaisalustuksesta 3

4 C-means -algoritmin variaatio Klusterit C 1,..., C c esitetään prototyyppivektoreiden Θ = (m T 1,..., m T c ) T avulla ja klusteroinnin onnistumisen mittaamiseen käytetään seuraavanlaista kustannusfunktiota: J SSE = c i=1 x k C i x k m i 2 (1) J SSE :n minimi voidaan löytää seuraavalla algoritmilla: Valitaan prototyyppivektoreille m 1,..., m c satunnaiset alkuarvot Toista kunnes klusterointi eli prototyyppivektorit eivät enää muutu Jaetaan havainnot klustereihin s.e. x C j, jos N j N j + 1 x m j 2 N i N i 1 x m i 2 i = 1,..., c, (2) 4

5 Todistus: missä N i on klusteriin C i kuuluvien havaintojen lkm Päivitetään prototyyppivektorit seuraavasti: m k = 1 N k x i C k x i Oletetaan, että havainto x j siirretään klusterista C i klusteriin C j Uuden klusterin C j prototyyppivektori on m j = 1 N j + 1 x k C j x k = m j + x j m j N j + 1 (3) Uuteen klusteriin C j liittyvä kustannus on silloin J SSE (C j) = x k C j N j x k m j 2 = J SSE (C j )+ N j + 1 x j m j 2 (4) 5

6 Vastaavasti, uuteen klusteriin C i liittyvä kustannus on J SSE (C i) = J SSE (C i ) J SSE :n kokonaismuutos on J SSE = N i N i 1 x j m i 2 (5) N j N j + 1 x j m k 2 N i N i 1 x m i 2 (6) ( C-means -algoritmin perusversio ei ota kantaa kuinka havainnot jaetaan klustereihin ja kuinka klustereiden prototyyppivektoreita päivitetään) 6

7 1.2 Kilpailuun perustuvat klusterointialgoritmit Kilpailuun perustuvissa klusterointialgoritmeissä klusterit C 1,..., C m esitetään yleensä vektoreiden w 1,..., w m avulla Vektoreita (klustereita) w 1,..., w m päivitetään havaintojen perusteella s.e. ne siirtyvät niihin kohtiin avaruutta, joissa havaintoja on tiheässä Vektorit w 1,..., w m kilpailevat keskenään. Havaintoa parhaiten vastaavaa voittajavektoria päivitetään s.e. se vastaa entistä paremmin havaintoa. Hävinneitä vektoreita ei päivitetä lainkaan tai päivitetään pienemmällä opetuskertoimella kuin voittajavektoria Kilpailuun perustuvan klusterointialgoritmin yleistetty muoto ( General Competitive Learning Scheme GCLS): Alustus: t = 0, m = m init (alkuarvaus klustereiden lkm:lle), (A) kaikkien tarvittavien parametrien alustus mm vektorit w 1,..., w m Toista kunnes vektorit w 1,..., w m eivät enää muutu merkittävästi tai 7

8 t = t max (yläraja iteraatioaskelien lkm:lle) t = t + 1 Poimi satunnainen havainto x X (B) Etsi havaintoa x parhaiten vastaava vektori w j (C) Jos (x ja w j eivät ole riittävän samankaltaiset) TAI (jokin muu ehto) JA (m < m max ) (yläraja klustereiden lkm:lle), päivitä m = m + 1 ja määritä w m = x (D) Muuten, päivitä vektorit w 1,..., w m seuraavasti: { w j (t 1) + ηh(x, w j (t 1)), jos w j on voittaja w j (t) = w j (t 1) + η h(x, w j (t 1)), jos w j ei ole voittaja (7) (η ja η ovat opetuskertoimia ja h(, ) on jokin ongelmaan sopiva funktio) Useimmat kilpailuun perustuvat klusterointialgoritmit voidaan esittää GCLStyyppisinä, kunhan kohdissa (A)-(D) tehdään sopivat valinnat 8

9 Oppiva vektorikvantisaatio Oppiva vektorikvantisaatio ( Learning Vector Quantization, LVQ) on esimerkki GCLS-tyyppisestä klusterointialgoritmistä LVQ-algoritmissa oletetaan klustereiden lkm m = m init = m max tunnetuksi LVQ-algoritmi saadaan kilpailuun perustuvien klusterointialgoritmien yleistetystä muodosta, kun (A) Alustetaan vektorit w 1,..., w m satunnaisesti (ei muita parametrejä!) (B) w j on havaintoa x parhaiten vastaava voittajavektori, jos d(x, w j ) = min k=1,...,m d(x, w k ). Funktio d(, ) on vektoreiden välinen etäisyys (C) Ehto ei toteudu koskaan, koska klustereiden lkm on kiinnitetty 9

10 (D) Vektoreita päivitetään seuraavasti: { w j (t 1) + η(x w j (t 1)), w j (t) = w j (t 1), jos w j on voittaja muuten (8) Jos havaintojen luokat tunnetaan, voidaan vektorit w 1,..., w m varata tietyille luokille ja tehdä päivitys seuraavasti: w j (t 1) + η(x w j (t 1)), jos w j on oikea voittaja w j (t) = w j (t 1) η(x w j (t 1)), jos w j on väärä voittaja w j (t 1), muuten (9) (η on opetuskerroin) 10

11 LVQ-esimerkki: voittajavektori w(t) päivitetään vektoriksi w(t+1) havainnon x perusteella: 11

12 Itseorganisoituva kartta ( Self-Organizing Map SOM) SOM-algoritmissa havainnot yritetään esittää hilaan (kartta) järjestettyjen vektoreiden (karttayksiköiden) w 1,..., w m avulla SOM-algoritmin tavoitteena on asettaa vektoreiden arvot siten, että ne edustavat mahdollisimman hyvin havaintoja ja että hilassa toisiaan lähellä olevien vektoreiden arvot ovat samankaltaisempia kuin hilassa kaukana toisistaan olevien vektoreiden arvot SOM-algoritmi saadaan kilpailuun perustuvien klusterointialgoritmien yleistetystä muodosta, kun (A) Alustetaan vektorit w 1,..., w m (ei muita parametrejä) (B) w BMU on havaintoa x parhaiten vastaava voittajavektori (Best Matching Unit), jos d(x, w j ) = min k=1,...,m d(x, w k ). Funktio d(, ) on vektoreiden välinen etäisyys 12

13 (C) Ehto ei toteudu koskaan, koska vektoreiden lkm on kiinnitetty (D) Päivitä vektoreita seuraavasti: w j (t) = w j (t 1) + ηh(j, BMU)(x w j (t 1)), (10) missä η on opetuskerroin ja h(, ) on naapurustofunktio, joka määrää mitkä ovat voittajavektorin päivitettäviä naapureita SOM-algoritmin antamaa tulosta voidaan analysoida ns. U-matriisin (kertoo kuinka samankaltaisia naapurivektorit ovat) ja komponenttitasojen (kertovat millaisia arvoja piirteet saavat erikohdissa karttaa) avulla U-matriisista voidaan edelleen hakea klustereita esim. K-means algoritmilla käyttäen apuna jotain validointimenetelmää 13

14 SOM:n komponenttitasot 14

15 U-matriisi (Unified distance matrix) 15

16 Klusteroitu U-matriisi 16

17 Erilaisia 2-ulotteisia hiloja ja naapurustoja: 17

18 18

19 19

20 Adaptiivinen hahmontunnistus Toteutus SOM:n ja LVQ:n avulla: SOM:illa opetetaan alustavasti luokkien mallivektorit LVQ:lla hienosäädetään malleja käyttäen apuna dataa, jonka luokat tiedetään mallivektorit jäädytetään ja niitä voidaan käyttää uuden datan luokittelussa. Syöte SOM LVQ Luokittelu tulos Opettaja 20

21 1.3 Klusteroinnin validointimenetelmiä Klustereiden pitkäikäisyys eli herkkyys parametrien suhteen sequentiaalisten algoritmien kynnysarvot hierarkisen klusteroinnin ratkaisujen etäisyysmitat dendrogrammit ja niiden analysointi 21

22 Validointi-indeksit, lasketaan klustereille etäisyysmittoja klusterin sisäiset etäisyydet; kuinka kompakti/tiivis klusteri on? klusterien väliset etäisyydet; kuinka kaukana klusteri on toisista klustereista? yleensä halutaan kompakteja klustereita, jotka ovat etäällä toisistaan. (ainakin tällaista voi kutsua klusteriksi) yleisesti ottaen validointi-indeksit muodostavat jonkun kombinaation näistä kahdesta. 22

23 Davies-Bouldin -indeksi: Optimaalinen klustereiden määrä minimoi indeksin. 1 m m max {S c(c k ) + S c (C l ) } (11) l k d ce (C k, C l ) k=1 jossa m on klustereiden määrä, S c klusterin sisäinen etäisyys ja d ce klustereiden välinen etäisyys, C k ja C l ovat klusterit. 23