JOHDATUS TEKOÄLYYN TEEMU ROOS

Transkriptio

1 JOHDATUS TEKOÄLYYN TEEMU ROOS

2 NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN SKAALA - ADAPTIIVISUUS (OPPIMINEN) YKSI TEKOÄLYN KESKEISIMMISTÄ MENETELMISTÄ 1960 LUVUILLA KIINNOSTUS HIIPUI, KOSKA NEGATIIVISIA TULOKSIA 1980-LUVULTA ALKAEN UUSI AALTO: NYT DEEP LEARNING-BUUMI

3 NEUROVERKOT LUONNOLLINEN LÄHDE: ERTEL: INTRODUCTION TO ARTIFICIAL INTELLIGENCE, SPRINGER, 2011.

4 NEUROVERKOT KEINOTEKOINEN KOPIOITU VAIN IDEA: JOUKKO YKSIN- KERTAISIA PROSES- SOREITA, JOTKA KYTKE- TÄÄN YHTEEN SUU- REKSI VERKOKSI. LÄHDE: ERTEL: INTRODUCTION TO ARTIFICIAL INTELLIGENCE, SPRINGER, 2011.

5 OIKEAT VS KEINOTEKOISET NEUROVERKOT OIKEAT NEURONIT TOIMIVAT EPÄSYNKRONISESTI (ERI NEURONIT SUORITTAVAT LASKENTA-ASKELEEN ERI AIKAAN) KEINOTEKOISET (USEIN) SYNKRONISESTI OIKEAT NEURONIT VÄLITTÄVÄT BINÄÄRISIÄ SIGNAALEJA (PÄÄLLÄ/POIS) KEINOTEKOISET (USEIN) JATKUVA- ARVOISIA OIKEISSA NEUROVERKOISSA ESIINTYY (USEIN) TAKAISINKYTKENTÄÄ KEINOTEKOISISSA HARVEMMIN OIKEAT NEUROVERKOT OVAT MASSIIVISIA KEINOTEKOISET (LÄHES KOSKAAN) EIVÄT

6 PERUSESIMERKKI SYÖTTEET x 1,..., x n PAINOKERTOIMET w i1,..., w in AKTIVAATIOFUNKTIO f TULOSTE x i HUOM: TULOSTE VOI OLLA TOISEN NEURONIN SYÖTE LÄHDE: ERTEL: INTRODUCTION TO ARTIFICIAL INTELLIGENCE, SPRINGER, 2011.

7 PERUSESIMERKKI LÄHDE: ERTEL: INTRODUCTION TO ARTIFICIAL INTELLIGENCE, SPRINGER, 2011.

8 NEUROVERKKOTYYPPEJÄ 1. ETEENPÄIN SYÖTTÄVÄ (FEEDFORWARD) VERKKO: - NEURONIT JÄRJESTYKSESSÄ A B C D TAKAISINKYTKEYTYVÄ (RECURRENT) VERKKO: - YHTEYDET MUODOSTAVAT SYKLEJÄ: A B C A B C ITSEORGANISOIVA (SELF-ORGANIZING) VERKKO - VERKON SOLMUT KILPAILEVAT SIITÄ, KUKA SAA AKTIVOITUA

9 NEUROVERKKOTYYPPEJÄ 1. ETEENPÄIN SYÖTTÄVÄ (FEEDFORWARD) VERKKO: - NEURONIT JÄRJESTYKSESSÄ A B C D TAKAISINKYTKEYTYVÄ (RECURRENT) VERKKO: - YHTEYDET MUODOSTAVAT SYKLEJÄ: A B C A B C ITSEORGANISOIVA (SELF-ORGANIZING) VERKKO - VERKON SOLMUT KILPAILEVAT SIITÄ, KUKA SAA AKTIVOITUA

10 NEUROVERKKOTYYPPEJÄ 1. ETEENPÄIN SYÖTTÄVÄ (FEEDFORWARD) VERKKO: - NEURONIT JÄRJESTYKSESSÄ A B C D TAKAISINKYTKEYTYVÄ (RECURRENT) VERKKO: - YHTEYDET MUODOSTAVAT SYKLEJÄ: A B C A B C ITSEORGANISOIVA (SELF-ORGANIZING) VERKKO - VERKON SOLMUT KILPAILEVAT SIITÄ, KUKA SAA AKTIVOITUA

11 ETEENPÄINSYÖTTÄVÄ VERKKO: CASE PERSEPTRONI SYÖTTEET JOKO REAALI- TAI BINÄÄRILUKUJA PAINOKERTOIMET REAALILUKUJA AKTIVAATIOFUNKTIONA f ON KYNNYSFUNKTIO: n f(z) = 0, JOS z < 0, (z = Σ w ij x j ) 1, MUUTEN j=1

12 PERSEPTRONI TAVOITE SAADA TULOSTE SOPIMAAN YHTEEN OIKEAN VASTAUKSEN KANSSA SYÖTE VOI OLLA ESIM LÄJÄ PIKSELEITÄ TAVOITE TUNNISTAA ONKO KYSEESSÄ TIETTY HAHMO PAINOKERTOIMIEN MÄÄRÄÄMINEN SITEN ETTÄ TOIMII, SAATTAA OLLA TYÖLÄSTÄ RATKAISU: KONEOPPIMINEN, ELI OPITAAN PAINOT DATASTA

13 PERSEPTRONI PAINOKERTOMIEN VAIKUTUS AKTIVAATIOFUNKTION n ARGUMENTTIIN Σ w ij x j ON LINEAARINEN j=1 PÄÄTÖSRAJAPINTA, JOKA MÄÄRÄÄ TULOSTEEN ON SIKSI HYPERTASO (PINNAN KORKEADIMENSIOINEN YLEISTYS) 2D: x i = 1, JOS PISTE x = (x 1, x 2 ) ON ORIGON KAUTTA KULKEVAN SUORAN OIKEALLA PUOLELLA

14 PERSEPTRONI x 1 X O X O X X O O x 2 PÄÄTÖSRAJAPINTA (SUORA) w i1 x 1 + w i2 x 2 = 0

15 PERSEPTRONI x 1 X O O X x 2 O X X O PÄÄTÖSRAJAPINTA (SUORA)

16 PERSEPTRONI x 1 X O O X? x 2 O X X O PÄÄTÖSRAJAPINTA (SUORA)

17 PERSEPTRONI PERSEPTRONIALGORITMI (ROSENBLATT, 1958) PERCEPTRON-LUOKITTELIJA(Data): w = [0,...,0] // painovektori. dimensio=n; sama kuin datan while Luokitteluvirhe(Data, w) > 0 (x,y) = PoimiSatunnainenEsimerkki(Data) z = w 1 x w n x n // kynnysfunktion argumentti if z 0 and y = 0: // luokiteltiin nolla rastiksi w = w x // vektorien erotus if z < 0 and y = 1: // luokiteltiin rasti nollaksi w = w + x // vektorien summa end-while return(w)

18 PERSEPTRONI

19 PERSEPTRONI PERUSONGELMA: PERSEPTRONIALGORITMI LÖYTÄÄ ENNEN PITKÄÄ OIKEAN PÄÄTÖSRAJAPINNAN, JOS (!) SELLAINEN ON OLEMASSA OIKEA PÄÄTÖSRAJAPINTA ON OLEMASSA AINEISTO ON LINEAARISESTI EROTELTAVISSA MUUSSA TAPAUKSESSA SE JÄÄ IKUISESTI MUUTTELEMAAN PAINOJA

20 PERSEPTRONI YLEISTYKSIÄ: OPPIMISALGORITMIA SÄÄTÄMÄLLÄ VOIDAAN LÖYTÄÄ PARAS MAHDOLLINEN (PIENIMMÄN VIRHEEN) RAJAPINTA TOIMII MYÖS SILLOIN KUN DATA EI LIN. EROTELTAVISSA MONIKERROSPERSEPTRONI!

21 MONIKERROSPERSEPTRONI PIILOKERROKSIA AKTIVAATIOFUNKTIO EI YLEENSÄ KYNNYSFUNKTIO, VAAN JOTAIN MUUTA. TULOSTEARVOT YLEENSÄ REAALILUKUJA UNIVERSAALI MALLI: PYSTYY ESITTÄMÄÄN MITÄ VAAN (JOS PIILOKERROSTEN NEURONEITA RIITTÄVÄSTI)!

22 MONIKERROSPERSEPTRONI PIILOKERROKSET TEKEVÄT OPPIMISESTA PALJON HAASTAVAMPAA TAKAISINVIRTAUSALGORITMI (BACKPROPAGATION): - ARVIOIDAAN JOKAISEN SOLMUN KOHDALLA PALJONKO SE AIHEUTTAA VIRHETTÄ JA KORJATAAN SEN MUKAAN EI VÄLTTÄMÄTTÄ LÖYDÄ PARASTA RATKAISUA VAAN LOKAALIN OPTIMIN

23 MONIKERROSPERSEPTRONI ANIMAATIO MONIKERROS- PERSEPTRONIN OPPIMISESTA: TAVOITE LUOKITELLA (X,Y)-TASON PISTEITÄ KAHTEEN ERI LUOKKAAN, JOTKA KUMPIKIN OVAT SPIRAALIN MUOTOISIA.

24 TAKAISINKYTKEYTYVÄ NEUROVERKKO NEURONI VOI VAIKUTTAA MUIDEN NEURONIEN KAUTTA OMIIN SYÖTTEISIINSÄ TAKAISINKYTKENTÄ AIHEUTTAA MONIMUTKAISIA DYNAAMISIA ILMIÖITÄ:

25 TAKAISINKYTKEYTYVÄ VERKKO: CASE HOPFIELDIN VERKKO SYÖTTEET PAINOKERTOIMET

26 TAKAISINKYTKEYTYVÄ VERKKO: CASE HOPFIELDIN VERKKO OPPIMINEN TAPAHTUU ESITTÄMÄLLÄ JOUKKO TILOJA (SYÖTE JOKAISELLE NEURONILLE) PAINOKERTOIMET KUVAAVAT SITÄ, KUINKA USEIN KAKSI NEURONIA OVAT PÄÄLLÄ SAMANAIKAISESTI SYÖTTEET PAINOKERT KUN PAINOKERTOIMET ON OPITTU, VERKKO ALUSTETAAN HALUTTUUN ALKUTILAAN (SYÖTE) NEURONIT VALITSEVAT UUDEN TILAN MUIDEN NEURONIEN TILOJEN JA PAINOKERTOIMIEN PERUSTEELLA UUSI TILA TOIMII SYÖTTEENÄ SEURAAVASSA ITERAATIOSSA

27 OPPIMISSÄÄNTÖ: HOPFIELDIN VERKKO N w ij = Σ q ik q jk / N k=1 q ik = +1 JOS NEURONI i PÄÄLLÄ k NNESSA ESIMERKISSÄ; 1 MUUTEN. NEURONIN AKTIVAATIOSÄÄNTÖ (VRT. PERSEPTRONIN TOIMINTA SAMA SÄÄNTÖ!): x i = +1 JOS Σ w ij x j > 0 j i 1 MUUTEN. INTUITIO: LASKEE KUINKA USEIN NEURONIT i JA j SAAVAT SAMAN ARVON OPETUS- DATASSA OLEVISSA SYÖTTEISSÄ

28 BOLTZMANNIN KONE TOINEN ESIMERKKI TAKAISINKYTKEYTYVISTÄ VERKOISTA STOKASTINEN (=SATUNNAINEN) VERSIO HOPFIELDIN VERKOISTA SYÖTTEET SYÖTTEINÄ USEIN VAIN OSA NEURONEISTA RESTRICTED B-KONE : KAIKKI NEURONIT EIVÄT KYTKETTY KAIKKIIN MUIHIN HIEMAN ERILAINEN OPPIMIS- SÄÄNTÖ

29 BOLTZMANNIN KONE SYÖTTEENÄ EPÄSELVIÄ NUMEROITA (PIKSELI = NEURONI) VERKON TILA KEHITTYY KOHTI OPETUSAINEISTOSSA ESIINTYVIÄ TILOJA (SELVEMPIÄ NUMEROITA) TÄSSÄ SATUNNAISUUS SAA VERKON VAELTELEMAAN ERI NUMEROIDEN VÄLILLÄ LOPUTTOMASTI

30 BOLTZMANNIN KONE

31 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA NEURONIT SIJAITSEVAT YLEENSÄ KAKSIULOTTEISELLA RUUDUKOLLA JOKAISELLA NEURONILLA ON TILA (VEKTORI) SYÖTEVEKTORI AKTIVOI NEURONIN, JONKA TILA ON SITÄ LÄHINNÄ ( VOITTAJA ) SYÖTE

32 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA NEURONIT SIJAITSEVAT YLEENSÄ KAKSIULOTTEISELLA RUUDUKOLLA JOKAISELLA NEURONILLA ON TILA (VEKTORI) SYÖTEVEKTORI AKTIVOI NEURONIN, JONKA TILA ON SITÄ LÄHINNÄ ( VOITTAJA ) SYÖTE

33 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA NEURONIT SIJAITSEVAT YLEENSÄ KAKSIULOTTEISELLA RUUDUKOLLA JOKAISELLA NEURONILLA ON TILA (VEKTORI) SYÖTEVEKTORI AKTIVOI NEURONIN, JONKA TILA ON SITÄ LÄHINNÄ ( VOITTAJA ) VOITTAJAN TILAA MUOKATAAN SITEN, ETTÄ SE MUISTUTTAA ENEMMÄN SYÖTETTÄ SYÖTE

34 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA NEURONIT SIJAITSEVAT YLEENSÄ KAKSIULOTTEISELLA RUUDUKOLLA JOKAISELLA NEURONILLA ON TILA (VEKTORI) SYÖTEVEKTORI AKTIVOI NEURONIN, JONKA TILA ON SITÄ LÄHINNÄ ( VOITTAJA ) VOITTAJAN TILAA MUOKATAAN SITEN, ETTÄ SE MUISTUTTAA ENEMMÄN SYÖTETTÄ SYÖTE

35 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA KARTAN POINTTINA ON, ETTÄ SAMALLA KUN VOITTAJAN TILAA MUOKATAAN, MUOKATAAN MYÖS NAAPUREIDEN TILAA SYÖTE

36 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA KARTAN POINTTINA ON, ETTÄ SAMALLA KUN VOITTAJAN TILAA MUOKATAAN, MUOKATAAN MYÖS NAAPUREIDEN TILAA SYÖTE

37 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA KARTAN POINTTINA ON, ETTÄ SAMALLA KUN VOITTAJAN TILAA MUOKATAAN, MUOKATAAN MYÖS NAAPUREIDEN TILAA SYÖTE

38 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA KARTAN POINTTINA ON, ETTÄ SAMALLA KUN VOITTAJAN TILAA MUOKATAAN, MUOKATAAN MYÖS NAAPUREIDEN TILAA SYÖTE

39 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA KARTAN POINTTINA ON, ETTÄ SAMALLA KUN VOITTAJAN TILAA MUOKATAAN, MUOKATAAN MYÖS NAAPUREIDEN TILAA SYÖTE

40 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA KARTAN POINTTINA ON, ETTÄ SAMALLA KUN VOITTAJAN TILAA MUOKATAAN, MUOKATAAN MYÖS NAAPUREIDEN TILAA SYÖTE

41 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA KARTAN POINTTINA ON, ETTÄ SAMALLA KUN VOITTAJAN TILAA MUOKATAAN, MUOKATAAN MYÖS NAAPUREIDEN TILAA NAAPURIT ALKAVAT MUISTUTTAA TOISIAAN OPPIMISEN EDETESSÄ NAAPURUSTON KOKOA VOIDAAN PIENENTÄÄ NEURONIEN TILOIHIN TEHDÄÄN MYÖS PIENEMPIÄ JA PIENEMPIÄ MUUTOKSIA SYÖTE

42 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA SYÖTE X VOI OLLA MIKÄ TAHANSA VEKTORI ESIMERKKEJÄ: PUHEENTUNNISTUS: X =PUHESIGNAALI PROSESSINVALVONTA: X =(PAPERI- YMS.) KONEEN TILA TIEDONHAKU: X =SANOJEN ESIINTYMIS- MÄÄRÄT DOKUMEN- TISSA SYÖTE

43 ITSEORGANISOIVA VERKKO: KOHOSEN KARTTA

44 NEUROVERKKOTYYPIT 1. ETEENPÄINSYÖTTÄVÄ VERKKO: PERSEPTRONI MONIKERROSPERSEPTRONI TAKAISINKYTKEYTYVÄ VERKKO: HOPFIELDIN VERKKO BOLTZMANNIN KONE ITSEORGANISOIVA KARTTA KOHOSEN SOM

45 NEUROVERKKOJEN SOVELLUKSET ERI NEUROVERKKOTYYPEILLÄ ON OMAT SOVELLUKSENSA ETEENPÄIN SYÖTTÄVIÄ VERKKOJA VOI KÄYTTÄÄ MM. OHJATTUUN KONEOPPIMISEEN JA FUNKTIOIDEN APPROKSIMOINTIIN TAKAISINKYTKEYTYVIÄ VERKKOJA VOI KÄYTTÄÄ MM. VIKASIETOISINA MUISTEINA ITSEORGANISOIVIA KARTTOJA VOI KÄYTTÄÄ DATAN VISUALISOINTIIN

46 NEUROVERKOT SUHTEESSA MUIHIN MENETELMIIN NEUROVERKOT KUULUVAT JAOTTELUSSA GOFAI VS MODERNI AI JÄLKIMMÄISEEN RYHMÄÄN (SYMBOLINEN VS SUBSYMBOLINEN TAI DIGITAALINEN) JOTKUT NEUROVERKOT OVAT PROBABILISTISIA (ESIM. BOLTZMANNIN KONE), JOTEN PROB. MENETELMIÄ VOI SOVELTAA NIIHIN VOIDAAN SOVELTAA ESIM. KONEOPPIMISESSA JA VISUALISOINNISSA (SOM) PERINTEINEN TEKOÄLYN OSA-ALUE ONGELMA: BLACK BOX ELI VAIKEA YMMÄRTÄÄ MIKSI

47 NEUROVERKOT SUHTEESSA MUIHIN MENETELMIIN LÄHDE: ERTEL: INTRODUCTION TO ARTIFICIAL INTELLIGENCE, SPRINGER, 2011.