Oppiva tekoäly syvien neuroverkkojen avulla

Transkriptio

1 Kalle Kotka Oppiva tekoäly syvien neuroverkkojen avulla Tietotekniikan kandidaatintutkielma 18. toukokuuta 2017 Jyväskylän yliopisto Tietotekniikka

2 Tekijä: Kalle Kotka Yhteystiedot: Ohjaaja: Marjaana Nokka Työn nimi: Oppiva tekoäly syvien neuroverkkojen avulla Title in English: Learning artificial intelligence with deep neural networks Työ: Kandidaatintutkielma Sivumäärä: 17+0 Tiivistelmä: Tämä työ on toteutettu kirjallisuuskatsauksena. Tavoitteena oli selvittää neuroverkkopohjaisen tekoälyn toteutustavoista ja sen käyttötarkoituksista kuinka siitä voi tehdä oppivan. Löytämieni artikkeleiden perusteella oppiva tekoäly on mahdollinen hyvinkin monimutkaisille ongelmille, mutta rajoittava tekijä on laajuus. Avainsanat: tekoäly, neuroverkko, syväopiminen, koneoppiminen Abstract: This work is done as literature review. The aim was to find out how to implement the neural network-based artificial intelligence and its uses. Based on the articles I found, learning artificial intelligence is possible for very complex problems, but the limiting factor is the scope. Keywords: artificial intelligence, neural networks, deep learning, machine learning i

3 Sisältö 1 JOHDANTO TYÖKALUT Neuroverkot Algoritmit KÄYTTÖTARKOITUKSET Mahdollisuudet Toteutukset RAJOITTEET JA ONGELMAT YHTEENVETO POHDINTAA...13 KIRJALLISUUTTA...14 ii

4 1 Johdanto Tekoäly on yksi tärkeimmistä tulevaisuuden työkaluista. Nykyään tekoäly on vielä huomattavan tyhmää, mutta sitä on joka paikassa käytössä. Tyhmällä tarkoitetaan tässä sitä, että tekoäly oppii erittäin kapean alueen kerrallaan ja uuden toiminnan oppiminen saattaa tuhota vanhan toiminnallisuuden. Hakukoneet ja mainosrobotit ovat kaikki automaattisia ja voidaan jossain kontekstissa luokitella tomivan tekoälyllä. Erilaiset näkö- ja kuuloaistin emuloinnit on toteutettu tekoälyn avulla. Nykyään melkein kaikissa tietokoneissa ja kännyköissä on puheohjaus ja lähes aina se pitää opettaa tunnistamaan käyttäjän puhetapa, jotta tominnallisuus on oikeanlaista. Puheen tunnistaminen on vielä huomattavan haasteellista, vaikka kehitystä on tapahtunut paljon esimerkiksi Siri Applen tuotteissa ja Cortana Microsoftin käyttöjärjestelmissä. Datan keruu on yksi näitten järjestelmien ikävimmistä puolista jos yksityisyys on tärkeä asia. En ota kirjoituksessa asiaan kantaa. Neuroverkko koostuu joukosta yksinkertaisia prosessoreita, jotka on kytketty toisiinsa ja niitä kutsutaan neuroneiksi. Neuroneiden välillä tapahtuu kommunikaatiota tiettyjen painotusten mukaan. Jotkin saavat ärsykkeitä ulkopuolelta ja kaikki ovat kytketty toisiinsa jotain reittiä. Syvässä oppimisessa näitä verkkoja on monessa eri kerroksessa ja välttämättä ei tiedetä tarkasti mitä syötteen ja ulos tulevan tuloksen välillä tapahtuu. Schmidhuber (2015) Tämän työn tarkoitus oli selvittää neurovekkojen käytön mahdollisuuksia tekoälyn toteuttamisessa ja mikä on tämän hetkinen tutkimuksen tilanne. Tutkimusmetodina käytettiin kirjallisuuskatsausta. Tarkoituksena oli myös kartoittaa ongelmia ja mahdollisuuksia, joita tekoälyn ja neuroverkkojen kehitys sisältää. Itse olin kiinnostunut voimakkaasta tekoälystä ja tätä kautta törmäsin neuroverkkotutkimukseen, johon paneuduin tässä tutkielmassa. Informaation määrän lisääntyminen on yksi motivaation lähde tähän aiheeseen. Koska informaation määrä kasvaa kokoajan, tarvitaan kerros joka pystyy paremmin käymään läpi tätä tulvaa ja 1

5 antaa ihmiselle tärkeän informaation tästä tulvasta. Kaikki informaatio ei ole turhaa, koska iso osa siitä johtuu meidän ihmisten tietämyksen kasvusta. Esimerkiksi lääketieteessä erilaisten mahdollisten kokeiden tekeminen johtaa informaation kasvuun. Tekoälyn avulla kaiken tämän informaation yhdistäminen on hyvä tapa rajata mahdolliset syyt vaivoihin. Tekoäly on objektiivisempi ja ymmärtää paremmin suuria lukuja, jolloin informaation esikäsittely auttaa ihmistä näkemään oikeat ratkaisut helpommin ja nopeammin. Aihe alkoi tuntua hieman vaikealta lähestyä, koska teknologialla on paljon mahdollisuuksia ja sana tuo mieleen hieman spekulatiivisiä ajatuksia. Todellisuus täytyy tietenkin muistaa, mutta jos ei luo uusia ajatuksia aiheesta, on niitä vaikea tulevaisuudessa toteuttaa. 2

6 2 Työkalut Tekoälyllä on monia käyttötarkoituksia ja toteutustapoja, jolloin tässä työssä keskitytään tarkastelemaan neuroverkkoja ja näillä tehtyä tutkimusta. Toisena tärkeänä elementtinä toimivat algoritmit, joilla neuroverkkojen koulutus toteutetaan. 2.1 Neuroverkot Neuroverkoilla on monenlaisia arkkitehtuureita ja alkuperäisenä innoitteena niille on aivot ja niiden tutkimus, kuten nimeämisestä voi päätellä. Ensimmäiset mallit, joilla haluttiin näyttää miten neuronit aivoissa toimivat, tuotettiin jo 1940-luvulla. Kerroksien määrän kasvattaminen on tullut mahdolliseksi laskentatehon kasvun myötä. Nykyään näytönohjaimet voivat toteuttaa suuria määriä pieniä matriisilaskuja. Schmidhuber (2015) Konvolutiivinen neuroverkkoarkkitehtuuri on erittäin tehokas, kun halutaan käsitellä kaksiulotteista dataa. Käytännössä jokainen kerros suodattaa annetusta datasta haluttuja ominaisuuksia. Täten näitten kerrosten yhteisvaikutuksena saadaan jotain uutta dataa ulos. Arel, Rose & Karnowski (2010) Äärimmäinen oppiva kone on yksi malli jolla voidaan rakentaa neuroverkkoja. Tämä on yksinkertainen neuroverkkomalli, jossa verkon painotus on tuotettu sattumanvaraisesti. Se on todettu hyväksi malliksi, joka on nopea opettaa ja sillä on vahva yleistämiskyky sekä yleinen aproksimaatio kyky. Yksi esitetty malli on tehdä verkko, joka koostuu monista kerroksista äärimmäisiä neuroverkkoja, minkä on todettu vähentävän aikakompleksisuutta verrattuna perinteisiin malleihin. Sun, Zhang, Zhang, Hu (2017) 3

7 Syvät uskomusverkot lisäävät muistielementin neuroverkon rakenteeseen ja se on generatiivinen, vastoin perinteistä neuroverkkoajattelua joka on diskriminatiivinen. Syvät uskomusverkot rakentuvat kaksikerroksisista rajoitetuista Boltzmann-koneista, joissa on näkyvä kerros ja piilotettu kerros. Arel, Rose & Karnowski (2010) 2.2 Algoritmit Algoritmien tarkoituksena tässä ympäristössä on kouluttaa neuroverkkoja. Konvolutiivista neuroverkkoa koulutetaan yleensä syöttö eteenpäin-algoritmillä, missä syöte etenee kerros kerrokselta ja ulostulon virheen perusteella voidaan verkon painotuksia säätää. Arel, Rose & Karnowski (2010) Äärimmäinen oppiva kone, autoencoder, on uusi opetusalgoritmi, joka pohjautuu äärimmäisille oppiville koneille ja syöttö eteenpäin-algoritmille tätä kautta. Tässä algoritmissä syötettä käytetään myös ulostulevana datana. Tätä laajentamalla voidaan esitellä kaaviosäännöllistetty äärimmäinen oppiva kone, jossa lisätään tieto siitä, että lähekkäin olevat syötteet päätyvät lähelle toisiaan tulosavaruudessa. Tämän avulla voidaan arvioida tulosten virhettä. Kun tähän lisätään monikerroksisuus perusalgoritmi pysyy samana, mutta koulutus järjestys lähtee alhaalta ylöspäin. Ensin alin kerros koulutetaan ja seuraava edellisen ulostulolla. Sun, Zhang, Zhang, Hu (2017) Syvillä uskomusverkoilla taas verkon koulutus tapahtuu niin, että näkyvälle kerrokselle viedään syöte joka vie sen piilotetulle kerrokselle. Piilotettujen kerrosten kautta ulostulevasta datasta yritetään selvittää alkuperäinen syöte, jolloin verkko pystyy käsittelemään dataa kahteen suuntaan ja oppii nopeammin kuin perinteinen eteenpäin syöttävä verkko. Arel, Rose & Karnowski (2010) 4

8 3 Käyttötarkoitukset 3.1 Mahdollisuudet Tekoäly voi antaa apua monenlaisiin tilanteisiin. Yksi mahdollinen ympäristö, jossa tästä kehityksestä olisi hyötyä on terveydenhuolto. Yhtenä kerroksena voisi olla neuroverkko, jonka avulla voidaan nopeasti hahmottaa todennäköisin syy vaivalle erilaisten mittareiden kautta. Adriana ja Loredana käsittelevät aihetta konferessijulkaisussaan, jossa lähdetään liikkeelle siitä, että tekoäly ei ole parempi kuin ihminen, mutta joissakin tilanteissa nopeampi ja matemaattisesta lähtökohdastaan johtuen objektiivisempi ja parempi hahmottamaan todennäköisyyksiä. Ihmisillä uurin ongelma ratkaisuja tehdessään on tunnetilan vaikutus päätöksiin, jolloin tekoälyavuste helpottaa toimimaan objektiivisemmin. Julkaisussa erilaisten mittaustulosten välinen vaikutus on annettu lääkärien vastuulle, jotta järjestelmä olisi luotettava. Lääkäreiden tietämyksen yhdistäminen koneen ymmärrykseen todennäköisyyksistä oikean diagnoosin löytäminen olisi varmempaa ja nopeampaa. Tässä ei tietenkään haluta korvata ihmistä, vaan kone rajaa vain ihmiselle tärkeän informaation. Adriana & Loredana (2015) DeLiang esittelee julkaisussaan kuulemisvaikeuksien korjaamisessa neuroverkkotekniikkaa, jolla voidaan prosessoida ääniä ja erottaa puhe muusta melusta. Kun normaalit kuulolaitteet vahvistavat kaikkia ääniä, tuloksena on epämääräistä ja hankalasti hahmotettavaa melua. Artikkelissa käsitellään koktailikutsuefektiä, missä ihmisen kuuloaisti voi valikoida helposti melusta puheen. Se ei onnistu kuulolaitetta käytettäessä, koska laitteen mikrofoni ottaa vain äänen raakana ja vahvistaa kaikkea. Mahdolliset käyttötarkoitukset tälle tekniikalle eivät jää vain kuulolaitteisiin. DeLiang ehdottaakin, että tätä voisi käyttää myös muissa meluherkissä laitteissa, kuten puhelimet, sekä paikoissa missä ihmisten täytyy kommunikoida melun keskellä, kuten sotilaille taistelukentällä. Wang (2017) 5

9 Näkisin, että yhtenä hyödyllisenä kohteena olisi erilaisten monotonisten, mutta monimutkaisten valvontatoimien tekoälyavustaminen. Tällöin, vaikka ihminen väsyy ja herpaantuu, kone on yhtenä varmistavana agenttina mukana. Jossain vaiheessa, kun kehitys on siinä pisteessä, että pystytään laajentamaan ihmisen aivoja yhdistämällä ne suoraan tekoälyavustajaan, ihmisillä olisi mahdollisuus vaikuttaa omaan ajatteluunsa keinotekoisesti ja luoden uusia erilaisia näkökulmia. Vaikka tämä kuulostaa hieman tieteisfantasialta, aivot ovat vain iso joukko neuroneita jotka on kytketty toisiinsa. Ne toimivat sähköimpulsseilla, joita on voitu jo pitkään lukea sensoreilla. Aivojen kehitys on tuonut kuitenkin meille taiteen ja erilaisia ajattelumalleja. Niiden keinotekoinen laajentaminen voisi tuoda seuraavan harppauksen ihmisen kehityksessä koska evoluutio on niin hidas prosessi. Tämä kaikki tarvitsee tietenkin jonkin verran enemmän laskentatehoa tämänhetkiseen, mutta ei ole aivan mahdoton ajatus. 3.2 Toteutukset Lähivuosien suurimpiin saavutuksiin tekoälyn saralla on ollut AlphaGo. Go:ssa erillaisten pelilaudan konfiguraatioden määrä on niin suuri, ettei niitä voida käydä läpi järkevässä ajassa. Samat tekniikat joilla Tammi tai Shakki voidaan selvittää, eivät ole enää mahdollisia Go:n monimutkaisuuden takia. Aiemmat Go:ta pelaavat koneet ovat käyttäneet Monte Carlo hakupuuta, mikä on heuristinen etsintäalgoritmi, jossa joukko sattumanvaraisia pelejä on tehty eri siirroilla ja niistä parhaiden tulosten avulla on koottu puu mikä tehokkaimmin ratkaisee ongelman. Tämä strategia tuottaa koneita, jotka vastaavat parhaimmillaan vahvaa amatööriä. Ongelmana näissä on ollut se, että hakupuun syvyys on ollut liian pieni. AlphaGo:ssa käytetettiin syviä neuroverkkoja, jolle syötettiin pelikenttää 19 kertaa 19 paloissa. Neuroverkkoa koulutettiin useissa eri tasoissa. Ensin seuratulla oppimisella, jossa käytettiin pohjana ammattipelaajien siirtoja, ohjaamaan haluttuja ratkaisuja. Toisella tasolla käytettiin vahvistavaa oppimista, jossa neuroverkkoa kehitettiin voittojen ja häviöiden kautta, pelaamalla verkon vanhoja iteraatiota vastaan. Vaikka Go:ssa mahdollisten siirtojen määrä on huomattavasti suurempi kuin shakissa, AlphaGo:n tarvit- 6

10 si arvioida huomattavasti vähemmän mahdollisia paikkoja siirroille pelissään Fan Hui:ta vastaan, kuin Deep Blue:n shakkipelissä Kasparovia vastaan. Silver,Huang, Maddison, Guez, Sifre, van den Driessche, Schrittwieser, Antonoglou, Panneershelvam, Lanctot, Dieleman, Grewe, Nham,Kalchbrenner, Sutskever, Lillicrap, Leach, Kavukcuoglu, Graepel & Hassabis (2016) Kaikenlaiset pelit ovat kiinnostavia haasteita tekoälytutkimuksessa. Nature lehdessä julkaistussa kirjeessä käsitellään sitä kuinka kirjoittajat tekivät tekoälyn, jota kutsuttiin syväksi Q-verkoksi ja se koulutettiin pelaamaan 49:ää Atari 2600 peliä. Tekoäly sai informaationsa vain pixeleistä, jota peli tuotti. Ulostulona oli vain Atariohjaimen syötteet. Työssä oli demonstroitu, kuinka pelkän kuvadatan ja mahdollisten komentojen avulla voidaan kouluttaa tekoälyä. 29:ssä pelissä tekoäly onnistui saamaan yli 75%:a ihmispelaajan pisteistä. Paras tulos oli Breakout:issa, jossa kone sai 1327% pisteistä ihmispelaajaan verrattuna. Pelit joissa tarvittiin kauaskantoisempaa strategiaa tuottivat ongelmia. Julkaisussa päästiin kuitenkin tulokseen, joka osoitti, että yhtä arkkitehtuuria voidaan kouluttaa erilaisten ongelmien ratkaisuun pelkän kuvadatan avulla. Mnih, Kavukcuoglu, Silver, Rusu, Veness, Bellemare, Graves, Riedmiller, Fidjeland, Ostrovski, Petersen, Beattie, Sadik, Antonoglou, King, Kumaran, Wierstra, Legg & Hassabis (2015) 7

11 DeLiang käsittelee omaa toteutustaan neuroverkolle, joka kykenee eristämään puheen taustamelusta. Hän koulutti ensin yhden neuroverkon suodattamaan melun pois ja tämän jälkeen koulutti toisen neuroverkon, jonka tarkoitus oli vielä hienosäätää suodatettua dataa. Kummatkin verkot olivat syviä ja tämä kahden syvän neuroverkon järjestelmä onnistui parantamaan kuulovikaisen ihmisen puheen ymmärrystä 29%:sta 84%:tiin, kun ympäristönä oli simuloitu isompi juhlatilanne. Myös normaalikuuloiset samassa tilanteessa kokivat huomattavaa apua äänen prosessoinnista tekoälyllä. Näiden tulosten jälkeen DeLiang:in ryhmä teki vielä lisäkoulutusta neuroverkoille elokuvantekijöille tarkoitetulla erillaista melua sisältävällä äänipankilla. Tämä paransi huomattavasti ymmärrettävyyttä uusissa tilanteissa. Wang (2017) 8

12 4 Rajoitteet ja ongelmat Teoreettisesella puolella ei ole suuria ongelmia, mutta tekniset haasteet tulevat vastaan tämän hetken toteutuksissa. Neuroverkkojen kouluttaminen on hidas prosessi ja siinä ei ole suuria harppauksia näköpiirissä, koska se riippuu enemmän laskentatehosta kuin algoritmeistä. Suuret neuroverkot on toteutettu supertietokoneilla, jolloin rakentaminen on kallista, eivätkä ne ole helposti siirrettäviä. Neuroverkkojen koulutus on hidasta ja verkon koon kasvu kasvattaa myös koulukseen vaadittavaa aikaa. Laskentateho on kasvanut huimasti grafiikkakorttien ja prosessoriarkkitehtuurin kehityksen myötä, mutta edelleen hinta on haaste Sun, Zhang, Zhang, Hu (2017). Rajoittavat tekijät ovat siis enimmäkseen taloudellisia. Tätä kautta rahoituksen vaikeudet voidaan nähdä kehitystä hidastavana tekijänä, koska erilaisia kokeiluja ei voida toteuttaa. Teorioiden testaamisen avulla voitaisiin nähdä mitä tarvitsee kehittää. Ongelmana kehitykselle on, että on vain kourallinen toimijoita joilla on resurssit laajamittaisille kokeiluille. Ongelmana voi nähdä myös sen, että aihe on isossa mittakaavassa aika uusi kehityksen suunta, jolloin tutkimuksen määrä on hieman suppea. Toisaalta se on hyvä tutkimuksen kannalta, koska tutkittavaa riittää. Perusajatukset tietenkin ovat tässä vaiheessa jo aika vanhoja, vaikka toteutuspuolen tutkimus on vasta lähtemässä kunnolla käyntiin teknologian kehityksen myötä Schmidhuber (2015). Se, että näkeekö vahvan tekoälyn kehittämisen ongelmana ihmisille, riippuu miten itse siihen suhtautuu. Jos teknologinen singulariteetti on todellinen lopputulos kehitykselle, voidaan voimakas tekoäly nähdä vääjäämättömänä lopputuloksena. Kun teknologia pääsee tiettyyn kehityksen vaiheeseen alkaa kierre, jossa teknologinen kehitys kiihdyttää itseään. Tämä tietenkin vaatii sen, että teknologiasta tulee itsetietoinen eli voimakkaan tekoälyn toteuttaminen käynnistäisi tämän kehityksen. Tämä on tosin hyvin spekulatiivista eikä näin tapahtuisi lähivuosina. Sandberg (2013) Informaation prosessointi tekoälyn avulla ihmisen avuksi, neuroverkkoja käyttäen, 9

13 kohtaa yhden ongelman, joka on käyttöliittymä. Me pystymme kyllä syöttämään raakaa dataa ja informaatiota koneeseen helposti erilaisilla laitteilla, mutta ongelmana on, että ainut tapa käsitellä ihmisellä koneen tuottama data on silmillä. Aivot kuitenkin toimivat sähköisillä singnaaleilla, joten teoriassa kaksisuuntainen käyttöliittymä suoraan aivoista koneeseen ei olisi mahdoton idea. Verkon logiikka saattaisi pettää, kun sen koko kasvaa suureksi kuten ihmisenkin aivojen kompleksisuus tuo mukanaan mielenterveysongelmia. 10

14 5 Yhteenveto Tutkimuksen tilanne tuntuu olevan hieman hankala. Asenne ihmisen kaltaista tekoälyä kohtaan on negatiivinen ja pelokas. Googlen Deepmind-projektin saama huomio on kyllä kasvattanut kiinnostusta, josta Alpha Go:kin on lähtöisin. Lopullisena tavoitteena näen ihmisen kaltaisen tekoälyn toteuttamisen. Joku tulee sen jossain vaiheessa kuitenkin kehittämään. Aktiivinen tekoälykehitys mahdollistaa valmistautumisen siihen päivään ja antaa parempaa ymmärrystä sen riskeistä. Ennen sitä hetkeä erikoistuneet, mutta kuitenkin suhteellisen monimutkaiset tekoälyt, ovat tarpeellisia. Suurin uhka ihmiselle on ihminen itse, mutta objektiivinen kone joka pystyy käsittelemään paremmin isoa määrää informaatiota, voi ohjata ihmistä parempiin ratkaisuihin. Esimerkiksi tekoälyavusteinen auto on huomattavasti valppaampi ja tilannetietoisempi kuin ihminen, ihan jo siitäkin syystä, että ihmisellä on vain kaksi silmää ja koneeseen voi aina liittää lisää sensoreita. Kehitys näyttää lupaavalta ja se, että raha on suurimpia rajoittavia tekijöitä, luo toivoa siitä, että ajanmittaan asia korjaantuu. Tällä hetkellä voidaan jo toteuttaa käyttökelpoisia ratkaisuja neuroverkoilla, mutta ongelmat on pidettävä riittävän oikein rajattuina. Näkisin, että teknologia on osa kulttuurin kehitystä ja voidaan täten pitää ihmisen evoluution jatkeena. Meillä ihmisillä ei aivojen koko voi enää kasvaa, jolloin prosessointia pitää tulevaisuudessa vielä enemmän tehdä ihmisen ulkopuolella. Teknologinen kehitys on itseruokkivaa, joten näen tämän kehityksen erittäin todennäköisenä. Kun luonnossa esiintyvää toimintaa halutaan toteuttaa teknologian keinoin, se on miltei aina mahdollista, kuten tekoäly. Kaikki riippuu vain aikajänteestä josta puhutaan. En löytäny teksteistä mitään mikä antaisi aihetta ajatella, että parin vuoden sisällä tulisi suuria muutoksia, mutta näkisin että vuoden aikana kaikki on mahdollista. Neuroverkot näyttäisivät olevan kuitenkin oikea suunta. Kuten ongelmissa mietin4, yksi tekoälyavusteen kehitys voisi olla edistyneempi suora käyt- 11

15 töliittymä avustajaan. Tämä tietenkin tarkoittaisi sitä, että ongelmat olisivat erittäin monimutkaisia ja tekoäly tässä tarkoituksessa olisi jo miltei täydellinen vahva tekoäly. Valtioilla ja teknologiajäteillä on varoja kehittää tämänkaltaista teknologiaa ja myös syitä viedä kehitystä eteenpäin. 12

16 6 Pohdintaa Tässä kappaleessa haluan pohtia joitakin tämän työn kokoamisen aikana tulleita ajatuksia tekoälyn kehityksen vaikutuksista. Tekoälyn kehitys ei välttämättä lähitulevaisuudessa vielä vaaranna työpaikkoja, vaikka sen käyttö esim. tehtailla toiminnan valvonnassa varmasti tulee avuksi. Aluksi ainaki tarvitaan ihmisiä varmistamaan toimintaa. Luova työ ei ole vielä vaarassa, koska tällä hetkellä ainakaan sähköiset lampaat eivät osaa uneksia. Ihmiselle tässä tilanteessa tarpeellisinta on, että kone tuottaa loogisia päätelmiä. Yhtenä mahdollisena käyttötarkoituksena olisi aivojen laajennus, samaan tapaan kuin pilvikäsittely. Tämä laajennus voisi olla verkon kautta suora käyttöliittymä aivoista johonkin neuroverkkoon, joka pyörisi serverifarmilla. Ihmisen aivojen simulointi varmaankin tapahtuu jo ennen tätä. Pelkkä laskentatehon kasvu ei välttämättä tähän vielä riitä, vaan pitää löytää jokinlainen arkkitehtuuri, joka on riittävän dynaaminen. Ihmisen ajattelun suunta ei ole suoraviivainen, eikä aina kovin looginen. 13

17 Kirjallisuutta Schmidhuber, J Deep learning in neural networks: An overview. Neural Networks, 61, s Silver, D., Huang, A., Maddison, C.J., Guez, A., Sifre, L., van den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T. & Hassabis, D Mastering the game of Go with deep neural networks and tree search. Nature, Volume 529, s Arel, I., Rose, D.C., Karnowski, T.P Deep Machine Learning A New Frontier in Artificial Intelligence Research IEEE COMPUTATIONAL INTELLIGENCE MA- GAZINE, 4, s Sun, K., Zhang, J., Zhang, C., & Hu, J Generalized extreme learning machine autoencoder and a new deep neural network Neurocomputing, 230, s Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A.A., Veness, J., Bellemare, M.G., Graves, A., Riedmiller, M., Fidjeland, A.K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S. & Hassabis, D Human-level control through deep reinforcement learning Nature, Volume 518, s Wang, D Deep learning reinvents the hearing aid IEEE Spectrum, Volume 54 Issue 3s, s Adriana A. & Loredana S Benefits of using artificial intelligence in medical predictions E-Health and Bioengineering Conference (EHB), 2015 Sandberg, A An Overview of Models of Technological Singularity The Transhumanist Reader,