Uuden äärellä ohjelmoitava vai oppiva kone?

Transkriptio

1 Uuden äärellä ohjelmoitava vai oppiva kone? Petteri Kaski Tietotekniikan laitos Aalto-yliopisto CS-A1120 Ohjelmointi huhtikuuta

2 Sisältö (kierrokset ja moduulit) I 1. Lämmittelykierros Tietokoneen mysteeri 2. Bitit ja data 3. Kombinaatiologiikka 4. Sekventiaalilogiikka 5. Ohjelmoitava kone II Abstraktiot ja analyysi III Funktionaalinen ohjelmointityyli Suorituskykyanalyysi Rekursio Algoritmit ja informaation esitykset Uuden äärellä 10. Rinnakkaisuus ja samanaikaisuus 11. Virtualisointi ja skaalautuvuus 12. Ohjelmoitava vai oppiva kone?

3 Uuden äärellä 10. Samanaikaisuus ja rinnakkaisuus 11. Virtualisointi ja skaalautuvuus 12. Ohjelmoitava vai oppiva kone? helppoa rinnakkaisuutta: rinnakkaiskokoelmat, futuurit ja lupaukset laskentaa saa kuin sähköä seinästä skaalautuvuus omasta koneesta tehdashallitietokoneeseen*; Apache Spark (asennettu Maarille) konetta voi joskus opettaa sen sijaan että sitä ohjelmoidaan, ts. kone osaa joskus näppärästi yleistää sille esitetyistä esimerkeistä *) vain sähkösopimus (ja luottokortti) tarvitaan

4 The science of learning mechanisms explores how a computationally limited entity can succeed in a world that is too complex for it to model. It focuses on three things: computationally bounded entities, successful action in a complex world, and, most importantly, the relationship between the two. Leslie Valiant, in Probably Approximately Correct: Nature s Algorithms for Learning and Prospering in a Complex World, Basic Books, 2013

5 Voisiko konetta opettaa sen sijaan että sitä ohjelmoidaan?

6 Motivaatio: Ohjelmointi on raakaa työtä ja ohjelmoija luonteeltaan peruslaiska (~ Miksi raataa jos kone voi raataa puolestasi?)

7 (Motivaatio:) Mitä on älykkyys? Mitä on tietoisuus? (~ Ehkäpä koneen opettaminen antaisi valaistusta asiaan?)

8 Miten ohjelmointi ja oppiminen eroavat toisistaan?

9 Mitä on opettaminen? Mitä on oppiminen? (Ja miten tämä suhtautuu ohjelmointiin? Mitä on älykkyys / luovuus?)

10 (Eräs tapa mieltää) Opettaminen / oppiminen vs ohjelmointi

11 Opettaja Oppija valitsee opetettavan aiheen/ aineiston valmistelee aineiston ja esittelee sen oppijalle (toistaa edellisiä oppijan suoriutumisen ml. oppijalta saadun palautteen perusteella) aineisto suoriutuminen & palaute tarkastelee esiteltyä aineistoa ja (toivoaksemme) pyrkii oppimaan sen mitä opetetaan oppiminen vaatii työtä oppijalta aineiston omaksumista ( oppimista ) mitataan palaute opettajalle

12 Ohjelmoija Kone etsii täydellisen ratkaisumenetelmän tarkasteltavaan tehtävään (~ tehtävän ratkaisevan algoritmin) toteuttaa algoritmin tietokoneohjelmaksi haluamallaan ohjelmointikielellä voi halutessaan mitata ohjelman suorituskykyä eri syötteillä ohjelma (tehtävän ratkaisu & tietoa ohjelman suorituskyvystä) suorittaa annetun ohjelman

13 Ohjelmoitaessa työ on täysin ohjelmoijan puolella (ohjelman suoritusta vaille) Opittaessa oppiminen on oppijan vastuulla ( työ jakautuu tasaisemmin opettajan ja oppijan kesken)

14 Opettaja (~ohjelmoija) Oppija (~kone) valitsee opetettavan aiheen/ aineiston valmistelee aineiston ja esittelee sen oppijalle (toistaa edellisiä oppijan suoriutumisen ml. oppijalta saadun palautteen perusteella) aineisto (~data) suoriutuminen & palaute tarkastelee esiteltyä aineistoa ja oppii ohjelmointinsa perusteella oppiminen vaatii työtä oppijalta tämä työ on ohjelmoijalta pois! aineiston omaksumista ( oppimista ) mitataan

15 Mitä on opettaminen? Mitä on oppiminen?

16 Oppija pyrkii yleistämään annetuista esimerkeistä (Opettajan rooli on johdattaa oppija hyvien esimerkkien äärelle aina opettajaa ei edes tarvita!)

17 Esimerkkejä Osaisimmeko opettaa koneen näkemään nollia ja ykkösiä?

18 Esimerkkejä valmiiksi luokiteltuna ( nimettyinä ) Opettaja valmistelee nimettyjä esimerkkejä siitä miltä nolla ja yksi näyttävät, käsinkirjoitettuina

19 Oppijan tehtävä on oppia yleistämään esitetyistä esimerkeistä ennalta tuntemattomiin? tapauksiin

20 Opettaja voi helpottaa oppimista pelkistämällä esimerkeistä piirteitä, jotka korostavat opittavaa säännönmukaisuutta aineistossa (Piirteitä voidaan myös oppia ilman opettajan työtä)

21 Oppimisen arviointi ( validointi ) Opetusaineisto Testiaineisto Millä tarkkuudella oppija osaa käsitellä (tässä: luokitella nolliksi ja ykkösiksi) opetusaineistosta riippumattoman ja opetusvaiheessa tuntemattoman testiaineiston?

22 Oppimisen riskit Yleistys tuntemattomaan sisältää aina epävarmuutta Ehkäpä esimerkit eivät olekaan riittävän kattavia Virheet ovat oppimisen arkipäivää Virheet johtuvat mm. puutteellisista esimerkeistä ja puutteellisesta oppimisesta Virheisiin on varauduttava ja oppimista arvioitava

23 Oppimisen ihme Datan muoto palvelee tarkoitusta Muodosta voidaan (koneellisesti) päätellä tarkoituksen kannalta hyödyllistä Vrt. kone oppii tunnistamaan käsinkirjoitetut nollat ja ykköset niiden muodon (kirjoitusasun piirteiden) perusteella Datasta oppivat menetelmät ovat perin yksinkertaisia verrattuna ohjelmointiin (vrt. kirjoita ehtolauseilla miltä nolla näyttää ) Mitä runsaammin ja monipuolisemmin dataa on saatavilla, sitä hyödyllisemmäksi tulevat oppivat menetelmät Oppivat menetelmät ottavat työtä ohjelmoijalta pois ja siirtävät sitä koneelle lämpimästi suositellaan!

24 Opettaja (~ohjelmoija) Oppija (~kone) valitsee opetettavan aiheen/ aineiston valmistelee aineiston ja esittelee sen oppijalle (toistaa edellisiä oppijan suoriutumisen ml. oppijalta saadun palautteen perusteella) aineisto (~data) suoriutuminen & palaute tarkastelee esiteltyä aineistoa ja oppii ohjelmointinsa perusteella oppiminen vaatii työtä oppijalta tämä työ on ohjelmoijalta pois! aineiston omaksumista ( oppimista ) mitataan

25 Oppija (~kone) Oppija (~kone) pyrkii mallintamaan tarkasteltavaa ilmiötä/aineistoa haastaa mallillaan toisen oppijan mallin etsii mallista parannettavaa pyrkii mallintamaan tarkasteltavaa ilmiötä/aineistoa haastaa mallillaan toisen oppijan mallin etsii mallista parannettavaa ilmiö/aineisto (~säännöt ja/tai malli, ~data)

26 Oppimisen ihme Oppimisessa tarvittava data voidaan tuottaa myös simulaatiolla ja/tai esimerkiksi vahvisteoppimisella (reinforcement learning) Vaikkapa lautapelin (Go, shakki, ) perussäännöt sekä suuri määrä laskentaresursseja riittävät

27

28

29

30

31

32 Tehtävät binaryvision opetamme koneen näkemään käsinkirjoitettuja 0 - ja 1 -lukuja bayes rakennamme naiivin Bayes-luokittimen ja sovellamme sitä 2011 eduskuntavaalien vaalikonedataan (Helsingin Sanomat) matrixinverse harjoittelemme numeerisen laskennan menetelmiä (käänteismatriisin laskeminen Gaussin eliminaatiolla) edellisen sovellus pienimmän neliövirheen polynomin sovittamiseen dataan (polynomiregressio) SVD lisää numeriikkaa singulaariarvohajotelma (SVD) [edellisen sovellus ohjaamattomaan piirteiden erotteluun]

33 Kurssikalenteri

34 Ohjelmointi 2 Ohjelmoinnin ja laskennan periaatteita porttitasolta funktionaaliseen rinnakkaisohjelmointiin Laskenta: Eräs vähiten ymmärretyistä luonnonilmiöistä Ohjelmointi: Keino valjastaa laskenta haluttuun tarkoitukseen

35 Porttitasolta tehdashallitietokoneeseen (NVIDIA GV100 GPU, 5120 FP32-suoritusydintä, 21.1 miljardia transistoria, 12 nanometrin prosessi) (Google Hamina)

36 What s in your hands, I think and hope, is intelligence: the ability to see the machine as more than when you were first led up to it, that you can make it more. Alan J. Perlis (1 April February 1990) in foreword to Harold Abelson and Gerald Jay Sussman, with Julie Sussman, Structure and Interpretation of Computer Programs, 2nd ed., MIT Press, 1996