Studia Generalia: MIKÄ BIG DATA? Kylmä data kohtaa inhimillisen tulkinnan: koneoppiminen ihmistieteiden työkaluna. Timo Honkela

Transkriptio

1 Studia Generalia: MIKÄ BIG DATA? Kylmä data kohtaa inhimillisen tulkinnan: koneoppiminen ihmistieteiden työkaluna Timo Honkela Helsingin yliopisto

2 Liisa, meillä on tehtävänä opetella ohjelmointia. Kuvalähde: Inspiraatio:

3 ILMIÖT JA ORGANISAATIOT: HUMANISTISET JA YHTEISKUNTATIETEET HELSINGIN YLIOPISTON KESKUSTAKAMPUS

4 Tieteiden kohteiden monimutkaisuus Kulttuurinen maailma Biologinen maailma Fysikaalinen maailma

5 Englannin kielen osuus eri tieteenaloilla Suomessa (1.-15.) Matematiikka Farmasia Kemia Fysiikka Biokemia, molekyylibiologia, mikrobiologia, perinnöllisyystiede ja biotekniikka Solu ja kehitysbiologia, fysiologia ja ekofysiologia Tietojenkäsittelytieteet Sähkötekniikka ja elektroniikka Ympäristötekniikka Geotieteet Ekologia, evoluutiotutkimus ja systematiikka Kone ja valmistustekniikka Metsätieteet Avaruustieteet ja tähtitiede Prosessi ja materiaalitekniikka (Timo Honkela, TUTKAS-seminaari ) VANHA TIETEENALALUOKITUS

6 Englannin kielen osuus eri tieteenaloilla Suomessa ( ) TIETEENALA Rakennus ja yhdyskuntatekniikka Maatalous ja elintarviketieteet Ympäristöpolitiikka, talous ja oikeus Maantiede Arkkitehtuuri ja teollinen muotoilu Viestintä ja informaatiotieteet Kasvatustiede Valtio oppi ja hallintotiede Taiteiden tutkimus Sosiaalitieteet Kulttuurien tutkimus Historia ja arkeologia Teologia Oikeustiede % (Timo Honkela, TUTKAS-seminaari ) VANHA TIETEENALALUOKITUS 6

7 Englannin kielen osuus eri tieteenaloilla Suomessa ( ) TIETEENALA Rakennus ja yhdyskuntatekniikka Maatalous ja elintarviketieteet Ympäristöpolitiikka, talous ja oikeus Maantiede Arkkitehtuuri ja teollinen muotoilu Viestintä ja informaatiotieteet Kasvatustiede Valtio oppi ja hallintotiede Taiteiden tutkimus Sosiaalitieteet Kulttuurien tutkimus Historia ja arkeologia Teologia Oikeustiede VANHA TIETEENALALUOKITUS % 85,9 85,4 85,3 84,8 Tärkeitä tieteenaloja, joissa 83,7 kieli-, tulkitsija-, tilanneja 83,1 82,6 kulttuurisidonnaisuus 82,2 on paljon voimakkaampaa 81,6 kuin listan alkupään 80,4aloilla. 79,3 78,1 77,0 70,8 7

8 Digitaalisten ihmistieteiden kehittyvä kukoistus Perinteinen syvällinen osaaminen ja ymmärrys liittyen humanitisten ja yhteiskuntatieteiden alueeseen Tämä ymmärrys yhdistetään nykyaikaisiin tietojenkäsittelymenetelmiin kuten tilastolliseen koneoppimiseen Avoin tiede ja laajat tietoaineistot antavat vahvan pohjan työlle Helsingin yliopistossa on tehty työtä tällä saralla jo esimerkiksi kielen tutkimuksessa pitkään. Viime aikoina alue on laajentunut ja panostuksia on lisätty. 8

9 Varieng - Research Unit for the Study of Variation, Contacts and Change in English Terttu Nevalainen Big Data, Rich Data, Uncharted Data October 2015 Helsinki, Finland ja moni muu... Tanja Säily Irma Taavitsainen

10 FIN-CLARIN on suomalaisten yliopistojen, CSC:n ja Kotimaisten kielten keskuksen muodostama konsortio, joka auttaa eri alojen tutkijoita käyttämään, jalostamaan, säilyttämään ja jakamaan kieliaineistoja. Osa kansainvälistä CLARIN ERI -tutkimusinfrastruktuuria. Krister Lindén ja moni muu...

11 Koneellinen ja koneavusteinen kääntäminen ja tulkkaus Jörg Tiedemann ja muut

12 Historiallisten sanomalehtien tekstilouhinta Mikko Tolonen Kimmo Kettunen

13 Citizen Mindscapes Ymmärrystä yhteiskunnasta louhimalla suuria sosiaalisen median aineistoja

14 Esimerkki uudenlaisesta opetusta: Digital Humanities Hackathon

15 375 humanistia

16 HELDIG-avajaiset eilen Eero Hyvönen, Mikko Tolonen, Arto Mustajoki Anna Mauranen

17 Arto Mustajoki Anna Mauranen

18 Maailman suurin ongelma on, että ihmiset eivät ymmärrä toisiaan Arto Mustajoki

19 DATA: AINEISTOT

20 Yli sata miljoonaa kirjaa Googlen kirjaprojektissa kerrottiin vuonna 2010, että maailmassa on julkaistu kirjaa Tarkan luvun antaminen ei ole kovin mielekästä, koska kaikkia kirjoja Googlekaan ei ole voinut löytää ja luku muuttuu jatkuvasti

21 Pohjoismaat kirjoissa (Google Books )

22 Artikkelit, kirjoissa ilmestyneet artikkelit, kirjat, konferenssijulkaisut Kiitokset: Leo Näteaho, Helsingin yliopiston kirjasto Julkaisemisen volyymi kolmessa yliopistossa

23 Aineistojen digitointi: esimerkkinä Kansalliskirjaston sanomalehtiaineisto Digitointi > OCR > Hakutoiminnot ja jatkojalostus

24 Inhimillisen ymmärryksen keruun vaiheita Puheeseen perustuva perinne Käsin kirjoitettu kieli: hidas leviäminen Kirjapainotaito ja painetut tekstit: nopea leviäminen Digitaaliset tekstit: entistäkin nopeampi leviäminen Tiedon määrämuotoinen linkittäminen ja avoin jakelu (Open Linked Data) Sosiokognitiiviset keinotekoiset toimijat: tiedon ja kokemuksen leviäminen yli yksilö-, kieli-, kulttuuri- ja sosiaalisten rajojen

25 VÄLINEET: TIETOKONEET JA OHJELMISTOT

26 Laskenta- ja muistikapasiteetti CSC Tieteen tietotekniikan keskus

27 Valtavat ohjelmistomassat yhteiskunnan peruspilareina Ohjelmarivejä: - Unix 1.0 ~ Windows 3.1 ~ Firefox ~ Suomalaislähtöisiä: - MySQL ~ Linux 3.1 ~ Facebook ~ Googlen palvelut ~

28 MENETELMÄT: TILASTOLLINEN KONEOPPIMINEN JA KIELITEKNOLOGIA

29 Tietämyksen ohjelmoimisesta koneoppimiseen Pitkään on ollut tapana ohjelmoida koneita inhimisen tiedon puitteissa rajoituksineen 1980-luvulla maailmassa kehitettiin miljardipanostuksin asiantuntijajärjestelmiä ajatuksella, että asiantuntija tietää parhaiten ja pystyy kuvaamaan tietämyksensä sääntöinä Nykyään koneet ohjelmoimaan oppimaan Tilastollisen koneoppimisen avulla kone voi osata enemmän kuin kukaan ihminen Olennaisia ovat aineistot

30 Koneoppiminen ja tiedon louhinta Tilastollisen koneoppimisen avulla matkitaan ihmisen oppimista Kone käy läpi sille annettuja esimerkkejä Annetun datan perusteella kone oppii esimerkiksi luokittelemaan, järjestämään, ryhmittelemään, hahmottamaan, käsitteistämään tai laittamaan paremmuusjärjestykseen erilaisia tietoalkioita

31 Koneille opetetaan kieltä Koneet oppivat kieltä Perinteisesti koneet on pyritty saamaan kielitaitoisiksi kirjoittamalla kielen sääntöjä koneen ymmärtämään muotoon Tämän on kuitenkin osoittautunut ongelmalliseksi Nykyisin hyödynnetään koneoppimismenetelmiä

32 Sanojen suhteet paljastuvat niiden käytöstä Kun käytettävissä on suuria tekstiaineistoja, mielivaltaisen kielen sanojen välisiä suhteita voidaan selvittää tilastollisesti Perusidea on se, että kahta sanaa käytetään tyypillisesti samaan tapaan (samanlaisessa lauseyhteydessä), jos niiden merkitykset ja/tai kieliopillinen rooli on samankaltainen

33 Klassikkoesimerkki: Grimmin satujen analyysi (1995) Honkela, Pulkki & Kohonen 1995

34 Klassikkoesimerkki: Grimmin satujen analyysi (1995) Huom: Suomessa tehtiin tällaista työtä jo ennen kuin esimerkiksi Googlea oli olemassa Akateemikko Teuvo Kohonen on ollut yksi neuroverkko- ja hahmontunnistusalan perustajahahmoista

35 Tilastollisesti etsittyjä assosiaatioita sanoille 1) onnellisuus ja 2) lätäkkö mielenrauha lammikko tyytyväisyys lampi onnellisuuden oja elämänilo läntti yksilöllisyys kuoppa rakkaus kolo välittäminen hiekka onni allas hyvinvointi pläntti positiivisuus läikkä Kiitokset: Turku BioNLP group, Filip Ginter ja Citizen Mindscapes -projekti (Helsinki, Turku)

36 Tekstien louhinta Edellä kuvatulla tavalla mitä tahansa suuria data- tai tekstiaineistoja voidaan tutkia (Honkela & Klami, 2008)

37 Suomen tieteen kartta Akatemian aineistosta Bio- ja ympäristötieteet Kone auttaa käymään Luonnon-jopa ja läpi tuhansia, insinööritieteet miljoonia dokumentteja Tieteellisiä tekstejä Terveystieteet ei lueta ainoastaan ihmisvoimin yksi kerrallaan Kulttuuri- ja yhteiskuntatieteet (Honkela & Klami, 2008) Kemia

38 Uusi askel: Humanistinen meta-analyysi

39 Taustaa: tulkinnan yksilöllisyyden mallintaminen (GICA-menetelmä) GICA-menetelmät (Grounded Intersubjective Concept Analysis) (Honkela ym. 2012) mahdollistaa mallit, joissa kunkin sanan merkitystä tarkastellaan yksilöllisesti Esimerkkinä USAn presidenttien puheet (State of the Union Address) ja sanan HEALTH merkityksen analyysi kontekstitietoa tilastollisesti analysoide

40 Sanan health analyysi

41 Humanistinen meta-analyysi (Honkela 2016) Analyysi olettaen sanojen jaettu merkitys Aineisto sanoineen Analyysi hyödyntäen merkityksien vaihtelumallia Honkelan ehdotus Merkityksien analyysi rikkaissa konteksteissa Aineisto sanoineen

42 Humanistinen meta-analyysi (Honkela 2016) Sanoja Analyysiei voi ottaa olettaenperusdataksi analyysin sanojen olettaen, että sana tarkoittaa jaettu täsmälleen samaa, kun merkitys puhuja/ kirjoittaja on eri ja eri kontekstissa Honkelan ehdotus Aineisto Sanan merkitys on sanoineen tilastollinen, subjektiivinen ja kontekstiriippuva ilmiö Analyysi hyödyntäen merkityksien vaihtelumallia Merkityksien analyysi rikkaissa konteksteissa Aineisto sanoineen

43 Humanistinen meta-analyysi (Honkela 2016)... AUTENTTINEN... HAUVA KATTI KISSA KOIRA REILU... TEHOKAS... DATA (1) RIKAS MERKITYSMALLI DATA (2) SISÄLTÖANALYYSI (HUMANISTINEN META-ANALYYSI)

44 Yhteisen ymmärryksen uusia mahdollisuuksia Tieteen uudet keinot tilanteisiin ja kysymyksiin, joita koskien yhtä oikeaa tulkintaa ei ole eikä voi olla. Humanistinen meta-analyysi ja vastaavat keinot voivat auttaa meitä tuomaan yhteen ymmärrystä, jota ihmiset ovat keränneet eri kielellisissä, sosiaalisissa, kulttuurissa ja historiallisissa konteksteissa Merkitysneuvotteluiden osittaiseen automatisointi

45 Uusi valistuksen aika? Ratkaisuja maailman polttaviin ongelmiin

46 Koneet eivät ole ihmeidentekijöitä vaan apuvälineitä Koneet eivät voi tarjota objektiivisuutta sen enempää kuin ihminenkään, kun tarkastelun kohteena ovat monimutkaiset ja tulkinnanvaraiset teemat Koneiden avulla voidaan kuitenkin kerätä yhteen ihmisten keräämää tietoa ja kokemusta ennennäkemättömällä tavalla Menetelmät täytyy kehittää humanistisen ymmärryksen pohjalta

47 Filosofiaa eivät voi paeta tietojenkäsittelijätkään Uusi valituksen aika? Empirismin ja rationalismin vuoropuhelu Vuosisataiset filosofiset näkökulmat ja teemat ovat edelleen tärkeitä ja aina vain tärkeämpiä koneiden käyttöön liittyen eli kun tekoälyä ja koneoppimista sovelletaan ihmistieteiden piirissä

48 Skenaarioita: digihumanismin mahdollisuuksia Ihmisten välinen parempi ymmärrys ja vuorovaikutus sodan ja rauhan kysymykset yhteiskunnallinen päätöksenteko ja politiikka Monimutkaisia ilmiöitä koskeva ongelmanratkaisu: esimerkiksi ympäristökysymykset terveyttä ja hyvinvointia koskevan tutkimus- ja kokemustiedon kerääminen ja yhteen tuominen

49 Kuvalähde:

50 Kiitos!

51 Avoin data moraaliseksi periaatteksi, kiitos!