E. Oja ja H. Mannila Datasta Tietoon: Luku 2

Transkriptio

1 2. DATASTA TIETOON: MITÄ DATAA; MITÄ TIETOA? 2.1. Data-analyysin ongelma Tulevien vuosien valtava haaste on digitaalisessa muodossa talletetun datan kasvava määrä Arvioita: Yhdysvaltojen kongressin kirjasto Washingtonissa: 29 miljoonaa kirjaa ja lehteä, 2.7 miljoonaa äänitettä, 12 miljoonaa valokuvaa, 4.8 miljoonaa karttaa, 57 miljoonaa käsikirjoitusta. Kerätty 200 vuoden aikana. Nyt sama datamäärä kertyy levyille joka 15. minuutti (noin 100 kertaa vuorokaudessa). Tämä on 5 exatavua vuodessa. (Kertaus: Exatavu = 2 60 tavua = 1,152,921,504,606,846,976 tavua (triljoona) tavua). TKK, Informaatiotekniikan laboratorio 1

2 Sama määrä tulisi, jos kaikki ihmispuhe kaikkina aikoina (n vuotta) koodattaisiin sanoiksi ja digitoitaisiin (R. Williams, CalTech). Aiemmin talletettu data oli lähinnä tekstiä ja numerodataa (taloudellishallinnollinen IT), mutta nyt yhä enemmän ns. reaalimaailman dataa (digitaaliset kuvat, videot, äänet, puhe, mittaustiedot, bioinformatiikan tietopankit jne.) Lopulta mikä tahansa tieto josta voi olla hyötyä saattaa tulla digitaalisesti haettavaksi, esim. Webin kautta Tämä asettaa suuria haasteita tallennus- ja tietokantatekniikoille Eräs keskeinen kysymys: kuinka haluttu tieto (information, knowledge) löytyy? Tarvitaan jonkinlaisia älykkäitä datan analyysi-, louhinta- ja hakumenetelmiä. TKK, Informaatiotekniikan laboratorio 2

3 2.2. Mallit ja oppiminen Peruslähtökohta data-analyysille on datan mallitus Malli tarjoaa tiivistetyn esitystavan (representaation) datalle Mallin perusteella on paljon helpompi tehdä päätelmiä kuin raakadatasta Esimerkki: aikasarjan ennustaminen Toinen esimerkki: datan todennäköisyysjakauma Kolmas esimerkki: luokitus Mistä malli sitten löytyy? Joskus voidaan käyttää olemassaolevaa tietoa (fysikaalisia luonnonlakeja, inhimillistä kokemusta, tms) Usein kuitenkin joudutaan käyttämään tilastollisia malleja jotka TKK, Informaatiotekniikan laboratorio 3

4 muodostetaan suoraan datan perusteella (kuten edellisissä esimerkeissä) Kurssi datasta tietoon (ainakin alkuosa) käsittelee tilastollisia malleja ja niiden johtamista datajoukoista. Usein mallin automaattista muodostamista datajoukosta kutsutaan koneoppimiseksi (machine learning) Sana tulee ihmisen oppimisesta, joka myös pohjimmiltaan on mallien oppimista Datasta oppimisen menetelmät jakaantuvat kahteen pääluokkaan: ohjattu oppiminen ja ohjaamaton oppiminen Ohjatussa (kone)oppimisessa annetaan joukko data-alkioita ja niitä vastaavia nimikkeitä joihin ne halutaan liittää: esimerkiksi pätkä ihmisen puhetta ja kirjain a TKK, Informaatiotekniikan laboratorio 4

5 Tehtävä: muodosta malli joka liittää toisiinsa data-alkiot ja nimikkeet (automaattista puheentunnistusta verten) Vastaa ihmisellä opettajan johdolla tapahtuvaa oppimista. Ohjaamattomassa (kone)oppimisessa annetaan vain joukko data-alkioita mutta ei mitään muuta; esimerkiksi iso määrä kaupan asiakkaistaan keräämiä tietoja Tehtävä: muodosta malli, joka yhdistää toisiinsa samoista tuotteista kiinnostuneet asiakkaat (täsmämainontaa varten) Vastaa ihmisellä itsekseen tapahtuvaa oppimista. TKK, Informaatiotekniikan laboratorio 5

6 2.3. Esimerkkejä Kieliteknologia Konekääntäminen luonnollisten kielten välillä Puheen tunnistaminen (audiotietokannan automaattinen muuuntaminen tekstiksi; TV-lähetysten on-line tekstitys) Käyttöliittymät Puheentunnistus Käsinkirjoitettujen merkkien tunnistus Eleiden, ilmeiden, katseen suunnan tunnistus Käyttäjän profilointi Web-haku Googlen laajennukset; semanttinen verkko Oppiva semantiikka; ontologioiden tms. tiedon rakenteiden TKK, Informaatiotekniikan laboratorio 6

7 automaattinen muodostus Teknistieteellinen data Tietoliikenne (verkon kuormituksen ennustaminen; ympäristöään tarkkaileva kännykkä) Neuroinformatiikka (biolääketieteen mittaukset kuten EEG, MEG, fmri); ihmisen ja koneen väliset kehittyneet käyttöliittymät Bioinformatiikka: geenisekvenssit, DNA-sirudata Ympäristön tila, ilmasto Sensoriverkot Taloudellinen data Aikasarjojen (pörssikurssit, valuuttakurssit) ennustaminen Yritysten tilinpäätöstietojen analyysi Luottokorttien käytön seuranta TKK, Informaatiotekniikan laboratorio 7

8 Asiakkaiden ryhmittely ja käyttäytymisen ennustaminen (ostoskorianalyysi)... ja paljon paljon muuta! TKK, Informaatiotekniikan laboratorio 8

9 2.4. Case study: WEBSOM WEBSOM (Web Self Organizing Map) on informaatiotekniikan laboratoriossa prof. Teuvo Kohosen johdolla kehitetty dokumenttien selaus- ja hakujärjestelmä Se perustuu SOM (Self Organizing Map) -neuroverkkoon Suurimmassa sovelluksessa tehtiin kartta 7 miljoonalle dokumentille, jotka ovat elektronisessa muodossa olevia patenttien tiivistelmiä WEBSOMin visuaalisen käyttöliitymän avulla voi helposti selailla tietyn alan patentteja. Ks. demo. TKK, Informaatiotekniikan laboratorio 9