Suorityskyvyn mittaaminen viittomakielisten videoiden sisältöanalyysissä Ville Viitaniemi Tietojenkäsittelytieteen laitos 16.1.2014
Viittomakieli tapa jolla kuurot viestivät keskenään Suomessa n. 5000 ihmisen äidinkieli poikkeaa täysin puhutusta suomen kielestä viittomakielet erilaisia mm. eri maissa
Viittomakielen tallentaminen videokuva ainoa käytännössä järkevä tallennusformaatti viittomakielessä monta samanaikaista rinnakkaista informaatiokanavaa käsien paikat (2 kättä, 3D) + liiketila käsien muodot huulio silmät/kulmakarvat pään kierto (3 akselia) muiden kehon osien sijainti/liike
Kielentutkimus viittomakielen kieliopin ja muun lingvistiikaan tuntemus alkeellisella tasolla verrattuna puhuttuun kieleen perusasioitakin tutkittava nykyisin lingvistisessä tutkimuksessa suosittua korpuslähtöinen lähestymistapa
Kielentutkimus viittomakielen kieliopin ja muun lingvistiikaan tuntemus alkeellisella tasolla verrattuna puhuttuun kieleen perusasioitakin tutkittava nykyisin lingvistisessä tutkimuksessa suosittua korpuslähtöinen lähestymistapa 1. Tutkija katselee läpi suuren videoaineiston
Kielentutkimus viittomakielen kieliopin ja muun lingvistiikaan tuntemus alkeellisella tasolla verrattuna puhuttuun kieleen perusasioitakin tutkittava nykyisin lingvistisessä tutkimuksessa suosittua korpuslähtöinen lähestymistapa 1. Tutkija katselee läpi suuren videoaineiston 2. Tutkija muodostaa teorian tai hienosäätää sitä näkemänsä perusteella
Kielentutkimus viittomakielen kieliopin ja muun lingvistiikaan tuntemus alkeellisella tasolla verrattuna puhuttuun kieleen perusasioitakin tutkittava nykyisin lingvistisessä tutkimuksessa suosittua korpuslähtöinen lähestymistapa 1. Tutkija katselee läpi suuren videoaineiston 2. Tutkija muodostaa teorian tai hienosäätää sitä näkemänsä perusteella
Videoiden sisällön automaattinen analysointi motivaatiomme: helpotetaan kielentutkijan rutiinityötä rakennetaan järjestelmä, joka analysoi ja mittaa videoiden sisältöä automaattisesti muitakin motivaatioita järjestelmien tekemiselle on esim. automaattinen kääntäminen viittomakieltä taitamattomille järjestelmät eivät vielä toimi kovin hyvin/kattavasti
Suorituskyvyn mittaaminen järjestelmän kehittämisen voi tulkita suorituskyvyn maksimointiongelmana miten mitata analyysin suorituskykyisyyttä? olemme laatineet suorituskyvyn mittaustavan, jonka aiomme julkistaa myöhemmin keväällä perusajatus: eri sovelluskohteissa tarvittavan videonalyysin peruskomponentit ovat samankaltaisia valitaan siis yksi erityinen sovelluskohde ja mitataan suorituskykyä siinä
Benchmark 1) määritellään/asetetaan saataville videoaineisto
Benchmark 1) määritellään/asetetaan saataville videoaineisto 2) määritellään tehtävä ja oikeat vastaukset
Benchmark 1) määritellään/asetetaan saataville videoaineisto 2) määritellään tehtävä ja oikeat vastaukset 3) määritellään numeeriset hyvyysmitat, joilla automaattisen järjestelmien antamia tuloksia verrataan oikeisiin vastauksiin
Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja
Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja SANAKIRJASANA mustikka
Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja SANAKIRJASANA mustikka ESIMERKKILAUSE 1 Survotut mustikat talkkunajauhon kanssa ovat todellista herkkua.
Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja SANAKIRJASANA mustikka ESIMERKKILAUSE 1 Survotut mustikat talkkunajauhon kanssa ovat todellista herkkua. ESIMERKKILAUSE 2 Uusi mustikkajuoma on hyvää vatsalle.
Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja SANAKIRJASANA 1219 sanakirjasanaa 4342 esimerkkilausetta mustikka ESIMERKKILAUSE 1 Survotut mustikat talkkunajauhon kanssa ovat todellista herkkua. ESIMERKKILAUSE 2 Uusi mustikkajuoma on hyvää vatsalle.
Tehtävä Järjestelmälle näytetään video sanakirjasanasta. Tehtävänä paikallistaa sanakirjasanan esiintymät esimerkkilauseissa. oikeat vastaukset eräs viittomakieltä taitava opiskelija katseli materiaalin läpi (noin kuukaudessa) ja merkitsi muistiin esiintymien ruutuvälit
Hyvyysmitat OIKEA VASTAUS
Hyvyysmitat OIKEA VASTAUS AUTOMAATTISEN JÄRJESTELMÄN TULOS
Hyvyysmitat OIKEA VASTAUS AUTOMAATTISEN JÄRJESTELMÄN TULOS 1. karkeat: löytyi - ei löytynyt
Hyvyysmitat OIKEA VASTAUS AUTOMAATTISEN JÄRJESTELMÄN TULOS 1. karkeat: löytyi - ei löytynyt 2. ruutukohtaiset: 5/6=83% ruuduista löytyi 5/7=71% löydetyistä ruuduista oikeita
Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen sanakirjasana t esimerkkilause
Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen t esimerkkilause
Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen t esimerkkilause
Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen t esimerkkilause
Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen t etäisyysmittaan summataan vastinruutujen väliset etäisyydet esimerkkilause
Yksinkertainen esimerkkitoteutus suorituskyky 47% sanakirjasanojen esiintymistä löytyy ruuduista 50% löytyy 46% löydetyistä ruuduista oikein