Suorityskyvyn mittaaminen viittomakielisten videoiden sisältöanalyysissä. Ville Viitaniemi Tietojenkäsittelytieteen laitos 16.1.

Transkriptio

1 Suorityskyvyn mittaaminen viittomakielisten videoiden sisältöanalyysissä Ville Viitaniemi Tietojenkäsittelytieteen laitos

2 Viittomakieli tapa jolla kuurot viestivät keskenään Suomessa n ihmisen äidinkieli poikkeaa täysin puhutusta suomen kielestä viittomakielet erilaisia mm. eri maissa

3 Viittomakielen tallentaminen videokuva ainoa käytännössä järkevä tallennusformaatti viittomakielessä monta samanaikaista rinnakkaista informaatiokanavaa käsien paikat (2 kättä, 3D) + liiketila käsien muodot huulio silmät/kulmakarvat pään kierto (3 akselia) muiden kehon osien sijainti/liike

4 Kielentutkimus viittomakielen kieliopin ja muun lingvistiikaan tuntemus alkeellisella tasolla verrattuna puhuttuun kieleen perusasioitakin tutkittava nykyisin lingvistisessä tutkimuksessa suosittua korpuslähtöinen lähestymistapa

5 Kielentutkimus viittomakielen kieliopin ja muun lingvistiikaan tuntemus alkeellisella tasolla verrattuna puhuttuun kieleen perusasioitakin tutkittava nykyisin lingvistisessä tutkimuksessa suosittua korpuslähtöinen lähestymistapa 1. Tutkija katselee läpi suuren videoaineiston

6 Kielentutkimus viittomakielen kieliopin ja muun lingvistiikaan tuntemus alkeellisella tasolla verrattuna puhuttuun kieleen perusasioitakin tutkittava nykyisin lingvistisessä tutkimuksessa suosittua korpuslähtöinen lähestymistapa 1. Tutkija katselee läpi suuren videoaineiston 2. Tutkija muodostaa teorian tai hienosäätää sitä näkemänsä perusteella

7 Kielentutkimus viittomakielen kieliopin ja muun lingvistiikaan tuntemus alkeellisella tasolla verrattuna puhuttuun kieleen perusasioitakin tutkittava nykyisin lingvistisessä tutkimuksessa suosittua korpuslähtöinen lähestymistapa 1. Tutkija katselee läpi suuren videoaineiston 2. Tutkija muodostaa teorian tai hienosäätää sitä näkemänsä perusteella

8 Videoiden sisällön automaattinen analysointi motivaatiomme: helpotetaan kielentutkijan rutiinityötä rakennetaan järjestelmä, joka analysoi ja mittaa videoiden sisältöä automaattisesti muitakin motivaatioita järjestelmien tekemiselle on esim. automaattinen kääntäminen viittomakieltä taitamattomille järjestelmät eivät vielä toimi kovin hyvin/kattavasti

9 Suorituskyvyn mittaaminen järjestelmän kehittämisen voi tulkita suorituskyvyn maksimointiongelmana miten mitata analyysin suorituskykyisyyttä? olemme laatineet suorituskyvyn mittaustavan, jonka aiomme julkistaa myöhemmin keväällä perusajatus: eri sovelluskohteissa tarvittavan videonalyysin peruskomponentit ovat samankaltaisia valitaan siis yksi erityinen sovelluskohde ja mitataan suorituskykyä siinä

10 Benchmark 1) määritellään/asetetaan saataville videoaineisto

11 Benchmark 1) määritellään/asetetaan saataville videoaineisto 2) määritellään tehtävä ja oikeat vastaukset

12 Benchmark 1) määritellään/asetetaan saataville videoaineisto 2) määritellään tehtävä ja oikeat vastaukset 3) määritellään numeeriset hyvyysmitat, joilla automaattisen järjestelmien antamia tuloksia verrataan oikeisiin vastauksiin

13 Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja

14 Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja SANAKIRJASANA mustikka

15 Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja SANAKIRJASANA mustikka ESIMERKKILAUSE 1 Survotut mustikat talkkunajauhon kanssa ovat todellista herkkua.

16 Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja SANAKIRJASANA mustikka ESIMERKKILAUSE 1 Survotut mustikat talkkunajauhon kanssa ovat todellista herkkua. ESIMERKKILAUSE 2 Uusi mustikkajuoma on hyvää vatsalle.

17 Videoaineisto SUVI, suomalaisen viittomakielen verkkosanakirja SANAKIRJASANA 1219 sanakirjasanaa 4342 esimerkkilausetta mustikka ESIMERKKILAUSE 1 Survotut mustikat talkkunajauhon kanssa ovat todellista herkkua. ESIMERKKILAUSE 2 Uusi mustikkajuoma on hyvää vatsalle.

18 Tehtävä Järjestelmälle näytetään video sanakirjasanasta. Tehtävänä paikallistaa sanakirjasanan esiintymät esimerkkilauseissa. oikeat vastaukset eräs viittomakieltä taitava opiskelija katseli materiaalin läpi (noin kuukaudessa) ja merkitsi muistiin esiintymien ruutuvälit

19 Hyvyysmitat OIKEA VASTAUS

20 Hyvyysmitat OIKEA VASTAUS AUTOMAATTISEN JÄRJESTELMÄN TULOS

21 Hyvyysmitat OIKEA VASTAUS AUTOMAATTISEN JÄRJESTELMÄN TULOS 1. karkeat: löytyi - ei löytynyt

22 Hyvyysmitat OIKEA VASTAUS AUTOMAATTISEN JÄRJESTELMÄN TULOS 1. karkeat: löytyi - ei löytynyt 2. ruutukohtaiset: 5/6=83% ruuduista löytyi 5/7=71% löydetyistä ruuduista oikeita

23 Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen sanakirjasana t esimerkkilause

24 Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen t esimerkkilause

25 Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen t esimerkkilause

26 Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen t esimerkkilause

27 Yksinkertainen esimerkkitoteutus perustuu ihojakaumien sovittamiseen dynaamista ajanvenytystä (dynamic time warping, DTW) käyttäen t etäisyysmittaan summataan vastinruutujen väliset etäisyydet esimerkkilause

28 Yksinkertainen esimerkkitoteutus suorituskyky 47% sanakirjasanojen esiintymistä löytyy ruuduista 50% löytyy 46% löydetyistä ruuduista oikein