Annotaatioon liittyvä ydinkäsitteistö

Transkriptio

1 Annotaatioon liittyvä ydinkäsitteistö Mietta Lennes 27. marraskuuta 2002 Ydinkäsitteitä *aivastus (sneeze) Merkintä: [.sneeze] *annotaatio (annotation) Jonkin tallenteen (puhe, video, teksti tms.) määrättyyn ulottuvuuteen (ts. tallenteen osaan tai pisteeseen) liitetty kuvaus tai representaatio (symbolinen tai ei). Annotaatio siis liittyy joko segmenttiin tai ankkuriin, jotka taas viittaavat tiettyyn tallenteeseen. Yksittäisen annotaation sisältämää kuvausta kutsutaan myös nimikkeeksi. Esimerkkejä: Äänisignaalista tehty transkriptio on annotaatio, kun se on liitetty äänisignaalin aikaulottuvuuteen. Erilaiset tekstin joukkoon lisätyt tagit (tag) ovat annotaatioita. Samalla tallenteella voi olla useita rinnakkaisia annotaatioita. Mutta: jollakin perusteella pitänee kuitenkin määritellä, mikä rinnakkaisista annotaatioista on oletusannotaatio? Ehkä tietokannan käyttäjä määrittelee preferenssinä suosikkiannotoijansa? Ehdotus: kun annotoija tarkastelee tai muuttaa jonkun toisen tekemää annotaatiota, hän voi samalla merkitä tiettyjä annotaatiotasoja tai niiden osia sellaisinaan hyväksytyiksi. Näin saadaan käyttöön mahdollisimman paljon useamman henkilön tarkastamia annotaatioita. Hakuvaiheessa hakukone voi sisällyttää hakuun tietystä tallenteesta vain ne osat, jotka ovat käyttäjän suosikkiannotoijien tekemiä tai hyväksymiä. *annotaatioalue, annotaatiodomeeni (annotation domain) Joukko annotoitavia ilmiöitä, jotka ainakin löyhästi liittyvät samaan aihealueeseen. Annotaatioalueet eivät ole ehdottomia tietokannan rakenteen kannalta, ja käsitteet tietyllä annotaatioalueella voivat olla tiiviissäkin yhteydessä jonkin toisen alueen käsitteisiin. *annotoija (annotator) Annotaatioiden laatija. Sisältyy tallenteeseen liittyvään metadataan. Samalla tallenteella voi olla useita annotoijia ja vastaavasti useita rinnakkaisia annotaatioita. Annotoijaa koskevaa metadataa: milloin viimeksi muuttanut annotaatiotaan, onko sertifioitu annotoija,... *dialogi (dialogue) Keskustelu, johon osallistuu (aktiivisesti) kaksi puhujaa. Attribuutit: suunnittelematon puhe. *ei-kielellinen äännähdys (non-speech noise) Merkintä: [.ns] *ele (gesture) Puheeseen liittyvä vartalon tai raajojen liike. Standardit puuttuvat. ISLE: Pään eleet: rotaatio, kulma eteen/taakse, sivuttaiskulma. Käsien eleet: funktio ( osoittaminen, ei, takaisin ), modifioijat: viittaus projisoitavaan kuvaan, raaka morfologinen muoto (esim. ympyrä yhdellä kädellä ), alku- ja loppukoordinaatit. *epäselvä puhe (unclear speech) Jakso puhetta, jonka sisällöstä annotoija ei ole saanut selvää. Merkintä: [.unclear] *haukotus (yawn) Merkintä: [.yawn] *hengitys (breathing) Vaatii oman annotaatiokerroksen, koska sisään- ja uloshengitys voi esiintyä päällekkäin monen muun puheen ilmiön kanssa. Esim. sisäänhengitys puhunnoksen aikana implikoi ingressiivistä puhetta. Läheskään kaikki hengitykset eivät erotu äänisignaalissa eivätkä siis ole annotoitavissa (ilman fysiologista lisäinformaatiota). Jos hengityksen alku ja loppu ovat erotettavissa, ne eivät kuitenkaan välttämättä ole tarkkarajaisia. Attribuutit: sisään/ulos *huokaus (sigh) Merkintä: [.sigh] 1

2 *institutionaalinen puhetilanne (institutional speech situation) Puhetilanne, jossa ainakin yksi puhuja edustaa jonkinlaista muodollista organisaatiota (tai on tilanteessa ammattilainen).[?] *ilme (mimic) Kasvojen ilme. (Attribuuttina ilmeen kategoria: viha, ikävystyneisyys, ilo/onnistuminen, hämmästys, neutraali/määrittelemätön, kasvot osittain näkymättömissä. Standardit vasta kehitteillä.) *istunto, sessio (session) Lingvistisen analyysin perusyksikkö: koherentti lingvistisen toiminnan tai suorituksen tyyppi [?]. Istunto on tekninen nimitys niille metatiedoille, erityyppisille tallenteille ja annotaatioille, jotka kuvaavat samaa kielellistä tapahtumaa tai tilannetta. Istunto muodostaa kimpun tiiviisti yhteenkuuluvaa aineistoa: esim. tietystä puhujasta tehty videotallenne, kuvia hänen kodistaan, kenttähuomautuksia tapahtumapaikasta ja videotallenteeseen liittyvät multimodaaliset annotaatiot. Istunnon käsite on määritelty IMDI-standardissa. *keskustelu Puhetilanne, johon osallistuu vähintään kaksi puhujaa. Yläkäsite: puhetilanne. Alakäsitteitä: arkikeskustelu, institutionaalinen keskustelu. Attribuutit: suunnittelematon puhe. *kuiskaus (whisper) Merkintä: äänenlaatutasolla [0] *lause (clause) Alakäsitteet: päälause, sivulause. *lukupuhunta (reading aloud) Alakäsitteet: institutionaalinen ja ei-institutionaalinen lukupuhunta. Attribuutit: suunniteltu puhe. *maiskaus huulilla (lip smack) Merkintä: [.ls] *maiskaus kielellä (tongue click) Merkintä: [.tc] *metatieto, metadata (metadata) Kokonaiseen puhetietokantaan tai johonkin sen sisältämään tallenteeseen liitetty yleiskuvaus, viitetiedot ja muu oheisinformaatio. EAGLES/ISLE:n yleiskatsaus kielitieteelliseen metadataan: [?] *monologi, yksinpuhelu Puhetilanne, jossa on vain yksi puhuja. Passiivisia kuulijoita voi kuitenkin olla läsnä. Yläkäsite: puhetilanne. *murre (dialect) *nauru (laughter) Merkintä: [.laugh] *nielaisu (swallow) Merkintä: [.swallow] *nimike (label) Ankkurille tai segmentille (tai näiden joukolle) annettu kuvaus tai analyyttinen merkintä, eli annotaatio. *nimikointi (labeling) Puheen symbolisten kuvausten (transkriptioiden) liittäminen segmentoituun puhetallenteeseen. *noodi/ankkuri näyte (sample) tai indeksoitu yksikkö (esim. tekstitallenteessa merkki). Tietty tallenteen piste tai paikka, johon voidaan kohdistaa annotaatio tai jota voidaan käyttää segmentin alkuna tai loppuna. *puhetietokanta (speech database) Järjestetty kokoelma annotoituja puhetallenteita, joista voidaan tehdä hakuja (sisältää jonkinlaisen hallintajärjestelmän). Yläkäsite: puhekorpus. *puhetilanne Tilanne, jossa vähintään yksi ihminen tuottaa puhetta. Sisältyy tallenteen metadataan. Attribuutteja: puhujien kokonaismäärä tallenteessa; institutionaalinen vai arkikeskustelu; avoin/yksityinen; onko yleisöä tai tarkkailijoita läsnä; tilanteeseen liittyvät esineet; jne. Mukana voi olla vapaasanainen kuvaus, esim. syntymäpäiväjuhlat, ostoksilla, kaupan takahuoneessa. Alakäsitteitä: monologi, keskustelu. Assosiaatiot: tapahtumapaikka. *puhuja (speaker) Puhetietokannan sisältämissä tallenteissa esiintyvän puhujan pysyvät tiedot puhetietokannan metadatassa, tai puhujan muuttuvat tiedot kunkin relevantin puhetallenteen metadatassa. Kummassakin tapauksessa tiettyyn puhujaan viitataan ainutkertaisella ID-koodilla. Myös jossakin tallenteessa esiintyvällä tunnistamattomalla puhujalla on oma ID-koodi, vaikkei hänestä tiedettäisi mitään muuta. Puhujan pysyvät attribuutit: ID-koodi, sukupuoli, syntymäaika, syntymäpaikka, vanhempien murteet 2

3 Puhujan muuttuvat l. tallennekohtaiset attribuutit: kielitaito, asuinpaikat, koulutus, ammatti, uskonto, puolison murre, lasten määrä; rooli ko. puhetilanteessa; suhde kuhunkin toiseen puhujaan; palkkio tms. korvaus; lupa tallenteen käyttöön *puhujat (speakers) Tallenteen aikana esiintyvien puhujien ID-koodit. Tallenteeseen liittyvää metatietoa. *puhujien lukumäärä (number of speakers) Puhujien kokonaismäärä tallenteen aikana. Tallenteeseen (tai koko istuntoon) liittyvää metatietoa. Puhujien kokonaislukumäärä voidaan ohittaa alemman tason annotaatiossa esim. kun puhujia liittyy mukaan tai poistuu keskustelusta. *puhujien visuospatiaalinen suhde (visuospatial relationship between speakers) Puhujan suhde tilassa kuhunkin toiseen puhujaan. Attribuutit: näkyvyys, kanava (esim. puhelin), fyysinen välimatka. (voidaan ohittaa alemman tason annotaatiossa, jos muuttuu) *puhunnos (utterance) Jakso, jonka aikana puhuja yhtäjaksoisesti puhuu (artikuloi). Puhunnoksen voi päättää tauko, hengitys (jonka aikana ei artikuloida), täytetty tauko, tms. *rykäisy (clear throat) Merkintä: [.ct] *sane, sananmuoto (word form, token) Sana siinä muodossa kuin se puheessa esiintyy, kaikkine affikseineen. Attribuutteja: sanaluokka, lemma, (onko myöhäinen laina,) onko vierasta kieltä Mahdollisia merkintätapoja eri tasoilla: ortografinen, ortokrafine, [saneen foneettinen transkriptio]. *segmentointi (segmentation) Erilaisten yksiköiden (ajallisten) alku- ja loppupisteiden etsiminen ja merkitseminen puhe- tms. signaalista. Tuloksena segmenttejä. *segmentti (segment) Puhe-, video- tms. signaalin osa, jolla on määrätty alku- ja loppupiste, eli segmentti liittyy kahteen eri kohdissa signaalia olevaan ankkuriin. (Huom. yksittäinen, jollakin periaatteella signaalista määritetty piste ei ole segmentti vaan ankkuri.) *suunniteltu puhe (planned speech) Puhetyyli, jossa puhujan puhe on suunniteltu etukäteen, esim. hän lukee ääneen, puhuu ulkomuistista tai näyttelee. Alakäsitteet: suunniteltu institutionaalinen puhe, suunniteltu ei-institutionaalinen puhe, suunniteltu puhe koetilanteessa. *suunnittelematon puhe (unplanned speech) Puhetyyli, jossa puhujan puhetta ei ole suunniteltu etukäteen. Alakäsitteet: suunnittelematon institutionaalinen puhe, suunnittelematon puhe kontrolloidussa koetilanteessa ja suunnittelematon ei-institutionaalinen puhe. *tallenne (record) Tarkoittaa tässä vain digitaalisia tallenteita, jotka on mahdollista liittää puhetietokantaan. Yläkäsite: istunto. Alakäsitteitä: äänitallenne, videotallenne, tekstitallenne. Metadataa: Attribuutteja: *tunniste, *nimi, *koko, *tyyppi, *formaatti, tapahtumapaikan kuvaus, tallennusvälineet, äänitysajankohta, muutosajankohdat, äänittäjä, aihe, kuvaus, julkaisija, toimittaja, lähde, kieli, suhde, kattavuus, *oikeudet. Assosiaatiot: puhetilanne (kuuluu myös tallenteen metadataan). *tapahtumapaikka (setting) Yleiskuvaus paikasta, josta istunnon sisältämä aineisto on kerätty. Assosiaatiot: puhetilanne. *tauko (pause) Puhetallenteen segmentti, jonka aikana puhuja ei artikuloi. (Huom. muut prosodiset rajat, esim. intonaatioyksiköt, merkitään erikseen ja ne kuuluvat prosodiseen alueeseen.) *transkriptio (transcription) Puhetallenteen tai sen osan symbolinen kuvaaminen. Edellyttää aina tulkintaa. Tiukasti määriteltynä transkriptio on annotaation alakäsite vain siinä tapauksessa, että transkriptio on jollakin tavalla liitetty siihen tallenteeseen, jota se kuvaa. *vuoro, puheenvuoro (turn) 1) saman puhujan tietyssä keskustelussa tuottama puheen jakso, jonka aikana muut eivät puhu päälle (vallitseeko keskusteluntutkimuksessa nykyään? voiko sisältää taukoja ja kuinka pitkiä?) tai 2) saman puhujan tietyssä keskustelussa tuottama puheen jakso, jonka aikana muut samaan keskusteluun osallistuvat puhujat eivät keskeytä häntä (esim. tauot, minimipalautteet, epäonnistuneet keskeytysyritykset sallittaisiin) Huom. Vuoron määrittely ei tässä vaiheessa ole välttämätöntä, koska vuoron käsite voidaan molemmissa 3

4 tapauksissa johtaa muista annotaatioista. (Attribuutteja: ks. kommunikatiivinen akti.) *yleisö (audience) Yksi tai useampia ihmisiä, jotka ovat läsnä puhetilanteessa, mutteivät osallistu siihen puhujina. Yleisö voi joko yksinomaan tarkkailla tai myös antaa merkkejä hyväksynnästä (nyökkäykset, suosionosoitukset). Puhujat ovat tietoisia yleisöstä. Yleisö voi olla myös esim. kokeen johtaja. Yleisön läsnä- /poissaolo on istuntoon tai tallenteeseen liittyvää metatietoa (puhetilanteen attribuutti). *yskiminen (cough) Merkintä: [.cough] *äänenlaatu (voice quality) Puhujan tuottaman soinnin laatu, esim. modaaliääni, narina, henkäyssointi, falsetti ja kuiskaus. Vaatii oman annotaatiotasonsa, koska voi esiintyä päällekkäin muiden ilmiöiden kanssa. Äänenlaatuilmiöiden luokittelu on vaikeaa ja tutkimuksissa on todettu, että ihmiset kykenevät erottamaan lähinnä vain narinaäänen melko luotettavasti [?]. Merkintäehdotus: glottalisaatio [?], henkäyssointi [Hv], kuiskaus [0],... (modaaliääntä ei tarvitse merkitä) *äänne, fooni (sound, phone) Pienin mahdollinen kvalitatiivinen (= laadullinen) puheen segmentti, joka kuulon avulla voidaan erottaa muista segmenteistä. Esim. brit. engl. sanassa <church> kirkko, jonka kirjoitusasussa on kuusi kirjainta, voidaan erottaa viisi äännettä. Sana alkaa ja päättyy affrikaattaan [ts], jonka kaksi segmenttiä ([t] ja [S] = suhu-s) voidaan erottaa kuulon avulla. Fonologisesti sanassa on kuitenkin vain kolme foneemia, koska affrikaatta on itsenäinen foneemi. Tietyissä tapauksissa äänne ja #piirre# voivat olla vaikeasti erotettavissa: voimakas aspiraatio on kuultavissa (esim. englannissa vokaalin edessä [p]:ssä sanassa <pea> papu ) ja voi olla kestoltaan tavallisen äänteen mittainen ja muodostaa oman, puheen virrasta erottuvan segmentin[?]. Merkintä: [foneettinensymboli( tarke)( tarke)]. Annotaatiodomeenit Akustis-laskennallinen annotaatiodomeeni akustis-laskennallinen annotaatiodomeeni (acoustic-computational annotation domain) Tämän annotaatiodomeenin käsitteet ovat automaattisesti tai puoliautomaattisesti johdettavissa muusta tietokannan informaatiosta. Millaista akustista ja laskennallista tietoa tietokantaan pitäisi välttämättä tallentaa? Ylimääräiset mittaukset ja tiedot vievät tallennustilaa, mutta usein käytettävät ja raskaat analyysit voidaan suorittaa ja päivittää offline, jolloin ne ovat heti käyttäjän ulottuvilla. Foneettinen annotaatiodomeeni foneettinen annotaatiodomeeni (phonetic annotation domain) Annotaatiodomeeni, jossa kuvataan foneettista tulkintaa vaativat ilmiöt. prosodinen annotaatiodomeeni (prosodic annotation domain) Puheen sävelkulkua, painotusta ja kestoja käsittelevä annotaatiodomeeni. Sisältyy osana foneettiseen domeeniin. Lingvistinen (kielellinen) annotaatiodomeeni lingvistinen annotaatiodomeeni (linguistic annotation domain) Lingvististä tulkintaa vaativat annotaatiot. morfologinen annotaatiodomeeni (morphological annotation domain) Morfologisten annotaatioiden muodostama kokonaisuus. Syntaktinen annotaatiodomeeni syntaktinen annotaatiodomeeni (syntactic annotation domain) Lauseiden rakenteeseen liittyvät annotaatiot. 4

5 Tekstuaalinen annotaatiodomeeni tekstuaalinen annotaatiodomeeni (textual annotation domain) Annotaatiodomeeni, joka koskee tekstitallenteita tai lukupuhuntaa (kirjoitetun tekstin piirteiden annotointi). Semanttis-pragmaattinen annotaatiodomeeni semanttis-pragmaattinen annotaatiodomeeni (semantic-pragmatic annotation domain) Annotaatiodomeeni, joka koskee tekstitallenteita tai lukupuhuntaa (kirjoitetun tekstin piirteiden annotointi). Paralingvistinen annotaatiodomeeni paralingvistinen annotaatiodomeeni (paralinguistic annotation domain) Puheen paralingvistisiä ominaisuuksia käsittelevät annotaatiot. Diskurssiannotaatiodomeeni diskurssiannotaatiodomeeni (discourse annotation domain) Annotaatiodomeeni, joka käsittelee puheen vuorovaikutuksellisia piirteitä. Visuospatiaalinen annotaatiodomeeni visuospatiaalinen annotaatiodomeeni (visual annotation domain) Näköaistiin ja siihen pohjautuvaan kommunikaatioon liittyvien käsitteiden muodostama kokonaisuus ja annotaatiodomeeni. Eleet, ilmeet. Haptinen annotaatiodomeeni haptinen annotaatiodomeeni (haptic annotation domain, tactile annotation domain) Kosketus- ja tuntoaistia käsittelevä annotaatiodomeeni. Mittausannotaatiodomeeni mittausannotaatiodomeeni (measurement annotation domain) Annotaatiodomeeni, joka koskee sellaisia mitattuja fysiologisia signaaleja, joihin edellämainitut annotaatiot eivät sovellu. Esim. artikulaatioon liittyvät mittaukset, aivosähkökäyrä (EEG), tms. Muita mahdollisesti tarvittavia käsitteitä Eleiden luokittelua deiktinen ele (deictic gesture) Osoittamiseleitä, joilla merkitään joko läsnäolevaa objektia tai henkilöä tai abstraktia entiteettiä kuten se oli hyvin valmisteltu ja [se] oli hyvä juttu, missä [se]-sanan aikana esiintyy osoittava ele, joka viittaa se oli hyvin valmisteltu. emblemaattinen ele (emblematic gesture) Ele, johon liittyy kulttuurisidonnainen viesti joka olisi myös ilmaistavissa sanoin; esimerkiksi peukalot pystyyn -ele. ikoninen ele (iconic gesture) Ele, joka on jossakin suhteessa samanaikaisen puheen sisältöön, esim. kirjoituseleen tekeminen, kun pyydetään allekirjoitusta. Attribuutteja: muoto = muoto tai toiminta, johon ele viittaa. iskuele (beat gesture) Rytminen liike, joka esiintyy sanan tai ilmauksen yhteydessä, muttei ole missään visuaalisessa suhteessa kielelliseen sisältöön. lokaatio (location) Korkeus ja lateraalinen asema eleavaruudessa. Eleen ominaisuus. metaforinen ele (metaphoric gesture) Ikonisen eleen sukulainen, joka on metaforisessa suhteessa puheen sisältöön, esimerkiksi palikan piirtäminen kädellä ilmaan, kun palikka kuvaa vaikkapa taloa tai pankkitiliä. 5

6 Muita käsitteitä lingvistinen signaali (linguistic signal) Aikasidonnainen, kielellisestä toiminnasta tehty tallenne (Steven Birdin määritelmä). Esimerkkejä: kielellistä toimintaa kuvaava ääni-, video- tai fysiologinen tallenne, jokin näistä johdettu signaali (esimerkiksi perustaajuus), tai teksti. Lingvistinen signaali indeksoidaan joko näytteinä (sample) tai tekstin kohdalla merkkeinä (character). tavu (syllable) Tavu on puheentuoton eräs perusyksikkö. Tavun sisäisessä rakenteessa erotetaan tavun keskus (centre, nucleus), tavun avaava segmentti (onset) ja tavun päättävä segmentti (coda). Tavunrajaa ei kuitenkaan ole aina helppoa määrätä.[?] Fonologinen tavurakenne voi erota huomattavasti foneettisesti toteutuneesta äännejonosta. Yläkäsite: sana (tavu ei ole mahdollinen ilman tunnistettavaa sanaa?). Merkintä: [tavu] (omalle annotaatiotasolleen) funktionaalinen tyyppi (functional type) Saneen attribuutti. Arvoja: negaatio; modaalinen (välttämättömyys, mahdollisuus); episteeminen (tieto, usko); 3-ulotteiset suhteet objektien välillä, kausaaliset suhteet asiantilojen välillä, deiktiset funktiot (henkilö, spatiaalinen, temporaalinen); palautefunktio, oman kommunikaation hallinta; muu? kommunikatiivinen akti (communicative act) Yhteisesti hyväksyttyä ja kaikkiin tapauksiin sopivaa perusluokitusta ei ole, mutta periaatteessa tällainen informaatio on mahdollista annotoida tutkijan omien mieltymysten mukaan. (Miten määritetään puheen tai eleen segmentti, johon tietty akti liittyy?) Olisi ehkä mahdollista jaotella puheenvuorot seuraavasti: partikkelivuoro, lauseke, lause, moniyksikköinen (multiunit turn). Voisi myös merkitä helposti tunnistettavia rakenteellisia piirteitä: interrogatiivi (hakukysymys tai ko-kysymys), deklaratiivi, eksklamatiivi. Sekalaisempia esimerkkejä: väite/toteamus, ymmärrys, kysymys, vastaus, vahvistus, avaus, lopetus, varmistus, kiittäminen, toisto, uudelleenmuotoilu, jatkokehotus, odotus, korjaus, toistopyyntö, hyväksyntä, vahvistuspyyntö, täydennys/selvennys, anteeksipyyntö, selitys, epäröinti, keskeytys, vitsi, vuoron pitäminen, vastalause, tarjous, muistutus, johtopäätös, pyyntö, itsen vahvistus, määrittely, esittäytyminen, muu (epäselvä). 6