Viittomien animoinnista

Transkriptio

1 Helsingin Yliopisto Yleisen kielitieteen laitos Kandidaatintutkielma Viittomien animoinnista Sari Hyvärinen Ohjaaja: Kimmo Koskenniemi Helsinki,

2 Sisältö 1 Johdanto 3 2 Viittomien animoinnin kehitys Animoinnin historian lyhyt oppimäärä Animointi vs. videointi Viittomien animoinnin sovelluksia Kommunikaation ja tiedonkulun parantaminen Asiakaspalvelutilanteet Opetuskäyttö Viittomakielen tutkimus Viittomien rakenne ja sen toteutuminen animoinnissa Viittomakielen rakenne ja sen tutkimus Suomalaisen viittomakielen lingvistinen tutkimus Optinen fonetiikka Viittomakielen kuvaus eri projekteissa Foneemien animoinnin tarkkuus Rakenteen kuvaus notaatiomenetelmillä Rakennemallit vs. animointi Kieliteknologiset menetelmät animointiprojekteissa Luonnollisen kielen prosessointi, NLP Animointitekniikat ja projektien luokittelu ViSiCAST: Visia Tallennus ja visualisointi Muunnos tekstistä liikedataksi Muunnos liikedatasta web-sivuksi Muista viittomien animointiprojekteista Suomalaisen viittomakielen animoinnista Katsaus suomalaisen viittomakielen animointimahdollisuuksiin Suomalaisista projekteista Tekniikoiden saatavuus Lopuksi 24 A APPENDIX: ViSiCAST-projektin esite 26 B APPENDIX: Viittomia HamNoSys-notaatiolla 27 1

3 C APPENDIX: esign: SiGML ja prosessit 28 D APPENDIX: ViSiCAST:n graafinen esitys 29 2

4 1 Johdanto Viittomien animointi on viittomien kuvaamista ja elävöittämistä liikkuvan kuvan avulla. Tässä työssä kartoitan aluksi viittomien animoinnin tilannetta maailmalla, mitä kieliteknologia menetelmiä niissä on käytetty sekä tarkastelen lopuksi näitä tietoja suhteessa tilanteeseen Suomessa. Erilaisista animointivariaatioista kerron aluksi tarkastellessani animoinnin historiaa, mutta keskityn enimmäkseen kuvaamaan tietokoneanimaationa toteutettuja viittovia ihmishahmoja, ns. signing avatar -järjestelmiä, ja niissä sovellettua kieliteknologiaa. Pikainen etymologinen katsaus sanan Avatar alkuperään kertoo, että sana on kotoisin sanskritin kielestä ja tarkoittaa inkarnaatiota 1 tai manifestaatiota, konkreettista ilmentymää 2, 3. Tässä työssä siis tutkitaan viittovan ihmisen ilmentymää tietokoneelle animoituna hahmona. Aloitan tämän katsauksen viittomien animointiin kertomalla viittomien kuvauksen historiasta sekä tarkastelemalla viitottujen kielten rakenteen kuvaamista animointisovelluksissa. Näiden alustavien lukujen jälkeen esittelen ulkomaisia viittomien animointiprojekteja, joista keskityn kuvaamaan tarkimmin eurooppalaista ViSiCAST-projektia sekä hieman myös sen jatkoprojektia esign. ViSiCAST-projekti on tämän tutkimustyöni alkuvaiheessa löytämistäni projekteista parhaiten dokumentoitu, ja siinä on tuotettu useampia signing avatar -prototyyppejä, joista esittelen tässä työssä tarkemmin yhden. esignprojektissa taas on jatkettu ViSiCASTissa aloitettua työsarkaa. Tutkimukseni ulottuessa useamman vuoden ajalle ovat tieto- ja mobiilitekniikka kehittyneet huimasti, ja maailman markkinoille on tullut sekä demo-versioita että lopputuotteita sovelluksista, joissa viittomien animointi on jo käytössä henkilökohtaisella tietokoneella, Internetissä tai mobiililaitteissa. Esittelen tässä työssä siis hieman alan uusimpia virtauksiakin. Muita animointiprojekteja käyn läpi pintapuolisesti antaakseni yleiskuvan maailmalla tehtävästä viittomien animoinnista ja kerätäkseni tietoa siitä, millainen toteutus ja mitkä kieliteknologian menetelmät vaikuttavat lupaavimmilta näissä animointisovelluksissa. Lupaavaksi tässä tutkimuksessa katsotaan se, että avatar olisi toteutettavissa suhteellisen helposti yleisesti saatavilla olevilla tekniikoilla ja että viittomien animoinnin tuloksena on mahdollisimman luonnollisen näköistä viittomista. 1 incarnation in Sanskrit 2 an embodiment or concrete manifestation 3 Online Sanskrit Dictionary: 3

5 Kuva 1: Viittoma LOHIKÄÄRME piirrettynä. (Puistolinna, 2003) 2 Viittomien animoinnin kehitys Viittomien kuvauksen kehityskaari kulkee käsi kädessä eri tekniikoiden kehityksen kanssa: käsin piirretyistä yksittäisistä kuvista valokuviin, sitten videoihin ja lopulta tietokoneanimaatioihin. Tosin näistä tekniikoista on olemassa joukko erilaisia yhdistelmiä, joten kehitysvaiheet eivät todellisuudessa ole näin selvärajaisia. 2.1 Animoinnin historian lyhyt oppimäärä Viittomakieliä on kuvattu jossakin muodossa 1800-luvulta lähtien. Aluksi viittomakielten kuvaamiseen käytettiin piirroksia ja sittemmin valokuvia, joihin lisättiin manuaalisesti viittomien liikkeitä ja suuntaa kuvaavia nuolia ja muita kuvioita eli nuolitus (Savolainen, 2000, s. 190). Vaihtoehtoisesti käytettiin joko päällekkäisiä kuvia tai useampaa piirros- tai valokuvaa edustamaan viittoman eri vaiheita, joiden kuvaaminen yhdessä kuvassa ei onnistunut. Näitä viittomien kuvaustapoja käytetään edelleenkin niiden helpon ja edullisen tuottamistavan vuoksi (esim. kuva 1). Seuraava kehitysvaihe viittomien kuvauksessa on ns. elävä kuva (Savolainen, 2000, s. 189) eli viittomien tallennus videolle joko kokonaisina kertomuksina tms. tai yksittäisinä viittomina, jotka on eri tietokoneohjelmien avulla liitetty peräkkäin tarpeen mukaan. Tämä onkin Savolaisen (mp.) mukaan ensimmäinen varsinainen viittomakielten muistiinmerkitsemistapa, koska viittomakielillä ei ole kirjoitettua kirjakieltä. Muita tapoja kuvata viittomakieltä ovat seuraavat: viittomien tuottamisen kuvaus puhutulla kielellä, 4

6 mikä on melko työlästä; glossit eli suuraakkosin kirjoitetut puhutun kielen mukaiset käännösvastineet viittomalle (ks. kuva 1) - nämä kuitenkin kattavat usein vain osan viittoman merkityksestä eivätkä kerro viittoman tuottamistavasta mitään; olemassa olevat viittomakielten varsinaiset kirjoitusjärjestelmät, jotka eivät kuitenkaan sovellu arkipäivän kirjoitusmenetelmäksi, koska niiden merkintätapaperustuu lingvistiseen analyysiin ja on näin ollen liian monimutkainen esim. nopeiden muistiinpanojen tekemiseen. (Savolainen, 2000, s ). Ensimmäiset viittomien animointijärjestelmien prototyypit kehitettiin 1980-luvun alussa, jolloin virtuaaliset hahmot olivat yksinkertaisia tikkuukkoja ja liikkeet suhteellisen kömpelöjä. Grieve-Smithin (2002) mukaan viittomasynteesin kehitys lähti tällöin samasta vaiheesta, mistä puhesynteesi lähti 1950-luvulla: tuloksena oli aluksi ymmärrettävää mutta luonnottoman näköistä, katkonaista viittomista; näissä molempien historioiden alkuvaiheen sovelluksissa oli vielä järjestelmän syötteen ja tulosteen välillä heikko vastaavuus. Kuluneen reilun 20 vuoden aikana on teknisessa kehityksessä päästy tilanteeseen, jossa tietokoneanimaatio mahdollistaa viittomasynteesin jopa kotipäätteellä. Viittomasynteesistä puhutaan kun tarkoitetaan järjestelmiä, joissa puhuttu tai kirjoitettu puhutun kielen teksti muunnetaan animoiduksi viitotuksi kieleksi - kyse on siis puheteknologian termistöä myötäillen Text- To-Speech > Text-To-Sign -järjestelmästä (Grieve-Smith, 2002). Kun teknologisen kehityksen lisäksi on myös tietämys viittomakielten rakenteesta lisääntynyt, ovat nykyiset viittomasynteesisovellukset ulkomaisten lähteiden mukaan jopa lupaavia niin viittomakielten tutkimuksen kuin kuurojen käyttäjien jokapäiväisen käytön kannalta. Kaupallisiakin viittomien animointia toteuttavia sovelluksia löytyy jo nyt, niistä suurin osa on tarkoitettu viittomakielen opiskeluun. Myös viittomasynteesiä toteuttavia prototyyppejä on testattu maailmalla ja niiden laajempaa käyttöönottoa sekä suunnitellaan että toteutetaan tällä hetkellä. 2.2 Animointi vs. videointi Savolaisen (2000, s. 189) mukaan videotallennus on tätä nykyä ainoa luonteva ja myös tarkin tapa tehdä viittomakielisiä muistiinpanoja. Videon eduksi Savolainen mainitsee lisäksi mahdollisuuden katsoa sitä sopivien ohjelmien avulla myös tietokoneessa. Animaatiotekniikasta Savolainen kuitenkin mainitsee vain nukke- ja piirrosanimaatiot, joiden tekeminen on työlästä ja joissa ei pystytä kuvaamaan viittomien foneemeja yhtä hyvin kuin mitä video ne tallentaa (mtms.). Nykyisissä viittomien animointisovelluksissa on edelleenkin tämä ongelma enemmässä vai vähemmässä määrin, mutta koska ani- 5

7 mointitekniikka ja tietokoneiden graafiset ominaisuudet kehittyvät jatkuvasti, tullee animoinnilla tulevaisuudessa olemaan oma sijansa yhtenä viittomien kuvaamismenetelmänä. Viittomien animoinnilla voidaan katsoa olevan myös etuja viittomien videointiin verrattuna. Esim. Internetistä imuroitavien animaatiotiedostojen koot ovat pienempiä kuin videoleikkeiden koot, jolloin tiedostojen lataus ja käyttöönotto nopeutuvat eikä tietokoneen muistikapasiteetti täyty kerralla. Lisäksi yksittäisistä animoiduista viittomista muodostetuissa pidemmissä lauseissa ja kertomuksissa viittominen etenee sujuvammin ja pehmeämmin, jolloin se myös edustaa luonnollisemman näköistä viittomakieltä kuin videoleikkeet, joita peräkkäin liittämällä viittomien koartikulaatio ei onnistu. (SigningAvatar TM, 2003). Tällaisen leikkaa-liimaa-menetelmän tuloksena on yleensä katkonaista, jäykkää ja näin ollen luonnotonta viittomista. Tämä videoinnin ongelma vältetään luonnollisesti sellaisissa sanakirjamaisissa sovelluksissa, joissa viittomia esitetään vain ja ainoastaan yksitellen, esim. Suvi-verkkosanakirja (Kuurojen Liitto, 2003b). Viittomien animointisovelluksiin on usein liitetty viittovan hahmon lisäksi muitakin ohjelmamoduleita, esim. sanakirja, jossa puhuttua kieltä käyttäen on selitetty viittoman merkitys. Joissakin animointisovelluksissa on myös mahdollista säädellä erikseen viittomien foneemeja, mistä on hyötyä esim. käyttäjän määritellessä uusia viittomia ohjelman viittomistoon. (SigningAvatar TM, 2003). Lisäksi tietokoneella on mahdollista tehdä viittauksia viitotun ja kirjoitetun kielen välille, mikä ominaisuus puuttuu kokonaan videosta (Savolainen, 2000, s ). Animoinnin ehkä suurin ongelmakohta on ns. ei-manuaalisten piirteiden - suun liikkeiden, kasvojen ilmeiden, kehon liikkeiden - animointi, mutta senkin toteutuksessa on tapahtunut kehitystä. Tästä on todisteena esim. espanjalaisen kuurojen liiton FESORDin tekemä animaatio, jossa viitotaan ja ilmehditään hyvinkin luonnollisen oloisesti (FESORD CV, 2003). Myös kaupallisen yrityksen (Vcom3D, Inc.) ja viittomakieltä tutkivan yliopistotahon (Gallaudet University) yhteistoimin on syntynyt hyvinkin sujuvaa viittomista tarinassa The Forest, jonka viittoo Diego-avatar (Vcom3D, 2008). Toinen animoinnin suuri ongelma on liikkeiden luonnollisuus, johon toistaiseksi paras ratkaisu on ollut y.m. tekniikoiden yhdistäminen: integroimalla oikean ihmisen liikkeisiin perustuvat motion capture -liikkeet synteettisesti toteutettuun viittomiseen saadaan mahdollisimman aidonnäköinen viittomistulos (ViSiCAST, 2002). 6

8 Kuva 2: Viittovan Maria-avatarin liikeratoja still-kuvana. (Vcom3D) 2.3 Viittomien animoinnin sovelluksia Käytännön sovelluksia tuottaneista projekteista viittomien animoinnissa esittelen tässä työssä eurooppalaisen Virtual Signing: Capture, Animation, Storage and Transmission eli ViSiCAST-projektin ( ) sekä lyhyesti sitä seuranneen Essential Sign Language Information on Government Networks eli esign-projektin ( ) (University of East Anglia, 2008). Tässä kappaleessa kerron, mihin tarkoituksiin näissä projekteissa toteutettuja sovelluksia on käytetty sekä mitä tavoitteita näillä ja niihin liittyvillä parilla muulla projekteilla on pyritty toteuttamaan Kommunikaation ja tiedonkulun parantaminen ViSiCAST-projektin tavoite noudatti EU-lainsäädäntöä, jonka mukaan kaikille EU-kansalaisille on taattava pääsy kaikkiin palveluihin. Projektissa pyrittiin parantamaan palvelujen käyttömahdollisuuksia eurooppalaisille kuuroille pienentämällä kuurojen ja kuulevien välisiä kommunikaatioesteitä. Projektissa käytettävän tekniikan avulla voitiinkin parantaa julkisten palveluiden, kaupankäynnin, viihteen, oppimisen ja vapaa-ajan mahdollisuuksien saatavuutta EU:n kuuroille kansalaisille. (ViSiCAST, 2002). ViSiCASTin jatkoprojekti esign oli myöskin kansainvälinen ja EU-rahoitteinen projekti ja jatkoi ViSiCASTissa aloitettua työtä tarjoamalla animoidun viittomisen avulla viittomakielisille tietoa hallituksen toiminnasta ja sen tarjoamista palveluista Hollannissa, Saksassa ja Isossa-Britanniassa kunkin maan hallituksen omilla web-sivuilla (University of Hamburg, 2005). Päätavoitteena oli integroida eurooppalaiset kuurot samanarvoisina kansalaisina kuurojen kanssa tietoyhteiskuntaan ja sen sähköisiin palveluihin (ns. ego- 7

9 vernment -ajatus) (University of East Anglia, 2008). esign-projekti kuului EU:n vuosina toimineeseen econtentohjelmaan, (European Digital Content on the Global Networks). Tämän ohjelman lähtökohdat olivat toisaalta markkinoiden tarpeissa, minkä nimissä projekti pyrki edistämään digitaalisten aineistojen tuotantoa, käyttöä ja jakelua Euroopassa; toisaalta projekti pyrki myös edistämään lingvististä ja kulttuurillista moniarvoisuutta maailmanlaajuisissa verkostoissa (University of Hamburg, 2005; EU, 2005). econtent-projektikin on saanut jatkoa työlleen: vuosina toimii projekti econtentplus Programme, jonka tavoitteena on yhdenmukaistaa EU-maiden digitaalisia palveluja ja kansalaisten tiedonsaantimahdollisuuksia sekä parantaa erilaisten materiaalien, esim. koulutusmateriaalien, saatavuutta ja käytettävyyttä eri kielillä (EU, 2005) Asiakaspalvelutilanteet ViSiCAST-projektin varhainen tuotos, avatar TESSA eli Text and Sign Supported Assistant, on suunniteltu kuurojen ja huonokuuloisten asiakkaiden avuksi brittiläisiin posteihin. TESSAn prototyyppi oli testattavana Lontoon tiedemuseossa yleisesti ja museon postissa erityisesti projektin kohderyhmän käytössä kesällä Tämä sovellus muuntaa virkailijan puheen puheentunnistuksen ja tietokantaan tallennettujen 500 viitotun, postin asikaspalvelussa eniten käytetyn ilmaisun avulla brittiläiseksi viittomakieleksi (British Sign Language, BSL) tai englanninkieliseksi tekstiksi. Käännöstuloksen asiakas näkee joko avatarin viittomana pienestä pöydällä olevasta näytöstä tai näytölle ilmaantuvasta englanninkielisestä tekstistä. (Tiedä, 0000; IST, 2003; ViSiCAST-projekti, 2002; EUD, 2001). Tällä sovelluksen sisältämällä aineistolla pystyttiin toteuttamaan 370 yleisintä postin palvelutapahtumaa (ViSiCAST-projekti, 2002; EUD, 2001). Puheteknologian avulla tehty käännös puheesta näytettiin tarvittaessa tekstimuodossa mm. siksi, että kuuroutta on eriasteista ja osa myöhemmällä iällä kuuroutuneista ei välttämättä osaa vielä sujuvasti viittomakieltä eikä myöskään lukea sujuvasti huulilta kuulevan ihmisen puhetta. Lisäksi on olemassa laaja joukko eriasteisesti huonokuuloisia ihmisiä, joille teksti on suuri apu meluisassa asiakaspalveluympäristössä. TESSAssa käytettyä tekniikkaa pystytään helposti käyttämään myös muihin puhuttuihin ja viitottuihin kieliin; sovellusta onkin käännetty myös ranskan, saksan, walesin ja somalin kielelle (ViSiCAST-projekti, 2002). Paranneltuja versioita TESSAsta on tarkoitus sijoittaa posteihin ympäri Britanniaa ja käyttää tätä tekniikkaa myös muihin sovelluksiin, jotka kaikki osaltaan integroivat kuuroja kuulevien maailmaan ja päinvastoin. (ViSiCAST-projekti, 2002; EUD, 2001). 8

10 2.3.3 Opetuskäyttö Viittomakielisen oppimateriaalin, viittomakielen oppimiseen tarkoitetun materiaalin tuottaminen sekä käyttöliittymän tarjoaminen Internetissä olevaan valtavaan tietomäärään on erityisen tärkeää niille yhdekselle kymmenestä kuurosta lapsesta, jotka syntyvät kuulevien vanhempien perheeseen (Vcom3D, 2003). Heillä ei ole samanlaista äidinkielistä - viittomakielistä ja -kulttuurista - ympäristöä kuin kuurojen vanhempien lapsilla. Samalla tavoin myös myöhemmällä iällä kuuroutuneet henkilöt tarvitsevat tällaista materiaalia uuden kommunikointitavan oppimiseen. Viittomien animointisovellukset ovat kohtuullisen edullinen ja melko tehokas tapa tuottaa tätä materiaalia. Lisäksi nämä ohjelmistot voidaan nykyisin sijoittaa monelle eri sovellusalustalle: oppijan omaan kiinteään tai kannettavaan tietokoneeseen, kämmen- tai taskutietokoneeseen, mobiilipuhelimeen ja Internetiin. Kuurojen lasten opetuksessa signing avatar -hahmoja voidaan käyttää opetuksen elävöittämiseen sekä joskus myös (kuurojen) viittomakielisten opettajien sekä viittomakielen tulkkien pulan vuoksi ajoittaisena opettajan korvikkeena. Nämä ohjelmat eivät korvaa ihmiskontaktia, mutta ovat tarpeen tullen hyvä apuväline kaikkien kouluaineiden opetuksessa. Esim. Vcom3D:n SignSmith TM -ohjelmistoissa on mm. sanakirja ja interaktiivinen keskusteluosuus, missä luontevan keskustelun mahdollistamiseen on käytetty myös tekoälyä (Artificial Intelligence, AI). (Vcom3D, 2003). Keskusteluosuudessa ohjelman käyttäjä kirjoittaa englantia ja avatar viittoo omat osuutensa sekä analysoi saamansa vastaukset ja keskustelee niistä käyttäjän ja muiden avatar-hahmojen kanssa. Tarinoita viittovan avatarin saa viittomaan joko englannin kielen mukaan (ns. Signed English -kielimuoto, joka ei ole luonnollista kieltä) tai luonnollisen viittomakielen (American Sign Language, ASL) mukaan. Ohjelmasta on näin ollen hyötyä sekä viittomakielen että kirjoitetun englannin kielen opiskelussa, erilaisten tarpeiden mukaan sekä kuuroille että kuuleville. Eri viittomistapoja vertailemalla opiskelija voi myös nähdä, miten viitotun ja puhutun kielen rakenteet eroavat toisistaan. (Mp.) Viimeisten viiden vuoden aikana ovat nämäkin sovellukset siirtyneet kokeiluvaiheessa olevista prototyypeistä yhä enemmän käytössä oleviksi sovelluksiksi. Muun muassa Vcom3D, Inc. (2008) on toteuttanut sotilaskäyttöön Irakiin tarkoitetun VCommunicator R Mobile -sovelluksen, jossa on eri aihealueittain tai englanninkielisen sanaston kautta katsottuna sanoja, fraaseja ja eleitä sekä puhuttuna ja kirjoitettuna arabiaksi että liikkuvan avatarin elävöittäminä taktiililla kielellä, missä esitetään kulttuuriin kuuluvat eleet ilmausten osana (mp.). Paikallisen kielen ja kulttuurin tuntemusta tarvitseville sotilaille tällainen sovellus on hyvä apuväline jokapäiväisissä paikallisten asukkaiden kohtaamisissa, sekä rauhanomaisissa että sotilaallisissa. Sovelluk- 9

11 seen on myös mahdollista itse lisätä sanoja ja ilmauksia avatarin eleiden ja ilmeiden kera. Näitä VCommunicator R -toteutuksia on saatavilla myös muihin kulttuureihin, kieliin ja käyttötarkoituksiin. (Mp.) Viittomakielen tutkimus Lingvistisessä tutkimusssa viittomien animointisovellusten etuna olisi helppo ja väsymätön toisto, hidastusmahdollisuus ja kuvakulman muuntelu viittovaan avatariin. Lisäksi ainakin osassa sovelluksista viittomia pystytään muuntelemaan parametri eli foneemi kerrallaan, jolloin yksittäinen fonologinen ilmiö voidaan eristää tutkimuskohteeksi ilman, että esim. elävien viittojien yksilöllinen käsiala häiritsee kyseisen ilmiön tutkimista. Tämä lähestymistapa ei luonnollisesti sovi luonnollisen kielen tutkimiseen sellaisena kuin se sosiaalisissa tilanteissa esiintyy, jolloin idiolektit jamuut variaatiot ovat olennainen osa kieltä ja sen tutkimusta. Viittomahäiriöiden tutkimuksessa voidaan myös hyödyntää animoitua viittomista. Nauhoittamalla videolle esim. afasiapotilaan viittomista, animoimalla se ja vertaamalla sitä toisen, terveen henkilön tai saman henkilön aiemmin animoituun viittomiseen, saadaan lisätietoa sairauden vaikutuksesta motoriseen toimintakykyyn ja sitä kautta viittomiseen erityisesti mutta myös ihmisen kielikykyyn yleensä. (Tyrone, 2001). Viittomien tietokantatallennusta animoidussa muodossa on kokeiltu osana viittovan avatarin toteutusta ainakin amerikkalaisessa viittomakielessä (ASL). Tässä vuosituhannen alussa toteutetussa projektissa on suunnattu katse tulevaisuuteen, jolloin oletetaan kuurojen voivan kantaa mukanaan kevyitä digitaalisia laitteita, joissa on toimiva käännösjärjestelmä ainakin englannista ASL:ään ja viittojana toimii avatar. (Furst ja et al., 2000). Viittomien rakennetiedot on projektissa tallennettu kahteen tietokantatauluun: käsimuototauluun ja muita viittomaa koskevia tietoja, kuten esim. käsien paikka tai paikat viittomassa, kämmenen orientaatio suhteessa viittojaan ja viittoman liikkeet. Liikkeiden sujuvuuden toteuttamiseksi on tietokantatauluihin tallennettu geometristä tietoa käsien liikkeistä viittomatilassa, mikä on hyödynnetty graafisen esityksen toteutuksessa, sekä lingvististä tietoa, josta puolestaan ovat viittomakielen tutkijat hyötyneet. (Mp.) Kolmisen vuotta myöhemmin on japanilainen projektiryhmä jo käytännössä testannut tätä perusperiaatetta eli viittovan avatarin sovellusta mukana kannettavassa laitteessa, kämmentietokoneessa (personal digital assistant, PDA). Japanilaisten projektissa käytettiin eri menetelmiä (mm. motion capture, ks. tarkemmin Y.X) liikkeiden tallentamisessa tietokantaan. (Igi ja et al., 2003). 10

12 3 Viittomien rakenne ja sen toteutuminen animoinnissa Viittomien foneemeja kutsutaan myös Stokoen luoman nimitysmallin mukaan myös kereemeiksi; samoin termiä fonologia vastaa kerologia, termiä allofoni vastaa allokeeri (Savolainen, 2000, s. 169). Stokoe johti nämä termit kreikan kielen sanasta xeír, joka tarkoittaa käsi vs. kreikan sana phone, ääni (mp.). Malm (2003) puolusti kereemi-nimitystä ja näin ollen foneemin kaksinaista määritelmää: yksi puhutuille, yksi viitotuille kielille. Malm (mp.) totesi kuitenkin, että foneemi ja fonologia -termien käyttö on vakiintunut myös viittomakielistä puhuttaessa - erityisesti tämän taustalla on ollut halu korostaa viittomakielten samanarvoista asemaa puhuttujen kielten rinnalla. 3.1 Viittomakielen rakenne ja sen tutkimus Viittomien pääfoneemeiksi luokitellaan käsimuoto, paikka eli lokaatio ja liike. Joissakin luokituksissa pääfoneemiksi lasketaan myös orientaatio eli käden suunta viittojaan suhteutettuna. Eleet, ilmeet ja huulio kuuluvat ns. ei-manuaalisiin piirteisiin, jotka ovat myös foneemeja, tosin vähemmän tutkittuja, ja vaikuttavat myös osaltaan viittoman merkitykseen. Viittomakielen viittoma vastaa suurin piirtein puhutun kielen sanaa - samassa määrin kuin mikä tahansa käännös kahden luonnollisen kielen välillä. Käsien rooli viittoman muodostuksessa jakautuu sen mukaan, kumpikätinen viittoja on: jos hän on oikeakätinen, on hänen oikea kätensä dominoiva/aktiivinen käsi ja vasen kätensä ei-dominoiva/passiivinen käsi; vasenkäsitellä viittojalla ovat käsien roolit vastaavasti toisinpäin. Viittoman muodostukseen voi osallistua vain yksi (= aktiivinen) käsi tai molemmat kädet (yksi- tai kaksikätinen viittoma). Viittoman aikana kädet voivat liikkua symmetrisesti, kuin peilikuvana toisilleen, tai asymmetrisesti, kumpikin omaa rataansa. Kuvassa 3 esitetyistä parametreista löytyy lukuisia eri yhdistelmiä ja niihin liittyy monia tarkennuksia käsimuodon (käsim), orientaation eli kämmenen suunnan, liikkeen jne. suhteen. Esim. käsimuodot voidaan jakaa seuraaviin ryhmiin: kämmen-, nyrkki- ja otekäsimuodot sekä 1 5-sormiset käsimuodot (Savolainen, 2000). Kaiken kaikkiaan käsimuotofoneemeja löytyy 39:stä noin sataan erilaista luokittelutavan mukaan (mt.), (Takkinen, 2002). Tähän laajaan valikoimaan viitataan kuvassa lyhenteellä eril eli erilaisia käsimuotoja. Viittoman liike lähtee aloituspaikasta (käden paikka: mistä) jonkin liikeradan kautta lopetuspaikkaan (liike: mihin). Kuva ei ole täysin minkään fonologisen teorian mukainen ko. puurakenteen muotorajoitusten vuoksi. 11

13 viittoma käsi liike ei-manuaaliset piirteet käsim paikka eril mistä paikka orientaatio mihin kämmen ranne sormet ilmeet eleet huulio kasvot koko keho huulet Kuva 3: Yleistetty kuva viittoman pääfoneemeista Suomalaisen viittomakielen lingvistinen tutkimus Suomalaisen viittomakielen tutkimus on alkanut vasta 1980-luvulla ja maailmallakin, ensisijaisesti USA:ssa, vasta ja 1960-luvulla, jolloin William C. Stokoe totesi kuurojen parissa työskennellessään, että heidän käyttämänsä viitottu kieli on täysin luonnollisen kielen kaltainen eikä noudata puhutun englannin rakennetta, kuten aiemmin oli luultu (Stokoe, 2001, kansilehti). Viittomakielet täyttävätkin lingvistiset luonnollisen kielen kolme pääkriteeriä: Rakennepiirteet vastaavat puhuttujen kielten kaksitasorakenteita, jossa kielen merkitykselliset perusyksiköt (sanat; viittomat) jakaantuvat pienempiin rakenneyksiköihin (foneemeihin; kereemeihin). Kielen syntymekanismi on sama niin puhutuissa kuin viitotuissakin kielissä: kieli on syntynyt spontaanisti ihmisten väliseen kommunikointiin ja se on siten syntynyt jonkinlaisessa kieliyhteisössä. Kielen käyttö vastaa puhutun kielen käyttöä kommunikointivälineenä ja erityisesti äidinkielenä, jonka lapset oppivat vanhemmiltaan samassa tahdissa kuin kuulevat lapset oppivat puhutun kielen. (Malm ja Östman, 2000, s ). Viittomakielten vähäiseen tutkimukseen on varmastikin vaikuttanut se, että jokaisessa maassa, myös Suomessa, viittomakieli on vähemmistökieli, jota puhuu yksi maan vähemmistöryhmistä. Suomessa viittomakielisten asema on kuitenkin selvästi kohentunut sen jälkeen, kun suomalainen viittomakieli (SVK) nostettiin virallisen vähemmistökielen asemaan vuonna 1995 (Kolehmainen, 2001). Myös v alkaneet viittomakieliset uutiset (Wikipedia, 2008) ovat tehneet tätä visuaalista aistikanavaa käyttävää kieltä tunnetuksi suomalaisille. 12

14 3.1.2 Optinen fonetiikka Optinen fonetiikka edustaa viittomakielten tutkimuksessa perinteisesti puheeseen keskittyneen fonetiikan näkökulmaa. Puhuttujen kielten tutkimuksessa optista fonetiikkaa vastaa lähinnä akustinen fonetiikka (Ojala ja Aaltonen, 2002), joka Hakulisen-Ojasen termistön (1993) mukaan on eräs fonetiikan kommunikaatioteoreettisista osa-alueista ja voidaan määritellä informaatiota välittävän (ääntöelimillä tuotetun) puhesignaalin akustisen rakenteen tutkimiseksi. Viittomakielen tutkimuksessa tämä voitaisiin muuntaa muotoon informaatiota välittävän (viittomakielellä tuotetun) visuaalisen signaalin optisen rakenteen tutkiminen. Optisessa fonetiikassa tutkitaan Ojalan ja Aaltosen (2002) mukaan sekä puhututtujen kielten visuaalisia kommunikointikeinoja että viitotuttujen kielten foneemeja. Fonetiikassa käytetään myös termiä viseemit kuvaamaan puhekielisen käyttämiä visuaalisia vihjeitä; näitä käytetään hyväksi mm. huulilta lukemisessa eli huulioluvussa sekä puheen tukena esim. meluisassa tilanteessa. Viseemejä myös tutkitaan Suomessa, mutta lähinnä puhesignaalin yhteydessä. (Mp.) Viittomakielten optisen fonetiikan tutkimisen uranuurtaja, amerikkalainen Sherman Wilcox on löytänyt useita yhtäläisyyksiä viitottujen ja puhuttujen kielten väliltä: mm. viittomisen ja sormittamisen koartikuulaatio, coctail party -ilmiö ja invarianssi-ongelma. Viittomakielessä koartikulaatio tarkoittaa sitä, että foneemit vaikuttavat viittomisen aikana toisiinsa ja viittominen muokkaantuu niin, että se pysyy sujuvana. Cocktail party -ilmiössä viittomakielinen henkilö valitsee yhden viestin useiden viittomakielisten viestien seasta ja keskittyy siihen. Invarianssi puolestaan tarkoittaa vaihtelua viittomissa viittojien fysiologian ja viittomistapojen mukaan (Ojala ja Aaltonen, 2002). 3.2 Viittomakielen kuvaus eri projekteissa Viittomakielen kielen rakenteellinen kuvaaminen animointiprojekteissa on edennyt puhuttuun kieleen perustuvista kielimuodoista kohti luonnollista viittomisen kuvausta. Erilaisia välikielimuotoja, kuten viitottua englantia, on edelleen käytössä sovelluksissa joko yhtenä tai ainoana kielimuotona, mutta kehityksen suunta käy luonnollisuutta eli täydellistä viittomasynteesiä kohden, mistä kerron seuraavassa tarkemmin. Monet viittomien animoinnin alkuvaiheen sovellukset ovat käyttäneet puhuttuun kieleen perustuvia kielimuotoja esitystapansa perustana, jolloin ne eivät kuvaa luonnollista viittomakieltä eikä niiden tuloksena ole viittomasynteesiä, vaan esim. jotakin seuraavista kielimuodoista: viitottua englan- 13

15 tia (Signed English, SE), viittomin tuettua englantia (Sign Supported English, SSE) tai käsitetason tarkkuudella viitottua englantia (Conceptually Accurate Signed English, CASE) eli viittomakielen ja englannin sekakielimuotoa, jota kutsutaan myös nimellä Pidgin Signed English, PSE. (Vcom3D, 2003). Esim. Sign Supported English -kielimuodossa viittomia on suurin piirtein yksi per puhutun kielen sana ja viittomat noudattavat englannin sanajärjestystä, kun taas aidossa viittomakielessä, esim. brittiläisessä BSL:ssä, yksi viittoma vastaa yhtä käsitettä, viitottaessa käytetään viittomatilaa osana kielen ilmaisuja, ja viittomakielessä on myös oma, puhutusta kielestä riippumaton syntaksinsa ja morfologiansa. (Elliot ym., 2000). Viittomasynteesi ei ole suoraa kääntämistä puhutun kielen sanoista viittomiin 1:1-käännöksillä, vaan perustuu aidon viittomakielen mukaiseen rakenteeseen (Grieve-Smith, 2002). Viittomakielellä on oma syntaksinsa eikä yksi viittoma välttämättä vastaa yhtä sanaa - aivan samoin kuin käännettäessä yhtä puhuttua kieltä toiseen puhuttuun kieleen. Täysin viittomasynteesiin perustuvat sovellukset ovat ensisijaisen tärkeitä äidinkieleltään viittomakielisille viittojille. Muiden kielimuotojen paikkaa näissä ohjelmissa puoltaa kuitenkin se, että läheskään kaikki viittomakieltä kommunikointimuotonaan käyttävät eivät ole syntyjään kuuroja eivätkä äidinkieleltään viittomakielisiä, jolloin nämä kielten välimuodot ovat heille helpompia käsiteltäviä kuin siirtyminen suoraan viittomakieleen, mikä taas on mahdollista kielitaidon karttuessa. Paras toteutusmuoto lieneekin sellainen ohjelmisto, jossa käyttäjä saa valita, mitä viittomismuotoa hän haluaa käytettävän ja valitsee esim. SE:n ja ASL:n välillä Foneemien animoinnin tarkkuus Perusongelma viittomakielen animoinnissa lingvistin näkökulmasta on, mikä käsien ja vartalon liikkeissä on lingvistisesti merkitsevää; viittomakielen tutkimuksen kannalta onkin erityisen kiinnostavaa se, kuinka tämä on ratkaistu missäkin animointihankkeessa (Savolainen, 2002b). Tämä tutkimus keskittyy viittomien animoinnin kieliteknologisiin toteutustapoihin ja sivuaa tätä aihetta vain ohimennen. Esimerkiksi amerikkalaisessa SignSynth-projektissa on ASL:n fonologia jaettu neljään alajärjestelmään: Leksikaalisia viittomia muokkaavassa fonologiassa tarkoitetaan leksikaalisilla viittomilla yleisessä käytössä ja myös sanakirjoissa olevia ns. kiinteitä viittomia ja muokkaavalla fonologialla rajallista joukkoa fonologisia parametreja - viittoman käsimuoto, paikka eli lokaatio eli 14

16 artikulaatiopaikka, käsien liike ja orientaatio eli käsien asento ja suunta suhteessa vartaloon - jotka muokkaavat viittomia. Sormitusta käytetään useimmiten puhutusta kielestä lainattujen sanojen, esim. erisnimien, esittämiseen kirjain kerrallaan, missä prosessissa esiintyy paljon erilaisia käsimuotoja. Klassifikaattoripredikaatit kuvaavat tietyntyyppisen esinejoukon ominaisuuksia, esimerkiksi ns. B-käsimuoto kuvaa litteitä ja/tai suorakaiteen muotoisia esineitä, kuten vaikkapa auton liikkumisen tapaa ja suuntaa, missä yhteydessä puolestaan käytetään paljon lokaatiota eli eri artikulaatiopaikkoja viittomille. Ei-manuaaliset piirteet tai rakenneosat, joihin kuuluvat pään liikkeiden, ilmeiden ja huulion lisäksi vartalon liikkeet, ovat myös tärkeitä viittomien merkityksen osatekijöitä. (Grieve-Smith, 2002; Vivolin-Karén ja Alanne, 2003) Rakenteen kuvaus notaatiomenetelmillä Viittomakielet ovat perinteisesti olleet kirjoittamattomia kieliä, mikä on omalta osaltaan heikentänyt niiden asemaa muiden kielten keskuudessa sekä vaikeuttanut viittomakielisten omanarvontunteen kohottamista. Erilaisia notaatiotapoja on kyllä kehitetty viittomakieliä varten, mutta toistaiseksi niistä ei yksikään ole vakiintunut yleiseksi ja yhteiseksi kirjoitusmuodoksi, mihin yksi syy on varmasti näiden usein lingvistiseen analyysiin perustuvien kirjoitusmenetelmien työläys. Yhden viittoman foneemien runsaus ja simultaanisuus aiheuttavat sen, ettei esim. muistiinpanojen tekeminen samanaikaisesti etenevästä luennosta ole mahdollista olemassa olevilla notaatiomenetelmillä. Eniten niitä onkin hyödynnetty viittomakielten tutkimuksessa sekä teknisten apuvälineiden yleistyessä erilaisissa viittomia kuvaavissa tietokoneohjelmissa, kuten esim. viittomien animoinnissa. Siinä notaatiot toimivat viittomakieltä kuvaavana välimuotona puhutun kielen tuotoksen ja virtuaalisen ihmisen, avatarin, viittomisesityksen välillä. VCom3D-yrityksen SigningAvatar TM -tekniikassa viittomien rakenteen kuvaamiseen on käytetty ASL:n glossien kaltaista skriptikieltä, jota voidaan muokata ja tuottaa tekstieditorissa tai yrityksen omilla työkaluilla (SigningAvatar TM, 2003). ViSiCAST-projektissa on käytetty XML:n ja saksalaisten kehittämän viittomakielen notaatiojärjestelmän, Hamburg Sign Language Notation System eli HamNoSysin pohjalta kehitettyä Signing Gesture Markup Language eli SiGML-kieltä (Elliot ym., 2000; Hanke ja Schma- 15

17 ling, 2004). Tämän työn liitteistä B ja C löytyy esimerkki molempien kielten mukaisesta viittoman rakenteen kuvauksesta Rakennemallit vs. animointi Takkinen: Hold-Movement-malli, uudempaa fonologiaa (Takkinen, 2002). Sekventiaalisuus vs. simultaanisuus, mm. Jantunen. SVK - lauseoppia, ks. (Rissanen, 2000). 4 Kieliteknologiset menetelmät animointiprojekteissa 4.1 Luonnollisen kielen prosessointi, NLP Luonnollisen kielen prosessointi (natural language processing, NLP) jaetaan kahteen osaprosessiin: luonnollisen kielen tuottamiseen ja luonnollisen kielen ymmärtämiseen (Reiter ja Dale, 2000, s. 2-3). Viittominen animointi edustaa näistä generointia: luonnollisen kielen generointi (natural language generation, NLG) toteutuu viittovissa virtuaalisissa hahmoissa (virtual character, VC) ja ihmisissä (virtual human, VH) sekä viittovissa avatareissa (signing avatar), jotka kaikki tarkoittavat käytännössä samaa: tietokoneanimaationa toteutettua viittomisen kuvausta animoidun ihmishahmon avulla. Animaatiotekniikan puolella puhutaan lisäksi myös animoiduista agenteista ja animoiduista humanoideista. Luonnollisen kielen prosessoinnin toinen osa-alue, luonnollisen kielen ymmärtäminen (natural language understanding, NLU) tarkoittaa viittomakielten tapauksessa viittomien tunnistusjärjestelmiä. Nämä tunnistavat viittomia niihin aiemmin syötettyjen viittomishahmojen perusteella (sign recognition), ja myös tällaisia järjestelmiä on kehitteillä. Nämä kaksi NLP:n osaprosessia ovat periaatteessa toisilleen käänteisiä, mutta käytännössä kielen ymmärtäminen tai tunnistaminen on monimutkaisempi prosessi kielen monivivahteisuuden takia: kieltä generoitaessa riittää yksikin ilmaisumuoto, mutta kielen tunnistuksessa on otettava huomioon monta rakenteeltaan erilaista ilmaisua, jotka kuitenkin tarkoittavat samaa (mts. 4). Lisäongelmana ovat kielten käyttäjien yksilölliset erot: niin puhujilla kuin viittojillakin on yksilöllinen tapansa käyttää kieltä, mistä liikkeiden tunnistusjärjestelmän (gesture recognition system) pitäisi kuitenkin löytää dialektien ja idiolektien eli alueellisten ja yksilömurteiden takaa oikea tulkinta. 16

18 4.2 Animointitekniikat ja projektien luokittelu Varsinaisia projekteissa käytettyjä animoinnin tekniikoita ei tässä työssä käsitellä sen tarkemmin kuin että ne mainitaan tässä yhteydessä: XML-kielen muunnosta, VRML-kieltä (Virtual Reality Modelling Language) käytetään avatarien ja niiden liikkeiden graafiseen toteuttamiseen tietokoneella VRML Humanoid Animation Working Groupin asettamien standardien mukaisesti (Grieve-Smith, 2002). VRML-kieleen liittyvät läheisesti myös standardit H-anim ja MPEG-4. H-anim on animointimaailman standardi ihmiskehon (luurangon ja nivelten) kuvaukseen ja esitykseen VRML:ssä. MPEG-4 toimii videokuvan tiivistysstandardina ja liittyy läheisesti edellä mainittuihin ihmiskehon kuvaustapoihin animoinnissa. (Kennaway, 2001). Viittomien animointiprojektit voidaan jaotella kahden käytössä olevan liikedatan tallennukseen liittyvän perustekniikan mukaan: joko ihmisviittojan viittomien liikkeet tallennetaan teknisin apuvälinein (motion capture - tekniikka) tai liikkeet toteutetaan täysin tietokonevoimin (synthetic signing -menetelmä). Esittelen nämä tekniikat seuraavaksi lyhyesti. Motion capture -tekniikassa viittoma tallennetaan siten, että tiedot viittoman eri foneemeista rekisteröidään syöttölaitteiden avulla: kasvojen liikkeet optisen järjestelmän avulla (ilmeet, huulio); vartalon liikkeet magneettisen puvun avulla (eleet); käden ja sormien asennot (viittoman käsimuoto) ja liikkeet data gloves -käsineillä (Verlinden, Tijsseling, ja Frowein, 2001). Näin tallennettuja viittomien eri rakenneosia käytetään avatarin liikkeiden toteuttamiseen mahdollisimman luonnollisen näköisesti. Viittomasynteesillä eli synthetic signing -menetelmällä, joka tunnetaan myös käsitteellä text-to-sign, tarkoitetaan Grieve-Smithin (2001) mukaan tapaa muuntaa viittomakieli tekstimuodosta sujuvaan keskustelukäyttöön sopivaan muotoon; viittomasynteesi on toisin sanoen puhesynteesin rinnakkaiskäsite. Niiden erona on vain aistimodaliteetti, muut erot ovat kielikohtaisia, esim. kielen rakenteeseen liittyviä, eivätkä koske itse tekniikkaa tai kielen kuvausmenetelmää. Viittomasynteesin etuna on mm. se, että avatarin ominaisuuksia on helpompi lisätä ja muuttaa kuin motion capture - tekniikassa (Verlinden, Tijsseling, ja Frowein, 2001). Projektit voidaan myös luokitella animointikohteen mukaan eli mikä ihmisvartalon osa niissä on animoitu: kasvot, kädet vai koko vartalo. Kasvoihin liittyviä, ns. Talking Head -projekteja on maailmalla paljon. Ne kuitenkin painottuvat puhesynteesiin ja äänentoistoon. Mikäli niissä on toteutettu hyvin luonnolliset kasvojen liikkeet ja selkeästi artikuloiva suu, voivat kuurotkin hyötyä niistä lukemalla animaation huuliota. Myös pelkästään käsiin keskittyviä viittomisanimointeja löytyi Internetistä. Useimmat siellä näkemistäni käsiä kuvaavista viittomissivustoista olivat kuitenkin valokuvia tai piirrok- 17

19 ViSiCAST: PALVELIN WEB-SIVU KÄYTTÄJÄ 5. Web-selain sääennusteen 1. sääennuste + viittova 2. vakiolauseet 4. Koodattuja Avatar-plugin avatar Visia 3. viittomien viittomia sisäl- viitottua esiluettelo tävä web-sivu tystä varten Kuva 4: Visia-sääennustejärjestelmän muunnosprosessit (Verlinden et al., 2001) sia, joukossa joitakin videoita, mutta animaatioistakin löytyi yhden miehen projekti HandsOn, joka on jopa palkittu innovatiivisuudesta tietokonegrafiikan alalla (Grahame, 2001). Seuraavassa keskityn kuitenkin käsittelemään projekteja, joissa on toteutettu kokonainen viittova ihminen, signing avatar. Parhaiten viittomien animointiprojekteista on dokumentoitu eurooppalainen yhteistyöprojekti ViSiCAST, joka on tuottanut jo useampia signing avatar -prototyyppejä. Esittelen niistä seuraavassa tarkimmin avatar Visian; lisäksi kerron lyhyesti ViSiCASTin jatkoprojektin esignin toiminnasta ja tavoitteista. 4.3 ViSiCAST: Visia ViSiCAST eli Virtual Signing: Capture, Animation, Storage and Transmission on EU:n IST-ohjelman (Information Societies Technology tukema projekti, jossa on mukana useita eurooppalaisia yrityksiä ja yliopistoja ja jonka sovellusalueita ovat televisio, www ja multimedia sekä asiakaspalvelutilanteet. Tavoitteena projektissa on ollut toteuttaa puoliautomaattinen käännösjärjestelmä, jossa ko. maan pääkielellä kirjoitettu teksti on käännetty maan viittomakielelle. Tämä onkin toteutettu kolmella kieliparilla: englanti ja BSL; saksa ja DGS (Deutsche Gebärdensprache); hollanti ja NGT (Nederlandse Gebarental). Projektin tuotos on Internetissä toimiva signing avatar nimeltä Visia, joka viittoo sääennusteen. Visia voi viittoa käyttäjän valintojen mukaan joko yksittäisiä viittomia tai kokonaisuuden, päivän sään. (Verlinden, Tijsseling, ja Frowein, 2001). 18

20 4.3.1 Tallennus ja visualisointi Visia-avatar on toteutettu ns. puoliautomaattisella animointitavalla, jossa animoidun hahmon liikkeet tulevat tietokantaan motion capture- tekniikalla tallennetuista ihmisviittojan liikkeistä. Visiasta on tarkoitus kehittää vielä automaattisempi animoinniltaan eli täysin viittomasynteesiin perustuva versio. Nyt toteutetussa prototyypissä on hyvin korkea resoluutio, mikä on erittäin tärkeää viittoman merkityksen kannalta, sillä esim. liikkeen nopeus, suunta ja muoto vaikuttavat suoraan viittoman merkitykseen. (Verlinden, Tijsseling, ja Frowein, 2001). Viittomisen liikkeen hidastuminen tai animointiesityksen katkeilu vaikuttaisivat merkitykseen aivan samoin kuin puhe- ja kuuloyhteyden katkeilu puheenymmärtämiseen. Viittominen visualisoidaan syöttämällä avatar-ohjelmistoon liikedata kolmesta eri järjestelmästä (ks. kappale Y.X). Avatar toistaa viittomien liikkeet näiden tietojen perusteella. Liikedata on myös mahdollista muuttaa manuaalisessa jälkiprosessoinnissa yksittäisiksi viittomiksi. Näin pilkotut viittomat tarkastetaan ja niitä muokataan tarvittaessa manuaalisesti. Visian viittomisessa on myös mahdollista käyttää muuttujia tosiaikaisen visualisointiohjelmiston avulla ja näin säätää muuttuvia tietoja tilanteen mukaan, esim. lämpötiloja, säätiloja ja tuulen ominaisuuksia. Siirtymä viittomasta toiseen eli lausetason viittominen toteutetaan ohjelmiston morffaustoiminnon avulla, jolloin viittomien koartikulaatio toteutuu. (Verlinden, Tijsseling, ja Frowein, 2001) Muunnos tekstistä liikedataksi Visian sääennustus laaditaan vapaalla lausemuodolla, joka standardoidaan projektissa luodun mallin mukaan. Lauseiden standardointimalli sisältää 20 lausemallia (sentence patterns) sekä ison valikoiman säätiedotteisiin liittyviä sanoja ja lauseita, jotka sopivat näihin lausemalleihin. (Verlinden, Tijsseling, ja Frowein, 2001). Alla on esimerkki tällaisesta lausemallista sääntöineen. Visian sisältämä lausemalli (Verlinden, Tijsseling, ja Frowein, 2001), jossa on kaksi täytettävää määrettä, on seuraavaa muotoa: "[TIME] [WEATHER CONDITION] " Hollantilaisen viittomakielen rakenteen mukainen sääntö taas noudattaa tietojenkäsittelyn perusalgoritmin rakennetta: if TIME= now and then then sign([weather CONDITION]) sign( now and then ) 19