TEKNILLINEN KORKEAKOULU 22.12.2006 Tietoliikenneohjelmistojen ja multimedian laboratorio T-111.5080 Sisällöntuotannon seminaari Syksy 2006: Vuorovaikutteinen digitaalinen teatteri Ihmismallit ja niiden käyttäytyminen Meeri Mäkäräinen 60019V
Ihmismallit ja niiden käyttäytyminen Meeri Mäkäräinen TKK, Tietoliikenneohjelmistojen ja multimedian laboratorio mmakarai@cc.hut.fi Tiivistelmä Tässä tutkielmassa esitellään ihmismallien käyttöä vuorovaikutteisessa digitaalisessa teatterissa. Tutkielmassa käsitellään erilaisia ongelmia, jotka täytyy ratkaista, jos ihmisnäyttelijä halutaan korvata keinotekoisella ihmismallilla. Samalla esitellään joitakin merkittäviä ratkaisuja näihin ongelmiin. Ihmismalleja käsitellään usealla eri tasolla: ihmisen fyysisen rakenteen tasolla, yksittäisten liikkeiden tasolla, jatkuvan liikehdinnän tasolla, älyllisen käyttäytymisen tasolla sekä ihmisjoukkojen toiminnan tasolla. Kuhunkin tasoon liittyy omat ongelmansa, ja alaan liittyvä tutkimus on eri vaiheessa eri tasoilla. Tässä tutkielmassa esitellään kullekin tasolle ominaiset perusongelmat, mutta keskitytään kuitenkin enimmäkseen siihen, mikä tällä hetkellä on tutkimuksessa ajankohtaista. 1 JOHDANTO Tietokoneiden kehittyessä ihminen voidaan yhä useammassa työssä korvata koneella, ja usein kone tekeekin työn huomattavasti paremmin kuin ihminen. Näyttelijän työtä pidetään silti edelleen pelkästään ihmiselle soveltuvana työnä, eikä tietokoneella tehtyjä ihmismalleja nähdä oikeiden näyttelijöiden haastajina. Kokeellista työtä ihmismallien käytöstä näyttelijöinä on kuitenkin tehty, ja vaikka keinotekoiset näyttelijät eivät ole lainkaan oikeiden näyttelijöiden veroisia, ihmisen mallinnusta kehitetään jatkuvasti, ja ehkäpä tilanne tulevaisuudessa on erilainen. Elokuvissa tietokoneella luotuja hahmoja nähdään nykyään paljonkin, mutta vuorovaikutteisessa teatterissa tilanne on mutkikkaampi. Vuorovaikutuksen mahdollisuus vaatii ihmismallilta joustavuutta ja sopeutumista uusiin tilanteisiin. Tässä tutkielmassa esitellään keinotekoisten ihmismallien luomista ja niiden käyttäytymisen ohjaamista vuorovaikutteisen digitaalisen teatterin kontekstissa. Näkökulmaa on rajattu siten, että käsitellään ainoastaan tekniikan tarjoamia mahdollisuuksia tieteellisestä näkökulmasta, eikä oteta kantaa tekniikan mahdollisuuksien hyödyntämistä koskeviin taiteellisiin näkemyksiin. Samalla tutkielmassa esiteltävät sovellukset ovat pääosin akateemisia kokeiluja, eivätkä ne ole välttämättä olleet käytössä varsinaisissa teatteriesityksissä. Teknisen näkökulman sisällä aihetta on vielä rajattu siten, että 1
käsitellään ainoastaan ihmismallin visuaalista esitystä ja käyttäytymistä. Käsittelyn ulkopuolelle jätetään siis esimerkiksi erilaisten ihmisen tuottamien äänien mallintaminen sekä keinotekoisen puheen tuottaminen. Mitä annettavaa tämän hetken tieteellä sitten on ihmismallien käytölle digitaalisessa teatterissa? Jo 1980-luvun alussa osattiin tehdä olemukseltaan ja liikkeiltään realistisen näköisiä ihmismalleja. Magnenat-Thalmannin ja Thalmannin (2005) mukaan ihmisen mallinnuksen kehitys ei ole kuitenkaan pysähtynyt siihen, vaan sittemmin kehitystä on tapahtunut muilla osa-alueilla. Ensinnäkin hiukset ja vaatteet voidaan nykyään mallintaa siten, että niiden liikkeet näyttävät aidoilta. Nykyaikaisten ihmismallien ruumiinrakenne ja ominaisuudet ovat myös usein säädeltävissä, minkä ansiosta niillä voidaan helposti luoda eri tyyppisiä henkilöitä. Kolmantena kehitysalueena viime aikoina on ollut ihmismallien käyttäytyminen ja liikehdintä korkeammalla tasolla kuin yksittäisten liikkeiden tasolla. Tällaista korkean tason käyttäytymisen mallintamista tarvitaan erityisesti silloin, kun mallinnetun ihmisen on tarkoitus pystyä luontevaan vuorovaikutukseen oikean ihmisen kanssa. Ihmismallia rakennettaessa on yleensä järkevää erottaa eri mallinnuksen tasot omiksi osakokonaisuuksikseen. Esimerkiksi Improv-animaatiojärjestelmä (Perlin & Goldberg, 1996) koostuu kahdesta alijärjestelmästä, joista toinen käsittää hahmon animaation, sisältäen hahmon liikkeet ja niiden väliset siirtymät, toinen taas hahmon käyttäytymisen, eli hahmon päätöksenteon ja vuorovaikutuksen toisten hahmojen kanssa. Improv-järjestelmän jako osiin vastaa mieli ja ruumis -jaottelua, mutta tarkempikin jaottelu on tietenkin mahdollista. Tässä tutkielmassa käsitellään aluksi ihmisen rakenteen ja ulkonäön mallinnusta, eli keskitytään siihen, miten ihmismalli saadaan muistuttamaan ihmistä. Seuraavaksi siirrytään käsittelemään ihmisen liikkeitä, eli eri jäsenten tekemiä liikeratoja. Tämän jälkeen käsitellään liikkumista kokonaisuutena, toisin sanottuna yksittäisten liikkeiden yhdistämistä jatkuvaksi kokonaisuudeksi. Seuraavaksi käsitellään ihmishahmon korkean tason käyttäytymistä, joka sisältää mm. ulkoisiin ärsykkeisiin reagointia ja päätöksentekoa. Lopuksi tehdään vielä pieni katsaus siihen, miten ihmisjoukkoja mallinnetaan, ja miten tämä eroaa yksittäisten ihmisten mallinnuksesta. 2 IHMISEN RAKENNE JA ULKONÄKÖ Kun mallinnetaan ihmisiä, on luonnollisesti ainakin joiltakin osin mallinnettava ihmisruumiin rakenne. Luonnollisen tuloksen aikaansaamiseksi jäljitellään yleensä ihmisen anatomiaa. Yksinkertaisimmissa ihmismalleissa ihmisen anatomian perusteella mallinnetaan vain luuranko, ja luurangon päälle lisätään vartalon ulkokuori, joka voi koostua vaikkapa yksittäisiin luihin kiinnitetyistä ellipsoideista. Tällainen malli ei kuitenkaan ole ulkomuodoltaan realistinen näköinen missään asennossa. Toinen vaihtoehto on rakentaa luurangon ympärille yhtenäinen, polygoneilla mallinnettu ulkokuori, joka alkuperäisessä asennossaan näyttää realistiselta. Silloin kuitenkin ongelmana on polygo- 2
niverkon käyttäytyminen nivelten kohdalla liikkeen aikana. Realistisin tulos saadaan mallintamalla anatomian perusteella myös luurangon päällä olevat rakenteet kuten lihakset, rasvakudos ja iho. Käytännössä tämä on tietenkin haasteellista, ja näiden menetelmien kehittely on edelleen käynnissä. Tässä luvussa esitellään lyhyesti luurangon käyttö ihmismalleissa ja joustavan ihon mallintaminen. Näiden menetelmien avulla saadaan jo aikaan aika paljon ihmistä muistuttava malli. Mallin realistisuuden lisäämiseksi kuitenkin joitakin osia mallista täytyy mallintaa erillisiä menetelmiä hyväksi käyttäen. Esimerkiksi silmät on kohtalaisen helppo mallintaa kuopissaan pyörivinä palloina, joten siihen ei tässä tutkielmassa mennä tarkemmin. Sen sijaan tässä luvussa käsitellään ihmismallin luonnolliseen ulkonäköön liittyen sellaisia asioita, jotka viime aikoina ovat olleet alan tutkimuksen mielenkiinnon kohteina, nimittäin hiusten ja vaatteiden mallinnusta. Lopuksi vielä esitellään ihmisen realistiseen mallinnukseen liittyvä ongelma, vieras laakso (uncanny valley). 2.1 Luuranko Ihmismallin asento mallinnetaan yleensä luurangon avulla. Kuten oikeakin luuranko, mallin luuranko määrää tietyt rajoitteet, joiden puitteissa malli voi liikkua. Luu on jäykkää materiaalia, joka ei taivu, veny tai puristu kasaan, mutta nivelten kohdalta luuranko on vapaa liikkumaan. Yksinkertaisimmillaan luuranko voi olla kuvassa 1 esitetyn kaltainen. Tällaista luurankoa käytettiin jo lähes 20 vuotta sitten keinotekoisen näyttelijättären olennaisena osana (Magnenat-Thalmann & Thalmann, 1988). Sittemmin on kehitelty edistyneempiä luurankomalleja, jotka huomioivat paremmin erilaisten nivelten erilaiset ominaisuudet (Magnenat-Thalmann & Thalmann, 2005). 2.2 Joustava iho Ihmisen iho, samoin kuin lähes kaikki muutkin osat ihmisessä luurankoa lukuun ottamatta, on joustavaa materiaalia. Kun ihmisruumiin asento muuttuu, iho muotoutuu luontevasti uuteen asentoon. Tämä ei ole aivan yksinkertaista keinotekoisen ihmismallin tapauksessa. Asennon muutoksiin sopeutuvaa kudosta ja ihoa on mallinnettu pääasiassa elementtimenetelmien ja massa-jousi-värähtelijöiden avulla. Molemmissa ideana on, että ihon tai kudoksen ajatellaan koostuvan pienistä osista, jotka ovat venyttävien tai kasaan painavien voimien kohteina, ja jotka on kytketty toisiinsa siten, että ne välittävät voimia edelleen toisiinsa. Elementtimenetelmien avulla kudoksen käyttäytyminen voidaan mallintaa tarkasti, mutta koska se vaatii raskasta laskentaa, on massa-jousimenetelmä reaaliaikaisissa sovelluksissa suositumpi. Kudosmallin fysikaalista realismia voi kasvattaa muokkaamalla jousien käyttäytymistä siten, että se vastaa enemmän oikean kudoksen käyttäytymistä. (Zhang et al., 2004a) 3
Kuva 1: Esimerkki ihmisen mallinnuksessa käytettävästä luurangosta (Magnenat- Thalmann & Thalmann, 1988) 2.3 Hiukset Jos halutaan mallintaa realistisen näköistä liikkuvaa ihmistä reaaliaikaisesti, yksi vaikeimmista osista ihmisessä on hiukset. Nykyisillä tietokoneilla ei millään voida realistisesti mallintaa tuhansien hiusten itsenäistä hulmuamista törmäystarkasteluineen, joten yksinkertaistuksia on tehtävä. Jotkut kampaukset ovat luonnostaan jäykkiä, jolloin riittää kampauksen mallintaminen perusmuodossaan. Monissa kampauksissa on kuitenkin lisäksi huolenaiheena, miten hiusten liikkeestä saisi luonnollisen näköistä. Eräs ratkaisu ongelmaan on Hadapin ja Magnenat-Thalmannin (2001) esittämä menetelmä, jossa hiuksia käsitellään jatkuvana aineena ja niiden liikkeitä käsitellään virtauksina. Samalla kuitenkin hiuksia mallinnetaan myös yksittäisten hiusten tasolla, jotta mielikuva erillisistä hiuksista koostuvasta massasta säilyy. Esimerkki tällä menetelmällä mallinnetuista hiuksista on kuvassa 2. Hiusten mallintamiseen liittyy myös hiustyylin muotoilu. Ward, Galoppo ja Lin (2006) ovat kehittäneet järjestelmän, jonka avulla keinotekoisen ihmismallin hiukset voi muotoilla haluamallaan tavalla virtuaaliympäristössä. Järjestelmä mahdollistaa hiusten leikkaamisen, kastelemisen, kuivaamisen ja muotoilun kolmiulotteisessa virtuaalimaailmassa, ja lisäksi se pystyy esittämään eri tavoin muotoillut kampaukset realistisen näköisesti tehokkaiden laskentamenetelmien avulla. 4
Kuva 2: Hiusten hulmuamista virtausmallin avulla (Hadap & Magnenat-Thalmann, 2001) 2.4 Vaatteet Tavallisesti suurin osa ihmisestä on vaatteiden peitossa, joten hyvinkään mallinnettu ihmismalli ei välttämättä pääse oikeuksiinsa, mikäli sen vartalo joudutaan peittämään huonosti mallinnetuilla vaatteilla. Vaatteet ovat lähes poikkeuksetta kevyttä, muotoutuvaa materiaalia, joten niitä ei voi myöskään mallintaa muotonsa säilyttävinä jäykkinä kappaleina. Käytännössä vaatteiden mallinnuksessa täytyy ottaa huomioon ensinnäkin se, miten kangas käyttäytyy, kun jotakin kohtaa siitä liikutetaan, sekä se, että kangas ei voi missään tapauksessa painua ihmisen vartalon sisälle eikä liikkua itsensä läpi. Yleisin kankaan mallinnuksessa käytetty menetelmä on massa-jousi-järjestelmä, jossa kankaan ajatellaan koostuvan pistemäisistä massoista, jotka kiinnittyvät naapureihinsa jousilla. Kun jotain osaa kankaasta liikutetaan, jouset vetävät perässään läheisiä alueita ja kangas asettuu uuteen asentoon. (Magnenat-Thalmann & Thalmann, 2005) 2.5 Vieras laakso Eräs ihmisen mallinnuksessa huomionarvoinen ilmiö on Uncanny Valley (Mori, 1970). Termille ei ole olemassa vakiintunutta suomenkielistä vastinetta, mutta tässä tutkielmassa siitä käytetään suomenkielistä nimitystä vieras laakso. Termillä viitataan siihen epäluonnollisuuteen ja outouteen, joka havaitaan silloin, kun ihmistä jäljitellään hyvin realistisesti muttei kuitenkaan aivan täydellisesti. Alun perin vieras laakso on esitetty robotiikan yhteydessä, mutta aivan samalla tavalla se pätee myös tietokoneanimaatiossa. Vierasta laaksoa havainnollistaa kuva 3, jossa on esitetty ihmisjäljitelmän havaittu tuttuus ihmisenkaltaisuuden funktiona. Käytännössä ihmismallin tuttuutta ja luonnollisuutta voidaan lisätä tekemällä mallista enemmän ihmisen kaltainen, mutta jossain vaiheessa pudotaan vieraaseen laaksoon, jossa hyvin ihmisenkaltainen malli havaitaan vieraana ja kummallisena. Liikkuvalle ihmisjäljitelmälle vieras laakso on vielä voimakkaampi kuin staattiselle. Ihmistä mallinnettaessa vieras laakso kannattaa huomioida, sillä tavallisesti laak- 5
Kuva 3: Vieras laakso (Mori, 1970) soon liittyvää outouden tunnetta halutaan välttää. Hahmon luonnollisuuden säilyttämiseksi saatetaan joutua tekemään siitä tarkoituksella hieman epärealistinen. 3 IHMISEN LIIKKEET Ihmisen liikkeiden mallintamiseen on periaatteessa kaksi eri lähestymistapaa. Liikkeet voidaan luoda joko suoraan ihmismallin avulla tai käyttämällä liikkeenkaappausta, eli kuvataan oikean ihmisen liikettä ja sovitetaan mallin liikkeet vastaamaan näitä referenssiliikkeitä. Toistaiseksi ei ole onnistuttu kehittämään mallia, jonka tuottamat liikkeet olisivat yhtä realistisia kuin liikkeenkaappauksella tuotetut liikkeet (Magnenat- Thalmann & Thalmann, 2005). Myös liikkeenkaappaukseen liittyy kuitenkin tiettyjä ongelmia, ja siksi molemmat liikkeenluontitavat ovat tärkeitä. Tässä luvussa esitellään ensiksi käänteiskinematiikka, jonka avulla voidaan luoda liikettä suoraan ihmismallia käyttäen. Sen jälkeen esitellään liikkeenkaappaus sekä käsitellään hieman sen ongelmia ja niiden ratkaisuja. 3.1 Käänteiskinematiikka Käänteiskinematiikka (inverse kinematics) tarkoittaa ihmisen asentojen ja liikkeiden ratkaisemista tiettyjen lopputulosten perusteella. Käytännössä tiedetään suunnilleen, mihin ihmisen tiettyjen ruumiinosien pitäisi päätyä, ja sen jälkeen ratkaistaan, mitkä mahdolliset liikeradat ja asennot tähän johtavat, ja valitaan niistä yksinkertaisin. Ihmisen liikkeiden mallinnuksessa otetaan huomioon, mitkä mahdollisista liikkeistä ovat ihmiselle rakenteensa perusteella mahdollisia (Tolani et al., 2000). Nivelet esimerkik- 6
si voivat taipua vain rajoitetussa määrin, eikä niitä yleensä taivuteta aivan ääriasentoonsa. Kun käänteiskinematiikkaa käytetään ihmisen liikkeiden mallintamiseen, on usein luontevaa käyttää lähtökohtana ihmismallin kontaktipintoja. Näin tehdään esimerkiksi Perlinin (2003) käänteiskinematiikkamallissa. Perlinin mallissa kontaktipinnat riippuvat tilanteesta, mutta usein kontaktipintoja ovat kämmenet ja jalkapohjat. Aluksi määritellään, missä näiden kontaktipintojen kuuluu olla, ja sen jälkeen lasketaan käänteiskinematiikan avulla muulle vartalolle luonnollisin asento. 3.2 Liikkeenkaappaus Kuten edellä mainittiin, pelkän ihmismallin avulla on vaikea tuottaa yhtä luonnollisen näköistä liikettä kuin liikkeenkaappauksella. Liikkeenkaappaus eli mocap (motion capture) tarkoittaa sitä, että luonnollinen liike havaitaan jollakin laitteella ja tallennetaan siten, että sitä voidaan myöhemmin jäljitellä. Liikkeenkaappaus voidaan tehdä esimerkiksi siten, että ihmisen liike kuvataan videokameralla ja videokuvasta tunnistetaan kunkin ruumiinosan paikka ja asento kullakin ajanhetkellä. Tavallisesti ihmisen niveliin kiinnitetään merkkejä, jotka videokuvasta on helppo koneellisesti tunnistaa. Merkkien sijainnit kolmiulotteisessa avaruudessa saadaan selville käyttämällä useampaa kameraa rinnakkain. Näkyvien merkkien sijasta voidaan käyttää esimerkiksi akustisia tai magneettisia merkkejä. (Moeslund & Granum, 2001) Elokuvatuotannossa liikkeenkaappaus on erittäin suosittu menetelmä, ja sitä käytetään paljon myös vuorovaikutteisten sovellusten hahmojen liikkeiden luomiseen. Yksi liikkeenkaappauksen vaikeuksista on kaapatun liikkeen siirtäminen erilaisten hahmojen suoritettavaksi, ja erityisesti vuorovaikutteisissa sovelluksissa ongelmaksi nousee lisäksi liikkeen heikko muokattavuus. Liikkeenkaappauksella saadaan helposti todella luonnollisen ja elävän näköistä liikettä, mikä johtuu yksinkertaisesti siitä, että liikkeenkaappauksella voidaan toistaa oikea, luonnollinen liike hyvin tarkasti. Liikkeenkaappaus onkin erittäin toimiva menetelmä silloin, kun ihmishahmon liikkeet tiedetään täsmälleen etukäteen. Vuorovaikutteisissa sovelluksissa kuitenkin liikkeenkaappaukseen liittyy ongelmia, sillä liikkeenkaappauksella kerätty liikedata ei sisällä tietoa liikkeen eri komponenteista. Jos esimerkiksi halutaan yhdistää yhden liikkeenkaappausdatan kävely toisen liikkeenkaappausdatan asennon muutoksiin, yhdistelmän tekeminen on vaikeaa ilman tietoa siitä, mikä osa liikkeestä liittyy kävelyyn ja mikä asennon muutoksiin. Liikkeenkaappauksella kerättyyn dataan voi luoda rakennetta esimerkiksi pääkomponenttimenetelmällä (PCA, Principal Component Analysis), jossa suuri joukko alkuperäisiä muuttujia korvataan pienellä joukolla uusia muuttujia. Näille uusille muuttujille pyritään antamaan jonkinlainen järkevä merkitys, jolloin liikkeen voidaan ajatella koostuvan mielekkäistä parametreista. Kuvassa 4 on havainnollistettu pääkomponenttianalyysillä luotua ihmisen kävelyä. Kyseinen kävelymalli on luotu keräämällä liikkeenkaappausmenetelmällä kävelydataa 7
Kuva 4: Kaksi erikokoista ihmismallia kävelee eri nopeuksilla, saman kävelymallin mukaisesti. Nopeudet oikealta vasemmalle 2, 4, 6, 8 ja 10 km/h. (Glardon et al., 2004) ja jakamalla data pääkomponenttianalyysin avulla sillä tavalla, että liikkeen parametreiksi on saatu kävelyn nopeus ja ihmisen koko. Näin samaa kävelymallia voidaan käyttää erikokoisille ihmisille, ja kävelyn nopeutta voidaan vapaasti muuttaa. 4 LIIKKUMINEN Tässä luvussa käsitellään mallinnetun ihmishahmon liikehdintää korkeammalla tasolla kuin edellisessä luvussa. Kyse on siis siitä, millä tavalla ihmishahmo yhdistelee yksittäisiä liikkeitä tuottaakseen jatkuvaa toimintaa. Pelkkä ihmisen geometrian ja yksittäisten liikkeiden mallinnus ei vielä ole riittävää luonnollisen näköisen ihmismallin tuottamiseksi. Jos hahmo vain toistaa ns. purkitettuja liikkeitä, eli esimerkiksi liikkeenkaappauksella nauhoitettuja liikeratoja tietyille toiminnoille, katsoja huomaa pian hahmon toistavan itseään ja hahmo näyttää silloin pikemminkin koneelta kuin ihmiseltä. Perlinin (2003) ratkaisu tähän on, että hahmojen liikkeen mallinnus perustuu aina hahmon sisäiseen tilaan. Hahmolla on aina jonkinlainen sisäinen, psykologinen tunnetila, joka vaikuttaa sen liikkeisiin ja asentoihin. Näin hahmon liikehdintään tulee vaihtelua eikä se näytä enää niin kaavamaiselta. 4.1 Jatkuvan liikkeen mallinnus Ihmismalli, joka tekee ainoastaan välttämättömät liikkeet jonkin toimenpiteen suorittamiseksi, vaikuttaa konemaiselta ja elottomalta. Oikea ihminen ei koskaan ole yhdessä paikassa täysin liikkumatta, eikä myöskään suorita toimintoja täysin ilman ylimääräisiä liikkeitä, vaan varsinaisten tarkoituksellisten liikkeiden lisäksi ihmiset tekevät jatkuvasti pientä merkityksetöntä liikehdintää. Tämän liikkeen mallinnus on tärkeää, kun halutaan hahmojen näyttävän eläviltä. Yksi keino on lisätä joihinkin mallin niveliin jonkin verran pientä, satunnaista liikettä. Oikeasti pientä liikehdintää kuitenkin tapahtuu kaikissa ihmisen nivelissä, ja olisi vaikeaa luoda satunnaisesti kokonaisvaltaista liikehdintää kaikkiin niveliin, sillä eri 8
Kuva 5: Ihmismalli erilaisissa seisoma-asennoissa (Egges et al., 2004) nivelten asennot vaikuttavat toisiinsa. Toinen vaihtoehto on kerätä liikkeitä liikkeenkaappauksella, mutta näiden yhdistäminen toisiinsa sulavaksi animaatioksi tuottaa ongelmia. (Egges et al., 2004) Kuten aiemmin nähtiin, liikkeenkaappauksella kerätystä datasta voidaan irrottaa merkityksellisiä liikkeitä pääkomponenttianalyysillä. Egges et al. (2004) ovat luoneet mallin ihmisen pienelle liikehdinnälle juuri tällä tavalla. Tässä mallissa jatkuva liikehdintä koostuu asennon vaihdoksista (esimerkiksi yhdestä istuma-asennosta toiseen), pienistä asennon muutoksista, joita tehdään esimerkiksi tasapainon säilyttämiseksi, sekä ylimääräisistä liikkeistä kuten hiusten sipaisusta tai käden laittamisesta taskuun. Näitä elementtejä varioidaan tietynlaisen todennäköisyysjakauman mukaisesti siten, että kullakin hahmolla on omanlaisensa liikehdintä. Kuvassa 5 on esitetty erään ihmismallin erilaisia seisoma-asentoja. Animaatiossa malli vaihtelee näiden asentojen välillä muun liikkeen rinnalla. 4.2 Emootioiden mallintaminen liikkeessä Ihmisen asennoista ja liikkeistä voi usein päätellä hänen tunnetilansa. Siksi ihmistä mallinnettaessa liikkeen tulisi heijastaa hahmon mielentilaa, jotta hahmo olisi uskottava. Unuma et al. (1995) ovat luoneet tunnetilaa ilmaisevaa liikettä jo yli kymmenen vuotta sitten. Heidän ihmismallinsa asento juoksun tai kävelyn aikana ilmaisee erilaisia tunnetiloja. Huonoryhtinen asento viittaa alakuloiseen tai väsymykseen, kun taas suora selkä ja hyvä ryhti ilmaisevat pirteää ja reipasta mielialaa. Myöhemmin emootiota on mallinnettu ihmisen asennon ja liikkeen avulla laajemminkin. Esimerkiksi Perlin (2003) on luonut tällaisia, asennoillaan viestittäviä ihmismalleja, joista esimerkki kuvassa 6. 9
Kuva 6: Ihmismallien emootion ilmaisu tapahtumasarjassa (Perlin, 2003) 4.3 Kasvonilmeet Mikäli ihmismallia käytetään siten, että katsoja pääsee tarkastelemaan sitä yksityiskohtaisesti, huomionarvoisin yksityiskohta mallissa on ihmisen kasvot. Jos katsoja haluaa tulkita ihmishahmon ajatuksia ja tunnetilaa, hän luultavasti katsoo tämän kasvoja, samoin jos ihmismalli puhuu, katsojan huomio kiinnittyy kasvoihin. Erityisesti silloin, jos katsojan ja ihmismallin välillä tapahtuu jonkinlaista vuorovaikutusta, katsekontakti on tärkeä. Ihmiskasvot voivat ilmentää hyvin monia erilaisia ilmeitä, ja ihmiset osaavat tulkita niitä erittäin hyvin pieniä vivahteita myöten. Siksi kasvonilmeiden mallintaminen tuottaa tiettyjä haasteita ihmisen animoinnissa. Ihmismallien kasvonilmeiden mallinnuksessa tärkeimpänä pidetään yleensä kuuden perusemootion uskottavaa mallintamista. Nämä kuusi perusemootiota ovat ilo, suru, viha, hämmästys, pelko ja inho. Muitakin kasvonilmeitä toki on, mutta jo näiden ilmeiden avulla ihmismallista saadaan elävämpi. Synteettisiä ilmeitä on kehitelty usealla eri tavalla. Kuvassa 7 on esitetty erään ihmismallin kasvonilmeitä verrattuna vastaavaa todellista ilmettä esittäviin valokuviin. 4.4 Tanssin mallinnus Tähän mennessä on puhuttu siitä, miten digitaalisen teatterin virtuaalinen näyttelijä saadaan käyttäytymään mahdollisimman hyvin normaalin ihmisen kaltaisesti. Luonnollinen käytös on tietenkin pohja uskottavalle näyttelemiselle. Teatterissa kuitenkin käytetään muitakin ilmaisukeinoja kuin varsinaista näyttelemistä. Esimerkiksi tanssi on tärkeä ilmaisukeino näyttämöllä, ja eräänlaisessa kaavamaisuudessaan tanssi on jopa luonnollisempi käyttökohde keinotekoiselle ihmismallille kuin tavallinen näyttele- 10
Kuva 7: Synteettisiä ilmeitä verrattuna todellisiin ilmeisiin: (a) neutraali, (b) ilo, (c) viha, (d) hämmästys, (e) suru ja (f) inho (Zhang et al., 2004b) minen. Calvert et al. (2005) ovat kehittäneet ihmishahmon, joka tanssii Laban-notaation mukaan. Laban-notaatio on yleisin vakiintunut järjestelmä, jolla koreografiaa voi kirjoittaa ylös. Laban-notaatiota seuraava tanssija ja vastaava Laban-notaatio nähdään kuvassa 8. Tanssijan asentoa muutetaan Laban-notaation mukaan, ja tarvittavat liikkeet ja välivaiheet ratkaistaan käänteiskinematiikan menetelmin. Tämä Laban-notaation tanssiksi muuntava järjestelmä on tarkoitettu koreografian visualisoinnin ja suunnittelun apuvälineeksi, mutta siinä tanssivaa ihmismallia voitaisiin tietenkin käyttää myös virtuaalisena tanssijana teatterissa. Myös Improv-järjestelmällä (Perlin & Goldberg, 1996), joka on luotu interaktiivisten hahmojen luomiseen, on kehitetty tanssija, joka tanssii soitetun musiikin tahdissa reaaliajassa. Tämän tanssijan koreografia on hyvin yksinkertainen, mutta mikäli malli yhdistettäisiin edellä kuvatun Laban-notaation mukaan tanssivan ihmismallin kanssa, voitaisiin saada jo melko edistynyt virtuaalinen tanssija. 5 KÄYTTÄYTYMINEN Aikaisemmissa luvuissa on puhuttu siitä, miten virtuaaliset ihmishahmot ja niiden liikehdintä mallinnetaan. Tässä luvussa siirrytään tarkastelemaan ihmismallin käyttäytymistä vielä korkeammalla tasolla. Tässä luvussa käsitellään sitä, miten ihmishahmon käyttäytyminen määräytyy, eli millä perusteella kuhunkin tilanteeseen valitaan sopiva käyttäytyminen ja miten tapahtuu virtuaalisten ihmishahmojen päätöksenteko. Täydellinen ihmismalli käyttäytyisi normaalin ihmisen tavoin. Tämä on ihmisen mallinnuksessa kaikkein haastavin osa-alue, ja niinpä tutkimuskaan ei vielä tällä saralla ole kovin pitkällä. Tekoälyn tutkimuksen kehittyessä ihmisen mallinnuksessa voi- 11
Kuva 8: Laban-notaation mukaan tanssiva ihmismalli (Calvert et al., 2005) daan hyödyntää sillä alueella saavutettuja tuloksia, mutta toistaiseksi tekoälykin on hyvin alkeellista verrattuna oikeaan älyyn. Jotta keinotekoinen ihmishahmo tuottaisi vaikutuksen katsojaan, sen tulee olla uskottava. Uskottavan hahmon ulkoisen olemuksen ei tarvitse olla realistinen, mutta hahmon persoonallisuuden tulee olla yhtenäinen ja tunnistettava, ja hahmon tulee käyttäytyä johdonmukaisesti (Perlin & Goldberg, 1996). Tavallisessa tarinankerronnassa kirjailija, käsikirjoittaja tai ohjaaja määrää hahmon toiminnan läpi koko tarinan, ja hahmon uskottavuus liittyy suoraan tähän toimintaan. Vuorovaikutteisessa teatterissa tilanne on kuitenkin monimutkaisempi, sillä kirjoittajalla tai ohjaajalla ei ole enää täydellistä kontrollia tarinan etenemiseen. Siksi tarvitaan jonkinlaista käyttäytymismallia, jonka pohjalta uskottava hahmo rakentuu. Improv-järjestelmässä (Perlin & Goldberg, 1996) hahmon päätöksenteko perustuu satunnaisuuteen sekä hahmon luonteeseen ja mielentilaan. Hahmolla on ensinnäkin tietynlainen perusluonne, mistä johtuen se pitää joidenkin asioiden tekemisestä enemmän ja toisten asioiden tekemisestä vähemmän. Tämä mallinnetaan numeroarvona, joka kertoo hahmon todennäköisyyden ryhtyä kyseiseen puuhaan. Lisäksi hahmolla on tilanteesta riippuva mielentila, joka niin ikään kertoo todennäköisyyden, jolla hahmo kyseisessä tilanteessa tekee kyseisen toiminnon. Kun hahmo joutuu päätöksentekotilanteeseen, järjestelmä arpoo erilaisista vaihtoehtoisista toimintatavoista yhden, painottaen eri vaihtoehtoja arvonnassa hahmon luonteeseen ja mielentilaan liittyvien todennäköisyyksien mukaisesti. Esimerkiksi pelokas hahmo pelottavassa tilanteessa pakenee suurella todennäköisyydellä, kun taas urhean hahmon todennäköisyys paeta on pienempi. Näin hahmon toiminta ilmentää hahmon persoonallisuutta ja tunnetiloja, 12
mutta se ei kuitenkaan ole luonnottoman determinististä. 6 IHMISJOUKOT Ihmisjoukon mallintaminen tuo ihmisen mallintamiseen uusia lisähaasteita. Jokaisen ihmisen tulee olla mallinnettu järkevästi, mutta lisäksi täytyy kiinnittää huomiota siihen, miten ihmiset suhtautuvat toisiinsa, sekä joukon käyttäytymiseen kokonaisuutena. Ihmisten suhtautuminen toisiinsa voidaan mallintaa monella tasolla. Usein ei ole välttämätöntä rakentaa joukon yksilöiden välille monimutkaisia sosiaalisia tilanteita, mutta vähintään fyysiset kontaktit on tärkeä mallintaa ihmiset eivät saa esimerkiksi kävellä toistensa lävitse. Ihmisjoukon luonnollisuuteen laajemmassa mittakaavassa taas liittyy esimerkiksi se, että ihmisten pitäisi olla riittävän yksilöllisiä, jotta ne havaittaisiin erillisiksi yksilöiksi eikä toistensa klooneiksi. Lisäksi joissakin tilanteissa joukon halutaan käyttäytyvän tietyllä tavalla, esimerkiksi konserttiyleisössä lähinnä lavaa olevat ihmiset ovat tiiviimmin ja kauempana olevat ihmiset antavat enemmän tilaa toisilleen. Suurten ihmisjoukkojen reaaliaikaisessa mallinnuksessa haasteita asettavat luonnollisesti myös tietokoneen suorituskyvyn rajoitukset. Ihmisjoukkojen mallintamisessa on käytetty hyödyksi muun muassa parvisimulaatiota, hiukkasjärjestelmiä ja soluautomaatteja. (Magnenat-Thalmann & Thalmann, 2005) Jos ihmisjoukon kaikkien yksilöiden liikettä mallinnetaan samalla tavalla, joukon käyttäytymisestä tulee helposti kaavamaista ja näin ollen epäluonnollista. Satunnaisvaihtelun lisääminen helpottaa ongelmaa, mutta ei poista sitä kokonaan. Toisaalta yksilöllisten liikkeiden luominen on suuremmissa ihmisjoukoissa hyvin työlästä. Luonnollisemman näköistä käyttäytymistä saadaan parvisimulaation periaatteita noudattaen, eli siten, että jokainen joukon jäsen noudattaa tiettyjä käyttäytymisperiaatteita, jotka puolestaan vaikuttavat toisten yksilöiden käyttäytymiseen. Tällaisessa järjestelmässä on kuitenkin hyvin vaikea hallita ihmisjoukon käyttäytymistä kokonaisuudessaan. (Magnenat-Thalmann & Thalmann, 2005) Ulicny ja Thalmann (2002) ovat kehittäneet ihmisjoukkojen mallinnukseen järjestelmän, jossa yhdistetään törmäyksenesto, ihmisten reittisuunnittelu sekä korkean tason käyttäytyminen ja vuorovaikutus. Tämä järjestelmä sisältää ratkaisuja, jotka mahdollistavat melko yksilöllisten ja vaihtelevien liikkeiden suorittamisen reaaliajassa. Tämä tehdään siten, että yksittäiselle ihmiselle tai joukolle ihmisiä annetaan käsky suorittaa jokin liike, jolloin suoritettavan liikkeen tarkka liikerata arvotaan usean vaihtoehtoisen liikeradan joukosta, ja lisäksi liikkeen nopeus arvotaan satunnaisesti. Liikkeen suorituksen aikana huolehditaan jokaisen yksilön kohdalla erikseen siitä, että liike suoritetaan siten, ettei törmäyksiä ympäristön tai toisten ihmisten kanssa tapahdu. Esimerkiksi kuvassa 9 joukko ihmisiä polvistuu rukoukseen moskeijassa, kukin omaan tahtiinsa ja hieman eri tavoin keskenään. Järjestelmä vastaa ilmeisesti suorituskykyyn liittyviin haasteisiin (osittain useamman tietokoneen avulla) sekä ihmisten yksilöllisyyteen liittyviin haasteisiin, mutta artikkelista ei käy ilmi, kuinka hyvin järjestelmän avulla voidaan hallita kokonaisen ihmisjoukon käyttäytymistä. 13
Kuva 9: Joukko ihmisiä rukoilee moskeijassa (Ulicny & Thalmann, 2002) 7 YHTEENVETO Kuten tämän tutkielman edetessä on havaittu, keinotekoisen ihmismallin käyttäminen näyttelijänä vuorovaikutteisessa digitaalisessa teatterissa on monitahoinen ongelma. Tämä ei sinänsä ole mikään yllätys kyseessähän on ihmisen vastineen luominen, ja koska ihminen on hyvin monimutkainen kokonaisuus, on ihmisen mallintaminenkin luonnollisesti monimutkaista. Ihmismallien kehityksessä ollaan eri mallinnustasoilla eri vaiheessa. Ihmisen fyysisen rakenteen ja ulkonäön mallintamisessa ollaan jo melko pitkällä. Ihmisen perusruumiinrakenne osataan jo mallintaa niin hyvin, että nykyään tutkimus keskittyy sellaisiin asioihin kuten erilaisten hiustyylien ja erilaisten vaatteiden luontevaan esitykseen. Realistisen ulkonäön mallinnuksessa ollaan jo niinkin pitkällä, että vaarana vieras laakso eli uncanny valley -ilmiö, joka voidaan tulkita niin, että malli on jossain suhteessa liiankin realistinen samaan aikaan kun jollain toisella osa-alueella realistisuus ei ole riittävää. Myös ihmisen liikkeiden mallintamisessa ollaan aika pitkällä. Käänteiskinematiikka ja liikkeenkaappaus ovat vakiintuneita menetelmiä, ja niihin liittyviin ongelmiin on kehitetty tehokkaita ratkaisuja. Liikkeiden yhdistäminen toisiinsa ja jatkuva liikehdintä ovat kuitenkin edelleen haasteina tutkimukselle. Ihmisen järkevän käyttäytymisen mallintamisessa sen sijaan ollaan vielä hyvin alkeellisessa vaiheessa. Käytännössä ihmisten käyttäytymistä mallinnetaan hyvin karkein menetelmin, jotta saadaan aikaan käyttäytymistä, joka edes jollakin tasolla muistuttaa järkevää toimintaa. Vaikka yksittäinen ihmismalli vaikuttaisi uskottavalta, toiminnan kaavamaisuus ja yksinkertaisuus saattaa tulla häiritsevästi esille suurempaa ihmisjoukkoa mallinnettaessa, ja siksi ihmisjoukkojen käsittelyyn on menetelmiä, joilla joukon käytös saadaan luonnollisen näköiseksi. Käytännössä ei tietenkään ylletä sille tasolle, että malli todella muistuttaisi kaikilla 14
eri tasoilla oikeaa ihmistä. Jos tämä ilmeinen epätäydellisyys kuitenkin hyväksytään, voidaan tässä tutkimuksessa esiteltyjen asioiden perusteella havaita, että nykyisillä menetelmillä voidaan tuottaa hyvinkin uskottavia ihmismalleja, joita vuorovaikutteisessa digitaalisessa teatterissa voi hyödyntää monin tavoin. Viitteet Calvert Tom, Wilke Lars, Ryman Rhonda & Fox Ilene. 2005. Applications of Computers to Dance. IEEE Comput. Graph. Appl., 25(2), 6 12. Egges Arjan, Molet Tom & Magnenat-Thalmann Nadia. 2004. Personalised Real-Time Idle Motion Synthesis. Pages 121 130 of: PG 04: Proceedings of the Computer Graphics and Applications, 12th Pacific Conference on (PG 04). Washington, DC, USA: IEEE Computer Society. Glardon Pascal, Boulic Ronan & Thalmann Daniel. 2004. PCA-Based Walking Engine Using Motion Capture Data. Pages 292 298 of: CGI 04: Proceedings of the Computer Graphics International (CGI 04). Washington, DC, USA: IEEE Computer Society. Hadap Sunil & Magnenat-Thalmann Nadia. 2001. Modeling Dynamic Hair as a Continuum. Comput. Graph. Forum, 20(3). Magnenat-Thalmann N. & Thalmann D. 1988. Construction and animation of a synthetic actress. Pages 55 66 of: Duce D. A. & Jancene P. (eds), Eurographics 88. North-Holland. Magnenat-Thalmann Nadia & Thalmann Daniel. 2005. Virtual humans: thirty years of research, what next? The Visual Computer, 21(12), 997 1015. Moeslund Thomas B. & Granum Erik. 2001. A survey of computer vision-based human motion capture. Comput. Vis. Image Underst., 81(3), 231 268. Mori Masahito. 1970. The Uncanny Valley. Energy, 7(4), 33 35. Karl F. MacDormanin ja Takashi Minaton tekemä englanninkielinen käännös Masahito Morin alkuperäisestä japaninkielisestä artikkelista saatavilla osoitteessa www.androidscience.com/theuncannyvalley/proceedings2005/uncannyvalley.html. Perlin Ken. 2003. Building Virtual Actors Who Can Really Act. Pages 127 134 of: International Conference on Virtual Storytelling. Perlin Ken & Goldberg Athomas. 1996. Improv: A System for Scripting Interactive Actors in Virtual Worlds. Computer Graphics, 30(Annual Conference Series), 205 216. 15
Tolani Deepak, Goswami Ambarish & Badler Norman I. 2000. Real-Time Inverse Kinematics Techniques for Anthropomorphic Limbs. Graphical models, 62(5), 353 388. Ulicny Branislav & Thalmann Daniel. 2002. Towards Interactive Real-Time Crowd Behavior Simulation. Computer Graphics Forum, 21(4), 767 775. Unuma Munetoshi, Anjyo Ken & Takeuchi Ryozo. 1995. Fourier principles for emotion-based human figure animation. Pages 91 96 of: SIGGRAPH 95: Proceedings of the 22nd annual conference on Computer graphics and interactive techniques. New York, NY, USA: ACM Press. Ward Kelly, Galoppo Nico & Lin Ming C. 2006. A Simulation-based VR System for Interactive Hairstyling. Page 37 of: VR 06: Proceedings of the IEEE Virtual Reality Conference (VR 2006). Washington, DC, USA: IEEE Computer Society. Zhang Yu, Prakash Edmond C. & Sung Eric. 2004a. Face alive. J. Vis. Lang. Comput., 15(2), 125 160. Zhang Yu, Prakash Edmond C. & Sung Eric. 2004b. A New Physical Model with Multilayer Architecture for Facial Expression Animation Using Dynamic Adaptive Mesh. IEEE Transactions on Visualization and Computer Graphics, 10(3), 339 352. 16