HELSINKI UNIVERSITY OF TECHNOLOGY 20.12.2006 Telecommunications Software and Multimedia Laboratory T-111.5080 Sisällöntuotannon seminaari Syksy 2006 Liikkeenseuranta Laura Seppänen 58137U 0
Vuorovaikutteinen digitaalinen teatteri ja liikkeen seuranta Laura Seppänen leseppan@cc.hut.fi Tiivistelmä Tämän esityksen on tarkoitus valoittaa liikkeen seurantaa vuorovaikututteisessa digitaalisessa teatterissa. Tässä esityksessä lähdetään liikkeelle vuorovaikutteisesta digitaalisesta teatterista määrittelemällä tämä käsite yleisellä tasolla. Tämän jälkeen perehdytään liikkeen seurantaan ja kehollisiin käyttöliittymiin. Esityksessä tutustuaan erilaisiin liikkeen seurannan tekiinoikhin, joita ovat mm. inertiaan perustuva liikkeen seuranta sekä optinen liikkeen seuranta. Tämän jälkeen käsitellään kehollisia käyttöliittymiä ja kehollisten käyttöliittymien käyttämiä erilaisia signaaleja. Lopuksi palataan taas teatterin pariin ja selvitetään miten edellä mainittuja tekniikoita käytetään teatteritaiteessa. 1. JOHDANTO Kuva 1: A Virtuaalinen teatteri, jossa yleisöllä mahdollisuus osallistua esityksen kulkuun. B Tietokonegrafiikalla toteutettu hyönteinen, joka voidaan sisällyttää virtuaalisen esitykseen. (Geigel) Vuorovaikutteinen teatteri tarkoittaa yleensä teatteriesitystä, jossa yleisö voi vaikuttaa esityksen kulkuun. Teekkarimaailmassa speksit ovat hyvä esimerkki vuorovaikutteisesta esityksestä. Nykymaailmassa vuorovaikutteisuutta voidaan toteuttaa monella muullakin tavalla ja sitä esiintyy vaikkapa perustelevisiossa: Ohjelman kulkuun voidaan vaikuttaa kotoa käsin esimerkkinä vaikkapa suosittu Idols-ohjelma. Näissä kaikissa on kyse yleisön ja esityksen välisestä vuorovaikutuksesta. Vuorovaikutusta voi olla myös muunkaltaista kuten tietokoneen ja näyttelijän välinen. Teatteriesityksessä vuorovaikutusta, lavasteita ja näyttelijöitä voidaan toteuttaa myös tietoteknisin keinoin. Usein tällaista esitystä kutsutaan myös virtuaaliseksi teatteriksi. 1
Lyhyesti ja yksinkertaisesti kuvattuna voitaisiin sanoa, että digitaalinen vuorovaikutteinen teatteri on teatteria, jossa käytetään tietotekniikan tietämystä esityksen luomiseen. Oikeanlaisilla kaiuttimilla voidaan luoda ääni haluttuun paikkaan, taustalla voi näkyä tietokoneella luotu animaatio, näyttelijöiden joukossa voi olla animoitu hahmo tai robotti jne. Tällöin on jopa mahdollista jättää perinteiset näyttämö ja lavasteet joko kokonaan tai osittain pois; ne voidaan toteuttaa digitaalisesti keinotodellisuuden keinoin. Virtuaalisessa teatterissa on tärkeää teknisesti seurata näyttelijöitä, yleisöä ja esitystä. Tietty kohtaus antaa syntaksin käynnistää uusi tapahtumasarja; vaikkapa käskyn muuttaa valaistusta ja/tai musiikkia. Esimerkiksi musiikin tempon voi ohjata määräytymään näyttelijän liikkeiden mukaan. Esityksessä saattaa myös olla mukana robotteja, joiden reaktioiden pitää muuttua näyttelijän reaktioiden myötä. Tällöin näyttelijän eleitä ja liikkeitä pitää kyetä seuraamaan ja tulkitsemaan. Tätä varten tarvitaan liikkeen seurantaa ja kehollisia käyttöliittymiä. Liikkeen seurantaa tarvitaan näyttelijän sijainnin ja liikkeen tunnistamiseen. Tämän avulla voidaan piirtää varjokuva näyttelijästä, liikuttaa robottia tai ohjata teatteria. Kun liikkeen seurantaa käytetään käskyjen antamiseen (käden heilutus sytyttää valot tai käynnistää animaation) on syytä puhua kehollisista käyttöliittymistä. Eli ihmisen kehon toimintojen perusteella annetaan käskyjä ja toimintaohjeita. Tässä esityksessä esitelläänkin ensiksi tekniikoita, joita on käytetty mm. keinotodellisuudessa paikan ja liikkeen seuraamiseen. Näitä samoja tekniikoita voidaan käyttää myös kehollisten käyttöliittymien liikkeen tunnistuksessa ja seurannassa. Eri tekniikoiden esittelyn jälkeen perehdytään nimenomaan kehollisiin käyttöliittymiin, joita erityisesti virtuaalinen teatteri hyödyntää. Tällöin esitellään myös mm. pulssin seuranta yhdistettynä liikkeen seurantaan. Virtuaalisessa teatterissa liikkeen seuranta tarjoaa ratkaisun moneen ongelmaan. Ensinnäkin näyttelijän liikkeillä voidaan ohjata ääniä ja lavasteita. 2. TAUSTA Teatteri on hyvin vanha ilmiö. Jo muinaisessa Kreikassa kokoonnuttiin katsomaan teatteriesityksiä. Kehityksen myötä teatteriesityksiin on lisätty yhä enemmän tekniikka: äänentoisto, valaistus, motorisoitu näyttämö jne. On luonnollista, että tekniikan kehittyessä myös teatteriesitykset kehittyvät. Teatterin on nyt mahdollista hyödyntää tietotekniikan tarjoamia mahdollisuuksia kuten liikkeen seurantaa ja kehollisia käyttöliittymiä. Nämä tekniikat tarjoavat uuden erilaisen mahdollisuuden luoda taidetta. Liikkeen seurannasta puhuttaessa useimpien mieleen tulee virtuaalitodellisuus ja ihmisen liikkeen seuranta. Virtuaalitodellisuus ja teatteri ovat kuitenkin varsin uusia liikkeen seurannan käytännön sovellutuksia. Liikkeen seurantaahan on harrastettu kautta aikojen vaikkapa sodissa. Rajavartioasemilla ja lentokentillä liikettä seurataan tutkilla. Biologiset signaalit ja niitten mittaaminen on ollut lääkärien rutiinia vuosikausia. Vasta hiljattain on niitten käyttöä hyödynnetty myös tietoteknisissä sovelluksissa. Biosignaalien käyttö kehollisissa käyttöliittymissä on yhä tutkimuksen aihe. Virtuaalisia teatteriesityksiä on tutkittu muutamia vuosia ja joitakin esityksiä ja koemielisiä esityksiä on tehty. Erityisesti tietokonegrafiikan ja ohjatun valaistuksen yhdistämistä 2
teatteriesityksiin on tutkittu paljonkin. Biosignaalien ja liikkeen seurannan hyödyntämistä on tutkittu ainakin vuodesta 1998 lähtien, mutta ne eivät ole kovinkaan laajasti käytössä. Tulevaisuudessa eri tekniikoiden yhdistäminen teatteriesitykseen yleistynee. 3. KEHOLLISET KÄYTTÖLIITTYMÄT JA LIIKKEEN SEURANTA Käyttöliittymällä tarkoitetaan koneen ja ihmisen rajapintaa. Tietokonetta käytettäessä perinteisiä käyttöliittymän komponentteja on ollut hiiri, näppäimistö ja näyttö, joiden avulla ihminen keskustelee tietokoneen kanssa. Ihmiselle on kuitenkin luonnollista käyttää useankaltaisia erilaisia signaaleja sanoman tulkitsemiseen. Ihmisten välisissä keskusteluissa näitä signaaleja ovat mm. puhe, katseet, liikkeet ja eleet (Kuivakari et al, 1999). Kehollisesta käyttöliittymästä puhuttaessa tarkoitetaan yleensä liittymää, jota ohjataan kehon erilaisilla liikkeillä. Tällä pyritään ihmisen kannalta kevyempään ja luonnollisempaan vuorovaikutukseen järjestelmän kanssa (Heinonen et al., 2002). Kuva 8 a ja b: Perinteinen ihminen-kone rajapinta ja kehollisten käyttöliittymien rajapinta. (Kuivakari et al) Jotta järjestelmää voidaan ohjata kehon liikkeillä, tulee käyttäjän liikkeitä ja reaktioita seurata jollakin tapaa. Yleistä on käyttäjän liikkeiden seuranta kameralla, mutta myös muita tekniikoita on olemassa. Tämän lisäksi saatetaan käyttää valokennoja liikkeen tunnistukseen, reaktiivisia kalvoja paineen tunnistukseen (EMFI kalvo, Electro Mechanical Film) sekä ihmisen kehon biosignaaleja. Biosignaaleilla tarkoitetaan esim. pulssia, hengitystiheyttä, aivosähkökäyrää tai silmän liikkeitä. (Heinonen et al., 2002) Liikkeen seurannalla taasen tarkoitetaan (ihmisen) liikkeen, paikan ja mahdollisesti asennon seurantaa. Tämä voidaan toteuttaa monella eri tapaa. Varsin täsmällisesti liikettä voidaan seurata vaikkapa kameralla tai vaikkapa akustisesti. Vaadittaessa hyvin tarkkaa liikkeen seurantaa voidaan myös eri tekniikoita yhdistää. Yleistä onkin yhdistää inertiaan perustuva liikkeen seuranta optiseen tai akustiseen. Eri käyttötarkoituksista riippuen jopa varsinkin karkea liikkeen seuranta riittää. Näin on esimerkiksi joidenkin kehollisten käyttöliittymien kohdalla. Seuraavaksi tutustumme viiteen eri liikkeen seurannan tekniikkaan ja tämän jälkeen muutamaan erilaiseen biosignaaliin. 3.1 Inertiaan perustuva liikkeen seuranta 3
Kuva 2: Inertian perusta Inertiaan perustuva liikkeen seuranta tuli tietoisuuteen jo 1950 luvulla, kun sitä käytettiin lentokoneissa, sukellusveneissä ja laivoissa. Myöhemmin, tekniikan kehittyessä ja inertiasensorien pienentyessä, sitä alettiin käyttää myös tietotekniikassa liikkeen seurantaan. Inertiaan perustuvassa liikkeen seurannassa liikkuvaan kohteeseen kiinnitetään vähintään yksi kuvan 2 kaltainen inertian laskennallinen yksikkö. Tämä yksikkö on inertiaan perustuvan liikkeen seurannan perusta. Alustalla on kiihtyvyysmittareita (accelerometers) ja pyöriviä kappaleita (gyros). Hyrrät pyörivät kolmeen eri suuntaan. Kohteen ollessa paikoillaan niitten pyörittämiseen tarvitaan koko ajan vakio voima. Kohteen liikkuessa painovoima ja liike vaikuttavat niihin eri tavoin ja yksikön toiminta muuttuu. Tämän muutoksen perusteella voidaan päätellä kohteen liike. Inertiaan perustuva liikkeen seuranta sopisi periaatteessa hyvin teatteriesityksiin. Liikkeen seurannan sensorit ovat jo nyt pieniä (siruja), joten ei tule olemaan ongelma piilottaa ne esiintymisasuun. Inertian etuja on myös se, ettei se vaadi akustisen tai optisen havaitsemisen tapaan näköyhteyttä vaan se toimii itsenäisenä yksikkönä. Tämä tarjoaa näyttelijälle vapauden liikkua myös lavasteiden taakse. Teatterissa eri laitteiden takia muodostuva elektromagneettinen kenttä ei aiheuta häiriötä tai eivätkä kovat äänetkään. Tämä kuulostaa kenties turhankin lupaavalta? Heikkouksiin kuuluu taasen tarkkuuden ajelehtiminen. Pienikin heitto sensorissa aiheuttaa tuntuvan vääristymän liikkeen seurannassa. Vuonna 2002 sensorien tarkkuus heitti 0.0098 m/s^2. Tämä vääristymä voi 30 sekunnissa aiheuttaa jopa 4,5 metrin virheen sijaintia arvioitaessa. Tästä syystä pelkästään inertiaan perustuvaa liikkeen seurantaa ei juurikaan käytetä vaan liikettä seurataan yhdistämällä kahta tai useampaa tekniikkaa kuten akustista liikkeen seurantaa ja inertiaa (Welch et al., 2002) Kuva 3: Inertia-anturi käden liikkeiden seuraamiseen 4
3.2 Optinen liikkeen seuranta Kuva 4: Luurangon malli. (a) Nauhoituksen pohjustus (b) A:n perusteella otetun kuvan raakaversio (c) Oletusasento ja kehon tasot (ilman suunnat) (d) Lopullinen normalisoitu kuva (Dessai, 2006) Optisen liikkeen havaitsemien perustuu heijastuvan tai säteilevän valon mittauksiin. Komponentteja on oltava vähintään kaksi: valon lähteitä ja optisia sensoreita. Valon lähteet voivat olla joko passiivisia jolloin ne heijastavat ulkopuolista valoa tai aktiivisia lähteitä, jotka heijastavat itse tuottamaansa valoa. Passiivia valolähde voi olla vaikkapa muun ympäristön väreistä poikkeava paita ja aktiivinen valolähde vaikkapa laservalo tai yllä olevan kuvan kaltaiset ledivalot. Sensorina toimii yleensä kamera tai useampi kamera. Kameroitten ja valon lähteitten määrään vaikuttaa se, millä tavalla ja tasolla liikettä seurataan (2D/3D) ja kuinka tarkasti (pistemäinen sijainti vai asento). Liikettä seuratessa kameran tehtävä on seurata tiettyä pistettä, kuten ledivalolähdettä. Yksi tapa tulkita sijainti on seuraava: Kamera pyrkii pitämään seuraamansa kohteen havaintoalueensa keskellä koko ajan. Jos kohde liikkuu, liikkuu kamerakin. Kameran/kameroiden liikkeiden/nivelten asennon perusteella voidaan määritellä kohteen sijainti. (Welch et al., 2002) Toinen tapa on kiinnittää alla olevan kuvan kaltainen valolähde liikkuvaan kohteeseen. Valolähde näyttää erilaiselta eri suunnista ja eri kulmista katsottuna. Täten voidaan päätellä sijainti. Kuva 5: Optisen liikkeen seuranta kameroiden avulla. (Kuhlen, 2005) 5
Optisen liikkeen havaitsemisen lisäksi kameratekniikalla on mahdollista tallentaa kohteen silhuetti, kun kohteen asun väri poikkeaa taustasta tai kun tausta poikkeaa kohteesta. Silhuettiin perustuvaa liikkeen havaitsemista on käytetty mm. tietokonepeleissä. Optinen liikkeen seuranta on ollut käytössä installaatiotaiteissa sekä erilaisissa kokeellisissa teatteriesityksissä. Optisen liikkeen seurannan etuja ovat laitteiston suhteellisen edullinen hinta ja helppo toteutus. Huonoja puolia ovat kohteeseen kiinnitettävien valonlähteiden koko. Riippuen optisen liikkeen havaitsemisen tyylistä, nämä saattavat olla varsin kookkaitakin ja täten vaikeasti piilotettavia. Täten ainoa suhteellisen järkevä vaihtoehto olisi liittää tämä nämä valonlähteet osaksi esiintymisasua. Toinen optisen liikkeen seurannan huono puoli on sen vaatima näköyhteys. Koska teatteriesityksissä näyttelijät esiintyvät aukealla lavalla, jossa näyttelijät harvemmin piiloutuvat oman esiintymisensä aikana lavasteisiin, on tämä heikkous voitettavissa. Huolellisella esityksen suunnittelulla voidaan mahdollistaa optinen liikkeen seuranta teatteriesityksen aikana. Lisäksi optisen liikkeen seurannan rinnalla voidaan käyttää vaikkapa inertiaan perustuvaa seurantaa. Kaksi erilaista menetelmää tarjoavat toisiaan täydentävää tietoa ja liikkeen havaitsemisen tarkkuus paranee. 3.3 Magneettinen liikkeen seuranta Magneettinen liikkeen seuranta perustuu magneettikenttään sekä sensoriin, joka kertoo sijaintinsa suhteessa magneettikentän lähteeseen. Sen etuihin kuuluu, se ettei se vaadi näköyhteyttä. Huonoja puolia taasen on se, että kaikki ferromagneettiset ja johtavat kappaleet, kuten sähköiset laitteet, häiritsevät sen toimintaa. Lisäksi sen käyttöetäisyys teatteriesitystä ajatellen on liian pieni. Täten se ei siis sovellu teatterikäyttöön. 3.4 Akustinen liikkeen seuranta Akustinen liikkeen seuranta perustuu ultraäänien lähettämiseen ja vastaanottamiseen. Ääniaallon etenemisnopeus mitataan vähintään kolmesta eri pisteestä, jolloin voidaan päätellä käyttäjän sijainti. Äänilähde voidaan kiinnittää joko näyttelijään tai ympäristöön. Vastaavasti vastaanotin voidaan sijoittaa jompaan kumpaan. Teatteritaiteessa lienee luonnollisinta käyttää vastaanottimena näyttelijän mikrofonia. Tällöin voidaan myös kätevästi havaita usean näyttelijän sijaintia ilman että mittausta pitää tehdä usealla taajuuskaistalla. Korkeataajuiset äänet tarjoavat tarkimman paikan määrityksen. Kuitenkin korkeiden äänien vaimennus on voimakkaampaa kuin matalien taajuuksien. Akustisen liikkeen seurannan suurimpia heikkouksia on sen vaatima näköyhteys liikkeen seurannan kohteeseen sekä kaikuherkkyys. Näköyhteyden ylläpitäminen ei ole välttämätöntä, mutta tärkeää jos halutaan tietää sijainti tarkasti. Kovat pinnat kuten kiviseinät, jotka heijastavat ääntä sekä mahdolliset muut äänet, häiritsevät laitteen tarkkuutta huomattavasti. Tästä syystä mittausten välillä on odotettava, että edellisen mittauksen kaiut hiljenevät. Tämä taasen johtaa hitaaseen liikkeen päivitystaajuuteen. Muita akustisen liikkeen seurannan heikkouksia ovat ulkotiloissa tuulen vaikutus, edellä mainittu signaalin vaimeneminen sekä äänen nopeuden riippuvuus lämpötilasta. Akustista liikkeen seurantaa on siis hieman hankalaa käyttää teatteriesitysten osana, muttei mahdotonta. Pienissä esityksissä ja sopivassa ympäristössä akustista liikkeen seurantaa voisi käyttää inertian tukena. (Welch et al., 2002) 6
3.5 Mekaaninen liikkeen seuranta Kuva 6: Mekaaninen liikkeen seuranta (Kuhlen, 2005) Mekaaninen liikkeen seuranta tarkoittaa luurankomaista liikkeen seurantaa. Sitä käytetään lähinnä virtuaalitodellisuussovelluksissa. Käyttäjä on vaikkapa kypärän kautta kiinnitetty mekaaniseen laitteeseen. Käyttäjän liikkuessa tämä mekaaninen luurankokin liikkuu ja välittää eteenpäin käyttäjän liikkeet. Tällöin käyttäjän liikkuminen on hyvin rajoittunutta. Tällainen liikkeen seuranta luonnollisesti rajoittaisi huomattavasti näyttelijän liikkuvuutta esityksen aikana. Tästä syystä mekaanista liikkeen seurantaa voisi suositella äärimmäisen poikkeuksellisiin tilanteisiin, kuten vaikkapa kiskoja pitkin liikkuvan robotin liikkeen seurantaan. Tästä syystä mekaaninen liikkeen seurantaan ei ole syytä tutustua tämän tarkemmin. (Kuhlen, 2005) 3.6 Eri liikkeen seurannan menetelmien vertailua Seuraavista taulukoissa on vertailtu eri menetelmien ominaisuuksia sekä vertailu näitä tekniikoita. Kuva 7 a ja b: Eri menetelmien vertailu (kuva a:wurpts, kuva b: Kuhlen et al) 7
3.7 EMG Kuva 9: EMG-signaali mitattu kasvojen alueelta ihon pinnalta. (lähde 4) Kuva 10: Tyypillinen EMG:n taajuusspektri. EMG on lyhenne sanasta electromyogram. Se on laite, joka mittaa tietyn tietyn lihasryhmän supistumista. Se ennustaa lihaksen aktiopotentiaalin sekä lihaksen lepotilassa että lihaksen olessa supistunut. Lihassoluissa on niiden lepotilan aikana -70 mv jännite-ero solun sisä- ja ulkopuolen välillä. Aktiopotentiaalin aikana jännitys muuttuu -70mV:sta 40 mv:tiin. Tämä muutos mitattavissa. Sairaaloissa mittaus tehdään normaalisti suoraan lihaksesta lihakseen pistettävällä neulalla. Jännitys voidaan kuitenkin mitata myös ihon pinnalta, jolloin mittaustulos ei ole yhtä tarkka (Wikipedia). Pinnalta lihasaktiviteettia mitataan metellisilla elektrodeilla, jotka kiinnitetään iholle esimerkiksi kaksipuolisella teipillä (Niemenlehto). EMG:llä voidaan seurata eri lihasten, kuten silmän lihasten tai pakaran, aktivaatiota. Tällä tavoin saadaan tietoa tietyn lihasryhmän aktivaatiosta. Kyseistä keinoa käytetään erityisesti silman lihasten mittaamiseen. 3.8 EKG 8
Kuva 11: EKG-signaali koostuu kolmesta aallosta. (electrocardiograms) ECG tai suomalaisittain EKG on lyhenne sanasta electrocardiogram. EKG on laite, joka mittaa sydämen toimintaa, tarkemmin sanottuna sydämen tuottamaa sähköistä signaalia. Jokainen sydämen syke koostuu osasta, jossa sydän tuottaa sähköisen impulssin, joka tämän jälkeen johtuu joka puolelle sydäntä. Nämä signaalit johtuvat rintakehän läpi iholle, josta ne voi mitata. Normaali sydämen sykäys tuottaa signaalin, jossa on kolme aaltoa. Nämä syntyvät sydämen eri osista. Virtuaalisen digitaalisen teatterin kannalta tärkeimmät mitattavat piirteet ovat sydämen lyöntitiheys eli syke ( Electrocardiograms ). Sydämen sykettä ei voi suoraan käyttää ihminen-konekäyttöliittymiin, sillä se ei anna tarpeellista tietoa kehon toiminnoista (Auranen, 2002). Syketietoa voidaan kuitenkin yhdistää muiden biosignaalien antamaan tietoon, jolloin ne yhdessä antavat toisiaan täydentävää tietoa vaikkapa ihmisen mielentilasta (rauhallinen/jännittynyt). 3.9 EEC/EEG EEC/EEG on lyhenne sanasta electroencephalogram. Aivojen elektrokemiallinen toiminta tuottaa sähköä, jota voidaan mitata pään pinnalta (ilman että hiuksia tarvitsee leikata). EEG mittaa aivojen sähköisiä pulsseja pään pinnalta ja analysoi pulssien taajuudet. Nämä sähköiset signaalit muuttuvat sen mukaan, että mitä ihminen tekee. Keskittyessä, rentoutuessa, voimakasta visuaalista ärsykettä katsottaessa jne. aivosähkökäyrä näyttää erilaiselta. Kun lisäksi huomioidaan eri aivon osioiden tehtävät, antaa tämä signaali hyvin paljon informaatiota. Näitä signaaleja voidaan käyttää paitsi teatteriesityksen ohjaukseen, myös perinteisemmän käyttöliittymän ohjaukseen. EEG:tä onkin suunniteltu käytettävän myös ihminen-kone käyttöliittymissä (Auranen, 2002). 3.10 Puhesignaali Nykyteatterissa jokaisella näyttelijällä on oma mikrofoninsa. Jokaisen näyttelijän äänisignaalia olisi täten mahdollista tutkia ja käsitellä. Nykyään on olemassa useita eri metodeja puheen tunnistukseen sekä erottamaan puhesignaalista muut äänet (nauru, tausta, hiljaisuus jne). Yksittäisen puhujan putkessa (normaali puhe, enemmän kuin yksittäisiä sanoja lausutaan ilman liioiteltuja taukoja) lausumista sanoista (puheesta) tunnistetaan nykytekniikalla useita kymmeniä sanoja. Puheentunnistusta voisi kuvailla karkeasti seuraavalla tavalla: puheentunnistuksessa puhesignaali jaetaan ensin foneemeihin (äänteisiin). Tämän jälkeen nämä äänteet tunnistetaan tilastollisin keinoin. Lopuksi yksittäisten äänteiden perusteella päätellään lausuttu sana. Sanoman lisäksi puhesignaalista on mahdollista päätellä puhuja, kieli, puhujan sukupuoli jne. Kuten audiosignaalista puhesignaalista voi päätellä perustaajuuden, rytmin jne. 4.0 LIIKKEEN TUNNISTUS JA BIOSIGNAALIT TEATTERITAITEESSA 9
Edellä on esitelty erilaisia tekniikoita liikkeen seurantaan sekä ihmisen kehon fysiologisten muutosten mittaamiseen. On helppo todeta että liikkeen seurannan eri tekniikoista lähinnä optista sekä inertiaan perustuvaa voidaan soveltaa teatteritaiteessa. Koska käytännössä inertia ei vielä yksinään anna tarpeeksi tarkkaa tietoa, on käytettävä joko optista havaitsemista tai näiden yhdistelmää. Alla on kuva, joka on esimerkki siitä, miten ihmisen kehon liikkeillä voidaan ohjata näytöstä. Alla oleva esimerkki on installaatiotaiteen puolelta, mutta sopivasti soveltamalla voidaan alla olevaa hyvödyntää myös teatterimaailmassa. Alla olevan kaavion kaltainen toteutus on mahdollista, jos liikettä seurataan muutamasta kohtaa ihmiskeholta vaikkapa juuri kameralla ja inertiaan perustuvalla anturilla. Ainakin jalkojen, käsien ja pään liikettä tulee seurata. Tämä voidaan toteuttaa kameroilla ja inertia-antureilla. Lisätietoa voidaan saada lihasjännitystä mittaavilla antureilla, jotka kertovat tarkemmin tiettyjen lihasten toiminnasta. Näin voidaan välittää tietoa juuri nimenomaan vaikkapa peukolon heiluttelusta (hand gesture) tai jalkaterän liikkeistä. Kuva 12: Näytöksen ohjaus. (Wechsler, 2006) Seuraavaksi käymme yksityiskohtaisemmin läpi liikkeen seurantaa teatteritaiteessa. 4.1 Musiikin tahdistus liikkeeseen tai ääneen Näyttelijän seurannalla voidaan myös parantaa esityksen musiikin ja vaikkapa tanssin rytmitystä ja sovittumista yhteen. Sen sijan, että näyttelijä tanssisi musiikin tahtiin, soitetaan musiikkia tanssin tahtiin. Myös kävely on mahdollista rytmittää taustamusiikkiin. Edellä mainittu onnistuu, kun näyttelijän molemmissa jaloissa on anturit ja näiden liikettä seurataan. Yksi mahdollinen toteustapa kävelyn tahdittamiseen olisi se, että aina kun anturit ohittavat toisensa, soitetaan tietty ääni. Lisätietoa liikkeistä saadaan lihasjännitystä mittaamalla (kävellessä lihasjännitystä tapahtuu rytmisesti). 10
Myös laulun perusteella on mahdollista tuottaa musiikkia. Tämä on kuitenkin hieman monimutkaisempaa ja vaatii äänisignaalin käsittelyä. Yksinkertaistettuna tämä toimii siten, että laulajan äänisignaalia tutkitaan ja vaikkapa musiikin perustaajuus valitaan mukailemaan laulajan laulun perustaajuutta. 4.2 Improvisoinnin mahdollistaminen Yllä olevasta taulukosta voidaan nähdä esimerkki siitä, miten musiikkia ja valaistusta voidaan luoda kehon liikkeillä. Teatterissa installaatiotaiteiden kaltainen hyvin vapaa ilmaisu ei välttämättä onnistu. Teatteriesityksessäkin on varmasti paikoitellen mahdollista soittaa improvisoitua musiikkia sekä valaista lavaa ilman tarkkaa ennaltasuunnittelua. Tämän lisäksi musiikkia ja valaistusta voidaan ohjata kehon liikkeiden perusteella. Näytöksen seuraaminen tietokoneavusteisesti tarjoaa mahdollisuuden jonkunasteiselle improvisoinnille. Näytös koostuu eri palikoista kuten äänistä, valaistuksesta ja itse juonesta. Jos nämä palikat etenevät toisiaan huomioimatta, ei tilaa improvisoinnille ole: Jotta tehosteäänet tulevat oikeana hetkenä, on näyttelmän oltava tietyssä vaiheessa. Jos nämä palikat saadaan kytkettyä toisiinsa, on improvisaatio mahdollista. Improvisoinnilla tarkoitan tässä esim. seuraavankaltaista tilannetta. Näytelmässä on lauluesitys, josta yleisö tykkää kovasti. Tätä kohtaa voisi siis pidentää. Vastaavasti kohtaa, jossa yleisö osoittaa tylsistymisen piirteitä, voisi joko nopeuttaa tai piristää jotenkin. Valaistus ja ääniefektit on tällöin kytkettävä ajan sijasta tarinan kulkuun. Esimerkkinä voitaisiin sanoa tilanne, jossa valokeila seuraa näyttelijää automaattisesti tai että tanssikohtauksen musiikki alkaa soimaan, kun näyttelijät tarttuvat toisiaan käsistään ja alkavat tanssimaan. 4.3 Yleisön osallistuminen Improvisaatiota voi tehdä joko yleisöstä välittämättä tai siitä välittäen. Puhuttaessa vuorovaikutteisesta teatterista on oletettavaa, että esitys etenee yleisön reaktioita huomioiden. Tämä voidaan yksinkertaisimmillaan tehdä yleisön eleitä ja ääniä seuraamalla. Tarkempaa lisätietoa yleisöstä saadaan vaikkapa mittaamalla biosignaaleja myös yleisön jäseniltä ja luoda tätä kautta vuorovaikutteisuutta teatteriin. Biosignaaleja seuraamalla on mahdollista saada tietoa yleisön todellisesta innokkuudesta. Sydämen sykettä ja aivosähkökäyrää seuraamalla saadaan tietoa aktivaation ja jännityksen tasosta. 4.4 Törmäystarkastus Liikkeen seuranta on pakollista erityisesti silloin kun lavalle luodaan animoituja kolmiulotteisia piirroshahmoja tai lavasteita. Tällä vältetään oikeiden ja piirroshahmojen meneminen päällekäin. Toisaalta voidaan mahdollistaa vaikkapa animoidun koiran todentuntuinen isännän seuraaminen; näyttelijän pysähtyessä koira pysähtyy vierelle ja jatkaa kulkuaan näyttelijänkin jatkaessa. 4.5 Tiedon keruu piirroshahmoille Jos esitykseen tuodaan digitaalisesti luotuja hahmoja joiden pitää osata reagoida ihmismäisesti myös improvisoiduissa kohtauksissa, on heille kerättävä tietoa näyttämön tapahtumista. Erityisesti he tarvitsevat tietoa näyttelijöiden reaktioista kuten naurusta, itkusta, puheesta jne. Suurin osa tästä tiedosta saadaan näyttelijän äänisignaalia analysoimalla. 11
4.6 Kerronnan tehostus äänien ja valojen avulla Äänien ja valojen avulla voidaan tuoda tehostettua tietoa teatteriesityksen kulusta. Kahden näyttelijän lähestyessä toisiaan voi musiikin tempo kasvaa ja vastaavasti vähetä näyttelijöiden kaikotessa toisistaan. Myös tietyn näyttelijän saapuminen lavalle ja poistuminen siltä voidaan tehostaa ääni- ja valomerkein. Hiipimisestä, kävelystä, juoksemisesta, kaatumisesta jne kuuluvat äänet äänet voidaan erotella. Tällöin on tarkoituksena luoda esitykseen lisätietoja tv-ssä esitettyjen piirrettyjen tyyliin. Piirretyissä kuuluvat äänet eivät kuulosta aidoilta, mutta ihminen kuitenkin niiden perusteella ymmärtää paremmin tv:n tapahtumia kuin ilman ääniä. Liioitellut äänet ovat usein myös hauskoja. Edellä kuvattu on mahdollista kun jokaista näyttelijää seurataan erikseeen. Tämän lisäksi heidät on pystyttävä erottelemaan. 4.7 Huomautettavaa Lopuksi haluaisin huomauttaa, että etsinnöistäni huolimatta en löytänyt tutkielmia tai teatteriesityksiä, joissa olisi käytetty puhesignaalia teatteriesityksen ohjaamiseen. Koska näyttelijöillä joka tapauksessa on jokaisella oma mikrofoninsa, olisi mahdollista poimia vain yksittäin näyttelijöiden puhetta ja käyttää sitä esityksen ohjaamiseen. Puheen tunnistus on edistynyt sen verran, että tietyn rajatun ryhmän lausumia eri sanoja tunnistetaan useita. Uskonkin, että tulevaisuudessa myös puhesignaalia käytetään vuorovaikutuksen keinona sekä teatteriesityksissä, että muissa taiteen lajeissa. 5.0 YHTEENVETO Työni on jaettu pariin kolmeen osaan. Aluksi käyn läpi vuorovaikutteisen virtuaalisen teatterin vaatimaa tekniikkaa näyttelijöiden seurantaa ajatellen. Tekniikoista käsitellään ensimmäiseksi liikkeen seurannan eri vaihtoehtoja. Tämän jälkeen keskityn kehollisiin käyttöliittymiin ja biosignaaleihin, jotka tuovat tietoa ihmisen kehon tapahtumista. Lopuksi käsittelin miten näiden tekniikoiden avulla tehdään vuorovaikutteista teatteria. Lähdeluettelo ja viitteet: Heinonen Sirkka, Hietanen Olli, Kiiskilä Kati, Koskinen Laura, 2002. KESTÄÄKÖ TIETOYHTEISKUNTA? Käsiteanalyysia ja alustavia arvioita s. 122 [katsottu 30.10.2006] www.kauppakorkea.fi/tutu/intranet/ etieto/drafts/kasiteanalyysi.pdf Welch Greg, Foxlin Eric, 2002. Motion Tracking: No silvet bullet, but respectable arsenal [Katsottu 5.11.2006] http://www.cs.unc.edu/~tracker/media/pdf/cga02_welch_tracking.pdf Wikipedia 12
[katsottu 4.11.2006] http://en.wikipedia.org/wiki/electromyography Niemenlehto Pekka, [Katsottu 30.10.2006] http://www.cs.uta.fi/research/ theses/masters/niemenlehto_pekka.pdf (En saa tätä linkkiä enää avattua, joten en valitettavasti pysty antamaan tarkkoja tietoja.) Electrocardiograms [katsottu 4.11.2006] http://www.healthyhearts.com/ecg.htm Wechsler Robert, 2006. Artistic Considerations in the Use of Motion Tracking with Live Performers: a Practical Guide [katsottu 4.11.2006] http://www.palindrome.de/motrackshort7.pdf Geigel Joe, Schweppe, 2004 Theatrical Storytelling in a Virtual Space Auranen Toni, 2002. Ihmisen biologiset signaalit [katsottu 4.11.2006] www.lce.hut.fi/teaching/s-114.740/biological_signals.ppt Wurpts Malachi, Swansson Tammy, Tapia Rolan. Tracking technologies for virtual reality training applications: A case study Kuhlen, Assenmacher, 2005. Motion tracking [katsottu 30.11.2006] http://www.rz.rwthaachen.de/vr/teaching/lectures/ws05/vrlecturews0506chapter7_tracking.pdf Dessai Sandip Sar, Hornung Alexander, Kobbelt Leif, 2006. Automatic Data Normalization and Parameterization for Optical Motion Tracking [katsottu 30.11.2006] http://www.jvrb.org/3.2006/548 Kuivakari Seppo, Huhtamo Erkki, Kangas Sonja, Olsson Eveliina 1999. Keholliset käyttöliittymät. Sipoo: Paino-Center Oy s. 3-5 Tämän esityksen teossa olen käyttänyt myös omaa tietämystä. Olen opiskellut jonkin verran esim. puheen käsittelyä ja havaitsemista ja tästä syystä tiedon jonkin verran tästä aiheesta. Tutkielmaa tehdessä on vierailtu myös seuraavilla sivuilla: 13
http://climeg.poliba.it/%7edisegno/vr3lab/index.htm http://www.fit.fraunhofer.de/projekte/index_en.xml http://www.vrac.iastate.edu/research/index.php http://www-vrl.umich.edu/projects.html http://www.sti.nasa.gov/tto/spinoff2005/ch_10.html http://www.ascension-tech.com/ http://www.wave-report.com/tutorials/motrak.htm http://www.polhemus.com/ http://www.palindrome.de/ 14