Mika P. Nieminen Petri Mannonen Laura Turkki (toim.)

Helsinki University of Technology Software Business and Engineering Institute Technical Reports 5 Teknillisen korkeakoulun ohjelmistoliiketoiminnan ja tuotannon laboratorion tekninen raportti 5 Espoo 2004 HUT-SoberIT-C5 HEIJASTUKSIA TODELLISUUDESSA Näkökulmia tehostettuun todellisuuteen Mika P. Nieminen Petri Mannonen Laura Turkki (toim.) AB TEKNILLINEN KORKEAKOULU TEKNISKA HÖGSKOLAN HELSINKI UNIVERSITY OF TECHNOLOGY TECHNISCHE UNIVERSITÄT HELSINKI UNIVERSITE DE TECHNOLOGIE D HELSINKI

Helsinki University of Technology Software Business and Engineering Institute Technical reports 5 Teknillisen korkeakoulun ohjelmistoliiketoiminnan ja tuotannon laboratorion tekninen raportti 5 Espoo 2004 HUT-SoberIT-C5 HEIJASTUKSIA TODELLISUUDESSA Näkökulmia tehostettuun todellisuuteen Mika P. Nieminen Petri Mannonen Laura Turkki (toim.) Helsinki University of Technology Department of Computer Science and Engineering Software Business and Engineering Institute Teknillinen korkeakoulu Tietotekniikan osasto Ohjelmistoliiketoiminnan ja tuotannon laboratorio

Distribution: Helsinki University of Technology Software Business and Engineering Institute P.O. Box 9600, FIN-02015 HUT, Finland Tel. +358-9-4511 Fax. +358-9-451 4958 E-mail: reports@soberit.hut.fi Tekijä(t) ISBN 951-22-7103-6 ISSN 1457-8050 Otamedia Espoo 2004

Sisällys Sisällys... 1 Esipuhe... 3 Sari Randén: Virtuaalitodellisuus ennen, nyt ja tulevaisuudessa... 4 Lauri Hakkarainen: Tarinankerronta ja sisällöntuotanto tehostetun todellisuuden sovelluksissa... 13 Osmo Tolvanen: Lisätyn todellisuuden ja virtuaalimaailman asettamat vaatimukset käyttäjän aisteille sekä järjestelmälle... 22 Anu Vilén: Yhteistyön ja viestinnän vaatimukset tehostetun todellisuuden sovelluksissa... 30 Anna Häkli: Ihmisten välisen vuorovaikutuksen ja virtuaalihahmojen käytön haasteet tehostetussa todellisuudessa... 39 Johanna Viitanen: Agentit käyttäjän apuna virtuaalisessa ja todellisessa ympäristössä... 48 Laura Klemetti: Käyttökokemus kasvokkaista yhteistyötä tukevissa tehostetun todellisuuden sovelluksissa... 57 Antti Piira: Käyttökokemus tulevaisuuden tehostetussa todellisuudessa... 67 Severi Pahkala: Tehostetun todellisuuden sovellusten laitteiston käyttökokemus liikuttaessa ja kannettavilla laitteilla... 75 Sami Lappalainen: Käsinkosketeltava käyttöliittymä lisätyn todellisuuden ympäristöissä... 82 Kaisa Savolainen: Haptiset käyttöliittymät tehostetun todellisuuden sovelluksissa... 91 Janne Ojala: Tekniset ratkaisut ja vakiintuneet käytännöt tehostetun todellisuuden sovellusten kehittämisessä... 100 Jenni Häyrén: Lisätyn todellisuuden hyödyntäminen tuotantolaitosten suunnittelussa sovellusten potentiaali Suomen markkinoilla... 110 1

2

Esipuhe Sinulla on käsissäsi kokoelma artikkeleita, jotka syntyivät kahdessa viikossa käyttöliittymien ja käytettävyyden seminaarissa 1 keväällä 2004. Seminaari oli osa XU - extreme Usability opetuksen kehittämishanketta 2, jossa kevään aikana suoritettiin intensiivisesti käytettävyyden sivuaine tai suurin osa pääainetta. XU-kokonaisuuden järjestämisestä vastasi Ohjelmistoliiketoiminnan ja tuotannonlaboratorion käytettävyys ja käyttöliittymät professuuri ja se sai opetusministeriöltä erillisrahoitusta. XU:iin osallistui 15 opiskelijaa, jotka varasivat koko lukukauden opintokokonaisuudelle. Näin varmistettiin riittävästi aikaa käytettävyyden opintojen suorittamiseen ilman muita kilpailevia opintoja. Keskellä reilun neljän kuukauden urakkaa oli tarpeen rauhoittaa opiskelijat hetkeksi omiin oloihinsa muuten ryhmätyömuotoisesta projektityöstä, joten järjestimme tiiviin seminaarin tehostetun todellisuuden aihealueesta. Tämän tuotoksiin olet kohta tutustumassa. Artikkelit syntyivät kahden viikon aikana alkaen taustamateriaalien etsinnästä ja aiheen rajauksesta, päättyen valmiin artikkelin esittelyyn ja opponointiin. Tiiviin aikataulun johdosta kaikki kirjoittajat tuottivat ja esittelivät työnsä rinnakkain, joten osittaisia päällekkäisyyksiä ei kokonaisuudessaan voitu välttää. Tehostettu todellisuus on verrattain uusi tieteenala, joten käytetty (ja paikoin ensimmäistä kertaa suomennettu) sanasto on osittain vakiintumatonta ja artikkelit perustuvat usein vahvasti muutamiin peruslähteisiin. Jokainen joka on kirjoittanut akateemista artikkelia tiukalla aikataululla ymmärtänee hyvin, miksi nyt erityisen ylpeänä esittelemme kahdessa viikossa kirjoitetun kirjan, josta lukijana saat laaja-alaisen näkemyksen virtuaali- ja tehostetun todellisuuden aihealueeseen useista erilaisista näkökulmista koskaan käyttäjiä unohtamatta. Espoossa 10.5.2004, Mika P. Nieminen Petri Mannonen Laura Turkki 1 T-121.900 Käyttöliittymien ja käytettävyyden seminaari http://www.soberit.hut.fi/t-121/ T-121.900/ 2 XU:ssa kukin opiskelija suoritti noin 16 opintoviikkoa yhden lukukauden aikana. Koko lukukausi vietettiin täysipäiväisesti opiskellen virtuaalisen ja tehostetun todellisuuden sekä multimedia parissa pääsääntöisesti viiden hengen ryhmissä työskennellen. Jokaiselle ryhmälle tarjottiin pysyvät työtilat ja peruslaitteisto projektien toteuttamiseen. http://www.soberit.hut.fi/t-121/xu/ 3

Virtuaalitodellisuus ennen, nyt ja tulevaisuudessa Sari Randén Teknillinen korkeakoulu Puunjalostustekniikan osasto sranden@cc.hut.fi TIIVISTELMÄ Virtuaalitodellisuus on useimmiten tietokoneella luotu kolmiulotteinen ja vuorovaikutteinen ympäristö. Se tarjoaa ihmisille elämyksiä ja kokemuksia uudella tavalla. Virtuaalitodellisuudessa ihminen voi kokea ja tehdä asioita, jotka eivät olisi mahdollisia todellisessa maailmassa tai olisivat hyvin vaikeita toteuttaa perinteisillä keinoilla. Tutkimuksen tavoitteena oli selvittää virtuaalitodellisuuteen liittyviä tulevaisuuden visioita. Koska tulevaisuuden teknologia perustuu tämän päivän ja menneen ajan saavutuksiin, artikkelissa esitellään ensin virtuaalitodellisuuden historiaa ja sitten sen nykyisiä sovellutuksia sekä tulevaisuudennäkymiä. Tulevaisuuden ennustaminen on erittäin vaikeaa, joten tänään tai edes vuoden päästä emme voi olla varmoja visioiden toteutumisesta. Nykyisten sovellusten perusteella vaikuttaa kuitenkin siltä, että virtuaalitodellisuuden käyttö tulee lisääntymään tutkimuksessa ja tuotekehityksessä, opetuksessa ja koulutuksessa sekä viihdeteollisuudessa. Järjestelmien kehittämisessä panostetaan entistä pienempiin ja kevyempiin mukana kuljetettaviin laitteisiin, kuten näyttöihin ja antureihin sekä luonnollisten ja ihmisläheisten käyttöliittymien suunnitteluun ja toteuttamiseen. Tietotekniikan kehitys tulee mahdollistamaan järjestelmät ja sovellukset, joilla voidaan saada aikaan entistä vakuuttavampia kokemuksia virtuaaliympäristöissä. Useimmat virtuaalitodellisuuden visiot tuntuvat nyt hyvin mielikuvituksellisilta ja haaveenomaisilta ajatuksilta. Avainsanat Keinotodellisuus, virtuaalitodellisuus, lisätty todellisuus, tehostettu todellisuus. JOHDANTO On arveltu, että varhaisemmissa kulttuureissa tulevaisuus oli vain jatke nykyisyydelle, joka ei juuri eronnut tästä päivästä, huomisesta tai mistään muustakaan päivästä vuosien päästä. Vasta teollisuuden vallankumouksen jälkeen syntyi ajatus maailman muuttumisesta. [15] Teknologian kehittyminen ja uudet keksinnöt ovat innostaneet tiedemiehiä ennustamaan hyvin huimiakin tulevaisuudennäkymiä, joita viihde- ja elokuvateollisuus ovat käyttäneet hyväkseen peleissä ja elokuvissa. Eräs tulevaisuuden visio on liittynyt virtuaalisuuteen eli siihen mikä ei ole todellista, mutta mitä voidaan pitää todellisena tiettyä tarkoitusta varten. Jos käyttäjä ei erota virtuaalimaailman kokemusta reaalimaailman kokemuksesta, vaarana voi olla, että ihminen ei enää tiedä mikä hänen elämässään on todellista tai keinotekoista. Virtuaalitodellisuus ei ole kuitenkaan joko hyvä tai paha asia. Se on vain väline toteuttaa asioita uudella tavalla. Virtuaaliympäristöjen avulla ihmiset voivat oppia myös ymmärtämään omaa sisimpäänsä ja ympäristöään entistä paremmin. [2] Termistö Virtuaalitodellisuudesta (virtual reality) ja siihen läheisesti liittyvistä teknologioista puhuttaessa käytetään monia termejä kuvaamaan niihin liittyviä käsitteitä. 4

Suomen kielessä virtuaalitodellisuuden synonyyminä käytetään usein keinotodellisuustermiä. Alun perin keinotodellisuus (artificial reality) oli amerikkalaisen tiedemiehen Myron W. Kruegerin 1970-luvulla luoma ilmaisu ihmisen koko kehon osallisuudesta tietokonetapahtumassa, joka oli niin vakuuttava ja mukaansatempaava, että ihminen hyväksyi sen aitona kokemuksena [10]. Nykyään englanninkielisissä teksteissä artificial reality - käsitteellä viitataan sellaiseen virtuaaliympäristöön (virtual environment), joka ei vaadi käyttäjää kantamaan mukanaan erikoislaitteistoa ympäristön ohjaamista varten [12]. Tiedemies ja taiteilija Jaron Lanier loi termin virtuaalitodellisuus (virtual reality) vuonna 1989 [10]. Virtuaalitodellisuuden rinnalla käytetään myös termejä virtuaalimaailma (virtual world) tai virtuaaliympäristö (virtual environment). Yleisesti ottaen niillä viitataan tietokonepohjaisiin järjestelmiin, joissa käytetään kolmiulotteisuutta ja vuorovaikutteisuutta. Käyttäjälle tarjotaan laitteiden (datalasien, -käsineiden ja -pukujen) avulla avaruudellisen läsnäolon tuntua, joka voi olla visuaalista, auditiivista tai kosketettavissa olevaa. [12] Käyttäjä kokee virtuaalimaailmassa harhauttavan aitoja todellisuuden vaikutelmia. Virtuaalitodellisuuden järjestelmät voidaan jaotella kahteen pääryhmään: heijastettavaan virtuaalitodellisuuteen (projection virtual reality) ja tietokoneen näytöllä esitettävään virtuaalitodellisuuteen (desktop virtual reality). Heijastettavassa virtuaalitodellisuudessa kolmiulotteiset virtuaaliset mallit heijastetaan tilassa, jossa käyttäjän on mahdollista havaita ne päähän laitettavalla kypäränäytöllä. Sen sijaan tietokoneen näytöllä esitettävä virtuaaliympäristö voidaan havaita stereoskooppisesti erityisiä stereolaseja käyttämällä. Käyttäjät voivat olla myös vuorovaikutuksessa virtuaaliympäristön kanssa datakäsineillä tai tietokoneen hiirellä. [1] Lisätty todellisuus (augmented reality) viittaa näkymään, johon on lisätty elementtejä tietokonegrafiikalla ja jota käyttäjä tarkastelee läpikatseltavien näyttöjen (see-through displays) kautta [12]. Se on siis järjestelmä, jossa keinotekoista tietokoneella tuotettua tietoa (kuvia ja tekstiä) lisätään todelliseen ympäristöön [13]. Tehostetussa todellisuudessa (mixed reality) todellinen ja virtuaalinen maailma on sulautettu yhteen [13]. KATSAUS VIRTUAALITODELLISUUDEN HISTORIAAN Monille ihmisille virtuaalitodellisuus on tuttua tieteiskirjallisuudesta, peleistä ja elokuvista. Virtuaalitodellisuuden järjestelmiä on kuitenkin ollut olemassa jo 40 vuotta, vaikka ensimmäisiä virtuaaliympäristöjä ei toteutettu tietotekniikalla. Esimerkkinä voidaan mainita lentosimulaattorit, joissa käytettiin TV-kameroilla kuvattua videokuvaa. Käyttäjä sai itse vaikuttaa sen ohjaamiseen ja kuvan etenemiseen. [12] Morton Heilig kehitti Sensorama-nimisen simulaattorin vuonna 1956. Se oli laite, jolla yritettiin jäljitellä uskottavaa kokemusta moottoripyörän kyydissä New Yorkissa. Käyttäjä istuutui ja otti kiinni ohjaimista sekä siirsi päänsä katseluaukkojen eteen. Samalla kun hänelle näytettiin kolmiulotteista kuvaa Manhattanin liikenteestä, laitteen istuin ja ohjaustanko värähtelivät. Tuuli puhalteli käyttäjän kasvoille ja sopivina ajankohtina hän haistoi pakokaasun hajua ja pizzan aromeja. Sensoramaa pidettiin parhaana mahdollisena elokuvakokemuksena. Koska laitteen ja käyttäjän välillä ei ollut vuorovaikutusta, siinä ei ollut sellaista keinotodellisuutta kuin mitä termillä nykyisin ymmärretään. Se oli kuitenkin ensimmäisiä kaupallisia toteutuksia, jolla käyttäjä pystyi kokemaan tapahtumia keinotodellisuudessa. Kokemuksen todentuntuisuutta tehostettiin antamalla ärsykkeitä näkö-, kuulo-, haju- ja kosketusaisteille. [10] Se ei ollut kuitenkaan kaupallinen menestys [9]. Morton Heiligin toinen keksintö oli stereoskooppinen kypäränäyttö (immersive stereoscopic 5

head-mounted display). Siinäkin otettiin huomioon käyttäjän aistitoiminnot: näkö-, kuulo- ja hajuaisti [12]. Tietokonegrafiikan kehittäjä Ivan Sutherland esitteli vuonna 1965 IFIP-konferenssissa ideaansa äärimmäisestä näytöstä (The Ultimate Display), joka toisti keinotekoiset kuvat yhtä todentuntuisina kuin oikeat esineet [12]. Ivan Sutherlandin visio äärimmäisestä näytöstä Frederick P. Brooksin mukaelmaa lainaten: Älä ajattele, että tämä esine on näyttö. Ajattele sitä ikkunana, jonka läpi katsotaan virtuaalimaailmaan. Tietokonegrafiikan haasteena on saada virtuaalimaailma näyttämään todelliselta, kuulostamaan todelliselta, liikkumaan ja reagoimaan vuorovaikutukseen reaaliajassa, ja jopa tuntumaan todelliselta. [5] Neljän vuoden päästä äärimmäisen näytön julkistuksesta Ivan Sutherland toteutti kypäränäytön, joka tuotti kaksi stereokuvaa kolmiulotteisesta näkymästä. Kuvat esitettiin kahdessa pienikokoisessa monitorissa, yksi kummallekin silmälle. Monitorit oli kiinnitetty katosta roikkuvaan laitteeseen, johon myös käyttäjä asetti päänsä kypäränkäytön ajaksi. Laite havaitsi käyttäjän pään liikkeet ja välitti niistä tiedot tietokoneelle, joka sitten tuotti näkymän ja siirsi sen kypäränäytölle. Käyttäjä näki näkymän kolmiulotteisena ja graafisena tilana. [10] 1970-luvulta lähtien Myron W. Krueger rakensi useita järjestelmiä, joissa ei käytetty kömpelöitä, puettavia näyttöjä ja antureita [12]. VIDEOPLACE-nimisessä järjestelmässä yhdistettiin videokuvaa ja tietokonegrafiikkaa samassa ympäristössä. Kuvaruudulle heijastettiin käyttäjän kuva tai siellä näkyi myös muiden ihmisten kuvia eri paikoissa. Siellä saattoi olla myös piirrettyjä esineitä ja olentoja, jotka olivat vuorovaikutuksessa käyttäjän kuvan kanssa. Kun ihmiset näkivät kuvansa samalla näytöllä graafisen kohteen kanssa, he tunsivat halua koskettaa sitä. Järjestelmä huolehti graafisen kohteen ja käyttäjän kuvan koordinaattimuutoksista graafisessa maailmassa niin, että kohde vaikutti reagoivan käyttäjän liikkeisiin reaaliaikaisesti. VIDEOPLACE-järjestelmää ajateltiin soveltaa myös taiteessa ja opetuksessa sekä videoneuvotteluympäristönä. [11] Yhdysvaltojen ilmavoimien Wright Patterson -tukikohdan ja NASA:n Amestutkimuslaboratorion tutkijat kehittivät 1980-luvulla monia ideoita, jotka liittyivät virtuaaliympäristöihin. Esimerkkeinä voidaan mainita värejä toistavat, stereoskooppiset kypäränäytöt sekä kolmiulotteinen ääni (spatial sound). 1980-luvun puolessa välissä Jaron Lanierin perustama VPL Research -yritys kehitti virtuaaliympäristöissä käytettävät datakäsineet (DataGlove) ja toi kypäränäytöt kaikkien ulottuville. Median kiinnostus lisääntyi seuraavina vuosina virtuaalitodellisuutta ja näitä molempia keksintöjä kohtaan. Lukuisia konsultointiyrityksiä ja tutkimuslaboratorioita perustettiin ilmiön saavuttaman suuren suosion innostamina. [12] VIRTUAALITODELLISUUDEN KÄYTTÖ NYKYAIKANA Virtuaalitodellisuuden ensimmäiset kokeilut tehtiin jo 1960-luvulla, mutta vasta 1990-luvulla siitä syntyi maailmanlaajuinen ilmiö. Media asetti teknologialle suuret odotukset, vaikka sovellukset olivat vaatimattomia ja niitä oli kokeiltu vain yliopistoissa ja tutkimuslaboratorioissa. Kun median kiinnostus virtuaalitodellisuutta kohtaan väheni, kohu sen ympärillä laantui. 1990-luvun puolessa välissä uusiksi puheenaiheiksi nousivat Internet ja World Wide Web. [14] Virtuaalitodellisuus ei kuitenkaan hävinnyt mihinkään, vaan sovelluksia otettiin vähitellen käyttöön kehittyneempiä ratkaisuja odotellessa. Tämän päivän teknologiaa Virtuaalitodellisuuteen perustuva teknologia on ollut vaikeakäyttöistä ja kallista, koska siihen liittyviä sovelluksia ei ole myyty kuluttajille, vaan lähes ainoastaan tutkimus- ja kehityskäyttöön. Tiedemiehet ovat käyttäneet virtuaalitodellisuutta havainnollistamaan 6

järjestelmiä, joita he ovat suunnitelleet ja analysoineet. Viime vuosina järjestelmien suunnittelijat ovat myös omaksuneet avoimen lähdekoodin filosofian. Se on johtanut järjestelmien ja sovellusten kehittämiseen useiden eripuolilla maailmaa työskentelevien ihmisten yhteistyönä. [17] Virtuaalitodellisuuden perusjärjestelmä sisältää esimerkiksi virtuaalimaailman matemaattisen mallin, käyttäjän päähän laitettavan kypäränäytön sekä anturin, joka ilmoittaa tietokoneelle käyttäjän pään liikkeistä. Käyttäjä on vuorovaikutuksessa virtuaaliympäristön kanssa kädessä pidettävällä ohjaimella (handheld controller). Anturin ja ohjaimen lähettämän tiedon sekä matemaattisen mallin perusteella tietokone piirtää sen hetkisen virtuaalimaailman ja välittää sen välittömästi käyttäjän kypäränäyttöön. [18] Toteutuneita sovelluksia Jos järjestelmä tarjoaa todentuntuisen ja miellyttävän oleskelun virtuaalimaailmassa, se on vain teknologiaa siihen asti, kunnes sitä hyödynnetään erilaisissa sovelluksissa. Tänä päivänä virtuaalitodellisuuden sovelluksia käytetään, esimerkiksi opetuksessa, koulutuksessa, tuotesuunnittelussa, terveydenhuollossa, arkkitehtuurissa ja viihdeteollisuudessa. Joillekin käyttäjille oleskelu virtuaalitodellisuudessa on helppoa, kun taas osa käyttäjistä voi siellä huonosti. Ihmisten reaktiot virtuaaliympäristöjen vaaroihin (olivat ne sitten todellisia tai keinotekoisia) voivat hidastaa järjestelmien käyttöönottoa sovelluksissa, joissa ne tarjoaisivat käyttäjille merkittävää hyötyä. Tutkijat selvittävät parhaillaan pitkäaikaisen oleskelun vaikutuksia käyttäjien luonteeseen tai terveyteen. Käyttäjillä on havaittu lievää pahoinvointia, silmien väsymistä ja tasapainon puutetta. [18] Tutkimus ja tuotekehitys Koska virtuaalitodellisuuden järjestelmät ovat erittäin kalliita, niitä hankitaan pääasiassa tutkimuslaboratorioihin. Esimerkiksi CAVE (Cave Automatic Virtual Environment) on järjestelmä, joka tarjoaa mahdollisimman aidontuntuisen kokemuksen virtuaalitodellisuudessa. Järjestelmä rakentuu tilasta, eräänlaisesta huoneesta, jonka seinät toimivat virtuaaliympäristön heijastuspintoina. Kolmiulotteisia kuvia nähdäkseen käyttäjä laittaa päähänsä erikoislasit (special shuttered eyeglasses). Laseissa on elektroniset sulkimet, joiden toimintaa ajoittamalla silmät näkevät hieman erilaiset kuvat ja käyttäjä kokee kolmiulotteisen näkövaikutelman. [17] Tuotteita suunnitellaan ja testataan erilaisten simulaattorien avulla ennen kuin kaupallisten tuotteiden valmistus aloitetaan. Koska fyysisten prototyyppien valmistaminen on kallista ja aikaa vievää, elektronisen prototyypin etuina ovat pienet kustannukset sekä nopea päivitettävyys eli prototyyppiin on helppo tehdä muutoksia. Simulaattorien käyttö vähentää myös tuotekehitykseen tarvittavaa aikaa. [2] Opetus ja koulutus Lentosimulaattorit olivat ensimmäisiä sovelluksia, joissa käytettiin virtuaalitodellisuutta. Nykyisin eri maiden puolustusvoimissa voidaan simuloida sotatapahtumia, jos halutaan testata henkilöstön ja sotilaiden taitoja ennen todellista sotaa. [2] Simulaattoreita käytetään myös koulutustilaisuuksissa, joissa opetellaan esimerkiksi laitteiden ja koneiden kunnossapitoa ja käyttöä. [9] Lääketieteen opiskelijat voivat harjoitella yksittäisten kirurgisten toimenpiteiden tekoa simuloiduilla elimillä aiheuttamatta vahinkoa oikeille potilaille. Erityisryhmät voivat harjoitella ja kokea virtuaalitodellisuudessa asioita, joita heidän on vaikea toteuttaa normaalissa elämässään. On olemassa esimerkiksi sovelluksia, joilla opetetaan 7

liikuntaesteisille lapsille pyörätuolien käyttöä ja kehitysvammaisille opiskelijoille bussissa matkustamista. [2, 3] Kulttuuri ja viihde Kulttuurilaitokset sekä viihde- ja elokuvateollisuus ovat potentiaalisia virtuaalimaailmojen hyödyntäjiä. Virtuaalitodellisuuden sovelluksia kehitetään kuluttajille ennen kaikkea erilaisina peleinä. Niiden parissa käyttäjät voivat kokea jännittäviä ja viihdyttäviä elämyksiä. Museoissa ja taidenäyttelyissä vieraat voivat tutustua näyttelyiden esineistöön sekä taideteoksiin virtuaaliympäristöissä. [2] IMAX-elokuvateatterien esittämissä kolmiulotteisissa elokuvissa katsojat voivat tuntea olevansa mukana niiden tapahtumissa. Lisäksi muinaisia kaupunkeja ja rakennuksia rekonstruoidaan virtuaaliympäristöihin arkeologisten kaivausten ja historiantietojen perusteella. VIRTUAALITODELLISUUDEN TULEVAISUUS Virtuaalitodellisuuden pioneeri Jaron Lanier ennusti vuonna 1989 ihmisten hankkivan koteihinsa virtuaalitodellisuuteen liittyviä laitteita 2000-luvun vaihteessa. Data-asusteita ei ollut tarkoitus ostaa omiksi, vaan niitä olisi vuokrattu puhelinyhtiöiltä. Käyttäjä olisi maksanut käyttämästään ajasta aivan kuin puhelimen käytöstä. Aluksi se olisi ollut vain väline niin kuin televisio tai tietokone, mutta tietyn tason saavutettuaan se olisi muuttunut uudeksi todellisuudeksi, jossa ihmiset olisivat voineet elää. Toisaalta tutustuttuaan keinotekoiseen todellisuuteen ihmiset huomaisivat sen rajallisuuden ja arvostaisivat todellista maailmaa uudella tavalla. Hänen mielestään virtuaalitodellisuus lisäisi ihmisten herkkyyttä luontoa ja maapallon suojelua kohtaan. Lanier piti virtuaalitodellisuutta myös laitekehityksen huipentumana. [7] 1990-luvun puolessa välissä Jaron Lanier arveli virtuaalitodellisuuden muuttuvan kannattavaksi liiketoiminnaksi joidenkin sukupolvien kuluttua tai ehkä vasta 100 vuoden päästä. Hänen mielestään se ei johdu teknologiasta ja sen kehittymiseen vaikuttavista asioista vaan siitä, että kulttuuri kehittyy hitaasti. [6] Tulevaisuuden teknologiaa Virtuaalitodellisuus ei ole riippuvainen vain yhden teknologian kehittymisestä, vaan sen käyttöönottoon vaikuttavat monet tekniset ratkaisut. Laitteiden siirrettävyys tekee niiden käytöstä arkipäiväistä sekä ajasta ja paikasta riippumatonta, jos mukana kuljetettavien tietokoneiden puutteet ja rajoitukset saadaan ratkaistua. [14] Tulevaisuudessa tietoverkot ja kaikkialla läsnäolevat elektroniset palvelut antavat meille mahdollisuuden päästä käsiksi tietoon missä ja milloin tahansa [4]. Näytöt Nykyiset päähän laitettavat näytöt, niin sanotut kypäränäytöt tai datalasit ovat pienentyneet kooltaan ja ne tarjoavat paremman resoluution kuin viime vuosisadan loppupuolella [4]. Heijastavat näytöt (projective displays) ovat jo tarjonneet vaihtoehdon ergonomisesti rajallisten kypäränäyttöjen korvaamiseksi. On myös kehitetty autostereoskooppisia näyttöjä, jotka jäljittävät käyttäjän pään liikkeet (head-tracked autostereoscopic displays). Kun niihin yhdistetään kuvapohjainen pinnoittaminen (image-based rendering), käyttäjän ei tarvitse enää stereografisia laseja. Nykyisin stereografisia laseja tarvitaan heijastavien näyttöjen kanssa. Helposti liikuteltavien stereografisten litteiden näyttöjen ennustetaan korvaavan projektorit ja näin vähennetään laitteistokustannuksia. [14] Holografiset näytöt (holographic displays), jotka mahdollistavat nopean vuorovaikutuksen käyttäjän ja ympäristön välillä, ovat tulevaisuuden laitteita 20 vuoden päästä. Näytöt, joissa 8

käytetään laseria kuvien siirtämiseen suoraan silmän verkkokalvolle (retinal-scanning displays), ovat myös suuria lupauksia näyttötekniikan alalla. Kuvan laatu tulee entisestään paranemaan, koska sen teknologia on erittäin yhteensopiva ihmisen näköjärjestelmän kanssa. [14] Anturit Hybridianturien on ennustettu korvaavan magneettiset anturit, joita nykyisin käytetään käyttäjän pään ja vartalon liikkeiden seuraamiseen [14]. Hybridianturit välittäisivät tietoa käyttäjän liikkeistä, käyttäytymisestä ja mielialasta. Anturit tulevat pienenemään kooltaan ja ovat vähemmän huomiota herättäviä tai käyttäjää häiritseviä. [4] Käyttöliittymät Luonnolliset käyttöliittymät (natural interfaces) tulevat edistämään virtuaalitodellisuuden käyttöönottoa. Käyttäjä voi ohjata käyttöliittymää joko puheellaan tai liikkeillään, vaikka hän puhuisi samaan aikaan muiden ihmisten kanssa tai olisi ihmisiä täynnä olevassa tilassa. [4] Puheentunnistus tulisi perustumaan luonnollisen kielen tunnistukseen. Laajoilla alueilla toimivat anturit, mahdollistaisivat käyttöliittymän ohjaamisen myös normaalilla toiminnalla, kuten kävelyllä. [14] Tietokonegrafiikan ja kolmiulotteisen videotallennuksen kehitys tulevat mahdollistamaan todentuntuisten animoitujen hahmojen, virtuaali-ihmisten, käytön käyttöliittymissä [4]. Keskusteleva käyttöliittymä (conversational interface) tai virtuaali-ihmiskäyttöliittymä (virtual human interface) muistuttaisi oikeaa ihmistä käytöstä, ääntä, liikkeitä ja kasvojen ilmeitä myöten [4, 16]. Vastaavasti järjestelmän täytyisi osata lukea käyttäjän tunnereaktioita [16]. Virtuaali-ihminen edustaisi luonnollista, tuttua ja helposti lähestyttävää käyttöliittymää, joka osaisi keskustella käyttäjän kanssa luontevasti [4, 16]. Keskustelun aikana käyttäjästä tuntuisi siltä, että virtuaali-ihminen huomioisi hänet henkilökohtaisesti. Virtuaaliihmiskäyttöliittymän edistyneemmässä sovelluksessa olisi älykäs, holografinen virtuaaliihminen, joka osaisi toimia luonnollisesti ihmisten kanssa. Tämäntapaista käyttöliittymää on jo yritetty tehdä kolmiulotteiseen holografiaan perustuvalla näyttöjärjestelmällä. Käyttäjän ei tarvitse käyttää erikoislaseja, joten se olisi useiden ihmisten nähtävissä samanaikaisesti. [16] Tutkijat ovat jo aloittaneet aivojen toimintaa skannaavien sovellusten, niin sanottujen ajatuskäyttöliittymien (thought interfaces) kehittelyä. Niitä pidetään tulevaisuuden lupaavina tutkimuskohteina. Se, millainen olisi joustava, sopeutuva ja yleismaailmallinen käyttöliittymä, on vielä avoin asia. [4] Periaatteessa käyttöliittymä saattaisi muuttua niin näkymättömäksi ja huomaamattomaksi, ettei käyttäjä enää huomaisi sitä. Käyttöliittymä olisi siinä tapauksessa hyvin helppokäyttöinen, mikä olisi käyttäjän kannalta hyvä asia. Toisaalta käyttäjä saattaisi käyttää sitä tahtomattaan, mikä pidemmän päälle voisi aiheuttaa vakavia ongelmia. Sen tähden käyttöliittymän tulisi aina olla käyttäjän itsensä hallittavissa ja ohjattavissa. Tulevaisuuden sovelluksia Virtuaalitodellisuus ei ole vielä jokapäiväistä todellisuutta, vaikka useilla aloilla virtuaalitodellisuuden ympärille rakennettuja sovelluksia osataan jo hyödyntää. Tulevaisuudessa sovellussuunnittelijoiden edellytetään huomioivan yhä paremmin käyttäjien taidot, kokemukset ja motivaatio sovelluksia suunnitellessaan: Jos sovellus on liian vaikea, käyttäjä turhautuu. Jos se on liian helppo, käyttäjä pitkästyy. Suunnittelijoiden täytyisi ymmärtää käyttäjien tarpeet ja niiden perusteella ideoida sovellus, jolla nämä tarpeet tyydytettäisiin. Kun sovelluksen käyttötarkoitus on tiedossa ja käyttäjäryhmä on valittu, 9

suunnittelijat ratkaisevat, miten käyttäjät pystyisivät suoriutumaan tehtävistä mahdollisimman hyvin vallitsevissa olosuhteissa. [18] Eräs tulevaisuuden lupaava sovellusala on psyykkisten ja fyysisten sairauksien hoitaminen virtuaalitodellisuudella. Tällöin puhutaan virtuaalitodellisuusterapiasta (virtual reality therapy) tai kliinisestä virtuaalitodellisuudesta (clinical virtual reality). Tässä tapauksessa virtuaalitodellisuus toimii työkaluna, jolla hoidetaan tai arvioidaan sairauksia, kuten psyykkisiä pelkoja (fobioita, lentopelkoa tai painajaisia), kipuja ja syömishäiriöitä. Sitä voidaan käyttää myös fyysisessä kuntoutuksessa jalka- ja nilkkavammoja hoidettaessa. Kliininen virtuaaliympäristö tulee soveltumaan myös tarkkaavaisuus- ja tasapainohäiriöiden kuntouttamiseen ja ajotaidon arviointiin. [8] Briggsin tulevaisuuden visioita Seuraavat virtuaalitodellisuuden tulevaisuuden visiot ennusti John C. Briggs vuosina 1996 ja 2002 [2, 3]. Opiskelu ja harjoittelu Tulevaisuudessa opiskelijat ja tutkijat harjoittelevat erilaisia tehtäviä virtuaaliympäristöissä ennen kuin kokeilevat niitä reaalimaailmassa. Kemian opiskelijat suorittavat kokeita virtuaalilaboratoriossa ilman onnettomuuden pelkoa ja historian opiskelijat vierailevat historiallisesti merkittävissä tapahtumissa ja ehkä jopa osallistuvat niihin. [2] Lääkärit harjoittelevat hoitotoimenpiteiden suorittamista yksittäisistä potilaista tehtyjen virtuaalimallien avulla. Lääketieteen opiskelijat testaavat tietojaan ja taitojaan hoitaessaan virtuaalipotilaita. [2, 3] Lisäksi potilaille tarjottaisiin miellyttävä ympäristö rentoutumiseen ja paranemiseen erilaisissa virtuaaliympäristöissä [2]. Erityisryhmät, kuten liikuntarajoitteiset, voivat harjoitella liikkumista sellaisissa paikoissa, joissa he eivät ole aikaisemmin käyneet [2, 3]. Virtuaalitodellisuus sallisi erityisryhmille myös elämyksiä ja kokemuksia asioista, joita heidän olisi muuten mahdotonta tehdä tai harrastaa todellisessa elämässään [2]. Suunnittelu Insinöörit suunnittelevat tuotteita ja kokeilevat niiden valmistamista virtuaalitodellisuudessa ennen todellisten tuotteiden valmistuksen aloittamista [2, 3]. Virtuaaliprototyyppejä arvioidaan ja parannetaan asiakkailta saadun palautteen perusteella nopeasti ja nykyistä pienemmillä kustannuksilla. Kuten tänäkin päivänä, niin myös tulevaisuudessa tietoverkot mahdollistavat työryhmien osallistumisen tuotesuunnitteluprosessin eri vaiheisiin mistäpäin maailmaa tahansa. [2] Arkkitehdit ja rakennuttajat esittelisivät suunnitelmiaan asiakkailleen virtuaalitodellisuudessa ennen varsinaisten rakennustöiden alkua. Tällöin muutosten tekeminen suunnitelmiin olisi helpompaa ja huomattavasti halvempaa. Asiakas voisi myös tutustua etukäteen asunnon rakenteeseen ja materiaaleihin sekä aistia siellä olevia ääniä ja tuoksuja. [2] Vapaa-aika Taiteen ja kirjallisuuden tarjoama elämys olisi vuorovaikutteista. Näyttelyvieras tai lukija astuisi sisään teoksen virtuaalimaailmaan ja olisi vuorovaikutuksessa virtuaaliympäristössä olevien kohteiden kanssa. Hän voisi jopa muuttaa niitä siellä ollessaan. Käyttäjästä tulisi tällä tavoin osa teosta vuorovaikutuksen ajaksi. [2] Tulevaisuuden pelit ja elokuvat ovat kolmiulotteisia, vuorovaikutteisia ja käyttäjät sukeltavat niihin sisään koko olemuksellaan [2, 3]. Pelaajat tai elokuvien katsojat olisivat myös 10

vuorovaikutuksessa keskenään. Siitä muodostuisi todentuntuinen kokemus eräänlaisessa roolipelissä. Kodeissaan ihmiset voisivat uppoutua virtuaalimaailmaan Internetin kautta. [2] He pitäisivät yhteyttä muihin ihmisiin virtuaalisten tapaamisten välityksellä ja lähettäisivät virtuaalimaailmoja sähköpostiviestien sijaan [3]. Edellä mainitut visiot ovat yhden ihmisen näkemyksiä virtuaalitodellisuuden tulevaisuudesta. Osa ennustuksista on jo toteutunut, loput toteutunevat ehkä tulevaisuudessa. Koska tulevaisuuden visiot perustuvat ihmisten toiveisiin ja tarpeisiin tiettynä ajankohtana, ne muuttuvat vuosien varrella esimerkiksi teknologian kehittymisen myötä. On kuitenkin odotettavissa, että tulevina vuosina yhä useammat ihmiset tutustuvat virtuaalitodellisuuden sovelluksiin. Käyttäjille halutaan tarjota vielä todentuntuisempia elämyksiä virtuaaliympäristöissä. Tulevaisuus lupaa kuitenkin paljon enemmän. JOHTOPÄÄTÖKSET Tutkimuksen tarkoituksena oli selvittää virtuaalitodellisuuteen liittyviä visioita ja tarkastella sen kehittymistä viimeisten 40 vuoden aikana. Ensimmäisissä keinotodellisuuden sovelluksissa ei käytetty tietotekniikkaa, mutta tulevaisuuden järjestelmien ja sovellusten käyttöönotto riippuu muun muassa tietokonegrafiikan, näyttöteknologian, anturien, luonnollisten ja keskustelevien käyttöliittymien sekä liikuteltavan ja kaikkialla läsnäolevan tietotekniikan edistymisestä entistä kehittyneemmälle tasolle. Virtuaalitodellisuutta tullaan hyödyntämään lukuisissa sovelluksissa ainoastaan mielikuvituksemme on siinä rajana. Virtuaalitodellisuus kuuluu siis sekä nykypäiväämme että tulevaisuuteemme. Meidän ei tulisi hylätä sitä, vaikka se ei täyttäisi vielä tarpeitamme tai odotuksiamme. Ehkä sen suurin lahja on auttaa meitä ymmärtämään paremmin omaa itseämme. Myron W. Kruegerin sanoin: aineellisesta maailmasta on nopeasti tulossa keinotodellisuutta [10]. LÄHTEET 1. Brey, P. The ethics of representation and action in virtual reality. Ethics and Information Technology 1, 1 (1999), 5-14. 2. Briggs, J.C. The Promise of Virtual Reality. The Futurist 30, 5 (1996), 13-18. 3. Briggs, J.C. Virtual reality is getting real: Prepare to meet your clone. The Futurist 36, 3 (2002), 34-41. 4. Broll, W., Schäfer, L., Höllerer, T., & Bowman, D. Interface with Angels: The Future of VR and AR Interfaces. IEEE Computer Graphics and Applications 21, 6 (2001), 14-17. 5. Brooks, F.P. What s Real About Virtual Reality? IEEE Computer Graphics and Applications 19, 6 (1999), 16-27. 6. Frenkel, K.A. A Conversation with Jaron Lanier. interactions 2, 3 (1995), 46-63. 7. Heilbrun, A. & Stacks, B. Virtuaalitodellisuus vm 1989 Jaron Lanierin haastattelu. Huhtamo, E. (toim.). Virtuaalisuuden arkeologia, 45-63. Lapin yliopisto, Taiteiden tiedekunta, Rovaniemi, 1995. 8. Hodges, L.F., Anderson, P., Burdea, G.C., Hoffman, H.G. and Rothbaum, B.O. Treating Psychological and Physical Disorders with VR. IEEE Computer Graphics and Applications 21, 6 (2001), 25-33. 9. Kalawsky, R.S. The science of virtual reality and virtual environments. Addison-Wesley, USA, 1993. 10.Krueger, M.W. Artificial Reality II. Addison-Wesley, USA, 1991. 11

11.Krueger, M.W., Gionfriddo, T. & Hinrichsen, K. VIDEOPLACE, An Artificial Reality. Proc. SIGCHI 1985, ACM Press (1985), 35-40. 12.MacIntyre, B. & Feiner, S. Future multimedia user interfaces. Multimedia Systems 4, 5 (1996), 250-268. 13.Milgram, P. & Kishino, F. A Taxonomy of Mixed Reality Visual Displays. IEICE Trans. Information and System E77-D, 12 (1994), 1321-1329. 14.Rosenblum, L. Virtual and Augmented Reality 2020. IEEE Computer Graphics and Applications 20, 1 (2000), 38-39. 15.Sihvonen, J. VT ja täydellisen kokemisen unelmat. Huhtamo, E. (toim.). Virtuaalisuuden arkeologia, 261-287. Lapin yliopisto, Taiteiden tiedekunta, Rovaniemi, 1995. 16.Takács, B. and Kiss, B. The Virtual Human Interface: A Photorealistic Digital Human. IEEE Computer Graphics and Applications 23, 5 (2003), 38-45. 17.Tougaw, D. & Will, J. Visualizing the Future of Virtual Reality. Computing in Science & Engineering 5, 4 (2003), 8-11. 18.Whitton, M.C. Making Virtual Environment Compelling. Communications of the ACM 46, 7 (2003), 40-46. 12

Tarinankerronta ja sisällöntuotanto tehostetun todellisuuden sovelluksissa Lauri Hakkarainen Teknillinen korkeakoulu Tietotekniikan osasto lhakkara@cc.hut.fi TIIVISTELMÄ Tämä artikkeli keskittyy 3D-ympäristöjen, erityisesti tehostetun todellisuuden, sisällöntuotantoon. Sisällön tuottamista ja sen suunnittelua tarkastellaan vuorovaikutteisen digitaalisen tarinankerronnan näkökulmasta. Artikkelissa etsitään vastauksia kysymyksiin, mitä on digitaalinen tarinankerronta tehostetun todellisuuden sovelluksissa, mitä on sisältö ja miten sisältöä tuotetaan? Artikkelin alussa selvitetään tarkemmin mikä tarina oikeastaan on ja mistä hyvä tarina koostuu. Tarinan käsitteen kautta päästään kiinni digitaaliseen tarinaan ja voidaan erotella toisistaan kaksi erilaista tarinan muotoa: lineaarinen ja hierarkinen tarina, jotka esitellään esimerkkien avulla. Esimerkkisovellusten sisältöä tarkastelemalla huomataan, että tehostetun todellisuuden sovellukset sisältävät elementtejä useilta eri alueilta. Virtuaalisen sisällön lisäksi tehostetussa todellisuudessa käytetään hyväksi myös todellista, fyysistä sisältöä. Digitaalisen tarinankerronnan sisällön suunnittelussa ja tuottamisessa käytetään poikkitieteellisiä lähestymistapoja sisällön monialaisuuden vuoksi. Artikkelissa esitellään myös lyhyesti multimediatuotannnossa käytettäviä työkaluja. Tehostetun todellisuuden sovellusten sisällön suunnittelun ja toteutuksen tehostamiseksi on kehitetty myös kehyksiä (eng. framework), joista esitellään yksi, i4d. Avainsanat Tehostettu todellisuus, lisätty todellisuus, vuorovaikutteisuus, digitaalinen tarinankerronta, lineaarinen tarina, hierarkinen tarina, sisällön suunnittelu 3D-ympäristöissä, sisällöntuotanto JOHDANTO Tehostettu todellisuus (eng. mixed reality, MR) on yhtälailla tieteen ja taiteen yhteentörmäys kuin sekoitus virtuaalista ja todellista maailmaa [14]. Tehostetun todellisuuden sovelluksissa pyritään yhdistämään virtuaalinen ja todellinen maailma mahdollisimman toimivaksi kokonaisuudeksi, jota käyttäjä voi hyödyntää omiin tarpeisiinsa. Tehostettu todellisuus ratkaisee virtuaalitodellisuuden (eng. virtual reality, VR) ongelmia, kuten ympäristön toteuttamisen mahdollisimman realistiseksi ja tuntopalautteen toteutuksen. Enää ympäristöä ei tarvitse luoda kokonaan uudestaan, vaan riittää, että siihen lisätään halutut virtuaaliset elementit. Tehostetun todellisuuden sovelluksia kehitetään muun muassa koulutusta ja opetusta varten, sekä viihteen ja tietoviihteen tarpeisiin. Tällaisten sovellusten käyttöön liittyy usein tarina, joka johdattaa käyttäjää ja tekee sovelluksen käytöstä mielenkiintoisempaa ja käyttökokemuksesta mieleenpainuvamman [3]. Samoin kuin muissakin käyttöympäristöissä, myös tehostetun todellisuuden tarinankerronnassa sisältö on sovelluksen korvaamaton osa, joka jännittävällä ja uudella tavalla esitettynä sitoo käyttäjänsä systeemiin [7]. Sovelluksen sisältöä ovat ne kaikki asiat, jotka käyttäjälle esitetään ja hän pystyy aisteillaan havaitsemaan. Tekniikka luo puitteet sisällön esittämiselle sovelluksessa, mutta tekniikkaa tarvitaan myös oikeanlaisen ja hyvän sisällön tuottamiseen uusien käyttöympäristöjen, kuten tehostetun todellisuuden tarpeisiin. 13

Laadukkaan sisällön tuottamiseen on perinteisesti tarvittu ammattilaisia usealta eri alalta sekä huolellista suunnittelua. Perinteinen elokuva on tiukasti pysynyt mediana, joka saa käyttäjänsä parhaiten uppoutumaan käyttötilanteeseen [14]. Tämä johtunee elokuvateollisuuden luomasta, visuaalisesti erittäin tasokkaasta sisällöstä. Samalla yleisön vaatimukset muun muassa televisiokanavien esittämästä visuaalisesta sisällöstä ovat nousseet [4]. Enää pelkästään hyvä visuaalinen sisältö ei riitä, vaan myös vuorovaikutteisuutta toivotaan lisää. Tehostettu todellisuus on jo osittain pystynyt tarjoamaan sekä laadukasta visuaalista sisältöä, että vuorovaikutteisuutta. Tehostetun todellisuuden sovellusten kehittäminen vaatii tarkkaa tutkimusta niin taiteellisesta, kuin tieteellisestäkin näkökulmasta [14]. Tehostetun todellisuuden sovellukset ja niiden kehittyvä tekniikka ovat tuoneet uusia haasteita myös sisällöntuotannolle. Jokainen uusi tekninen työkalu, kuten tehostettu todellisuuskin, vaatii uusia tekniikoita myös sisällöntuotannossa, jotta uusi teknologia voitaisiin muuttaa taikuudeksi yleisön silmissä. Nykypäivän tehostettu todellisuus on kuitenkin vielä alkutekijöissään verrattuna sen potentiaaliin. [14] Jos tarina on niin tärkeä tehostetun todellisuuden sovelluksissa, niin mitä tarina oikeastaan tarkoittaa? Millainen on hyvä tarina ja mitä sen täytyy kokijalleen tarjota? Mitä on tarinankerronta tehostetussa todellisuudessa ja mitä elementtejä se sisältää? Seuraavassa kappaleessa, Digitaalinen tarinankerronta, selvitetään mikä tarina on ja syvennytään digitaaliseen tarinankerrontaan tehostetun todellisuuden sovellusten näkökulmasta. Kappaleessa esitellään kaksi tehostetun todellisuuden sovelluksille yleisintä tarinankerrontamuotoa ja annetaan niistä esimerkit sovellusten avulla. Digitaalisen tarinankerronnan jälkeen tarkastellaan lähemmin minkälaista sisältöä tehostetun todellisuuden sovelluksissa mahdollisesti on ja mitä menetelmiä sisällöntuotannossa käytetään. Samalla selvitetään seuraavanlaisia kysymyksiä: miten sisältö tarinaan saadaan, mitä sisällön suunnittelussa täytyy ottaa huomioon ja onko tehostetun todellisuuden sovellusten sisällöntuotannolle omat erikoistyökalunsa? DIGITAALINEN TARINANKERRONTA Tehostetun todellisuuden sovellukset kärsivät samasta ongelmasta kuin virtuaalitodellisuuden sovelluksetkin; laitteiston saatavuus on vielä erittäin rajoitettua. Toisaalta ihmiset haluavat käyttää sovelluksia, jotka tarjoavat hauskoja kokemuksia. Käyttäjät haluavat nauttia sisällöstä ja mahdollisuuden olla vuorovaikutuksessa muiden käyttäjien kanssa. Juurikin tästä syystä eräät moninpelattavat verkkopelit ovat saavuttaneet merkittävän suosion. [3] Tarina Tarina on alunperin ollut ennaltamäärätty kertomus, jonka kulkuun lukija tai yleisö ei ole voinut vaikuttaa. Käsitteen tarina voi ymmärtää usealla eri tavalla. Laurel, [10] on määritellyt käsitteen seuraavasti: Tarina tarjoaa kontekstin. Konteksti tarjoaa tapahtumia ja rooleja, joita hahmot/näyttelijät esittävät. Tarinankerronta ja siitä muodostuva kokemus aiheuttavat ajan ja paikan muokkausta, tuottaen kognitiivisia prosesseja lukijan/yleisön mielessä. Tarinan rakenteessa turvaudumme Goethen, [6] määritelmään novella (pienosromaani, pitkä novelli [12]): Novella on kertova tarina, jossa tapahtumat tulkitaan tarinan käännekohdiksi päähenkilön näkökulmasta katsoen. Vähitellen tarina saavuttaa käännekohtien avulla huippunsa, johtaen lopulta jännityksen laskuun ja tarinan lopetukseen. 14

Novella on rakenteeltaan hyvin paljon draaman kaltainen. Aristoteleen määrittelemä klassinen rakenne draamalle on esitetty kuvaajan muodossa kuvassa 1. Parhaimmillaan tarina voi siis olla jännittävä kertomus, jossa hahmojen ja kertojan dialogi nostavat Kuva 1: Aristoteleen klassinen rakenne draamalle Braakin mukaan [2]. jännitystä, joka kasvaa yleisön odottaessa loppuhuipennusta. Kuitenkaan aina tarinan ei tarvitse olla karvoja nostattavaa jännitystä. Edellä esitetty rakenne toimii hieman laimennettuna versiona rauhallisemmassakin ympäristössä, kuten museovierailulla [1]. Digitaalisessa tarinankerronnassa kaksi tyypillisintä tarinan muotoa ovat lineaarinen, aikajanaan perustuva tarina, ja hierarkinen, tapahtumiin perustuva tarina [1]. Seuraavana lyhyt esittely kummastakin muodosta tehostetun todellisuuden sovellusesimerkkien avulla. Lineaarinen tarinankerronta Tehostetun todellisuuden sovelluksissa voidaan käyttää lineaarista tarinankerrontaa, joka onkin yleisin tarinan muoto. Lineaarisessa muodossa tarina seuraa valmiiksi määriteltyä reittiä, jolloin käänteisiin ei voi vaikuttaa ja tapahtumat ovat ennaltamäärättyjä. Lineaarinen tarina ei ole vuorovaikutteinen. [1] Lineaarisessa tarinankerronnassa voidaan käyttää pohjana vaikkapa tehostetun todellisuuden näyttelyvitriiniä. Virtual Showcase on lasinen vitriini, jonka sisällä olevaan fyysiseen esineeseen, tässä tapauksessa dinosauruksen kallon fossiiliin, voidaan lisätä virtuaalista informaatiota. Käyttäjällä on silmillään läpinäkyvät tehostetun todellisuuden lasit, joissa on myös kuulokkeet. Fyysiseen esineeseen piirrettävä kuva heijastetaan käyttäjän laseihin, jotta käyttäjästä näyttäisi kuin itse esine muuttuisi. Esinettä voi vapaasti tarkastella eri puolilta ja kuva piirretään laseihin käyttäjän sijainnin perusteella.[1] Ideana on, että paleontologien tekemät löydöt voidaan esittää yleisölle jännittävällä ja tehokkaalla tavalla. Yleisölle voidaan konkretisoida eläimen rakennetta lisäämällä puuttuvia luita, lihaksia ja iho. Paikallaan pysyvän kuvan lisäksi käyttäjälle voidaan näyttää animaatiota eläimen liikkeistä, sekä toistaa audionauhoite kuvan ja animaation tueksi. Esimerkkinä animaatio, jossa havainnollistetaan muinaisen liskon purentatekniikkaa 3D-mallilla, samalla selostaen tapahtumat käyttäjälle ääneen. Sovelluksessa käytettävä kuva ja animaatio ovat kolmiulotteisia, ja kuulokkeisiin luettava audio on ennalta nauhoitettu puheäänite. [1] Kuvassa 2 on esitetty vasemmassa alakulmassa aito fossiili. Vasemmassa yläkulmassa on sama kallo virtuaalisen informaation lisäyksen jälkeen. Kuvassa oikealla näkyy itse virtuaalinen näyttelyvitriini, jonka sisällä kallo on. Näyttelyvitriininkin kanssa voidaan käyttää vuorovaikutteista tarinankerrontaa, mutta tässä esimerkissä vuorovaikutteisuutta ei olla Kuva 2: Tehostetun todellisuuden näyttelyvitriini, jossa alkuperäiseen fossiiliin (alakulma) lisätty virtuaalista informaatiota (yläkulma) [1]. 15

käytetty. Käyttäjällä on mahdollisuus vaihtaa kuvakulmaa liikkumalla, mutta hän ei pääse vaikuttamaan tarinan tapahtumiin. [1] Hierarkinen tarinankerronta Käsitteiden tarina ja novella avulla voidaan määritellä vuorovaikutteinen tarina, joka on vuorovaikutteinen novella. Perinteiset tarinan esitysmuodot, kuten kirja ja elokuva, eivät tue vuorovaikutteisuutta, vaan näissä tarinan tapahtumat on ennaltapäätetty. Useat tietokonepelit puolestaan tarjoavat vuorovaikutteisen tarinan, jonka kulkuun pelaaja pystyy vaikuttamaan. Kokemukset peleissä ja tarinankerronnassa pohjautuvat kuitenkin eri asioille; tarinankerronnassa jännitys muodostuu tapahtumista ja huippukohdasta, kun taas pelien jännitys perustuu voittamiselle ja häviämiselle. [3] Tehostetun todellisuuden sovelluksia ja niiden sisältöä suunniteltaessa tulisi ottaa huomioon juuri käyttäjän saama henkilökohtainen elämys. Vuorovaikutteinen tarina ei ole tärkeä ainoastaan peleissä, vaan myös koulutuksessa ja opetuksessa on tärkeää, että käyttäjälle tarjotaan ympäristö ja tarina, johon hän voi uppoutua. Esimerkiksi armeijan käyttämissä taistelukoulutussovelluksissa käyttäjän tekemien valintojen välitön vaikutus taistelutilanteeseen on tärkeää tilanteen aitouden kannalta. [3] Tarinassa, joka on sekä vuorovaikutteinen, että hierarkinen, on moniulotteinen tarinarakenne, joka tarjoaa mahdollisuuksia haarautumiseen erilaisiin jatkoihin. Kuvassa 3 on esimerkki haarautuvasta tarinasta, joka etenee käyttäjän tekemien valintojen mukaan. Kuvan laatikot ovat tarinan käännekohtia, joissa käyttäjä voi tehdä valintoja. Tarina alkaa vasemmalta ja päättyy oikealle. Haarautuvaa tarinamuotoa käytetään muun muassa GEIST (tarkoittaa haamua saksan kielessä) projektissa. GEIST on jännittävän tarinan muotoon puettu kiertomatka Heidelbergin vanhassa kaupungissa ja linnassa, Saksassa. Käyttäjä pääsee tutustumaan alueen historiaan ja nähtävyyksiin, sekä saa itse vaikuttaa tarinan kulkuun. Kiertomatka tehdään jalkaisin. Mukana repussa kannettava Kuva 3: Haarautuva tarinarakenne [9]. laitteisto ja läpäisevät lasit mahdollistavat virtuaalisten haamujen ja vanhojen rakennusten näkemisen. Raunioiden päälle voidaan piirtää uudet rakennukset ja käyttäjä pääsee näkemään, miltä historialliset rakennukset ovat joskus näyttäneet. Käyttäjällä on myös kuulokkeet, joiden kautta välitetään kertomus ja alueella oleskelevien haamujen puheääni. [9] Haamujen kanssa on mahdollista keskustella kädessä pidettävän taikasauvan ja yksinkertaisten sanojen avulla. Keskustelun mahdollistaa mukana kuljetettavassa laitteistossa oleva query engine, joka ymmärtää käyttäjän puhetta ja pystyy hakemaan tietokannasta vaikkapa vastauksia käyttäjän haamuille esittämiin kysymyksiin. Näin saavutetaan jollain tasolla aidontuntuinen vuorovaikutustilanne haamujen kanssa. Muutaman tunnin mittainen tarina pitää käyttäjän otteessaan juonenkäänteiden ja vuorovaikutuksen avulla, sekä toimii samalla historiallisen tiedon lähteenä. [3] GEIST hyödyntää tehostettua todellisuutta lisäämällä ympäristöön historiallista tietoa 1600- luvun Heidelbergin rakennuksista ja arkkitehtuurista, henkilöistä, pukeutumisesta ja muista kyseiseen aikaan ja paikkaan liittyvistä asioista. Pääasiallisena tiedon esittämismuotoina käytetään kolmiulotteista kuvaa haamuista ja arkkitehtuurista, sekä kertojan ja haamujen puheääntä. [3] 16

TEHOSTETUN TODELLISUUDEN SISÄLTÖ Sisällön mediatyypit Lineaarisen tarinan esimerkissä sisältö on pääosin kolmiulotteista kuvaa, animaatiota ja nauhoitettua ääntä. Perinteisen sisällön lisäksi tehostetun todellisuuden näyttelyvitriini, Virtual Showcase, tuo myös uutta sisältöä, joka on tyypillistä vain tehostetun todellisuuden sovelluksille tai jopa vain tälle näyttelyvitriinille. Systeemissä on mahdollisuus tallentaa valoa fyysisen esineen pinnan muotojen mukaan. Myöhemmin käyttäjän on mahdollista maalata virtuaalisesti vitriinissä olevan fyysisen esineen pinnalle valosisällön avulla. [1] Hierarkista tarinankerrontaa käyttävä GEIST sisältää myös paljon perinteistä sisältöä kuten 3D-kuvaa ja ääntä. Virtuaaliset rakennukset ovat 3D-mallinnettuja ja ympäristössä liikkuvat haamut 3D-animoituja. Suuren osan sisällöstä muodostaa query enginen käyttämä tietokanta. Tietokanta sisältää tietoa alueen historiasta, arkkitehtuurista ja fiktiivisen tarinan, joka muokkautuu käyttäjän valintojen mukaan. Tarina ei kuitenkaan ole mielivaltainen ja kulje pelkästään käyttäjän valintojen mukaan, vaan nojaa käsikirjoittajien luomalle rakenteelle. Tällaisen tarinan käsikirjoitus vaatii paljon työtä rakenteensa monimutkaisuuden vuoksi. [9] Tehostetun todellisuuden sisällön tuottaminen vaatii useiden mediatyyppien tuotantotekniikoita. Tehostetun todellisuuden sovellusten sisältö on sekoitus sekä virtuaalisia, että todellisia elementtejä. Laadukasta sisältöä tehostetun todellisuuden sovelluksiin tuotettaessa kannattaa aloittaa erikseen kunkin, sovellukseen tuotettavan median ammattilaisten kanssa. Tästä lähtökohdasta on mahdollista arvioida, mitä eroja tehostettu todellisuus aiheuttaa sisällön kehittämiselle, verrattuna mediatyypin aikaisempiin tuotantomuotoihin. Tuotantotekniikoiden valinta ja sisällön yhdistäminen todelliseen ympäristöön on vaikeaa. [14] Digitaalisen tarinankerronnan sisällöntuotannossa käytetään poikkitieteellisiä lähestymistapoja useilta eri alueilta, kuten multimedia, televisio, elokuvat, kirjallisuus ja videopelit. Näiden eri medioiden avulla voidaan luoda tehostetun todellisuuden sovellukseen sisältö, jolla saadaan aikaan paras mahdollinen tarina. [14] Sisällön suunnittelu Tehostetun todellisuuden sovelluksissa käytetään virtuaalisia elementtejä samoin kuin videopeleissä [14]. Pelisuunnittelija Moses Ma on listannut kymmenen kohtaa [8], jotka kannattaa ottaa huomioon tosiaikaisessa 3D-suunnittelussa. Vaikka käskyt sopivatkin parhaiten pelimaailmaan, toimivat ne myös muissakin ympäristöissä, kuten tehostetun todellisuuden tietoviihde-sovelluksissa: Vahva tarina: Hyvä tarina vetoaa kokijansa tunteisiin ja on teknisesti huipputasoa. Tarinan tulee olla myös helposti omaksuttava ja omaperäinen. Haasteita: käyttäjälle tulee tarjota haasteita, mutta ne eivät saa olla ylitsepääsemättömiä. Vastuksia: Ympäristö tarjoaa vastavoimia, jotka pyrkivät rajoittamaan käyttäjän toimintaa. Myös vastustajat ovat omia persoonallisuuksiaan. Häikäisevää grafiikkaa: Graafisesti hyvin toteutettuun ympäristöön käyttäjä voi uppoutua. Hienoilla erikoistehosteilla vahvistetaan tarinaa. Tunteisiin vetoava ääni: Musiikki vetoaa tunteisiin ja luo tunnelmaa. Ääni paljastaa suunnan ja vahvistaa kerrontaa. Toiminta: Toiminta kuljettaa tarinaa eteenpäin. Toiminnan täytyy olla kuitenkin jaksotettua, ettei käyttäjä turhaudu jatkuvaan toimintaan. 17