Sisältö: Johdatus keinotodellisuuteen T-110.1100 Johdatus tietoliikenteeseen ja multimediatekniikkaan Keinotodellisuus 2007 Käsitteitä Teknisiä laitteita Sovellusesimerkkejä Lyhyt katsaus historiaan Lyhyt katsaus tulevaisuuteen Tutkimusta TKK:lla Tapio Lokki / Tassu Takala Teknillinen korkeakoulu Tietoliikenneohjelmistojen ja multimedian laboratorio Keinotodellisuus 2007 / 1 Keinotodellisuus 2007 / 2 Keinotodellisuus Virtual Reality (VR) Webster: Virtual: being in essence of effect, but not in fact Reality: something that exists independently of ideas concerning it Yksi mahdollinen määritelmä: Uusi väline välittää informaatiota Sisältää erittäin monta tutkimusalaa Virtuaalimaailma Kuvitteellinen tila Kuvaus objekteista tilassa sekä niiden välisistä säännöistä ja suhteista Uppoutuminen/läsnäolo vaihtoehtoisessa (aisti)todellisuudessa tietokonegrafiikka, akustiikka ja äänenkäsittely, käyttöliittymät, robotiikka, tietokoneavusteinen suunnittelu (CAD), opetus, lääketiede, psykologia, fysiologia... Neljä peruselementtiä keinotodellisuuskokemuksessa: Virtuaalimaailma (virtual world) Uppoutuminen (immersion) Aisteihin perustuva palaute (sensory feedback) Vuorovaikutteisuus (interactivity) Keinotodellisuus 2007 / 3 Keinotodellisuus 2007 / 4 Uppoutuminen Aisteihin perustuva palaute Tunne, että on jossain toisessa maailmassa Uppotuminen toiseen maailmaan saavutetaan esim. seuraavilla välineillä: kirja radio, televisio, elokuva tietokone pelit simulaattorit Huom! ei välttämättä tarvita kuvaa uppoutumisen saavuttamiseksi Fyysinen uppoutuminen jokin fyysinen ärsyke, joka tuottaa aistimuksen Henkinen uppoutuminen läsnäolo (presence) Keinotodellisuus 2007 / 5 Tärkeä keinotodellisuuden komponentti Keinotodellisuusjärjestelmä pyrkii luomaan mahdollisimman aidontuntuisen palautteen eri aisteille näkö stereokuva (syvyys mukana) kuulo äänen tulosuunta, etäisyys ja tilan ominaisuudet tunto haptinen (kosketus- ja paineaistiin liittyvä) palaute haju, maku Palautteen antamiseksi täytyy ymmärtää miten ihmisen aistit toimivat Käyttäjän paikkaa on seurattava, jotta palaute voidaan antaa siten, että syntyy haluttu aistimus Keinotodellisuus 2007 / 6 1
Vuorovaikutteisuus Keinotodellisuussovellus on aina vuorovaikutteinen sovelluksen tulee vastata käyttäjän toimintaan aistipalautteet Tietokonegrafiikkaa ei välttämättä tarvita Pelkkää tekstiä (Zork) ASCII-merkkejä (Nethack) Vuorovaikutteisuus mahdollistaa virtuaalimaailman muokkaamisen Objektien siirtely Kytkimien käyttö Liikkuminen virtuaalimaailmassa Sovellukset oltava reaaliaikaisia Toinen määritelmä Virtual Reality: a medium composed of interactive computer simulations that sense the participant's position and replace or augment the feedback to one or more senses -- giving the feeling of being immersed or being present in the simulation (a virtual world). Keinotodellisuus: Ilmaisuväline, joka koostuu vuorovaikutteisista tietokonesimulaatiosta, jotka huomioivat käyttäjän paikan ja tuottavat palautteen yhdelle tai useammalle aistille muodostaen tunteen, että käyttäjä on uppoutunut tai läsnä simulaatiossa (virtuaalimaailmassa). Käytännössä keinotodellisuus (VR) termiä käytetään aika laajasti, vaikka usein sovellus sisältää vain 3D-grafiikkaa. Muita suomenkielisiä termejä: Virtuaalitodellisuus, lumetodellisuus Keinotodellisuus 2007 / 7 Keinotodellisuus 2007 / 8 Keskeiset elementit keinotodellisuudessa Uppoutunut käyttäjä Input-laitteet paikannuslaitteet muut sensorit Virtuaalimaailman kuvaus ja rendaus visuaalinen auraalinen haptinen (haju, maku) Näyttölaitteet (displays) visuaalinen auraalinen haptinen (haju, maku) Järjestelmän komponentit Input-laitteet paikannuslaitteet muut sensorit Näyttölaitteet (displays) visuaalinen auraalinen haptinen Keinotodellisuus 2007 / 9 Keinotodellisuus 2007 / 10 Todellinen Virtuaalinen Tehostettu todellisuus (mixed reality) on osa virtuaalitodellisuuteen liittyviä teknologioita, joka sisältää todellisuuden ja virtuaalisen maailman yhdistämisen janalla, joka yhdistää todellisuuden täydelliseen virtuaalitodellisuuteen (Milgram 1994) Yhdestä moneen käyttäjään Perinteisiä keinotodellisuusympäristöjä MultiViewympäristöt Verkkopelit ja -yhteisöt G Yksi käyttäjä monta käyttäjää monta tasavertaista paljon käyttäjiä yhdelle paras käyttäjää Keinotodellisuus 2007 / 11 Keinotodellisuus 2007 / 12 2
Fyysisen ympäristön vaikutus Erilaisia näyttöjä Ubicom, tangible interfaces Todellisuus CAVE Head-mounted display (HMD) Head-based display (HBD) CAVE Keinotodellisuus Lisätty todellisuus http://www.stereo3d.com/ HMD auto-stereo projection displays Fyysinen ympäristö 1 Tietokoneella luotu virtuaalimaailma reaalisuuskerroin = 0.6 0 + Keinotodellisuus 2007 / 13 Keinotodellisuus 2007 / 14 Input-laitteita Keinotodellisuuteen liittyviä termejä Virtuaaliympäristö (Virtual Environment): 1. virtuaalimaailma; 2. virtuaalimaailman instanssi, joka esitetään vuorovaikutteisella välineellä Avatar: 1. Objekti, joka esittää käyttäjää virtuaalimaailmassa. Yleensä visuaalisesti esitetty. 2. Käyttäjän ruumiillistuma. 3. tulee Hindin kielestä; jumalan maanpäällinen ilmestymä. Lisätty todellisuus (Augmented Reality): Keinotodellisuuden muoto, jossa ylimääräistä tietoa (kuva, ääni, tms.) on havainnollistettu todellisen maailman päälle. Keinotodellisuus 2007 / 15 Keinotodellisuus 2007 / 16 Keinotodellisuuteen liittyviä termejä Paikannusmenetelmiä Etäläsnäolo (Telepresence): Kyky vaikuttaa suoraan fyysiseen ympäristöön, joka on jossain muualla, joko oman tai toisen näkökulmasta. Etäkäyttö (Teleoperation): Mekaanisia Akustiset Optiset Magneettiset Inertia luurangot ultraääni kamera(t) Kyberavaruus (Cyberspace): paikka, joka on vain käyttäjien mielikuvituksessa (saavutetaan usein teknologian, joka mahdollistaa kaukana toisistaan olevien ihmisten vuorovaikutteisen kommunikaation, avulla). Keinotodellisuus 2007 / 17 Keinotodellisuus 2007 / 18 3
Tuntoaisti ja voimapalaute (=haptiikka) Iho: paine, kosketus, lämpötila, värähtely Nivelet: asento Lihakset: voima Sisäkorva: tasapaino, liike Keinotodellisuus 2007 / 19 Keinotodellisuuden sovelluksia Suunnittelu (CAD) Voidaan visualisoida suunnitelmia 3D:ssä Akustinen suunnittelu Voidaan kuunnella tiloja suunnitteluvaiheessa Arkkitehtuurisuunnittelu Nähdään suunnitelmat 3D:ssä, lähes photorealistisina, Esim. TUAS-talo Koneiden suunnittelu Voidaan testata esim. kokoonpanoa virtuaaliprototyyppien avulla Lääketieteelliset sovellukset Etäkirurgia, fobioiden ja traumojen helpottaminen, opetus Koulutus / Simulaattorit Lento- ja työkoneiden ajamisen opettelu, vaarallisten tehtävien harjoittelu Etäkäyttö Robottien käyttö vaarallisissa paikossa, esim. ydinvoimalan korjaukset Virtuaalitehtaat Logistiikan simulointi, tuotelinjojen testaus ja visualisointi Tieteellinen visualisointi Lääkeaineiden suunnittelu, avaruuden hahmottaminen Viihde Pelit, taide..., Esim. ilmakitara, merenneito http://www.tml.tkk.fi/~jaukia/intuition-projects.html <= todella paljon linkkejä, tehty 2005! Keinotodellisuus 2007 / 20 Keinotodellisuuden historiaa, muutamia poimintoja vuosien varrelta Ensimmäinen stereoskooppinen näyttö Sensorama (1962) Ensimmäinen viihdekäyttöön tarkoitettu laite Moottoripyöräsimulaattori Kuva (3D elokuva), kaupunkimaisema Ääni, moottori + kaupungin ääniä Tärinä, moottori Haju, eri ruokia Tuuli? Ei ollut kaupallinen menestys... Keinotodellisuus 2007 / 21 Keinotodellisuus 2007 / 22 Simulaattorit 1960-luvulla Simulaattorit 2000-luvulla Keinotodellisuus 2007 / 23 Keinotodellisuus 2007 / 24 4
NASA Ames Research Center 1989 Ensimmäinen HMD näyttö Ivan Sutherland (1968) miniatyyri CRT-näyttö, paljon optiikkaa mekaaninen ja ultraääni paikannus Tehnyt paljon töitä kypäränäyttöjen kanssa 1980 alusta lähtien Yksi alan pioneereista 1992 BOOM Keinotodellisuus 2007 / 25 Keinotodellisuus 2007 / 26 CAVE (1992) DisneyQuest Disney: ALADDIN (1998) Motion ride, jossa lennetään lentävällä matolla Keinotodellisuus 2007 / 27 Keinotodellisuus 2007 / 28 Täysin immersiivinen näyttö Cybersphere (2000) Näyttöteknologia nykypäivänä Suuriresoluutioiset näytöt La Cueva Grande 43M pixel cave Keinotodellisuus 2007 / 29 Monen käyttäjän näytöt, joissa kullekin katselijalle oma perspektiivi Keinotodellisuus 2007 / 30 5
Visibility Keinotodellisuuden tulevaisuus Ennustaminen on vaikeaa Kuitenkin on hyvä katsoa mihin suuntaan ollaan menossa Cartner Groupin New Technology Hype Cycle ja keinotodellisuus (oma arvio) 1992-1995 Peak of inflated expectations 2007 New Technology Hype Cycle vs. keinotodellisuus (oma arvio) näkyvyys Lähtökuoppa (Technology trigger) Ivan Sutherlandin kypäränäyttö 1968 NASA Ames Research Center 1980-luvun lopussa 1989 VPL Research Inc. toi markkinoille kohtuullisen hintaisia laitteita Hypehuippu (Peak of Inflated Expectations) Uusi tekniikan ala tarvitsee rahoitusta usein ala ylikuumenee, kun sitä hehkutetaan liikaa Keinotodellisuuden alalla hype -aika osui vuosille 1992-1995 Ensimmäinen CAVE vuonna 1992 aika Technology trigger Slope of enlightenment Trough of disillusioment Plateau of productivity Time Takapakkia (Trough of Disillusionment) Kun odotuksiin ei heti vastattu hyvillä sovelluksilla niin kiinnostus keinotodellisuuteen hiipui Keinotodellisuudessa tämä aika oli n. 1995-1999 Keinotodellisuus 2007 / 31 Keinotodellisuus 2007 / 32 New Technology Hype Cycle vs. keinotodellisuus (oma arvio) Sarastusvaihe (Slope of Enlightenment) Jos ala selviää hengissä ensimmäisestä lamasta niin usein alkaa tasainen nousu Löydetään ensimmäiset hyödylliset sovellukset virtuaaliprototypointi, tieteellinen visualisointi, simulaattorit, psykologia, jne. Keinotodellisuus 2007 / 33 näkyvyys Tuotteita (Plateau of Productivity) Teknologia hyväksytään ja sen tuottamat edut ymmärretään Vähitellen yleiskäyttöisiä ja kohtuullisen hintaisia laitteita ja ohjelmistoja Keinotodellisuudessa 2000-luvulla Keinotodellisuuden nykytila Tasaista kasvua: simulaattorit, koulutus, markkinointi, visualisointi... Sovellusten kriittistä arviointia, käytettävyystestejä, havaintoihin (uppoutuminen, läsnäolo) liittyvää tutkimusta VR käytössä lääketieteessä, autoteollisudessa, jne. Opetus maailmalla lisääntynyt selkeästi, myös monilla eri tieteenaloilla aika Tulevaisuuden teknologia Näyttötekniikat autostereoskooppiset näytöt ei tarvita laseja tms. laitteita suoraan verkkokalvolle piirtävät virtual retinal display Dresden Autostereoscopic kevyet kypäränäytöt LCD monitor myös puoliläpäisevät volumetriset näytöt Langaton/markkeriton liikkeenseuranta Keinotodellisuus 2007 / 34 4D-Vision Micro Optial CO-3 Tutkimus TKK:lla Stereoskooppinen projektionäyttö ja magneettinen paikannuslaite käytössä vuodesta 1997 EVE valmistui nykyiseen muotoonsa vuonna 2001 Virtuaalitekniikan professuuri 1.3.2003 lähtien, prof. Lauri Savioja Nykyinen EVE-ryhmä: 2 professoria, Tapio Tassu Takala ja Lauri Savioja 1 post-doc tutkija, n. 8 jatko-opiskelija, n. 4 tutkimusapulaista Uudet vuorovaikutustekniikat Web-kamerapohjainen paikannus, uudet syöttölaitteet Keholliset käyttöliittymät Äänen renderöinti (Reaaliaikainen) virtuaaliakustiikka Tilaääni VR-sovelluksissa Tietokonegrafiikka/renderöinti Globaalit valaistusmallit Varjoalgoritmit Keinotodellisuus 2007 / 35 Tutkimustilat CAVE-like installation (1997-2006) 3D-kuva kolmelle seinälle ja lattialle Paikannuslaite (magneettikentän mittaukseen perustuva) Wandeja, datahanskoja 3D audio, 14 kaiutinta / kuulokkeet http://eve.hut.fi/ ODEION, virtual theater Suuri näyttöpinta 24-kanavainen 3D-äänijärjestelmä Upponurkka: kaksiseinäinen immersiivinen näyttö Kamerapohjainen paikannusjärjestelmä (webikameroilla seurataan markkereita) Keinotodellisuus 2007 / 36 6
Virtuaaliorkesteri Ensimmäinen sovellus, valmistui vuonna 1997 Videoesimerkki Esiteltiin Siggraphissa Visualisointi Tieteellinen visualisointi Arkkitehtuurinen visualisointi Yhteistyötä CSC:n kanssa Keinotodellisuus 2007 / 37 Keinotodellisuus 2007 / 38 Keholliset käyttöliittymät http://www.tml.hut.fi/tutkimus/bsve/index.html Päättyi vuonna 2003 BS-VE:ssä kehitettiin ohjelmistoja ja menetelmiä, joiden avulla rakennuksiin ja niiden suunnitelmiin liittyvää informaatiota voidaan visualisoida virtuaaliympäristössä. Juuri alkanut FoundIT-hanke Vuorovaikutteinen liikkeisiin perustuva viihde Ohjaus käsillä virtuaaliakvaario virtuaalinen lumisota Kamerapohjainen koko vartalon liikkeenseuranta Pelejä lapsille Kick-ass Kung-fu www.kickasskungfu.net Featurevideo videomirrors Rakennustiedon visualisointia Keinotodellisuus 2007 / 39 Keinotodellisuus 2007 / 40 HELMA Virtuaalinen ilmakitara http://airguitar.tml.hut.fi, http://www.virtualairguitar.com/, video Herättänyt suunnattomasti kiinnostusta maailmalla, kaupallisia tuotteita luvassa mahd. jo 2007. Fine Motor Interaction Methods for Immersive Free-Hand Expression http://www.tml.hut.fi/research/helma/ Tutkimustavoitteet Kulttuuriuutiset 13.10.2005 näprät, rakentaja Taiteellinen vapaan käden ilmaisu Kaksikätinen vuorovaikutus Keinotodellisuus 2007 / 41 Keinotodellisuus 2007 / 42 7
Kolmiulotteinen äänimaisema Muita projekteja Uni-verse, 2004-2007, http://www.uni-verse.org/ Monen käyttäjän 3D-suunnittelua Intuition, 2004-, http://www.intuition-eunetwork.net NETWORK OF EXCELLENCE ON VIRTUAL REALITY AND VIRTUAL ENVIRONMENTS APPLICATIONS FOR FUTURE WORKSPACES (Ka)Mara, Mobile augmented reality audio, 2002-2004 Hands-On, 2006 Kaksikätisiä käyttöliittymiä CAD-suunnitteluun SoundVis Interactive Embodied Emotional Experience Lisätietoja: http://www.tml.tkk.fi/tutkimus/projektit.php Suomen akatemian rahoittama 1.1.2006-31.12.2008 Keinotodellisuus 2007 / 43 Keinotodellisuus 2007 / 44 Linkkejä Keinotodellisuus-kurssi, T-111.5400 (4op) http://www.tml.tkk.fi/opinnot/t-111.5400/ Kohtuullisen kattava linkkilista: http://www.tml.tkk.fi/opinnot/t-111.5400/2007/linkit.html Keinotodellisuus 2007 / 45 8