T-110.1100 Johdatus tietoliikenteeseen ja multimediatekniikkaan Keinotodellisuus 2007 Tapio Lokki / Tassu Takala Teknillinen korkeakoulu Tietoliikenneohjelmistojen ja multimedian laboratorio Keinotodellisuus 2007 / 1
Sisältö: Johdatus keinotodellisuuteen Käsitteitä Teknisiä laitteita Sovellusesimerkkejä Lyhyt katsaus historiaan Lyhyt katsaus tulevaisuuteen Tutkimusta TKK:lla Keinotodellisuus 2007 / 2
Keinotodellisuus Virtual Reality (VR) Webster: Virtual: being in essence of effect, but not in fact Reality: something that exists independently of ideas concerning it Yksi mahdollinen määritelmä: Uppoutuminen/läsnäolo vaihtoehtoisessa (aisti)todellisuudessa Uusi väline välittää informaatiota Sisältää erittäin monta tutkimusalaa tietokonegrafiikka, akustiikka ja äänenkäsittely, käyttöliittymät, robotiikka, tietokoneavusteinen suunnittelu (CAD), opetus, lääketiede, psykologia, fysiologia... Neljä peruselementtiä keinotodellisuuskokemuksessa: Virtuaalimaailma (virtual world) Uppoutuminen (immersion) Aisteihin perustuva palaute (sensory feedback) Vuorovaikutteisuus (interactivity) Keinotodellisuus 2007 / 3
Virtuaalimaailma Kuvitteellinen tila Kuvaus objekteista tilassa sekä niiden välisistä säännöistä ja suhteista Keinotodellisuus 2007 / 4
Uppoutuminen Tunne, että on jossain toisessa maailmassa Uppotuminen toiseen maailmaan saavutetaan esim. seuraavilla välineillä: kirja radio, televisio, elokuva tietokone pelit simulaattorit Huom! ei välttämättä tarvita kuvaa uppoutumisen saavuttamiseksi Fyysinen uppoutuminen jokin fyysinen ärsyke, joka tuottaa aistimuksen Henkinen uppoutuminen läsnäolo (presence) Keinotodellisuus 2007 / 5
Aisteihin perustuva palaute Tärkeä keinotodellisuuden komponentti Keinotodellisuusjärjestelmä pyrkii luomaan mahdollisimman aidontuntuisen palautteen eri aisteille näkö stereokuva (syvyys mukana) kuulo äänen tulosuunta, etäisyys ja tilan ominaisuudet tunto haptinen (kosketus- ja paineaistiin liittyvä) palaute haju, maku Palautteen antamiseksi täytyy ymmärtää miten ihmisen aistit toimivat Käyttäjän paikkaa on seurattava, jotta palaute voidaan antaa siten, että syntyy haluttu aistimus Keinotodellisuus 2007 / 6
Vuorovaikutteisuus Keinotodellisuussovellus on aina vuorovaikutteinen sovelluksen tulee vastata käyttäjän toimintaan aistipalautteet Tietokonegrafiikkaa ei välttämättä tarvita Pelkkää tekstiä (Zork) ASCII-merkkejä (Nethack) Vuorovaikutteisuus mahdollistaa virtuaalimaailman muokkaamisen Objektien siirtely Kytkimien käyttö Liikkuminen virtuaalimaailmassa Sovellukset oltava reaaliaikaisia Keinotodellisuus 2007 / 7
Toinen määritelmä Virtual Reality: a medium composed of interactive computer simulations that sense the participant's position and replace or augment the feedback to one or more senses -- giving the feeling of being immersed or being present in the simulation (a virtual world). Keinotodellisuus: Ilmaisuväline, joka koostuu vuorovaikutteisista tietokonesimulaatiosta, jotka huomioivat käyttäjän paikan ja tuottavat palautteen yhdelle tai useammalle aistille muodostaen tunteen, että käyttäjä on uppoutunut tai läsnä simulaatiossa (virtuaalimaailmassa). Käytännössä keinotodellisuus (VR) termiä käytetään aika laajasti, vaikka usein sovellus sisältää vain 3D-grafiikkaa. Muita suomenkielisiä termejä: Virtuaalitodellisuus, lumetodellisuus Keinotodellisuus 2007 / 8
Keskeiset elementit keinotodellisuudessa Uppoutunut käyttäjä Input-laitteet paikannuslaitteet muut sensorit Virtuaalimaailman kuvaus ja rendaus visuaalinen auraalinen haptinen (haju, maku) Näyttölaitteet (displays) visuaalinen auraalinen haptinen (haju, maku) Keinotodellisuus 2007 / 9
Järjestelmän komponentit Input-laitteet paikannuslaitteet muut sensorit Näyttölaitteet (displays) visuaalinen auraalinen haptinen Keinotodellisuus 2007 / 10
Todellinen Virtuaalinen Tehostettu todellisuus (mixed reality) on osa virtuaalitodellisuuteen liittyviä teknologioita, joka sisältää todellisuuden ja virtuaalisen maailman yhdistämisen janalla, joka yhdistää todellisuuden täydelliseen virtuaalitodellisuuteen (Milgram 1994) Keinotodellisuus 2007 / 11
Yhdestä moneen käyttäjään Perinteisiä keinotodellisuusympäristöjä MultiViewympäristöt Verkkopelit ja -yhteisöt G Yksi käyttäjä monta käyttäjää monta tasavertaista paljon käyttäjiä yhdelle paras käyttäjää Keinotodellisuus 2007 / 12
Fyysisen ympäristön vaikutus Ubicom, tangible interfaces Keinotodellisuus Todellisuus Lisätty todellisuus CAVE HMD Fyysinen ympäristö 1 Tietokoneella luotu virtuaalimaailma reaalisuuskerroin = 0.6 0 Keinotodellisuus 2007 / 13
http://www.stereo3d.com/ CAVE Erilaisia näyttöjä Head-mounted display (HMD) Head-based display (HBD) auto-stereo projection displays Keinotodellisuus 2007 / 14 +
Input-laitteita Keinotodellisuus 2007 / 15
Keinotodellisuuteen liittyviä termejä Virtuaaliympäristö (Virtual Environment): 1. virtuaalimaailma; 2. virtuaalimaailman instanssi, joka esitetään vuorovaikutteisella välineellä Avatar: 1. Objekti, joka esittää käyttäjää virtuaalimaailmassa. Yleensä visuaalisesti esitetty. 2. Käyttäjän ruumiillistuma. 3. tulee Hindin kielestä; jumalan maanpäällinen ilmestymä. Lisätty todellisuus (Augmented Reality): Keinotodellisuuden muoto, jossa ylimääräistä tietoa (kuva, ääni, tms.) on havainnollistettu todellisen maailman päälle. Keinotodellisuus 2007 / 16
Keinotodellisuuteen liittyviä termejä Etäläsnäolo (Telepresence): Kyky vaikuttaa suoraan fyysiseen ympäristöön, joka on jossain muualla, joko oman tai toisen näkökulmasta. Etäkäyttö (Teleoperation): Kyberavaruus (Cyberspace): paikka, joka on vain käyttäjien mielikuvituksessa (saavutetaan usein teknologian, joka mahdollistaa kaukana toisistaan olevien ihmisten vuorovaikutteisen kommunikaation, avulla). Keinotodellisuus 2007 / 17
Mekaanisia luurangot Akustiset ultraääni Optiset kamera(t) Magneettiset Inertia Paikannusmenetelmiä Keinotodellisuus 2007 / 18
Tuntoaisti ja voimapalaute (=haptiikka) Iho: paine, kosketus, lämpötila, värähtely Nivelet: asento Lihakset: voima Sisäkorva: tasapaino, liike Keinotodellisuus 2007 / 19
Keinotodellisuuden sovelluksia Suunnittelu (CAD) Voidaan visualisoida suunnitelmia 3D:ssä Akustinen suunnittelu Voidaan kuunnella tiloja suunnitteluvaiheessa Arkkitehtuurisuunnittelu Nähdään suunnitelmat 3D:ssä, lähes photorealistisina, Esim. TUAS-talo Koneiden suunnittelu Voidaan testata esim. kokoonpanoa virtuaaliprototyyppien avulla Lääketieteelliset sovellukset Etäkirurgia, fobioiden ja traumojen helpottaminen, opetus Koulutus / Simulaattorit Lento- ja työkoneiden ajamisen opettelu, vaarallisten tehtävien harjoittelu Etäkäyttö Robottien käyttö vaarallisissa paikossa, esim. ydinvoimalan korjaukset Virtuaalitehtaat Logistiikan simulointi, tuotelinjojen testaus ja visualisointi Tieteellinen visualisointi Lääkeaineiden suunnittelu, avaruuden hahmottaminen Viihde Pelit, taide..., Esim. ilmakitara, merenneito http://www.tml.tkk.fi/~jaukia/intuition-projects.html <= todella paljon linkkejä, tehty 2005! Keinotodellisuus 2007 / 20
Keinotodellisuuden historiaa, muutamia poimintoja vuosien varrelta Ensimmäinen stereoskooppinen näyttö Keinotodellisuus 2007 / 21
Sensorama (1962) Ensimmäinen viihdekäyttöön tarkoitettu laite Moottoripyöräsimulaattori Kuva (3D elokuva), kaupunkimaisema Ääni, moottori + kaupungin ääniä Tärinä, moottori Haju, eri ruokia Tuuli? Ei ollut kaupallinen menestys... Keinotodellisuus 2007 / 22
Simulaattorit 1960-luvulla Keinotodellisuus 2007 / 23
Simulaattorit 2000-luvulla Keinotodellisuus 2007 / 24
Ensimmäinen HMD näyttö Ivan Sutherland (1968) miniatyyri CRT-näyttö, paljon optiikkaa mekaaninen ja ultraääni paikannus Keinotodellisuus 2007 / 25
1989 NASA Ames Research Center Tehnyt paljon töitä kypäränäyttöjen kanssa 1980 alusta lähtien Yksi alan pioneereista 1992 BOOM Keinotodellisuus 2007 / 26
CAVE (1992) Keinotodellisuus 2007 / 27
DisneyQuest Disney: ALADDIN (1998) Motion ride, jossa lennetään lentävällä matolla Keinotodellisuus 2007 / 28
Täysin immersiivinen näyttö Cybersphere (2000) Keinotodellisuus 2007 / 29
Näyttöteknologia nykypäivänä Suuriresoluutioiset näytöt La Cueva Grande 43M pixel cave Monen käyttäjän näytöt, joissa kullekin katselijalle oma perspektiivi Keinotodellisuus 2007 / 30
Visibility Keinotodellisuuden tulevaisuus Ennustaminen on vaikeaa Kuitenkin on hyvä katsoa mihin suuntaan ollaan menossa Cartner Groupin New Technology Hype Cycle ja keinotodellisuus (oma arvio) 1992-1995 Peak of inflated expectations 2007 Technology trigger Trough of disillusioment Slope of enlightenment Plateau of productivity Time Keinotodellisuus 2007 / 31
New Technology Hype Cycle vs. keinotodellisuus (oma arvio) näkyvyys Lähtökuoppa (Technology trigger) Ivan Sutherlandin kypäränäyttö 1968 NASA Ames Research Center 1980-luvun lopussa 1989 VPL Research Inc. toi markkinoille kohtuullisen hintaisia laitteita aika Hypehuippu (Peak of Inflated Expectations) Uusi tekniikan ala tarvitsee rahoitusta usein ala ylikuumenee, kun sitä hehkutetaan liikaa Keinotodellisuuden alalla hype -aika osui vuosille 1992-1995 Ensimmäinen CAVE vuonna 1992 Takapakkia (Trough of Disillusionment) Kun odotuksiin ei heti vastattu hyvillä sovelluksilla niin kiinnostus keinotodellisuuteen hiipui Keinotodellisuudessa tämä aika oli n. 1995-1999 Keinotodellisuus 2007 / 32
New Technology Hype Cycle vs. keinotodellisuus (oma arvio) Sarastusvaihe (Slope of Enlightenment) Jos ala selviää hengissä ensimmäisestä lamasta niin usein alkaa tasainen nousu Löydetään ensimmäiset hyödylliset sovellukset virtuaaliprototypointi, tieteellinen visualisointi, simulaattorit, psykologia, jne. Keinotodellisuus 2007 / 33 näkyvyys Tuotteita (Plateau of Productivity) Teknologia hyväksytään ja sen tuottamat edut ymmärretään Vähitellen yleiskäyttöisiä ja kohtuullisen hintaisia laitteita ja ohjelmistoja Keinotodellisuudessa 2000-luvulla Keinotodellisuuden nykytila Tasaista kasvua: simulaattorit, koulutus, markkinointi, visualisointi... Sovellusten kriittistä arviointia, käytettävyystestejä, havaintoihin (uppoutuminen, läsnäolo) liittyvää tutkimusta VR käytössä lääketieteessä, autoteollisudessa, jne. Opetus maailmalla lisääntynyt selkeästi, myös monilla eri tieteenaloilla aika
Tulevaisuuden teknologia Näyttötekniikat autostereoskooppiset näytöt ei tarvita laseja tms. laitteita suoraan verkkokalvolle piirtävät virtual retinal display Dresden Autostereoscopic kevyet kypäränäytöt LCD monitor myös puoliläpäisevät volumetriset näytöt Langaton/markkeriton liikkeenseuranta 4D-Vision Micro Optial CO-3 Keinotodellisuus 2007 / 34
Tutkimus TKK:lla Stereoskooppinen projektionäyttö ja magneettinen paikannuslaite käytössä vuodesta 1997 EVE valmistui nykyiseen muotoonsa vuonna 2001 Virtuaalitekniikan professuuri 1.3.2003 lähtien, prof. Lauri Savioja Nykyinen EVE-ryhmä: 2 professoria, Tapio Tassu Takala ja Lauri Savioja 1 post-doc tutkija, n. 8 jatko-opiskelija, n. 4 tutkimusapulaista Uudet vuorovaikutustekniikat Web-kamerapohjainen paikannus, uudet syöttölaitteet Keholliset käyttöliittymät Äänen renderöinti (Reaaliaikainen) virtuaaliakustiikka Tilaääni VR-sovelluksissa Tietokonegrafiikka/renderöinti Globaalit valaistusmallit Varjoalgoritmit Keinotodellisuus 2007 / 35
Tutkimustilat CAVE-like installation (1997-2006) 3D-kuva kolmelle seinälle ja lattialle Paikannuslaite (magneettikentän mittaukseen perustuva) Wandeja, datahanskoja 3D audio, 14 kaiutinta / kuulokkeet http://eve.hut.fi/ ODEION, virtual theater Suuri näyttöpinta 24-kanavainen 3D-äänijärjestelmä Upponurkka: kaksiseinäinen immersiivinen näyttö Kamerapohjainen paikannusjärjestelmä (webikameroilla seurataan markkereita) Keinotodellisuus 2007 / 36
Virtuaaliorkesteri Ensimmäinen sovellus, valmistui vuonna 1997 Esiteltiin Siggraphissa Videoesimerkki Keinotodellisuus 2007 / 37
Visualisointi Tieteellinen visualisointi Arkkitehtuurinen visualisointi Yhteistyötä CSC:n kanssa Keinotodellisuus 2007 / 38
http://www.tml.hut.fi/tutkimus/bsve/index.html Päättyi vuonna 2003 BS-VE:ssä kehitettiin ohjelmistoja ja menetelmiä, joiden avulla rakennuksiin ja niiden suunnitelmiin liittyvää informaatiota voidaan visualisoida virtuaaliympäristössä. Juuri alkanut FoundIT-hanke Rakennustiedon visualisointia Keinotodellisuus 2007 / 39
Keholliset käyttöliittymät Vuorovaikutteinen liikkeisiin perustuva viihde Ohjaus käsillä virtuaaliakvaario virtuaalinen lumisota Kamerapohjainen koko vartalon liikkeenseuranta Pelejä lapsille Kick-ass Kung-fu www.kickasskungfu.net Featurevideo videomirrors Keinotodellisuus 2007 / 40
Virtuaalinen ilmakitara http://airguitar.tml.hut.fi, http://www.virtualairguitar.com/, video Herättänyt suunnattomasti kiinnostusta maailmalla, kaupallisia tuotteita luvassa mahd. jo 2007. Keinotodellisuus 2007 / 41
HELMA Fine Motor Interaction Methods for Immersive Free-Hand Expression http://www.tml.hut.fi/research/helma/ Kulttuuriuutiset 13.10.2005 näprät, rakentaja Tutkimustavoitteet Taiteellinen vapaan käden ilmaisu Kaksikätinen vuorovaikutus Keinotodellisuus 2007 / 42
Kolmiulotteinen äänimaisema SoundVis Keinotodellisuus 2007 / 43
Muita projekteja Uni-verse, 2004-2007, http://www.uni-verse.org/ Monen käyttäjän 3D-suunnittelua Intuition, 2004-, http://www.intuition-eunetwork.net NETWORK OF EXCELLENCE ON VIRTUAL REALITY AND VIRTUAL ENVIRONMENTS APPLICATIONS FOR FUTURE WORKSPACES (Ka)Mara, Mobile augmented reality audio, 2002-2004 Hands-On, 2006- Kaksikätisiä käyttöliittymiä CAD-suunnitteluun Interactive Embodied Emotional Experience Suomen akatemian rahoittama 1.1.2006-31.12.2008 Lisätietoja: http://www.tml.tkk.fi/tutkimus/projektit.php Keinotodellisuus 2007 / 44
Linkkejä Keinotodellisuus-kurssi, T-111.5400 (4op) http://www.tml.tkk.fi/opinnot/t-111.5400/ Kohtuullisen kattava linkkilista: http://www.tml.tkk.fi/opinnot/t-111.5400/2007/linkit.html Keinotodellisuus 2007 / 45