Stereoskooppisen kuvan geometristen vääristymien visualisointi, havaitseminen ja vaikutus koettuun syvyysvaikutelman luonnollisuuteen

Transkriptio

1 Aalto-yliopisto Perustieteiden korkeakoulu Tietotekniikan tutkinto-ohjelma Jussi Litja Stereoskooppisen kuvan geometristen vääristymien visualisointi, havaitseminen ja vaikutus koettuun syvyysvaikutelman luonnollisuuteen Diplomityö Espoo, 1. elokuuta 2012 Valvoja: Ohjaaja: Professori Pirkko Oittinen Diplomi-insinööri Mikko Kytö

2 Aalto-yliopisto Perustieteiden korkeakoulu Tietotekniikan tutkinto-ohjelma DIPLOMITYÖN TIIVISTELMÄ Tekijä: Jussi Litja Työn nimi: Stereoskooppisen kuvan geometristen vääristymien visualisointi, havaitseminen ja vaikutus koettuun syvyysvaikutelman luonnollisuuteen Päiväys: 1. elokuuta 2012 Sivumäärä: 73 Professuuri: Mediatekniikka Koodi: T-75 Valvoja: Ohjaaja: Professori Pirkko Oittinen Diplomi-insinööri Mikko Kytö Stereoskooppisessa kuvassa katsojan on mahdollista hahmottaa syvyyseroja, vaikka kuva näytetään litteällä pinnalla. Kuvattaessa stereoskooppisia kuvia tulee ottaa huomioon katseluympäristö, jossa kuvaa tullaan katsomaan. Väärin valituilla kuvausasetuksilla stereoskooppiseen kuvaan voi syntyä niin sanottuja geometrisia vääristymiä, jolloin katsoja hahmottaa kuvan kohteiden mittasuhteet vääristyneinä. Tämän tutkimuksen tavoitteena oli selvittää havaitaanko laskennallisesti ilmeneviä geometrisia vääristymiä kartonki- ja nukketeatteri-ilmiöitä stereoskooppisissa kuvissa ja jos, niin vaikuttavatko ne kuvan koettuun syvyysvaikutelman luonnollisuuteen. Osana tutkimusta kehitettiin visualisointityökalu, jolla edellä mainittuja vääristymiä voi ennustaa kuvaustilanteessa reaaliaikaisesti. Tutkimuksen tavoitteena oli myös selvittää, kuinka syvyysvaikutelman luonnollisuutta voisi visualisoida kyseisen esikatselutyökalun avulla. Kartonki- ja nukketeatteri-ilmiöiden havaitsemista sekä syvyysvaikutelman luonnollisuuden kokemista tutkittiin katselukokeilla. Koehenkilöt arvioivat kuvista kuvauskohteen paksuutta, kokoa suhteessa kuvan taustaan sekä syvyysvaikutelman voimakkuutta ja luonnollisuutta. Katselukokeiden perusteella kartonki-ilmiön voimakkuutta kuvaava paksuuskerroin korreloi tilastollisesti merkittävästi kuvauskohteen havaitun paksuuden kanssa. Myös nukketeatteri-ilmiön voimakkuutta kuvaava kokokerroin korreloi tilastollisesti merkittävästi kuvauskohteen havaitun suhteellisen koon kanssa. Koettu syvyysvaikutelman luonnollisuus oli vähäistä kuvilla, joissa paksuuskerroin oli suuri ja kokokerroin pieni. Tulosten perustella syvyysvaikutelman luonnollisuutta ei kuitenkaan voi ilmaista yksikäsitteisesti paksuus- ja kokokertoimien avulla. Syvyysvaikutelman luonnollisuudelle ei toistaiseksi olekaan tarkkaa määritelmää. Tämän selvittämiseksi tarvitaan lisätutkimuksia. Asiasanat: Kieli: S3D, geometriset vääristymät, nukketeatteri-ilmiö, kartonkiilmiö, syvyysvaikutelman luonnollisuus, visualisointi Suomi ii

3 Aalto University School of Science Degree Programme of Computer Science and Engineering Author: Title: ABSTRACT OF MASTER S THESIS Jussi Litja Visualization and perception of geometric distortions in stereoscopic images and their effect on perceived depth naturalness Date: August 1, 2012 Pages: 73 Professorship: Media Technology Code: T-75 Supervisor: Instructor: Professor Pirkko Oittinen Mikko Kytö M.Sc. (Tech.) Stereoscopic images are images where the viewer can perceive depth even though the images are shown on a flat surface. When taking stereoscopic images one has to consider the viewing environment where the images will be shown. Incorrect camera configuration can result in distortions in the perceived stereoscopic image geometry. The goal of this thesis was to study whether the calculated geometric distortions cardboard and puppet-theater effect can be perceived in stereoscopic images and if so, do they affect the perceived depth naturalness of the stereoscopic images. During the research, a visualization tool was developed for previewing the aforementioned distortions in the shooting target. One goal of this thesis was also to study whether the perceived depth naturalness of stereoscopic images could be previewed with the developed tool. Perception of cardboard and puppet-theater effects was investigated with subjective viewing tests. Subjects evaluated the thickness and relative size of the shooting target in stereoscopic images. In addition, they evaluated the naturalness and magnitude of the perceived depth sensation. The results indicate a statistically significant correlation between the roundness factor (representing the amount of cardboard effect) and the perceived thickness of the target. Also, there was a statistically significant correlation between the size factor (representing the amount of puppet-theater effect) and the perceived relative size of the target. Depth naturalness was perceived to be low for images with large roundness factors and small size factors. However, no single definition for depth naturalness could be derived from the calculated roundness and size factors of the images. So far, there doesn t exist a single definition for naturalness of depth. Defining the factors influencing it would require additional studies. For example, the relationship between viewing comfort of stereoscopic images and depth naturalness should be researched more thoroughly. Keywords: Language: S3D, geometric distortions, puppet-theater effect, cardboard effect, depth naturalness, visualization Finnish iii

4 Kiitokset Ensimmäiseksi haluan kiittää työni ohjaajaa Mikko Kytöä monista asiantuntevista neuvoista sekä avusta työn tavoitteiden asettamisessa sekä aihealueen rajaamisessa. Toiseksi haluan kiittää työni valvojaa Pirkko Oittista sekä henkilökohtaisista ohjeista ja kommenteista että myös tutkimuksen aikana suoritetun työn etenemistä seuraavan seminaarin pitämisestä. Tutkimuksen suorittamiseen ja stereoskooppisten kuvien ottamiseen sain vinkkejä myös Jussi Hakalalta, tästä kiitos hänelle. Kuvaamisessa avustajina toimivat Mikon lisäksi Anni Litja ja Antti Saarelainen, kiitos myös heille. Haluan kiittää lisäksi Aalto-yliopiston perustieteiden korkeakoulun mediatekniikan laitosta, joka tarjosi tilat sekä laitteet, joita ilman en tätä tutkimusta olisi pystynyt suorittamaan. Lopuksi haluan kiittää Viestintäalan tutkimussäätiötä, joka rahoitti tutkimuksen mahdollistaen täysipäiväisen keskittymisen tutkimuksen suorittamiseen. Espoossa, 1. elokuuta 2012 Jussi Litja iv

5 Sisältö 1 Johdanto Tutkimuksen tausta Tutkittava ongelma Tutkimuksen tavoite Stereokuvaajan esikatselutyökalu Tutkimuksen rajaus Stereoskooppisen kuvaamisen periaatteet Etäisyyksien hahmottaminen Monokulaariset syvyysvihjeet Binokulaariset syvyysvihjeet Okulomotoriset syvyysvihjeet Stereoskooppisen kuvan muodostuminen Kuvaaminen Katselu Syvyysvaikutelman muodostuminen Aikaisemmat tutkimukset Stereoskooppisen kuvan geometria Stereoskooppisen kuvan geometrian vääristymät Kartonki-ilmiö Nukketeatteri-ilmiö Muut geometriset vääristymät Stereoskooppisen kuvan syvyysvaikutelman luonnollisuus Johdanto Geometristen vääristymien vaikutus Kuvakannan vaikutus Katselumukavuus Silmien akkommodaatio ja vergenssi Ylikuuluminen Vertikaalinen parallaksi v

6 4 Tutkimusmenetelmät Johdanto Katselukokeiden kuvien kuvaaminen Kuvauslaitteisto Kuvausasetusten valinta Kuvauskohteet Esikatselutyökalu Kuvaukset Katselukokeet Kokeiden tavoite Katseluympäristö Koehenkilöt Kokeiden kulku Vastausten käsittely Tulokset Syvyysvaikutelman voimakkuus Kuvakannan vaikutus Suurimman parallaksin vaikutus Kartonki-ilmiön havaitseminen Nukketeatteri-ilmiön havaitseminen Syvyysvaikutelman luonnollisuus Kartonki- ja nukketeatteri-ilmiöiden vaikutus Havaitun paksuuden ja koon vaikutus Kuvakannan vaikutus Suurimman parallaksin vaikutus Koehenkilöiden valitsemat alueet Yhteenveto Esikatselutyökalu Vääristymien visualisoinnin hyöty Esikatselutyökalun parannusehdotukset Johtopäätökset 66 vi

7 Luku 1 Johdanto 1.1 Tutkimuksen tausta Viime vuosina stereoskooppisia 3D-elokuvia (S3D) on ryhdytty näyttämään yhä enemmän elokuvateattereissa. Stereoskooppisissa kuvissa katsojan on mahdollista hahmottaa syvyyseroja, vaikka todellisuudessa kuva esitetään litteällä pinnalla, kuten valkokankaalla. Syvyysilluusio muodostetaan näyttämällä katsojan silmille hieman erilaiset kuvat samasta kuvauskohteesta. Katsojan aivot yhdistävät verkkokalvoille piirtyvät kuvat ja tulkitsevat niistä syvyyseroja. Tätä binokulaarista fuusiota (engl. stereopsis) tapahtuu jatkuvasti kun ihmisen molemmat silmät ovat auki. S3D:n taustalla olevat periaatteet ovat siis hyvin lähellä sitä miten ihminen normaalisti hahmottaa ympäristöään ja sen syvyyseroja. Vaikka S3D-elokuvat ovat taas pinnalla, on niiden syvyysvaikutelman muodostavia periaatteita kuitenkin tutkittu jo huomattavasti aikaisemmin. Stereoskopian käsite, eli syvyysvaikutelman muodostuminen kaksiulotteisista (2D) kuvista, juontaa juurensa 1800-luvulle, jolloin Sir Charles Wheatstone havaitsi ilmiön piirretyillä kuvapareilla [34]. Melko pian tämän jälkeen, luvun loppupuolella, valokuvaparien katsomiseen tarkoitetut niin sanotut stereoskoopit yleistyivät varsinkin Englannissa ja Yhdysvalloissa, joissa kuvien katselusta tuli suosittua ajanvietettä [43]. Luonnollinen askel stereoskooppisten valokuvien katselusta oli liikkuvan stereoskooppisen kuvan kehittäminen. Ensimmäiset kokeilut S3D-elokuvan parissa tehtiin lukujen taitteessa ensimmäinen suurelle yleisölle tarkoitettu 3D-elokuva esitettiin vuonna 1922 Los Angelesissa. Vuonna 1952 puolestaan näki päivänvalon Bwana Devil, joka oli ensimmäinen elokuvateattereissa esitetty värillinen stereoskooppinen elokuva luvun niin sanotun kulta-ajan jälkeen stereoskooppisen elokuvan suosio laski, mutta 1

8 LUKU 1. JOHDANTO 2 nousi jälleen 2000-luvun alussa. [43] Elokuvien lisäksi stereoskooppisen 3D-sisällön näyttämistä on kokeiltu myös TV-puolella, mutta ainakaan vielä 3D-TV ei ole syrjäyttänyt perinteisiä televisiolähetyksiä. 3D-ominaisuuksia on tämän lisäksi tuotu myös kännyköihin [10, 25] ja pelikonsoleihin [2]. Teknologian soveltuvuutta on testattu jopa rahapeleissä [20]. Huolimatta yli vuosisadan kestäneestä kehityskaaresta, ei stereoskooppinen kuva ole vieläkään yleistynyt esimerkiksi televisiossa ja osa ihmisistä katsoo elokuvateattereissakin mieluummin perinteisiä 2D-elokuvia. Sama ilmiö on havaittavissa valokuvissa kuvaus- ja näyttölaitteita on saatavilla, mutta niitä ei käytetä. Mikä sitten jarruttaa S3D-teknologioiden käyttöönottoa ja kuluttajien hyväksyntää? Osasyy on varmasti kuvaus- ja näyttölaitteiston 2D-laitteita kalliimpi hinta. Yksi syy epäsuosioon voi olla myös se, että suuri osa 3D-näytöistä vaatii erikoisvalmisteisten lasien käyttöä. Kalliimman hinnan ja lasien lisäksi vierastamisen syitä voidaan kuitenkin hakea myös siitä, kuinka ihmiset hahmottavat stereoskooppiset kuvat. Tutkimukset osoittavat, että stereoskooppisen kuvan syvyysvaikutelman kokemiseen ja katselukokemuksen miellyttävyyteen vaikuttavat muun muassa kuvauskohteen geometria, kuvaus- ja katselulaitteiston ominaisuudet sekä katselutilanne [36]. Tutkimukset viittaavat myös siihen, että katsojien yksilölliset fysiologiset ominaisuudet vaikuttavat stereoskooppisten kuvien katselukokemukseen [21]. Stereoskooppisten kuvien katselu poikkeaa siis perinteisten 2D-kuvien katselusta, jossa katselukokemus on jokaiselle katsojalle kutakuinkin samantyyppinen. Kuvauslaitteiston sekä -asetusten valinta kuvaustilanteen ja oletettujen katseluolosuhteiden mukaan onkin ensisijaisen tärkeää. Jos stereokuva on otettu vääränlaisilla kuvausasetuksilla, on sitä epämiellyttävä katsoa ja siinä hahmotettujen kohteiden väliset mittasuhteet voivat vääristyä. Pahimmassa tapauksessa kuvan katselu ei onnistu lainkaan tai voi aiheuttaa katsojalle päänsärkyä. Monet stereoskooppisia kuvia katselevat voivatkin kokea, että kuvien kolmiulotteisuuden tuoma lisäarvo verrattuna sen mahdollisesti aiheuttamiin ei-toivottuihin ilmiöihin on liian pieni. Kuvausasetukset tulisikin tästä syystä valita mahdollisimman huolellisesti ja tarkasti. Lukuisat tutkimukset, muun muassa [4, 30, 38, 42], esittävät laskukaavoja ja suuntaviivoja, joita noudattamalla stereoskooppisissa kuvissa ilmeneviä vääristymiä voi pyrkiä ennustamaan ja välttämään. Niiden laskeminen uudelleen jokaisessa kuvaustilanteessa on kuitenkin työlästä ja virhealtista. Vääristymien ennustamiseen sekä kuvausasetusten esimerkiksi kameroiden välisen etäisyyden eli kuvakannan valitsemiseen on olemassa ohjelmistoja, muun muassa [5, 16, 26, 32]. Näissä käyttäjä voi syöttää käyttämänsä kuvausja katseluasetukset ohjelmaan, jonka jälkeen ohjelma visualisoi kuinka tie-

9 LUKU 1. JOHDANTO 3 tyllä etäisyydellä kamerasta oleva kohde vääristyy katsojan hahmottamassa stereoskooppisessa kuvassa. Asetusten valitseminen ja vääristymien visualisointi tämäntyyppisillä ohjelmilla onnistuu kyllä, mutta on virhealtista jos kuvauskohteet ja -etäisyydet muuttuvat usein. Tämän tutkimuksen motivaationa on ajatus siitä, että tietyillä kuvausja katseluasetuksilla syntyvät stereoskooppiset vääristymät voitaisiin havaita helposti visualisoimalle ne suoraan kuvauskohteesta otetun kuvan päälle - reaaliaikaisena kuvaustilanteessa. Tällä tavoin kuvaajan olisi mahdollista varmistaa, ettei hänen valitsemillaan kuvausasetuksilla ilmene ei-toivottuja stereoskooppisen kuvan vääristymiä. Tämäntyyppinen vääristymien visualisointi voisi mahdollisesti nopeuttaa stereokuvaajan työtä sekä edesauttaa laadukkaan stereoskooppisen kuvan ottamisessa. 1.2 Tutkittava ongelma Stereoskooppisessa kuvaamisessa käytetään kahta rinnakkain asetettua kameraa, joista kumpikin tallentaa hieman erilaisen kuvan kohteesta. Esittämällä nämä kuvat siten, että katsojan vasemmalle silmälle näytetään ainoastaan vasemmanpuoleisen kameran kuva ja oikealle silmälle oikeanpuoleisen kameran kuva saadaan aikaan syvyysvaikutelma, jossa katsoja kokee kuvassa esiintyvien kohteiden olevan eri etäisyyksillä. Väärin valitut kuvausasetukset voivat kuitenkin johtaa tilanteeseen, jossa katsoja kokee stereoskooppisen kuvan kohteiden olevan luonnottoman kokoisia, paksuisia tai väärässä paikassa. Nämä ovat niin sanottu stereoskooppisen kuvan geometrisia vääristymiä [36]. Tässä työssä tutkitaan kahta toisiinsa liittyvää vääristymää: kartonki-ilmiötä ja nukketeatteri-ilmiötä. Geometrisia vääristymiä on muitakin (ks. luku 3.2.3) - nämä kaksi valittiin sillä niiden (laskennalliseen) esiintymiseen voi vaikuttaa kuvausasetuksien oikeanlaisella valinnalla toisin kuin esimerkiksi epäoptimaalisesta katselupaikasta aiheutuvaan vinovääristymään [33] tai linsseistä johtuviin tynnyri- ja tyynyvääristymiin [36]. Kartonki-ilmiö on geometrinen vääristymä, jossa kuvattava kohde koetaan syvyyssuunnassa litistyneenä [39, 40]. Kuvassa siis havaitaan kyllä syvyyseroja, mutta kuvan kohteet havaitaan litteitä, kartonkimaisina. Toinen tutkittava geometrinen vääristymä on niin sanottu nukketeatteri-ilmiö. Nukketeatteri-ilmiössä kuvattu kohde vaikuttaa liian pieneltä taustaansa verrattuna [39]. Voidaan myös sanoa, että nukketeatteri-ilmiössä kohde vaikuttaa miniatyyrimäiseltä. Hahmotetun geometrian vääristyessä katsojan hahmottaman kuvan sisällön mittasuhteet eivät siis vastaa todellisessa maailmassa havaittuja mit-

10 LUKU 1. JOHDANTO 4 toja. Miksi tällaisia vääristymiä sitten ilmenee? Tutkimusten mukaan ne aiheutuvat väärin valituista kameran asetuksista ja/tai katseluolosuhteista [30, 36]. Stereoskooppisen kuvan hahmotetun geometrian laskemiseen on esitetty koordinaattimuunnos, jonka avulla kuvauskohteen (todellisen maailman) koordinaatit voidaan muuntaa katsojan hahmottaman stereoskooppisen kuvan koordinaateiksi [36]. Kartonki- ja nukketeatteri-ilmiöiden laskennalliseen esiintymiseen on myös esitetty laskukaavoja [22, 39], mutta varsinkin nukketeatteri-ilmiön havaitsemista on tutkittu vähän. 1.3 Tutkimuksen tavoite Työn tavoitteena on tutkia kahden stereoskooppisen kuvan geometrisiin vääristymiin liittyvän hypoteesin paikkansapitävyyttä: 1) kuvauskohteen havaittu paksuus pienenee laskennallisen kartonki-ilmiön voimakkuuden kasvaessa ja 2) kuvauskohteen havaittu koko suhteessa kuvan taustaan pienenee laskennallisen nukketeatteri-ilmiön voimakkuuden kasvaessa [22]. Hypoteeseihin liittyvät tutkimuskysymykset ovat: vaikuttavatko lasketut kartonkija nukketeatteri-ilmiöiden voimakkuudet siihen kuinka litteänä tai suurena kuvauskohteet havaitaan ja jos, niin vaikuttavatko ne siihen kuinka luonnollisena kuvien syvyysvaikutelma koetaan? Kartonki- ja nukketeatteri-ilmiön havaitsemista tutkitaan subjektiivisilla katselukokeilla. Katselukokeissa käytetyt stereoskooppiset kuvat kuvataan käyttäen erilaisia kuvausasetusten yhdistelmiä. Kameroiden asetukset, kuvausetäisyydet ja kuvauskohteet valitaan siten, että kartonki- tai nukketeatteri-ilmiöitä on laskennallisesti odotettavissa. Kuvausten jälkeen suoritetaan katselukokeet, joissa koehenkilöt katselevat ja arvioivat stereoskooppisia kuvia. Koehenkilöiden tehtävänä on arvioida kuvista kuvauskohteen paksuutta ja sen suhteellista kokoa kuvan taustaan verrattuna. Tällä pyritään tutkimaan havaitsevatko koehenkilöt kartonki- ja nukketeatteriilmiötä kuvissa. Tämän lisäksi koehenkilöiden tehtävänä on arvioida kuvien syvyysvaikutelman luonnollisuutta ja voimakkuutta. Edellä mainittujen hypoteesien pätevyyden tutkimisen lisäksi työn tavoitteena on kehittää esikatselutyökalu, jolla geometrisia vääristymiä voidaan visualisoida reaaliaikaisesti kuvaustilanteessa. Esikatselutyökalun rooli tutkimuksessa sekä siihen liittyvät tavoitteet on kuvattu tarkemmin seuraavaksi.

11 LUKU 1. JOHDANTO Stereokuvaajan esikatselutyökalu Kuten edellä mainittiin, katselukokeiden kuvat kuvataan sellaisilla kuvausasetusten yhdistelmillä, joilla geometrisia vääristymiä oletetaan ilmenevän. Kuvaamisen avuksi kehitetään tutkimuksen ohessa esikatselukalu, jolla vääristymät voidaan visualisoida reaaliaikaisesti kuvauspaikalla. Esikatselutyökalun konsepti on esitetty kuvassa 1.1. Työkalu hyödyntää kuvauspaikalle sijoitetulta Kinect-sensorilta [24] luettua kuvauskohteen syvyysinformaation sisältävää syvyyskarttaa (engl. depth map). Kuvaaja voi syöttää ohjelmaan käyttämänsä kuvaus-, katselu- ja näyttöasetukset. Ohjelma laskee näiden perusteella kartonki- ja nukketeatteri-ilmiöiden voimakkuudet kuvauskohteessa. Ilmiöiden voimakkuudet visualisoidaan suoraan kuvauskohteen syvyyskartan päälle, jolloin kuvaaja näkee heti esiintyykö vääristymiä syötetyillä asetuksilla. Kuvauspaikka Esikatselutyökalu Vääristymien visualisointi Syvyysinformaatio Vääristymien laskeminen Kuva 1.1: Konseptikuva stereokuvaajan esikatselutyökalusta. Työkalun tehtävä on siis geometristen vääristymien visualisointi. Ideaalitilanteessa esikatselutyökalu ilmoittaisi kuvaajalle suoraan kuinka luonnollisena kuvattavan kohteen syvyysvaikutelma koetaan tietyillä kuvausasetuksilla. Yhtenä työn tavoitteena onkin selvittää katselukokeiden tulosten perusteella kuinka esikatselutyökalua voisi kehittää. 1.5 Tutkimuksen rajaus Stereoskooppisen kuvan geometrisia vääristymiä on muitakin kuin kartonkija nukketeatteri-ilmiö, mutta kuten edellä mainittiin, niiden havaitsemista tai vaikutusta syvyysvaikutelman luonnollisuuteen ei tutkita tässä työssä. Tutkimus selvittää kartonki- ja nukketeatteri-ilmiöiden vaikutusta koettuun syvyysvaikutelman luonnollisuuteen, mutta ei niiden vaikutusta kuvan katselumukavuuteen (engl. visual comfort) tai katselukokemukseen (engl. viewing

12 LUKU 1. JOHDANTO 6 experience). Stereoskooppisten kuvien katselumukavuudesta on tehty useita muita tutkimuksia, muun muassa [1, 13, 18, 21, 27, 29, 37]. Tämän työn kannalta oleelliset katselumukavuuteen vaikuttavat tekijät on esitetty luvussa 3.4. Stereoskooppisen kuvan katselumukavuudella voi olla yhteys koettuun syvyysvaikutelman luonnollisuuteen [27], mutta sitä ei tutkita tässä työssä. On paikallaan rajata myös, että työssä tutkittiin S3D-kuvan syvyysvaikutelman luonnollisuutta, ei S3D-kuvan luonnollisuutta kokonaisuudessaan. Kuten tutkimuksessa [11], rajaus tehtiin, sillä työn tavoitteena on tutkia stereoskooppisen kuvan syvyysvaikutelmaan vaikuttavia geometrisia vääristymiä, ei 2D-kuvien luonnollisuuteen vaikuttavia tekijöitä, kuten värien luonnollisuutta [9]. Tutkimuksessa käytetään liikkumattomia eli staattisia stereoskooppisia kuvia, joskin työn tuloksia voidaan hyödyntää mahdollisesti myös stereoskooppisen videon kuvaamisessa. Katselukokeiden kuvat kuvataan yhdensuuntaisesti suunnatuilla kameroilla työssä ei tutkita kameroiden konvergoinnin vaikutusta geometrisiin vääristymiin tai koettuun syvyysvaikutelman luonnollisuuteen. Työssä tutkitaan, kuinka luonnollisena katsojat hahmottavat syvyysvaikutelman tietynlaisilla kuvausasetuksilla kuvatuissa kuvissa ei sitä, kuinka hyödylliseksi kuvaajat kokevat esikatselutyökalun näitä kuvausasetuksia valitessaan. Kinect-sensorin syvyyskameran toiminta-alue rajoittaa tutkimuksen ohessa kehitettävän esikatselutyökalun toiminta-aluetta. Toiminta-alue on syvyyssuunnassa 85 cm - 4 m, eli lähin kuvattava kohde täytyy olla vähintään 85 cm päässä kameroista, kaukaisin taas korkeintaan 4 m päässä kameroista. Kuvauksissa käytettävien kameroiden vaakasuuntainen näkökenttä voi olla korkeintaan 58 o, joka on Kinect-sensorin syvyyskameran vaakasuuntainen näkökenttä. Tästä laajakulmaisemmalla objektiivilla vääristymiä ei voida visualisoida kameroiden näkökentän reuna-alueilla. Katselukokeissa käytettiin sekä suljin- eli aktiivilaseja että pyöröpolarisaatioon perustuvia passiivisia 3D-laseja. Työssä ei tutkittu vääristymien havaitsemista tai syvyysvaikutelman luonnollisuuden kokemista silmikko- tai autostereoskooppisilla eikä volumetrisilla näytöillä.

13 Luku 2 Stereoskooppisen kuvaamisen periaatteet 2.1 Etäisyyksien hahmottaminen Monokulaariset syvyysvihjeet Jotta voisimme ymmärtää kuinka stereoskooppisten kuvien syvyysvaikutelma muodostuu, täytyy ensin ymmärtää kuinka ihminen hahmottaa etäisyyksiä jokapäiväisessä elämässä. Katsellessaan ympäristöään ihminen kerää niin sanottuja syvyysvihjeitä, joiden avulla hän arvioi esineiden etäisyyksiä ja ulottuvuuksia. Nämä vihjeet voidaan jakaa kolmeen kategoriaan: monokulaarisiin (lat. oculus = silmä), binokulaarisiin ja okulomotorisiin syvyysvihjeisiin [23, 27]. Monokulaarisiin syvyysvihjeisiin kuuluvat nimensä mukaisesti havainnot, joita voidaan tehdä yhdellä silmällä katsottaessa. Kuvassa 2.1 on esimerkki kolmesta tämäntyyppisestä syvyysvihjeestä. Kuvan autot ovat samankokoisia ja liikkuvat yhtä nopeasti samaan suuntaan suhteessa katsojaan. Silti katsoja mieltää toisen auton olevan toista kauempana. Yksi kuvan monokulaarinen syvyysvihje on suhteellinen koko: katsoja tietää kohteiden olevan todellisuudessa saman kokoisia, joten hän mieltää pienemmältä vaikuttavan kohteen olevan kauempana. Toinen kuvassa näkyvä syvyysvihje on liikeparallaksi (engl. motion parallax) - kauempana oleva auto vaikuttaa liikkuvan hitaammin poikki katsojan näkökentän kuin lähellä oleva. Kolmanneksi, koska autot ovat samalla tasolla (maan pinta), vaikuttaa kauempana oleva kohde olevan lähempänä horisonttia. 7

14 LUKU 2. STEREOSKOOPPISEN KUVAAMISEN PERIAATTEET 8 Kuva 2.1: Monokulaarisia syvyysvihjeitä. Muita monokulaarisia syvyysvihjeitä ovat [23, 27]: Lähellä olevat kohteet peittävät kauempana olevia (engl. occlusion) Kohteen absoluuttinen koko - katsojalle tuttu kohde peittää näkökentästä tietyn osan ollessaan tietyllä etäisyydellä Katsojaa kohti tai katsojasta poispäin liikkuvan kohteen havaittu koko muuttuu eri nopeudella riippuen kohteen etäisyydestä katsojaan Kohteessa olevat toistuvat kuviot esiintyvät tiheämmin kaempana olevissa esineissä (engl. texture gradient) Kohteen ja sen taustan välinen havaittu kontrasti pienenee niiden välimatkan kasvaessa ilmakehän vaikutuksesta (engl. atmospheric perspective) Varjot Binokulaariset syvyysvihjeet Jos katselu tapahtuu kahdella silmällä, on etäisyyksien hahmottaminen tarkempaa. Monokulaaristen syvyysvihjeiden lisäksi voidaan tällöin hyödyntää niin kutsuttuja binokulaarisia syvyysvihjeitä. Näistä tärkein on niin kutsuttu stereonäkö (engl. stereopsis). Stereonäkö perustuu silmien verkkokalvoille piirtyvien kuvien eroihin molemmille verkkokalvoille piirtyy kuva katselukohteesta, mutta hieman eri kuvakulmasta katsottuna. Aivot yhdistävät

15 LUKU 2. STEREOSKOOPPISEN KUVAAMISEN PERIAATTEET 9 nämä kuvat ja arvioivat etäisyyden verkkokalvojen kuvien eroista (engl. retinal disparity). [23] Kuva 2.2 havainnollistaa, kuinka eri etäisyyksillä olevat kohteet piirtyvät silmien verkkokalvoille. Katsoja on kohdistanut katseensa kohteeseen b, joka piirtyy molempien silmien verkkokalvojen keskelle. Kauempana oleva kohde a piirtyy tällöin vasemman silmän verkkokalvon oikeaan laitaan, oikeassa silmässä taas vasempaan laitaan. Lähimpänä olevalle kohteelle c ilmiö on päinvastainen, mutta samankaltainen - kohde piirtyy vasemman silmän verkkokalvolle eri paikkaan kuin oikean silmän verkkokalvolle. a b c Kuva 2.2: Katselukohteen etäisyyden vaikutus silmien verkkokalvoille piirtyviin kuviin. Kohteesta piirtyvien kuvien sijainnit verkkokalvoilla riippuvat kohteen etäisyydestä sekä silmien suuntauksesta (vergenssistä). Stereoskooppisen kuvaamisen ja katselun periaatteet pohjautuvat stereonäön periaatteisiin - otetaan kaksi hieman toisistaan poikkeavaa kuvaa ja välitetään ne silmien verkkokalvoille Okulomotoriset syvyysvihjeet Monokulaaristen ja binokulaaristen syvyysvihjeiden lisäksi syvyyksiä arvioidaan myös niin sanottujen okulomotoristen syvyysvihjeiden avulla. Okulomotorisilla syvyysvihjeillä tarkoitetaan silmiä ympäröivien lihasten toimin-

16 LUKU 2. STEREOSKOOPPISEN KUVAAMISEN PERIAATTEET 10 nasta aiheutuvia syvyysvihjeitä. Yksi tällainen syvyysvihje on akkommodaatio. Akkommodaatiolla tarkoitetaan silmän kykyä tarkentaa eri etäisyyksille muuttamalla linssinä toimivan silmän muotoa [23]. Kaukana oleviin kohteisiin tarkentaminen vaikuttaa silmien ympärillä olevien lihasten toimintaan eri tavalla kuin lähellä oleviin kohteisiin tarkentaminen. Tarkentamisen lisäksi silmät myös suuntautuvat katselun kohteeseen. Kuten akkommodaatiossa, suuntaamiseen käytetään silmiä ympäröiviä lihaksia. Tästä syntyy toinen okulomotorinen syvyysvihje, vergenssi. Kuvan 2.2 tapauksessa katsoja katsoo kohdetta b. Tällöin sanotaan, että silmät ovat konvergoituneet siihen. Jos silmien optiset akselit eivät leikkaa toisiaan sanotaan, että silmät ovat divergoituneet. 2.2 Stereoskooppisen kuvan muodostuminen Kuvaaminen Stereoskooppisessa kuvaamisessa käytetään nimensä mukaisesti kahta vierekkäin asettua kameraa. Kamerat voidaan joko suunnata kohteeseen (engl. toed-in/converged camera configuration) tai asettaa siten, että niiden optiset akselit osoittavat kohteeseen päin, mutta ovat yhdensuuntaiset (engl. parallel camera configuration) [36]. Molemmat kuvaustavat on esitetty kuvassa 2.3. Kuvaustavan valinta riippuu kuvaustilanteesta sekä halutusta lopputuloksesta. Konvergoitujen kameroiden etu on, että katselunäytön tasalle ha- (a) (b) Kuva 2.3: (a) Yhdensuuntaisilla kameroilla kuvaaminen ja (b) konvergoiduilla kameroilla kuvaaminen.

17 LUKU 2. STEREOSKOOPPISEN KUVAAMISEN PERIAATTEET 11 luttu kohde voidaan valita jo kuvaustilanteessa suuntaamalla kamerat siihen. Yhdensuuntaisten kameroiden käyttäminen puolestaan poistaa tiettyjä kuvan vääristymiä. Stereoskooppisen kuvan vääristymiä käsitellään enemmän seuraavassa luvussa. Kameroiden välistä etäisyyttä kutsutaan stereoskooppisen kuvan kuvakannaksi (engl. stereo base, camera separation, interaxial distance). Etäisyyttä, jolla kameroiden optiset akselit leikkaavat kutsutaan konvergenssietäisyydeksi. Kameroiden optisten akseleiden välistä kulmaa kutsutaan konvergenssikulmaksi. Yhdensuuntaisesti suunnatuilla kameroilla konvergenssietäisyys on ja konvergenssikulma 0. Konvergenssikulma ja kuvakanta ovat niin sanottuja stereoskooppisia kuvausparametreja. Muita kuvausparametreja ovat kameroissa käytetyn objektiivin polttoväli ja kameran kennon/filmin leveys. Kuvausparametrit vaikuttavat siihen, kuinka katsoja hahmottaa stereoskooppisen kuvan etäisyydet ja mittasuhteet. Kuvausparametrien ja katseluolosuhteiden vaikutusta stereoskooppisen kuvan geometriaan käsitellään tarkemmin työn seuraavassa luvussa Katselu Stereoskooppista kuvaa katsellessa vasemman kameran kuva näytetään vasemmalle silmälle ja oikean kameran kuva oikealle silmälle. Useimmiten tämä vaatii erikoisvalmisteisten lasien käyttöä katselun yhteydessä. Niin sanotuissa passiivilaseissa eri silmille näytettävien kuvien erottamiseen käytetään valon polarisaatiota, aktiivilasit taas toimivat suljinperiaatteella, jossa toisen silmän näkymä estetään kun toiselle silmälle näytetään kuva [23]. Lasien lisäksi nykyisin on myös niin sanottuja autostereoskooppisia näyttöjä, jotka eivät vaadi lasien käyttöä [7]. Katseluun voidaan käyttää myös silmikkonäyttöjä, jossa kuvat näytetään katsojan päähän puettavassa näyttölaitteesta. Tässä tutkimuksessa käytetään sekä passiivi- että suljinlaseja käyttäviä näyttölaitteita. Kuvausparametrien tavoin myös katselulaitteisto ja -tilanne vaikuttavat stereoskooppisen kuvan kokemiseen. Jos elokuvateatterissa näytettäväksi tarkoitettu stereoskooppinen kuva näytetään esimerkiksi kännykän näytöllä on kuvan syvyysvaikutelma näissä kahdessa katselutilanteessa hyvin erilainen. Tästä syystä kuvausasetuksia valittaessa tuleekin ottaa huomioon millaisella näytöllä kuvaa aiotaan katsojille näyttää. Niin sanottuihin katseluparametreihin kuuluvat silmien interpupillaarinen etäisyys (eli silmien välinen etäisyys ), näytön koko ja katseluetäisyys. Katseluparametrien vaikutuksesta hahmotettuun stereoskooppiseen kuvaan kerrotaan kuvausparametrien tavoin seuraavassa luvussa.

18 LUKU 2. STEREOSKOOPPISEN KUVAAMISEN PERIAATTEET Syvyysvaikutelman muodostuminen Edellä mainittiin, kuinka stereonäkö mahdollistaa kohteiden etäisyyden arvioinnin verkkokalvoille piirtyvien kuvien eroista. Stereoskooppisissa kuvissa hahmotettu syvyysvaikutelma eli 3D-efekti pohjautuu saman periaatteen hyväksikäyttöön - näytetään kummallekin silmälle hieman eri kuvakulmasta otettu kuva kuvauskohteesta. Kuvassa 2.4 on esitetty, kuinka stereoskooppisen kuvan syvyysvaikutelman muodostuu näytöllä näytettyjen kuvaparien välisistä eroista. Selkeyden vuoksi kuvassa on näytetty ainoastaan neljän yksittäisen pisteen hahmotetun sijainnin muodostuminen Vasemmalle silmälle näytettävä kuva P Näyttö Oikealle silmälle näytettävä kuva 4 Kuva 2.4: Syvyysvaikutelman muodostuminen vasemmalle ja oikealle silmälle näytetyistä kuvista. Kuvat on esitetty selkeyden vuoksi eri tasoissa, todellisuudessa kuvat esitetään samalla pinnalla. Pisteiden 1 3 näytön vaakasuuntainen parallaksi on positiivinen, pisteen 4 taas negatiivinen.

19 LUKU 2. STEREOSKOOPPISEN KUVAAMISEN PERIAATTEET 13 Kuvasta nähdään, kuinka stereoskooppisessa kuvassa hahmotetun pisteen sijainnin määräävät sitä vastaavien pisteiden sijainnit vasemmalle ja oikealle silmille esitetyissä kuvissa. Jos hahmotettua pistettä vastaava piste on vasemmanpuoleisessa kuvassa enemmän vasemmalla kuin oikeanpuoleisessa kuvassa (pisteet 1-3), hahmotetaan piste näytön taakse. Muussa tapauksessa piste hahmotetaan katsojan ja näytön väliin (piste 4). Hahmotettua pistettä vastaavien kuvaparin pisteiden välistä etäisyyttä kutsutaan näytön horisontaaliseksi eli vaakasuuntaiseksi parallaksiksi P. Tässä työssä näytön vaakasuuntaisesta parallaksista käytetään lyhyempää nimeä parallaksi, ellei toisin ole mainittu. Näytön taakse hahmotettujen pisteiden parallaksi on > 0, näytön tasalle hahmotettujen pisteiden parallaksi = 0 ja näytön ja katsojan väliin hahmotettujen pisteiden parallaksi on < 0. Parallaksin vaikutuksesta hahmotettuun syvyyteen kerrotaan tarkemmin luvussa 3.1.

20 Luku 3 Aikaisemmat tutkimukset 3.1 Stereoskooppisen kuvan geometria Perinteisessä valokuvauksessa kuvaan haluttu sisältö rajataan kameran etsimessä tai LCD-näytöllä näkyvän suorakulmion sisälle. Stereoskooppisessa kuvaamisessa täytyy huomioida vaaka- ja pystysuunnan lisäksi myös kuvauskohteen syvyyssuuntaiset ulottuvuudet. Vaikka stereokamera sisältäisi niin sanotun esikatselunäytön, on vaikea arvioida millaisena katsojat kokevat kuvatun kohteen syvyysvaikutelman. Tämä johtuu siitä, että käytettyjen kamera-asetusten lisäksi myös katselutilanne ja -laitteisto vaikuttavat siihen, kuinka stereoskooppisen kuvan syvyysvaikutelma koetaan. Stereoskooppisen kuvan geometrialla tarkoitetaan sitä, kuinka kuvattujen kohteiden etäisyydet ja ulottuvuudet hahmotetaan katselutilanteessa. Hahmotettu geometria vaikuttaa osaltaan siihen kuinka luonnollisena katsojat kokevat kuvan - kuvattu kohde voi vaikuttaa esimerkiksi väärän kokoiselta tai liian kaukaiselta. Stereoskooppisen kuvan geometriaa onkin tutkittu laajalti luvun alussa, niin kutsuttuna 3D-elokuvien kulta-aikana, ilmestyivät ensimmäiset stereoskooppiset värielokuvat. Vuonna 1953 Raymond ja Nigel Spottiswoode julkaisivat oppaan stereoskooppisesta kuvaamisesta ja katselusta [31]. Yksi merkittävimmistä stereoskooppisen kuvan geometriaa käsittelevistä tutkimuksista on vuonna 1993 julkaistu Image Distortions in Stereoscopic Video Systems [36]. Woods esittää siinä muunnoksen, jolla todellisen maailman piste voidaan siirtää katsojan hahmottaman stereoskooppisen kuvan koordinaatistoon. Tämä muunnos on lähtökohtana tässä diplomityössä tutkituille geometrisille vääristymille, joten on syytä tarkastella sitä tarkemmin. Muunnos voidaan jakaa kolmeen osaan: maailman koordinaateista kameroiden kennojen (tai filmien) koordinaatteihin, niistä katseluruudun 14

21 +Z o +X o +Z o +X o LUKU 3. AIKAISEMMAT TUTKIMUKSET 15 koordinaatteihin ja lopulta katseluruudun koordinaateista katsojan hahmottaman stereoskooppisen kuvan koordinaatteihin. Katsojan hahmottamaan geometriaan vaikuttavat niin sanotut stereoskooppiset kuvaus- ja katseluparametrit. Stereoskooppiset kuvausparametrit yhdensuuntaisesti suunnatuilla kameroilla kuvattaessa on esitetty kuvassa 3.1. Niitä ovat objektiivin polttoväli f, kameran kennon leveys w c ja kuvakanta d c. Kameroiden kennon vaakasuuntainen siirto sekä kameroiden konvergointi vaikuttavat myös hahmotettuun geometriaan, mutta tässä tutkimuksessa käytettiin yhdensuuntaisesti suunnattuja kameroita, joiden kennoa ei siirretty. Kohde (X o,y o,z o ) w s +X sl,+x sr d s f d c d e +X cl +X cr w c w c Kuva 3.1: Stereoskooppiseen kuvaan vaikuttavat kuvaus- ja katseluparametrit. Kuva on muunneltu versio Woodsin esittämästä kuvaus- ja katseluasetuksia esittävästä kuvasta [36].

22 LUKU 3. AIKAISEMMAT TUTKIMUKSET 16 Katseluparametrit on esitetty kuvassa 3.1 oikealla. Kuvassa d e on katsojan interpupillaarinen etäisyys, d s katseluetäisyys ja w s katselunäytön leveys. Koordinaattimuunnos maailman koordinaateista (engl. object space) (X o, Y o, Z o ) vasemman ja oikean kameran kennojen koordinaateiksi (X cl, Y cl ) ja (X cr, Y cr ) kuvan 3.1 tapauksessa on [36]: (X cl, Y cl ) = (X cr, Y cr ) = ( [ f tan arctan ( [ f tan arctan ( dc + 2X o 2Z o ( dc 2X o 2Z o )], Y of Z o ) )], Y of Z o ) (3.1) (3.2) Kameroiden koordinaateista saadaan katsojan vasemmalle ja oikealle silmälle katselunäytöllä näytettävien kuvien koordinaatit (X sl, Y sl ) ja (X sr, Y sr ) kertomalla ne näytön leveyden ja kameran kennon leveyden suhteella M (w s /w c ) [36]: (X sl, Y sl ) = (MX cl, MY cl ) (3.3) (X sr, Y sr ) = (MX cr, MY cr ) (3.4) Viimeinen muunnos on katsojan vasemmalle silmälle ja oikealle silmälle näytettyjen kuvien koordinaateista (kaavat 3.3 ja 3.4) stereoskooppisen kuvan (engl. image space) hahmotetuiksi koordinaateiksi (X i, Y i, Z i ) [36]: X i = d e (X sl + X sr ) 2 (d e P ) (3.5) Y i = Y sd e d e P (3.6) Z i = d sd e d e P (3.7)

23 LUKU 3. AIKAISEMMAT TUTKIMUKSET 17 Kaavassa 3.6 Y s on muunnettavan pisteen katselunäytön y-koordinaatti. Koska näytöllä näytettäviä kuvia on kaksi (yksi vasemmalle ja yksi oikealle silmälle), lasketaan ruudun y-koordinaatti kuvaparien y-koordinaattien keskiarvosta. Toisin sanoen Y s = (Y sl + Y sr ) /2. Kaavassa 3.7 P on muunnettavan pisteen vaakasuuntainen katselunäytön parallaksi X sr X sl. Kaavasta nähdään, että katseluetäisyyden d s pysyessä vakiona pisteen stereoskooppisessa kuvassa hahmotettu etäisyys riippuu ainoastaan parallaksista P. Hahmotetun syvyyden riippuvuus parallaksista mahdollistaa stereoskooppisen kuvan sisällön syvyyssuuntaisen liikuttamisen kuvapareja siirtämällä. Kuvassa 3.2 on esimerkki, jossa kuvattu kohde hahmotetaan aluksi katselunäytön tasalle (B). Jos vasemmalle silmälle näytettävää kuvaa siirretään oikealle päin ja oikean silmän kuvaa vasemmalle siirtyy kohde lähemmäksi katsojaa (A). Jos taas kuvaparia siirretään loitommaksi toisistaan siirtyy kohde kauemmaksi (C). A (P < 0) B (P = 0) C (P > 0) Kuva 3.2: Stereoskooppisen kuvan siirtäminen kuvapareja siirtämällä. Näytön tasalle (B) hahmotetun pisteen parallaksi P on 0. Jos vasemmalle silmälle näytettyä kuvaa siirretään näytöllä oikealle (kuvassa alaspäin) ja oikealle silmälle näytettyä kuvaa näytöllä vasemmalle (kuvassa ylöspäin) siirtyy piste näytön etupuolelle (A), jolloin pisteen näytön parallaksi on negatiivinen. Vastakkaisiin suuntiin siirtäessä piste siirtyy näytön taakse (C) ja parallaksi on positiivinen.

24 LUKU 3. AIKAISEMMAT TUTKIMUKSET 18 Hahmotettua geometriaa kuvataan usein visualisoimalla muunnos (X o, Y o, Z o ) (X i, Y i, Z i ) ZX-tasossa. Esimerkki tämänkaltaisesta visualisoinnista on kuvassa 3.3. Kuva esittää, kuinka 10 x 10 cm ruutuihin (ZXtasossa) jaettu todellisen maailman ruudukko hahmotetaan katselutilanteessa tietyillä kuvaus- ja katseluparametreilla. Katselunäyttö on 2,5 m päästä katsojasta. Kuvasta nähdään, että suurin osa kuvatusta sisällöstä hahmotetaan näytön taakse ja kuinka ruudun etupuolella olevat kohteet hahmotetaan syvyyssuunnassa venyneinä, kauimmaiset kohteet puolestaan litistyneinä. Tällaisessa tilanteessa hahmotetun syvyysavaruuden sanotaan olevan epälineaarinen (engl. depth non-linearity). Z i X i 2,5 m Kuva 3.3: Katsojan hahmottama geometria ZX-tasossa. Ideaalitilanteessa kohteet hahmotetaan saman kokoisina ja samoissa paikoissa missä ne kuvaustilanteessa ovat. Tällaista kuvaa kutsutaan ortostereoskooppiseksi. Ortostereoskooppisessa kuvaamisessa kameroiden kuvakannan tulee vastata katsojan silmien välistä etäisyyttä ja kamerat tulee suunnata yhdensuuntaisesti [38]. Tämän lisäksi katselutilanteen tulee olla sellainen, jossa eri silmille esitettyjen kuvien välimatka toisiinsa vastaa kuvaustilanteessa käytettyä kuvakantaa. Kolmas ehto ortostereoskooppisuudelle on, että katsojan näkökentän tulee vastata kameroiden näkökenttää. Nämä ortostereoskooppisen kuvan edellyttämät kuvaus- ja katseluolosuhteet on esitetty Kuvassa 3.4. Ortostereoskooppisen kuvan edellyttämät katselu- ja kuvausolosuhteet eivät tosielämässä ole kuitenkaan aina mahdollisia. Tällöin katsojan hahmottama geometria poikkeaa todellisen maailman geometriasta. Toisin sanoen, stereoskooppisen kuvan geometria on vääristynyt (kuten kuvan 3.3 esimerkissä). Esittelen seuraavaksi tämän tutkimuksen kannalta oleelliset stereoskooppisen kuvan geometrian vääristymät.

25 LUKU 3. AIKAISEMMAT TUTKIMUKSET 19 d i α α β = d c = d e = d i β d c d e Kuva 3.4: Ortostereoskooppiset kuvaus- ja katseluolosuhteet. 3.2 Stereoskooppisen kuvan geometrian vääristymät Kartonki-ilmiö Kartonki-ilmiö on stereoskooppisen kuvan geometrinen vääristymä, jossa kuvattu kohde havaitaan litistyneenä, kartonkimaisena [22, 39]. Ilmiön periaate on havainnollistettu kuvassa 3.5, jossa W o ja D o ovat kuvauskohteen leveys ja syvyys todellisessa maailmassa, W i ja D i kohteen leveys ja syvyys katsojan hahmottamassa stereoskooppisessa kuvassa. Kartonki-ilmiö voidaan määritellä niin sanotun paksuuskertoimen (engl. roundness factor, shape ratio) avulla: P aksuuskerroin = D i/d o W i /W o (3.8) Paksuuskerroin kuvaa sitä, kuinka paljon hahmotettu kohde suurenee syvyyssuunnassa suhteessa siihen kuinka paljon se suurenee vaakasuunnassa (verrattuna todellisen maailman mittoihin). Kartonki-ilmiötä sanotaan esiintyvän, jos paksuuskerroin on < 1 [22]. Jos paksuuskerroin on > 1 tulisi kuvattu kohde kokea syvyyssuunnassa venyneenä. Kartonki-ilmiön määritelmä voidaan tulkita myös niin, että sitä esiintyy, jos kohteen syvyyssuuntaisen koon ja vaakasuuntaisen koon suhde on hahmotetussa kuvassa pienempi kuin todellisessa maailmassa. Kuvan 3.5 tapauksessa siis, jos D i /W i < D o /W o. Esimerkki paksuuskertoimen vaikutuksesta hahmotettuun geometriaan voidaan nähdä kuvassa 3.3. Siinä katsojaa lähinnä olevat ruudut ovat veny-

26 LUKU 3. AIKAISEMMAT TUTKIMUKSET 20 D o W i D i W o D i W i < D o W o Kuva 3.5: Kartonki-ilmiö. neet syvyyssuunnassa (paksuuskerroin > 1), kaukana näytön takana olevat taas litistyneet (paksuuskerroin < 1). Kartonki-ilmiön havaitsemista on tutkittu enemmän kuin jäljempänä esitettävää nukketeatteri-ilmiötä. Yamaoue et. al tutkivat paksuuskertoimen ja kuvauskohteen havaitun paksuuden korrelaatiota yhdeksällä eri kuvausasetusten yhdistelmällä. Stimulusten laskennalliset paksuuskertoimet olivat välillä 0,2 1,02. Tutkimuksessa paksuuskertoimen ja havaitun paksuuden välinen korrelaatio oli tilastollisesti merkittävää, korrelaatiokertoimen ollessa 0,93 (n = 9). Toisessa tutkimuksessaan Yamanoue et al. tutkivat valaistuksen, taustan ja kohteen liikkumisen vaikutusta kartonki-ilmiön havaitsemiseen [40]. He valaisivat ensin kuvauskohdetta (ruukkukasvi) sekä epäsuoralla että suunnatulla valolla ja pyysivät koehenkilöitä arvioimaan kohteen paksuutta kuvatuissa kuvissa. Käytettyjen stimulusten paksuuskertoimet olivat välillä 0,2 1,0. Kokeiden perusteella valaistuksen tyyppi ei vaikuttanut hahmotettuun paksuuteen, ainakaan kyseisessä tutkimuksessa käytetyllä kuvauskohteella. Tämän lisäksi tutkijat havaitsivat, että kartonki-ilmiö on hieman voimakkaampi, jos kuvattavan kohteen taustalla on jotakin. He myös mittasivat kartonki-ilmiön esiintymistä tilanteessa, jossa kuvauskohde pyörii akselinsa ympäri. Tässä tapauksessa ilmiön esiintyminen oli huomattavasti vähäisempää. Tutkijat arvioivat tämän perusteella, että kohteen liikkuminen voi lieventää kartonkiilmiötä Nukketeatteri-ilmiö Toinen tutkimistani geometrisistä vääristymistä on niin sanottu nukketeatteri-ilmiö, jossa katsoja kokee kuvauskohteen olevan liian pieni sen taustaan verrattuna [39]. Ilmiön periaate on esitetty kuvassa 3.6. Kuvassa W bo ja W fo ovat kuvan taustan ja kuvatun kohteen todelliset leveydet ja W bi ja W fi niiden stereoskooppisessa kuvassa hahmotetut leveydet.

27 < LUKU 3. AIKAISEMMAT TUTKIMUKSET 21 W bo W bi W bi W bo W fo W fi W fi W fo Kuva 3.6: Nukketeatteri-ilmiö. Nukketeatteri-ilmiön voimakkuutta kuvaa niin sanottu kokokerroin, joka määritellään seuraavasti: Kokokerroin = W fi/w fb W bi /W bo (3.9) Kokokerroin kuvaa siis stereoskooppisessa kuvassa hahmotetun kohteen vaakasuuntaisen koon kasvua suhteessa kuvassa hahmotetun taustan vaakasuuntaisen koon kasvuun. Nukketeatteri-ilmiötä sanotaan esiintyvän, jos kokokerroin on < 1. Toisin sanoen jos W bi /W fi > W bo /W fo. Nukketeatteri-ilmiön havaitsemista on tutkittu melko vähän. Yamanoue et. al [39] esittävät, että ilmiön voimakkuuteen vaikuttaa se, kuinka tuttu kuvattava esine on katsojalle - mikä on luonnollista, sillä tuntemattoman esineen todellista kokoa on vaikea arvioida ellei sitä ole koskaan nähnyt. He tutkivat lasketun nukketeatteri-ilmiön voimakkuutta kuvauskohteen havaittuun kokoon stimuluksilla, joiden paksuuskertoimet olivat välillä 0,01 1,21. Tutkimuksen mukaan korrelaatio näiden kahden välillä oli tilastollisesti merkittävää (r = 0, 96, n = 9) Muut geometriset vääristymät Kartonki- ja nukketeatteri-ilmiön lisäksi on olemassa muita geometrisia vääristymiä, jotka voivat vaikuttaa kuvan syvyysvaikutelman luonnollisuuteen. Konvergoiduilla kameroilla kuvatessa kameroiden kennot ovat eri tasossa. Tämä aiheuttaa hahmotetun syvyysavaruuden kaareutumista, jolloin kuvauskohteen sivulla olevat kohteet hahmotetaan kauempana kuin kuvauskohde [36]. Konvergointi aiheuttaa lisäksi vertikaalista parallaksia varsinkin kuvan reunoille. Vertikaalinen parallaksi on ei-toivottu ilmiö, jonka vaikutuksesta katselukokemukseen kerrotaan enemmän tämän luvun loppupuolella [36].

28 LUKU 3. AIKAISEMMAT TUTKIMUKSET 22 Myös katselupaikka vaikuttaa myös stereoskooppisen kuvan syvyysvaikutelman muodostumiseen. Jos kuvaa katsellaan näytön sivulta syntyy siihen niin sanottua vinovääristymää (engl. skew distortion). Vinovääristymän vaikutusta katselukokemukseen ovat tutkineet muun muassa Viale et. al [33]. He esittävät työkalun, jonka avulla optimaalisesta katselupaikasta ja ei-optimaalisesta katselupaikasta hahmotettujen geometrioiden erot voi visualisoida. Viale et. al eivät kuitenkaan tutkineet katselupaikan vaikutusta havaittuun syvyysvaikutelmaan katselukokeilla, vaan esittivät ainoastaan laskennallisia vääristymiä. Stereoskooppisen kuvan vääristymiä on geometristen vääristymien lisäksi muitakin. Boev et. al ovat koonneet mobiili-3d:tä käsittelevään raporttiinsa hyvän katsauksen näistä sekä muista stereoskooppisen kuvan laatua huonontavista seikoista [3]. 3.3 Stereoskooppisen kuvan syvyysvaikutelman luonnollisuus Johdanto Toisin kuin geometrisille vääristymille, stereokuvassa hahmotetun syvyysvaikutelman luonnollisuudelle ei ole yhtä yksiselitteistä määritelmää. Yksi tämän tutkimuksen tärkeimmistä tavoitteista onkin selvittää mitkä tekijät vaikuttavat stereoskooppisen kuvan syvyysvaikutelman luonnollisuuteen. Kaksiulotteisen kuvan luonnollisuudesta on tehty useita tutkimuksia, muun muassa [9, 12]. 2D-kuvien luonnollisuuden arviointiin käytettyjä mittareita ei voida kuitenkaan käyttää stereoskooppisten kuvien luonnollisuuden arviointiin, saatika niiden syvyysvaikutelman luonnollisuuden arviointiin. Stereoskooppisissa kuvissa hahmotetaan myös syvyyttä, joka aiheuttaa aiemmin mainittuja geometrisia vääristymiä. Näitä vääristymiä ei luonnollisesti voi esiintyä 2D-kuvissa. Seuntiëns esittää väitöskirjassaan hierarkkisen mallin, joka pyrkii selittämään stereoskooppisen kuvan katselukokemukseen vaikuttavia tekijöitä [27]. Mallin mukaan stereoskooppisen kuvan luonnollisuuteen vaikuttaa kaksi tekijää: kuvan laatu ja sen syvyysvaikutelma (engl. image quality and depth). Väitöskirjaan liittyvässä tutkimuksessa Seuntiëns et. al havaitsivat, että koehenkilöille näytetyt stereoskooppiset kuvat koettiin luonnollisimmiksi kuin vastaavista kuvauskohteista näytetyt 2D-kuvat [28]. Binokulaarisesta parallaksista syntyvä syvyysvaikutelma lisäsi siis kuvien koettua luonnollisuutta jokaisella näytetyllä kuvalla. Tutkimuksessa ei tosin vertailtu koettua luonnollisuutta erilaisten stereoskooppisten kuvien välillä, ainoastaan 2D- ja S3D-

29 LUKU 3. AIKAISEMMAT TUTKIMUKSET 23 kuvien välillä. Samankaltaiseen tulokseen päätyivät Hakala et. al tutkimuksessaan stereoskooppisten kuvien kiinnostavuudesta [11]. Heidän tutkimuksissaan S3D-kuvien syvyysvaikutelma koettiin luonnollisemmaksi kuin vastaavien kaksiulotteisten kuvien. Tämä on ymmärrettävää, sillä 2D-kuvissa syvyysvaikutelma muodostetaan ainoastaan monokulaaristen syvyysvihjeiden perusteella. Seuntiënsin malli ei kuitenkaan esitä syvyysvaikutelman luonnollisuuteen vaikuttavia tekijöitä, ainoastaan sen, että stereokuvan syvyysvaikutelma vaikuttaa kuvan luonnollisuuteen. Malli esittää, että myös katselumukavuus vaikuttaa stereoskooppisen kuvan katselukokemukseen ja luonnollisuuteen. S3D-kuvan katselumukavuuteen vaikuttavia tekijöitä käsitellään tämän työn luvussa Geometristen vääristymien vaikutus Syvyysvaikutelman luonnollisuutta voidaan tarkastella katsojan hahmottaman geometrian näkökulmasta. Tästä näkökulmasta katsottuna luonnollisin syvyysvaikutelma saavutetaan ortostereoskooppisilla kuvaus- ja katseluparametreilla. Yamanoue et. al tutkivatkin ortostereoskopian vaikutusta S3D-kuvan koettuun luonnollisuuteen [38]. He tarkastelivat kuvauskohteen todellisessa maailmassa havaittua etäisyyttä ja kokoa suhteessa kohteen havaittuun etäisyyteen ja kokoon stereoskooppisessa kuvassa. Ortostereoskooppisilla kuvaus- ja katseluasetuksilla kuvassa havaittu kohteen koko suhteessa sen havaittuun etäisyyteen pieneni samassa suhteessa kuin todellisessa maailmassa havaittu kohteen koko suhteessa havaittuun etäisyyteen. Konvergoiduilla kameroilla otetuissa kuvissa kohteen hahmotettu koko taas pieneni voimakkaammin hahmotetun etäisyyden kasvaessa. Tutkijat havaitsivat, että nämä kuvat koettiin vähemmän luonnolliseksi kuin ortostereoskooppisilla asetuksilla otetut kuvat. Tämä voi viitata siihen, että hahmotetun kuvan syvyysavaruuden epälineaarisuudella ja/tai kaareutumisella voi olla syvyysvaikutelman luonnollisuutta pienentävä vaikutus. Tutkimuksessa tosin arvioitiin kuvien luonnollisuutta, ei niiden syvyysvaikutelman luonnollisuutta. Kuten edellä mainittiin, ortostereoskooppisissa olosuhteissa kameran ja katsojan näkökenttä ovat yhtä suuret (kuva 3.4). Doyen et al. tutkivat stereoskooppisen kuvan luonnollisuutta tilanteissa, joissa näin ei ole [8]. He kuvasivat stereoskooppisia kuvia eri etäisyyksiltä muuttaen käytetyn objektiivin polttoväliä siten, että kuvattu kohde peittää joka etäisyydellä saman määrän kuva-alasta. Tutkimuksessa luonnollisimmaksi koettiin kuvat, jotka otettiin etäisyydeltä, jossa edellä mainittu ortostereoskopian ehto täyttyi. Kuvausetäisyyden pienentyessä kuvien koettu luonnollisuus väheni voimak-

30 LUKU 3. AIKAISEMMAT TUTKIMUKSET 24 kaammin kuin tätä kauempaa otettujen kuvien. Toisin sanoen polttoväliä pienennettäessä koettu luonnollisuus väheni voimakkaammin kuin polttoväliä kasvattaessa. Kytö et. al selvittivät osana tutkimustaan [19] kartonki-ilmiötä kuvaavan paksuuskertoimen vaikutusta syvyysvaikutelman luonnollisuuteen. He tutkivat katselukokeilla kuvien havaittua syvyysvaikutelman luonnollisuutta kuvissa, joiden laskettu paksuuskerroin oli välillä 0,1-1,1. Tutkimuksen mukaan havaittu syvyysvaikutelman luonnollisuus väheni paksuuskertoimen kasvaessa välillä 0,3-1, Kuvakannan vaikutus Kytö et. al tutkivat myös kuvakannan vaikutusta havaittuun syvyysvaikutelman luonnollisuuteen [19]. Tutkimuksessa suurin syvyysvaikutelman luonnollisuus koettiin kuvissa, jotka oli otettu 2 6 cm kuvakannoilla. Tätä suuremmilla kuvakannoilla syvyysvaikutelman luonnollisuus väheni kuvakannan kasvaessa. Kuvakannan vaikutusta tutkivat myös Ijsselstein et al. [15]. Heidän tutkimuksessaan suurin syvyysvaikutelman luonnollisuus saavutettiin 4 ja 8 cm kuvakannoilla, tätä suuremmilla kuvakannoilla koettu syvyysvaikutelman luonnollisuus pieneni. Ijsselstein et al. tutkivat kuvakannan vaikutuksen lisäksi konvergenssietäisyyden sekä polttovälin vaikutusta syvyysvaikutelman luonnollisuteen. He havaitsivat, että syvyysvaikutelman luonnollisuus koettiin pienimmäksi käytettäessä pientä polttoväliä ja pientä konvergenssietäisyyttä. Tutkijoiden mukaan tulokset viittaavat siihen, että liian suurilla parallakseilla syvyysvaikutelman luonnollisuus pienenee. 3.4 Katselumukavuus Silmien akkommodaatio ja vergenssi Stereoskooppinen kuvan katselukokemus on yksilöllinen, ja siihen vaikuttaa kuvattavan kohteen sekä kuvaus- ja katselulaitteiston lisäksi katsojan myös fysiologiset ominaisuudet, kuten pupillien välimatka ja katsojan ikä [6, 21]. Jotkut katsojista kokevat tietyntyyppiset kuvat epämiellyttäviksi tai jopa mahdottomiksi katsoa siinä missä toiset pystyvät katsomaan kuvia ilman ongelmia. Katsellessa voi esiintyä muun muassa silmiä ympäröivien lihasten väsymystä, kuvan epätarkkuutta tai jopa päänsärkyä [21, 29]. Katselumukavuutta on tutkittu paljon [1, 13, 18, 21, 27, 29, 37], mutta siihen vaikuttavien tekijöiden täydellinen tarkastelu tämän työn puitteessa ei ole tarkoituksenmukaista. Seuraavassa on esitetty tämän tutkimuksen kannalta oleellisia

31 LUKU 3. AIKAISEMMAT TUTKIMUKSET 25 S3D-kuvan katselumukavuuteen vaikuttavia tekijöitä. Yksi katselumukavuuteen vaikuttava tekijä on se, kuinka hyvin katsojan aivot pystyvät yhdistämään vasemmalle ja oikealle silmälle näytetyt kuvat. Äärimmäisessä tapauksessa yhdistäminen ei onnistu, eikä stereokuvan katselu ole näin mahdollista. Monet tutkimukset, muun muassa [21, 36], esittävät, että tämä johtuu niin sanotusta akkommodaation ja vergenssin ristiriidasta. Stereoskooppisia kuvia katsellessa katsoja tarkentaa eli akkommodoi katseensa aina näytön etäisyydelle, mutta silmät voivat konvergoida esimerkiksi näytön edessä tai takana riippuen kuvauskohteen parallaksista. Jos silmien konvergenssietäisyys poikkeaa katseluetäisyydestä liian paljon, ei katsoja pysty enää hahmottamaan stereoskooppista kuvaa. Tätä on tutkinut muun muassa Woods [36]. Hän näytti tutkimuksessaan koehenkilöille stereoskooppisia kuvia, joissa kuvan kohteen etäisyyttä katsojasta muutettiin, ja samalla kirjattiin ylös onnistuivatko katsojat hahmottamaan kohteen kuvassa - toisin sanoen onnistuiko stereoskooppinen fuusio. Tutkimuksen perusteella syvyysalue, jossa fuusio onnistui vaihteli koehenkilöittäin. Kokeissa mitattiin tosin ainoastaan henkilöiden kykyä hahmottaa eri etäisyyksillä olevia kohteita, ei esimerkiksi sitä kuinka miellyttäväksi katselukokemus koettiin. Labmbooij et. al [21] esittävät, että hahmotetun kuvan kohteiden etäisyys tulisi rajoittaa siten, että suurin näytön positiivinen tai negatiivinen parallaksi olisi yksi aste katsojan näkökentästä. Tämä on niin sanottu yhden asteen sääntö, jota suurin osa tässä työssä käytetyistä kuvista noudattavat. Katsellessaan kauas horisonttiin (eli äärettömyyteen ) ihmisen silmien optiset akselit ovat rinnakkain, toisin sanoen ne eivät leikkaa toisiaan. Tästä on johdettu sääntö, jonka mukaan näytön positiivinen parallaksi ei saa ylittää katsojan silmien interpupillaarista etäisyyttä. Interpupillaarinen etäisyys aikuisilla on keskimäärin 63 mm [6]. Tätä suuremmilla parallakseilla silmien tulisi divergoida eli katsoa eri suuntiin, mikä on epäluonnollista. Shibata et al. havaitsivat, että koehenkilöt kokivat epämukavammaksi kuvat, joissa vergenssietäisyys oli akkommodaatioetäisyyttä suurempi [29]. Koettu epämukavuus myös lisääntyi katseluetäisyyden kasvaessa. He havaitsivat lisäksi, että suurilla katseluetäisyyksillä koehenkilöt kokivat katselumukavuuden suuremmaksi kuvissa, joissa vergenssietäisyys oli akkommodaatiooetäisyyttä suurempi (negatiivinen parallaksi). Pienillä katseluetäisyyksillä tulokset olivat päinvastaisia positiivista parallaksia pidettiin miellyttävämpänä Ylikuuluminen Yksi stereoskooppisen kuvan katselumukavuutta vähentävä tekijä on niin sanottu ylikuuluminen (engl. crosstalk). Ylikuulumisella tarkoitetaan tilan-

32 LUKU 3. AIKAISEMMAT TUTKIMUKSET 26 netta, jossa yhdelle silmälle välitettyyn kuvaan on sekoittunut osa toiselle silmälle tarkoitettua kuvaa. Ylikuulumisesta käytetään myös englanninkielistä nimeä ghosting, sillä ilmiön esiintyessä yhden kuvan ääriviivat näkyvät toisen kuvan päällä ikään kuin haamuna. [35] Kooi et al. tutkivat ylikuulumisen vaikutusta stereoskooppisen kuvan katselumukavuuteen [18]. Tutkimuksen mukaan kuvassa, jossa ylikuulumisen voimakkuus on 5% (eli 5% väärän silmän kuvasta näkyy silmälle) katselumukavuus koettiin hieman pienentyneeksi. 15% voimakkuudella katselumukavuus koettiin paljon pienentyneeksi ja 25% voimakkuudella hyvin paljon pienentyneeksi. Tässä tutkimuksessa koehenkilöt arvioivat kuvien syvyysvaikutelman luonnollisuutta. Muun muassa Seuntiëns esittää, että 3D-kuvan katselukokemukseen vaikuttaa kuvan luonnollisuuden lisäksi myös katselumukavuus [27]. On siis mahdollista, että voimakas ylikuuluminen vaikuttaa myös stereoskooppisen kuvan syvyysvaikutelman luonnollisuuteen. Tätä ei kuitenkaan tutkittu tässä tutkimusessa Vertikaalinen parallaksi Konvergoiduilla kameroilla kuvatessa kameroiden kennot/filmit ovat eri tasossa. Tästä aiheutuu niin kutsuttua trapetsivääristymää (engl. trapezoidal distortion, keystone effect), joka johtaa edellä mainitun syvyysavaruuden kaareutumisen lisäksi tilanteeseen, jossa stereoskooppisen kuvaparin välille syntyy niin sanottua vertikaalista parallaksia [23]. Vertikaalinen eli pystysuuntainen parallaksi on kuvaparin samaa todellisen maailma pistettä kuvaavien pisteiden pystysuuntainen ero. Vaakasuuntainen parallaksi aiheuttaa kuvan kohteille syvyyseroja, pystysuuntainen parallaksi taas on ei-toivottavaa, ja voi vaikuttaa kuvan katselumukavuutta vähentävästi [23]. Woods esittää, että vaakasuuntainen parallaksi tulisi olla pienempi 7 mm, jotta stereoskooppinen fuusio onnistuisi [36]. Tässä tutkimuksessa käytetyt kuvat otettiin rinnakkain suunnatuilla kameroilla, jotta vertikaalista parallaksia ei ilmenisi.

33 Luku 4 Tutkimusmenetelmät 4.1 Johdanto Tässä luvussa on kuvattu tutkimuksessa käytetyt menetelmät sekä tutkimusaineisto. Luvun alkupuolella kerrotaan tutkimuksissa käytettyjen stereoskooppisten kuvien ottamisesta. Kuvauksissa käytetyn laitteiston lisäksi tarkastellaan myös kameroiden asetusten sekä kuvauskohteiden ja - etäisyyksien valintaperusteita. Tämän jälkeen esitetään, kuinka tutkimuksen ohessa kehitettyä esikatselutyökalua käytettiin kuvauksissa. Stereoskooppiset kuvat muodostavat tutkimusaineiston ensimmäisen osan. Tutkimusaineiston toinen osa kerättiin koehenkilöiltä subjektiivisilla katselukokeilla. Katselukokeissa koehenkilöille näytettiin edellä mainittuja stereokuvia esittäen samalla kysymyksiä kuvista. Tämän luvun toinen osa kertoo katselukokeiden suunnittelusta, toteutuksesta sekä katselulaitteistosta. 4.2 Katselukokeiden kuvien kuvaaminen Kuvauslaitteisto Katselukokeiden materiaali kuvattiin käyttäen kahta Canon EOS 5D Mark II -digitaalijärjestelmäkameraa, jotka kiinnitettiin stereokuvaamista varten rakennettuun kameratelineeseen eli rigiin. Kuvauksissa käytettiin niin sanottua peilirigiä, jossa toinen kameroista kuvaa puoliläpäisevän peilin läpi ja toinen kameroista kuvaa peilin kautta. Rigin toimintaperiaate on esitetty kuvassa 4.1. Kuvassa vasemmalla on peilirigin läpileikkaus sivulta katsottuna (kuvaussuunta oikealle), oikealla rigi ylhäältä päin (kuvaussuunta alaspäin). Kameraparin vasemmanpuoleinen kamera (Kamera 1) kuvaa 45 kulmaan käännetyn puoliläpäisevän peilin läpi. Oikeanpuoleinen kamera (Kamera 2) 27

34 LUKU 4. TUTKIMUSMENETELMÄT 28 Kamera 2 Kamera 1 Kamera 1 Kamera 2 45 d c Kuva 4.1: Kameraparin kiinnitys peilirigiin. on kiinnitetty rigin yläosaan ja kuvaa puolestaan peilin kautta. Kamera 1 on kiinnitetty peilin takana olevaan kiskoon ja sen paikkaa muuttamalla voi vaihtaa kamerayhdistelmän kuvakantaa (eli kameroiden vaakasuuntaista etäisyyttä toisistaan) d c. Kamera 2 on kiinteästi kiinni rigissä. Kameroiden yhdenaikaiseen laukaisemiseen käytettiin kaukolaukaisinta Kuvausasetusten valinta Yhtenä tutkimuksen tavoitteista oli selvittää havaitsevatko koehenkilöt geometrisia vääristymiä stereoskooppisissa kuvissa. Katselukokeiden kuvat pyrittiin tämän takia ottamaan sellaisilla kamera-asetuksilla, joilla näitä vääristymiä odotettiin syntyvän. Linssin polttoväli Kuvauksissa käytettiin kolmea objektiivia, joiden polttovälit olivat 50, 85 ja 135 mm. Objektiivien vaakasuuntaiset näkökentät (engl. field of view, FOV ) kuvauksissa käytetyllä kameroilla olivat 39,60 (50 mm), 23,91 (85 mm) ja 15,19 (135 mm). Kuvakanta Käytetyt kuvakannat olivat 2, 4, 6, 8 ja 10 cm. Keskimmäiseksi kuvakannaksi valittiin 6 cm, joka on lähellä ortostereoskooppisessa kuvaamisessa käytettyä aikuisten keskimääräistä interpupillaarista etäisyyttä 63 mm [6]. Muut kuvakannat valittiin kahden senttimetrin välein tämän ympäriltä.

35 LUKU 4. TUTKIMUSMENETELMÄT 29 Konvergenssikulma Kamerat asetettiin rinnakkain ja suunnattiin yhdensuuntaisesti kuvauskohteeseen päin. Kameroiden välinen konvergenssikulma oli siis 0. Esimerkki tämäntyyppisestä kameroiden suuntauksesta on esitetty kuvassa 2.3 (a). Suuntaamalla kamerat yhdensuuntaisesti haluttiin välttää konvergoinnista aiheutuvaa syvyysavaruuden kaareutumista ja vertikaalisen parallaksin syntymistä [36]. Tämänkaltainen suuntaaminen on myös kuvaustilanteessa nopeampaa kuin kameroiden konvergointi tarkasti tiettyyn kulmaan. Kuvausetäisyys Stereoskooppisen kuvan muodostumiseen vaikuttaa olennaisesti myös kuvausetäisyys. Kuvatun kohteen haluttiin peittävän vaakasuuntaisesta kuvaalasta saman verran jokaisella kuvauksissa käytetyllä objektiivilla. Eri polttovälisillä objektiiveilla kameran näkökenttä kuitenkin muuttuu. Tämän takia eri objektiiveilla kuvattiin eri etäisyyksiltä. Kuva 4.2 havainnollistaa, kuinka kuvausetäisyys riippuu objektiivin polttovälistä tilanteessa jossa kohteen halutaan kattavan kuva-alasta yhtä paljon jokaisella objektiivilla kuvatessa. Mahdollisia kuvausetäisyyksiä rajoitti lisäksi Kinect-sensorin syvyyskameran toimintaetäisyys (0,85 4 m). Kuvauksissa käytetty esikatselutyökalu voi visualisoida nukketeatteri- ja kartonki-ilmiöiden esiintymistä ainoastaan kohteissa, jotka ovat tällä etäisyydellä. Kuvauskohteet, niiden valintaperusteet sekä niiden vaikutus valittuihin kuvausetäisyyksiin (edellä mainittujen rajoitteiden lisäksi) on esitetty seuraavaksi Kuvauskohteet Tutkittaessa stereoskooppisen kuvan mittasuhteiden hahmottamista on tärkeää, että kohteet ovat katsojalle ennestään tuttuja. Katsojan on hyvin vaikea arvioida kuvauskohteen kokoa jos se on hänelle vieras. Kuvien sisältö pyrittiin tämän takia rakentamaan sellaiseksi, että niissä olevat esineet ovat koehenkilöille tuttuja. Kuvauskohteita eli kuvasisältöjä valittiin lopulta kaksi erilaista. Valitsemalla useampi kuin yksi kuvauskohde haluttiin tutkia mahdollista sisällön vaikutusta koehenkilöiden vastauksiin. Sisältöjen määrä puolestaan rajattiin kahteen, koska jo kahdella kuvauskohteella erilaisia koehenkilöille näytettäviä kuvia eli stimuluksia syntyy yhteensä 2 (kohde) x 3 (objektiivin polttoväli) x 5 (kuvakanta) = 30 kpl. Alla on kuvattu valittujen kahden kuvauskohteen

36 LUKU 4. TUTKIMUSMENETELMÄT 30 sisältö ja kuvausetäisyydet valintaperusteineen. Kirjasto Yamanoue et. al esittävät, että nukketeatteri-ilmiötä havaitaan varsinkin kuvissa, joissa esiintyy ihminen [39]. Ensimmäisen kuvan, josta käytetään tästä eteenpäin nimeä Kirjasto, kohteeksi valittiinkin tästä syystä ihminen. Kuvan kohteena on pöytään nojaava kirjaa lukeva nainen. Kuvan taka-alalla, kolmen metrin päässä pöydästä, on kaksi miestä, kasvillisuutta sekä tiiliseinä ja ikkunoita. Kuvan sisällöstä pyrittiin luomaan mahdollisimman luonnollinen toisin sanoen pyrittiin luomaan tilanne, joka voisi hyvinkin olla todellisesta elämästä. Kuvan sommitelma ja valitut kuvausetäisyydet eri objektiiveille on esitetty kuvassa 4.2. Kuvan yläosa esittää kuvaustilannetta ylhäältä päin katsottuna, kuvan alaosa taas sivulta katsottuna. -4,05 m (f = 135 mm) -2,55 m (f = 85 mm) -1,5 m (f = 50 mm) 0 m (edusta, kohde) 3 m (tausta) 2 x Kuva 4.2: Kuvaustilanne Kirjasto. Kuvausetäisyys 135 mm objektiiville täytyi valita mahdollisimman suureksi, jotta kohteena ollut nainen sekä taustalla olevat miehet mahtuisivat kuvaan. Kuten edellä mainittiin, Kinectin syvyyskameran suurin toimintaetäisyys on n. 4 m, joten 135 mm objektiiville kuvausetäisyydeksi valittiin

37 LUKU 4. TUTKIMUSMENETELMÄT 31 4 m. 85 mm objektiivilla kuvausetäisyys oli 2,55 m ja 50 mm objektiivilla kuvausetäisyydeksi muodostui 1,5 m. Kuten luvussa 3 mainittiin, nukketeatteri-ilmiössä kuvauskohde vaikuttaa liian pieneltä taustaansa verrattuna. Ilmiön voimakkuuteen vaikuttaa osaltaan kuvattavan kohteen ja sen taustan välinen etäisyys. Niinpä kameran ja kuvauskohteen välisen etäisyyden lisäksi yksi valittava kuvausparametri oli kuvattavan kohteen ja sen taustan välinen etäisyys. Taustan etäisyys kamerasta puolestaan määrää stereoskooppisen kuvan suurimman mahdollisen positiivisen parallaksiin. Taustan etäisyyttä laskettaessa pyrittiinkin siihen, että kuvan suurin positiivinen parallaksi ei ylitä (ainakaan suurimmassa osassa eri kuvia) luvussa 3.4 mainittua yhden asteen suositusarvoa. Kuvauskohteen ja taustan väliseksi etäisyydeksi kuvassa Kirjasto valittiin 3 m. Valittuun etäisyyteen vaikutti osaltaan myös katselukokeissa käytössä ollut näyttölaitteisto sekä katseluetäisyys, jonka valinnasta kerron enemmän tämän luvun osassa 4.3. Tiikeri Ensimmäistä kuvauskohdetta valitessa tavoitteena oli mahdollisimman luonnollinen oloinen asetelma, jossa esiintyy ihminen. Toisen kuvan, josta käytetään tästä eteepäin nimeä Tiikeri, sisältö pyrittiin taas rakentamaan tarkoituksella sellaiseksi, jossa geometristen vääristymien havaitseminen olisi mahdollisimman todennäköistä. Kuvassa on kaksi samankokoista valokuvakehystä, toinen kuvan edustalla pöydällä ja toinen taka-alalla. Kehykset aseteltiin näin, jotta koehenkilöiden olisi helpompi hahmottaa edustan ja taustan suhteellisia kokoeroja. Pöydälle asetettiin lisäksi muita symmetrisiä muotoja (muistilaput, teekuppi ja sylinterimäinen kynttilä). Tämän lisäksi edustalle lisättiin värikkäitä paperiarkkeja, kynä ja liimapuikko. Näiden tarkoituksena oli lisätä pöydällä olevan asetelman syvyyttä, sillä pöydällä oleva valokuvakehys on litteä. Taustalla on toisen valokuvakehyksen lisäksi ruukkukasvi sekä seinäkalenteri. Näiden tarkoituksena on tuoda taustaan tekstuuria, joka on välttämätöntä, jos taustan kokoa halutaan arvioida - esimerkiksi tasavärisen koko taustan peittävän seinän koon arviointi on hyvin vaikeata. Kuvan edustan asetelma oli leveytensä puolesta huomattavasti pienempi kuin ensimmäisessä kuvasisällössä malleina käytetyt pöytä ja nainen. Tämän takia kuvausetäisyydet olivat pienempiä kuin Kirjasto-kuvaa kuvattaessa. Suurin kuvausetäisyys oli jälleen luonnollisesti 135 mm objektiivilla (2,43 m). 85 mm objektiivilla kuvausetäisyys oli 1,53 m ja 50 mm objektiivilla 0,9 m. Kuva 4.3 esittää toisen kuvauskohteen sommitelman ja kuvausetäisyydet - yläosa kuvaa kuvaustilannetta ylhäältä päin katsottuna, alaosa sivulta päin katsottuna.

38 LUKU 4. TUTKIMUSMENETELMÄT 32-2,43 m (f = 135 mm) -1,53 m (f = 85 mm) -0,9 m (f = 50 mm) 0 m (edusta, kohde) 1 m (tausta) Kuva 4.3: Kuvaustilanne Tiikeri Esikatselutyökalu Tutkimuksen ohessa kehitettiin Microsoft Kinect -sensorin syvyyskameraa hyödyntävä esikatseluohjelma, jolla stereoskooppisen kuvan geometristen vääristymien esiintymistä voi ennustaa jo kuvaustilanteessa. Kinect-sensori ja sen syvyyskameran toiminta-alue on esitetty kuvassa 4.4. Esikatselutyökalun ominaisuudet ja sen rooli tutkimuksessa käytettyjen stereoskooppisten kuvien ottamisessa on esitetty seuraavaksi. Stereoskooppisten parametrien asettaminen Kuten luvussa 3.1 mainittiin, stereoskooppisen kuvan geometrian laskeminen vaatii niin sanottujen stereoskooppisten parametrien tietämistä. Nämä parametrit voidaan jakaa katselu- ja kuvausparametreihin. Käyttäjä voi syöttää esikatseluohjelmaan seuraavat katseluparametrit: katseluetäisyys, katselunäytön leveys ja katsojan interpupillaarinen etäisyys. Kuvauspara-

39 LUKU 4. TUTKIMUSMENETELMÄT 33 Kuva 4.4: Kinect-sensori ja sen syvyyskameran toiminta-alue. metreista ohjelmaan voi syöttää stereokameran kuvakannan, objektiivin polttovälin, kameran kennon tai filmin leveyden sekä kameroiden konvergenssikulman. Näiden lisäksi käyttäjä voi määrittää kuvien vaakasuuntaisen siirron näytöllä (jota käytetään varsinkin kuvattaessa yhdensuuntaisesti suunnatuilla kameroilla). Hahmotetun syvyysavaruuden visualisointi Ohjelman avulla on myös mahdollista visualisoida kuinka katsoja hahmottaa todellisen maailman geometrian stereoskooppisessa kuvassa. Hahmotettu geometria visualisoidaan ruudukkona, jonka jokainen ruutu vastaa tietyn kokoista todellisen maailman aluetta. Visualisoimalla hahmotettu syvyysavaruus voidaan muun muassa tutkia sen lineaarisuutta, kaarevuutta sekä sitä mihin katsoja hahmottaa kuvan sisällön suhteessa katselunäyttöön. Esimerkki syvyysavaruuden visualisoinnista yhdenlaisilla stereoskooppisilla parametreilla on kuvassa 4.5. Kuvasta nähdään muun muassa kuinka syvyysavaruus litistyy mitä kauemmaksi kamerasta mennään. Syvyysavaruus ei myöskään kaareudu reunoilta, joten kameroiden konvergenssikulman voidaan päätellä olevan on 0. Turkoosi viiva esittää katselunäyttöä, katsojan sijainti on keskellä ruudun alareunassa. Syvyyskartan visualisointi Yksi ohjelman toiminnoista on Kinect-sensorin syvyyskameran kuvan eli niin sanotun syvyyskartan (engl. depth map) visualisointi. Kuvauskohteen syvyyskartta näytetään harmaasävykuvana, jossa tummat pisteet kuvaavat Kinectistä kaukana olevia pisteitä ja vaaleammat lähempänä olevia pisteitä. Kuvassa 4.6 on esimerkki ohjelman visualisoimasta syvyyskartasta. Kuva on Tiikeri-kuvan kuvauspaikalta. Kuvasta nähdään kuinka edustalla oleva pöytä

40 LUKU 4. TUTKIMUSMENETELMÄT 34 Kuva 4.5: Hahmotetun syvyysavaruuden visualisointi esikatselutyökalulla. näkyy vaaleampana kuin taustalla oleva seinä. Tämän tutkimuksen kannalta olennaisin osa esikatseluohjelman toiminnallisuutta on kuitenkin nukketeatteri- ja kartonki-ilmiöiden visualisointi, josta on kerrottu seuraavaksi. Nukketeatteri- ja kartonki-ilmiöiden visualisointi Nukketeatteri-ilmiön voimakkuuden laskemiseksi täytyy tietää tausta, johon etualalla olevaa kohdetta verrataan. Esikatseluohjelmassa taustan voi määrittää joko syöttämällä sen etäisyys tekstikenttään tai valitsemalla asetus Automaattinen, jolloin taustan etäisyydeksi valitaan kuvauskohteen syvyyskartan suurin etäisyys. Nukketeatteri-ilmiön esiintyminen visualisoidaan samankaltaisesti kuten edellä esitetty syvyyskartta, mutta ilmiön voimakkuus kuvataan visualisoi-

41 LUKU 4. TUTKIMUSMENETELMÄT 35 Kuva 4.6: Tiikeri-kuvauskohteen syvyyskartta 135 mm objektiivin kuvausetäisyydeltä visualisoituna. malla lasketut kokokertoimet harmaasävyjen sijaan punaisella värillä. Tämän lisäksi ohjelma näyttää ilmiön tarkan voimakkuuden hiiren kursorin alla olevasta kuvan pisteestä. Kartonki-ilmiön visualisointi on toteutettu samankaltaisesti kuin nukketeatteri-ilmiön visualisointi, mutta ilmiön voimakkuutta kuvataan vihreällä värillä. Kartonki-ilmiötä visualisoidessa ei tarvitse erikseen määrittää taustan etäisyyttä (koska sitä ei tarvita ilmiön voimakkuuden laskemiseen). Molemmat edellä mainitut vääristymät voidaan visualisoida yhtä aikaa, sillä ilmiöiden voimakkuudet kuvataan RGB-väriavaruuden eri värikomponenteilla. Nukketeatteri-ilmiön voimakkuus vaikuttaa kuvan pikseleiden värin R-komponenttiin (punainen) ja kartonki-ilmiön voimakkuus vaikuttaa pikseleiden värin G-komponenttiin (vihreä). Käyttäjä voi asettaa visualisoitavien ilmiöiden voimakkuuksille raja-arvot vain rajojen sisällä olevat ilmiöt visualisoidaan. Kuvassa 4.7 on esimerkki vääristymien visualisoinnista esikatseluohjelmalla. Vääristymät on visualisoi-

42 LUKU 4. TUTKIMUSMENETELMÄT 36 Kuva 4.7: Geometristen vääristymien visualisointi esikatseluohjelmalla. tu samasta kuvauskohteesta, josta kuvan 4.6 syvyyskartta on. Työkalun käyttö kuvauksissa Ennen kuvauksia jokaisella valitulla kuvausparametrien yhdistelmällä (kuvauskohde, kuvakanta, polttoväli) laskettiin kuvauskohteen paksuus- ja kokokertoimet luvussa 3 esitetyillä kaavoilla 3.9 ja 3.8. Arvot on lueteltu taulukossa 4.1. Kukin taulukon rivi vastaa yhtä kuvaustilannetta.