Stereokameran tarkkuuden mittausmenetelmä lisätyn todellisuuden

Transkriptio

1 TEKNILLINEN KORKEAKOULU Mediatekniikan laitos Diplomityö Mikko Kytö Stereokameran tarkkuuden mittausmenetelmä lisätyn todellisuuden sovellusalueella Valvoja Professori Pirkko Oittinen Ohjaaja Mikko Nuutinen (Tekn. lis.)

2 TEKNILLINEN KORKEAKOULU DIPLOMITYÖN TIIVISTELMÄ Tekijä, opintokirjan numerot, työn nimi Mikko Kytö 61366T Stereokameran tarkkuuden mittausmenetelmä lisätyn todellisuuden sovellusalueella Päivämäärä: Sivumäärä: Osasto, professuuri Työn valvoja Mediatekniikan laitos Professori Pirkko Oittinen AS-75 Viestintätekniikka Työn ohjaaja Tekn. lis. Mikko Nuutinen Lisätyn todellisuuden sovelluksissa optinen paikantaminen on usein tapahtunut käyttäen yhtä kameraa. Yhden kameran avulla tapahtuva paikannus on usein perustunut markkereiden käyttöön kun taas stereokamerat mahdollistavat markkerittoman paikannuksen. Stereokameran käyttö mahdollistaa 3Dkoordinaattien määrittämisen kahden kameran yhteisestä kuva-alasta. Etäisyyksien mittaaminen perustuu parallaksin havaitsemiseen, samaan tapaan kuin ihminen hyödyntää sitä arvioidessaan etäisyyksiä. Työssä stereokameran vaatimukset johdetaankin ihmisen näköjärjestelmästä. Näköjärjestelmästä huomioitiin erityisesti stereonäön ominaisuudet ja stereonäköön perustuvasta syvyysresoluutiosta johdettiin vaatimukset stereokameran syvyysresoluutiolle. Tutkimuksen tavoite on kehittää mittausmenetelmä stereokameran tarkkuuden arvioimiseksi lisätyn todellisuuden sovelluksia varten. Työn kirjallisuusosassa esitellään stereokameroiden parametrit ja niiden vaikutus tarkkuuteen arvioidaan. Työn kokeellisessa osassa luotiin mittausmenetelmä stereokameran syvyystarkkuuden määrittämiseksi. Menetelmä mahdollistaa (a) kalibroinnin verifioinnin, (b) etäisyysmittauksen tarkkuuden määrittämisen ja (c) syvyysresoluution määrittämisen. Esitetyllä menetelmällä havaitaan virheellinen ja epätarkka kameroiden kalibrointi. Kalibroinnin virheellisyyttä ei pystytty arvioimaan yksittäisten parametrien virherajoista. Syvyysresoluution mittaamiseksi työssä esitellään uudenlainen menetelmä, joka perustuu eri etäisyyksillä olevien tasojen havaitsemiseen. Menetelmällä tutkitaan kuinka hyvin tasoja pystytään erottamaan toisistaan. Verrannollisten erojen arvioiminen on tärkeää lisätyn todellisuuden sovelluksissa, koska ihminenkin havaitsee syvyyserot verrannollisesti toisiin objekteihin. Luodulla mittausmenetelmällä tutkittiin kahden kameraparametrin, polttovälin ja kannan, vaikutusta stereokameran syvyystarkkuuteen. Polttovälillä oli suurempi merkitys kameran syvyystarkkuuteen kuin kuvakannalla. Kuvakanta vaikutti ainoastaan syvyysresoluutioon, kun taas polttovälillä oli merkitystä sekä syvyysresoluutioon että etäisyysmittojen tarkkuuteen. Stereokamera ei tuottanut tarkempia tuloksia etäisyyden mittaamisessa kuin yhden kameran avulla tapahtunut mittaaminen. Toisaalta mittausmenetelmät ovat hyvin erilaiset, eikä yhden kameran syvyysresoluutiota arvioitu tässä tutkimuksessa. Avainsanat: Stereokamera, stereonäkö, lisätty todellisuus, syvyyden havaitseminen, syvyysresoluutio, optinen 3D-koordinaattien laskeminen, kameran geometriset parametrit, virheanalyysi

3 HELSINKI UNIVERSITY OF TECHNOLOGY ABSTRACT OF THE MASTER S THESIS Author Mikko Kytö 61366T Evaluation method for stereo camera accuracy in augmented reality Date: Pages: Department, professorship Supervisor Department of Media Technology Professor Pirkko Oittinen AS-75 Media Technology Instructor Lic. Sc(Tech.) Mikko Nuutinen Optical tracking in augmented reality (AR) has been usually done with single camera. Single camera systems in AR are usually based on markers where as stereo camera enables markerless positioning. Stereo cameras can measure 3D-coordinates from the common field of view. Measurements are based on disparity, which is also used by humans for depth sensing. In this thesis the requirement for stereo camera s depth resolution is obtained from human visual system s depth resolution. Stereo camera s parameters and their influence on stereo camera s performance are demonstrated. In the experimental part an evaluation method for stereo camera accuracy is developed. The method enables evaluation of (a) measurement accuracy (b) depth resolution and (c) verifies the camera calibration. A novel approach is presented for depth resolution estimation based on different distances of levels. The biggest erroneous classification of levels is used to measure depth resolution. Also correlations are calculated between the stereo camera s measures and ground-truth values. The method also verifies camera calibration, so that inaccurate calibration is observed. Inaccurate camera calibration wasn t observed from the numerical error limits from the calibration software. Two stereo camera parameters, focal length and baseline, influence to accuracy and depth resolution were tested. Focal length had bigger effect on stereo camera's accuracy than baseline. Baseline influenced only to depth resolution as focal length had influence on both depth resolution and distance measurement. The used stereo camera didn't offer more accurate results compared to single camera in distance measurements. Although single camera s measuring method is different compared to stereo camera. Single camera s depth resolution wasn t measured in this thesis. Keywords: Stereo camera, stereo vision, augmented reality, depth perception, depth resolution, optical 3Dcoordinates measuring, geometric camera parameters, error analysis

4 ALKUSANAT Diplomityöni vaati suurta omistautuneisuutta. Aihealueen omaksuminen vei melkoisesti aikaa ja energiaa. Mielestäni selvisin kuitenkin urakasta loppujen lopuksi paremmin kuin kunnialla. Kiitos Pirkko Oittiselle mielenkiintoisen aiheen tarjoamisesta ja Mikko Nuutiselle hyvästä ohjauksesta. Kiitos kameralaboratorion työkavereille, jotka ovat tarjonneet auttavan käden testijärjestelyissä. Kiitos myös automaatio- ja systeemitekniikan osaston työpajan henkilökunnalle avusta ja siitä, että sain rakennella tiloissanne. Haluan erityisesti kiittää kaikkia läheisiäni ja ystäviäni. Kiitos isälle ja äidille tärkeästä tuestanne koko opiskeluaikanani. Espoossa Mikko Kytö

5 SISÄLLYSLUETTELO 1 JOHDANTO Taustaa Tavoite Tutkimuskysymykset Työn rakenne IHMISEN STEREONÄKÖ Syvyyksien havaitseminen Syvyysresoluutio STEREOKUVAUS Koordinaatistot Matemaattinen perusta Perustapaus Epipolaarinen geometria (Sonka et al. 1999) Kameroiden parametrit Ei-geometriset parametrit Kameroiden kalibrointi Ulkoiset parametrit Sisäiset parametrit Kalibroinnin tarkkuus (Weng 1992) Virhelähteet Virheiden arviointi Syvyysresoluutio Vastinpisteiden löytäminen Rajoituksia vastinpisteille Algoritmit Tarkkuuden mittoja Muita optisen 3D-mittauksen tekniikoita (Sonka et al. 1999) STEREOKAMERAT LISÄTYSSÄ TODELLISUUDESSA Yleistä Markkereista Esimerkkejä päälle puettavista stereokameroista Kameramoduulien ominaisuuksia TUTKIMUSMENETELMÄT Yleistä Testitaulu Valitut tarkkuuden mitat Kamerasysteemi Testiympäristö Stereokameran kalibrointi Kuvien ottaminen ja mittapisteiden valinta Menetelmän validiointi Kalibrointi Mittausten tulokset Tutkittavien parametrien suuruudet... 51

6 6 TULOKSET JA ANALYSOINTI Polttoväli Kalibroinnin tulokset Mittausten tulokset Syvyysresoluutio Kuvakanta Kalibroinnin tulokset Mittausten tulokset Syvyysresoluutio Vertaus yhden kameran tarkkuuteen Luotettavuusanalyysi Jatkotutkimuksen aiheita JOHTOPÄÄTÖKSET YHTEENVETO LÄHTEET... 7 LIITTEET... 75

7 1 1 JOHDANTO 1.1 Taustaa Kun käyttäjän kokemaan todellisuuteen lisätään jotain keinotekoisesti, saavutetaan lisätty todellisuus (augmented reality, AR). Tämä eroaa esimerkiksi puhtaasta keinotodellisuudesta siinä, että keinotodellisuus ei pohjaudu todellisuudelle vaan on kokonaan keinotekoinen. Lisätyn todellisuuden sovelluksissa on aina joitain elementtejä todellisuudesta. Diplomityö oli osa Teknillisen korkeakoulun UI-ART (Urban contextual information interfaces with multimodal augmented reality) -projektia, jonka yhtenä sovelluskohteena oli luoda lisätyn todellisuuden mahdollistava apuväline suunnittelijoille. Tavoitteena oli, että suunnittelija voi vastaanottaa lisäinformaatiota ympäröivästä todellisuudesta päälle puettavan laitteiston avulla (kuva 1). Todellisuuden päälle lisätty informaatio on esimerkiksi läpinäkyvälle silmikkonäytölle (HMD, Head Mounted Display) piirrettyä tietokonegrafiikkaa ja kuulokkeista kuuluvaa ääntä. Projektin toisena sovelluskohteena oli virtuaalinen henkilörekisteri, jolloin ohjelmistoon liittyi myös paljon datan analysointiin ja automaattiseen tunnistukseen tarvittavia osia. Kameroiden välittämästä kuvasta täytyi pystyä tunnistamaan henkilöiden eleitä ja kasvoja. Mikrofonien välittämästä äänestä ohjelmiston tuli tunnistaa sanoja ja ympäröivästä äänimaailmasta minkälaisessa tilassa käyttäjä oli. Kuva 1. Skemaattinen kuva päälle puettavasta esimerkkilaitteistosta, josta tarkemmin tässä diplomityössä tutkitaan stereokameraa. Suunnittelijoille luodun sovelluksen tarkoitus oli, projektin nimen mukaisesti, liittyä urbaaniin kaupunkisuunnitteluun, niin rakennusten kuin myös infrastruktuurin suunnitteluun. Infrastruktuurin suunnittelussa suunnittelija voisi esimerkiksi nähdä maan alla kulkevia vesijohtoja tai suunniteltavan tien valmiina todellisuudessa.

8 Stereokameroiden käyttämistä on tutkittu aiemmin esimerkiksi etäläsnäolon aikaansaamisessa, jolloin ihmisen kasvoja on pyritty stereokuvaamaan ja lähettämään tämä kuva vastaanottajalle (Mulligan 21). Autoissa stereokameroiden käyttöä on tutkittu etäisyyksien mittaamiseen, jolloin niitä voitaisiin käyttää esimerkiksi törmäysten välttämiseksi (Bertozzi & et.al. 2). Näkörajoitteisille ihmisille stereokamerat voisivat toimia uutena aistina, jolloin ympäristön etäisyyksiä voitaisiin viestittää käyttäjälle (Balakrishnan & et.al. 27). Kahden kameran muodostamia stereokameroita käytetään usein AR-ympäristössä yhdessä muun paikantamistavan kanssa siten, että objektien paikat määritetään stereokameroiden avulla ja itse käyttäjä paikannetaan vaihtoehtoisella paikantamistavalla (Klein & Drummond 23). UI-ART projektissa käyttäjän sijainti ja suuntaus on tarkoitus määrittää GPS:än ja kompassin avulla. Stereokameran käyttö edellyttää tehokasta kuvan automaattista analyysia, sillä molemmista kuvista on tunnistettava sekä kohde että laskettava sen sijainti. Tämä diplomityö ei tarkastele tarkemmin kohteen tunnistusta, vaan tutkii lähemmin kohteen sijainnin laskemista stereokameralla. Stereokamera mahdollistaa periaatteessa kokonaan markerittoman objektien paikantamisen AR-ympäristössä, jolloin kameroiden kuvaamista eroista voidaan laskea kohteen sijainti. Keinotekoisten kohteiden sijoittamista todellisuuteen kutsutaan rekisteröinniksi. Toisaalta käänteisesti myös käyttäjä voidaan paikantaa markkereiden avulla. Tätä kutsutaan optiseksi paikantamiseksi. Muita käyttäjän paikantamisen tapoja ovat mm. magneettikenttään - ja induktioon perustuva paikantaminen ja ultraääntä hyödyntävä paikantaminen. (Maeda & et.al. 24). 1.2 Tavoite Käyttäjän paikantaminen ja rekisteröinti on tapahtunut lisätyn todellisuuden sovelluksissa yhden kameran ja markkereiden avulla (Kato & M. Billinghurst 1999), (Abawi, Bienwald & Dörner 24). Ongelmana on kuitenkin ollut objektien epätarkka syvyyskoordinaattien laskeminen etenkin yli 3 m etäisyyksillä (Malbezin, Piekarski & Thomas 22). Tavoitteena on tutkia voiko stereokameroiden mahdollistama syvyyslaskenta parantaa syvyyskoordinaattien laskentaa. Myös peittävyysongelmat voidaan ratkaista käyttämällä stereokameroita, eli todelliset ja keinotekoiset objektit näkyvät käyttäjälle oikeassa järjestyksessä (Kanbara & et.al. 2). Diplomityön tavoite on kehittää mittausmenetelmä ja -ympäristö, jolla pystytään arvioimaan stereokameralla tehtävän rekisteröinnin tarkkuutta. Tässä diplomityössä tarkkuudella tarkoitetaan tarkkuutta mitata etäisyydet syvyyssuunnassa. Lähestymistapa on työn luonteen takia hyvin käytännönläheinen. Kaikkiin mittausmenetelmiin liittyy aina virheitä, ja näiden virheiden määrittäminen ja mahdollinen kompensointi ovat oleellinen osa diplomityötä. Mittausmenetelmä on siten saatava riittävän tarkaksi, jotta pystytään arvioimaan stereokameroiden suorituskykyä. 1.3 Tutkimuskysymykset Päälle puettavaa kameraparia voidaan käyttää esimerkiksi rakennusten suunnittelussa objektien rekisteröintiin, jolloin käyttäjälle näytettävät graafiset objektit pystytään esittämään käyttäjälle oikeissa paikoissa. Tämä asettaa tarkkuudelle vaatimuksia sen mukaan minkälaiset vaadi- 2

9 3 tut etäisyydet ja virherajat ovat. Sisätilan suunnittelussa etäisyydet voivat olla esimerkiksi 1-1 m. Rekisteröinnin tarkkuuteen vaikuttavat mm. kameroissa käytettävä polttoväli ja kuvakanta eli kameroiden välinen etäisyys. Stereokamera on saatava kalibroitua riittävän tarkaksi geometriseksi mittalaitteeksi. Ensimmäisenä tutkimuskysymyksenä esitetään: Kuinka stereokamera saadaan kalibroitua tarkaksi? Kun kalibrointi on saatu suoritettua riittävän tarkasti, voidaan kehittää menetelmä kalibroinnin verifioimiseksi sekä tutkia stereokameran tarkkuutta. Toisena tutkimuskysymyksenä esitetään: Minkälaisella menetelmällä pystytään arvioimaan stereokameran syvyystarkkuutta? Kun menetelmä on kehitetty ja validiointi on osoittanut sen riittävän tarkaksi, niin voidaan arvioida stereokameran parametrien vaikutusta syvyystarkkuuteen. Kolmantena tutkimuskysymyksenä esitetään: Miten stereokameran parametrit, polttoväli ja kuvakanta, vaikuttavat stereokameran syvyystarkkuuteen ja kuinka paljon? Stereokameran teoreettinen syvyysresoluutio pystytään laskemaan, mutta tavoitteena on selvittää, miten parametrit vaikuttavat stereokameran todelliseen syvyystarkkuuteen. Esimerkiksi linssivirheet kasvavat polttovälin lyhentyessä, joten näiden virheiden kompensointi kameroiden kalibroinnissa ei onnistu yhtä hyvin kuin vähemmän virhettä sisältävälle linssille. Polttovälin ja kuvakannan vaikutusta tarkkuuteen arvioidaan etäisyyden funktiona. Tutkimuksen viimeisessä osassa stereokameran tarkkuutta verrataan myös yhden kameran tarkkuuteen. Neljäntenä tutkimuskysymyksenä esitetään: Pystytäänkö stereokameralla määrittämään etäisyyksiä tarkemmin kuin yhdellä kameralla? Tavoitteena on selvittää, voidaanko stereokameralla parantaa syvyysinformaation laskentaa lisätyn todellisuuden sovelluksissa. Yhteen kameraan perustuva paikannusmenetelmä perustuu tässä tutkimuksessa ennalta tiedossa olevien objektin (eli markkerin) havaitsemiseen, kun taas stereokamera mahdollistaa kokonaan markkerittoman paikannuksen. Lähestymistapa on täten hyvin erilainen. 1.4 Työn rakenne Diplomityö koostuu teoria- ja kokeellisesta osasta. Teoriaosa sisältää luvut 2-4. Ihmisen stereonäköä käsitellään luvussa 2. Luku 3 keskittyy stereokuvaukseen ja siihen liittyviin perusteisiin ja vaiheisiin. Erityisesti kameroiden kalibrointi ja virhelähteet pyritään käymään tarkasti läpi. Luvussa 4 esitellään kuinka kameroita on käytetty lisätyn todellisuuden sovelluksissa ja minkälaisia vaatimuksia lisätyn todellisuuden sovellukset aiheuttavat kameraparille. Työn kokeellinen osio alkaa luvusta 5, jossa esitellään käytetyt tutkimusmenetelmät. Luvussa 6 esitellään tulokset ja analysoidaan kokeellisen osion luotettavuutta. Johtopäätökset ovat luvussa 7 ja yhteenveto on luvussa 8.

10 4 2 IHMISEN STEREONÄKÖ 2.1 Syvyyksien havaitseminen Ihminen pystyy yhdellä silmällä määrittämään syvyyksiä syvyysvihjeiden avulla (kuva 2). Syvyysvihjeitä ovat esimerkiksi liike (lähellä oleva objekti liikkuu nopeammin kuin kaukana oleva), peittävyys (takana oleva esine on kauempana kuin edessä oleva), varjot, tunnettujen objektien fyysinen koko, tekstuurien sumentuminen ja perspektiivi (Holliman 25). Kuva 2. Monokulaarisia syvyysvihjeitä (Holliman 25) Kahden silmän avulla ihminen pystyy määrittämään etäisyyksiä yhteisnäön avulla. Ihmisen stereonäkö antaa lisäinformaatiota syvyydestä, ja myös syvyyden määrittäminen ilman monokulaarisia syvyysvihjeitä on mahdollista. Tästä esimerkkinä ovat stereogrammit. Ihmisen stereonäkö perustuu silmien yhteisnäköön (binokulaarinen näkö). Huomattava seikka on, että jopa noin 2 % ihmisistä ei omaa stereonäköä (Çöltekin 26). Heille ei siis synny kolmiulotteista vaikutelmaa stereokuvista. Silmät tarkentuvat katselupisteeseen, jonka ympäristön etäisyydet pystytään havaitsemaan parallaksikulman (Φ) muutoksena (kuva 3) Kun katselupiste lähenee silmiä, niin myös pupillit lähenevät toisiaan. Tätä ilmiötä kutsutaan binokulaariseksi konvergenssiksi (Haggren 28a).

11 5 Horopteri Kuva 3. Parallaksikulma Φ muuttuu katseluetäisyyden mukaan. Muokattu lähteestä (Haggren 28a). Panumin alueeksi kutsutaan aluetta, jossa stereonäkö toimii. Se sijaitsee horopterin (kuva 3) molemmin puolin. Horopterilla sijaitsevat kohteet näkyvät silmille samansuuruisina parallakseina. Horopterin molemmin puolin voidaan havaita suhteellisia muutoksia syvyydessä. Horopterin etupuolella olevat kohteet ovat aiheuttavat negatiivisen parallaksin ( silmät ristissä ) ja horopterin takapuolella olevat kohteet aiheuttavat positiivisen parallaksin (Çöltekin 26). Ihmisen stereonäkö kattaa kuvassa 4 näkyvän tumman harmaan alueen. Alue on laajimmillaan hieman alle 14 astetta. Kuvassa vaaleamman harmaa alue on periferista näköaluetta, joka on nähtävissä vain toisella silmällä (Çöltekin 26). Kuva 4. Ihmisen stereonäön alue (Çöltekin 26) 2.2 Syvyysresoluutio Stereonäkö asettaa kameralle tarkkuusvaatimuksia, eli kameran on kyettävä vähintään yhtä tarkkaan syvyyserottelukykyyn kuin ihmissilmät, jottei keinotekoisesti piirrettyjen kappaleiden sijainti näyttäisi olevan epäluonnollinen. Ihmisen kyky erotella suhteellisia syvyyksiä binokulaarisen näön avulla voidaan esittää kuvan 5 avulla. Kuvassa I on pupillien välinen etäisyys, joka on 98% miehistä 5,7 7,4 cm ja 98% naisista 5,5-7, cm (Poston 2). Yleisesti ihmisen binokulaarista näköä karakterisoivissa tutkimuksissa käytetty pupillien välinen etäisyys on noin 6,5 cm (Çöltekin 26). Silmän spa-

12 tiaalinen erottelukyky voidaan esittää kulmana. Tämä kulma on sama kuin pienin havaittava parallaksikulma ΔT: jossa Δ T = θ θ (1), L R θ L on vasemman silmän kulman muutos ja θ R R on oikean silmän kulman muutos kun katselupiste siirtyy etäisyyseron d verran (ks. kuva 6). ΔT on lähteistä riippuen arcsec (=,5 -,8 ). Myös yksilöllisiä eroja on paljon. Yleinen käytössä oleva arvo on 2 arcsec. (Çöltekin 26). Silmän yhteisnäköön perustuva syvyysresoluutio d voidaan laskea kaavalla 2 (Jennings & Charman 1994): jossa D 2 ΔT d = (2), I D on etäisyys fiksaatio pisteeseen, ΔT on pienin havaittava parallaksikulma ja I on pupillien välinen etäisyys. 6 Φ L Φ R θ L θ Kuva 5. Ihmisen syvyysresoluutio d riippuu kohteen etäisyydestä D, pupillinen välisestä etäisyydestä I sekä pienimmästä havaittavasta parallaksikulmasta. Muokattu lähteestä (Jennings & Charman 1994) Kaavaa 2 tulkitessa on huomattava, että ihmisen syvyysresoluutio toimii suhteellisesti. Ei voida sanoa, että ihminen pystyisi mittaamaan absoluuttista etäisyyttä viiden metrin etäisyydeltä muutaman senttimetrin tarkkuudella. Sen sijaan kahden kappaleen välinen, muutaman senttimetrin pituinen, syvyysero voidaan havaita viidestä metristä. Tätä ihmisen syvyysresoluutiota on verrattu kameran teoreettiseen erottelukykyyn kohdassa 3.6. Lisättyjen objektien paikkojen tulee olla niin tarkkaan sijoitettu, että ihmissilmä ei havaitse virheitä. Tämän lisäksi monokulaaristen vihjeiden, kuten varjojen, merkitys syvyysvaikutelman tuottamiseksi on hyvin suuri.

13 7 3 STEREOKUVAUS 3.1 Koordinaatistot Koordinaatistojen avulla pystytään esittämään objektien sijainteja ja niiden suhteita toisiinsa. Jotta pystyttäisiin laskemaan stereokameralla objektien paikkoja, täytyy ensin tietää missä koordinaatistossa ne halutaan esittää. Suuri ero on siinä, että halutaanko paikat määrittää kamera- vai maailmakoordinaatistossa (esitetty kuvassa 6). Lisätyn todellisuuden sovelluksissa siirtymiset eri koordinaatistojen välillä ovat hyvin tyypillisiä. Kamerakoordinaatiston voi ajatella liikkuvan maailmakoordinaatistossa. Maailmakoordinaatiston piste (x w, y w, z w ) kuvautuu kamerakoordinaatistoon (x c, y c, z c ) kaavalla 3. jossa x y z c c c x = R y w w w w t t t x y z R on maailmakoordinaatiston ja kamerakoordinaatiston välinen kiertomatriisi, (x w, y w, z w ) on piste maailmakoordinaatistossa ja [t x t y t z ] on siirtovektori. (3), Kuva 6. Kuvassa esitetty erilaiset koordinaatistot (Sonka et al. 1999) Kiertomatriisi R voidaan laskea x-, y- ja z-akseleiden suhteen tehtyjen kiertomatriisien tulona, jotka on esitetty liitteessä 1.

14 Kamerakoordinaatiston (Xc, Yc, Zc) origo sekä kameran havaitsemat pisteet sijaitsevat maailmakoordinaatistossa. Kamerakoordinaatiston origo, eli optinen keskipiste (eng. focal point) sijaitsee polttovälin f päässä kuvatasolta (kennolta) kun kuljetaan optisen akselin suuntaisesti. Maailmakoordinaatiston piste projisoituu kamerakoordinaatiston origon läpi kuvakoordinaatistoon (u,v,w), jossa w-termi usein määritellään nollaksi, koska kuva on kaksiulotteinen. Pääpiste (eng. principal point) (u,v,) on piste, jossa optinen akseli kohtaa kameran kennon. Kuvakoordinaatistosta (u,v,w) voidaan siirtyä vielä kuvan pikselikoordinaatistoon, joka määritellään pikseleissä. (Sonka et al. 1999) 3.2 Matemaattinen perusta Perustapaus Stereokuvauksen perusperiaate on parallaksi. Parallaksilla tarkoitetaan kohteen sijainnin välistä etäisyyttä kahdessa kuvassa. Kuvassa 7 on esimerkki parallaksista, vasemmassa kuvassa kohdepiste (x,y) kuvautuu vasempaan kuvaan pisteeseen (x l, y l ) ja oikeaan kuvaan kohtaan (x r, y r ). Mikäli kamerat ovat suunnattu samaan suuntaan ja ovat samassa tasossa (kuten kuvassa 7), niin parallaksi voidaan laskea pisteiden välisenä etäisyytenä d = x r - x l. Tämä on stereokuvauksen normaalitapaus. (Haggren 28b) Kamerat harvoin ovat täysin samansuuntaisia, mutta tällä tavalla stereokuvausta usein havainnollistetaan (Sonka et al. 1999). Esimerkiksi silmät muistuttavat stereokuvauksen normaalitapausta ainoastaan silloin, kun katsotaan äärettömän kauaksi (Haggren 28a). 8 P(x,y,z) z f x X = L B X = R Kuva 7. Stereokuvauksen normaalitapaus, jossa kamerat ovat samansuuntaisia ja samassa tasossa. Muokattu lähteestä (Sonka et al. 1999)

15 Kohteen etäisyys on kääntäen verrannollinen parallaksiin, eli etäisyyden kasvaessa parallaksi pienenee. Stereokuvauksen perustapauksessa z-koordinaatin etäisyys optisten keskipisteiden kautta kulkevalta suoralta voidaan laskea kaavalla 4: (Haggren 28b) jossa 1 z = fb (4), d f on kameravakio (mm) (polttoväli), B on kuvakanta (mm) ja d on parallaksi (mm). Polttoväli on sama kuin kameravakio kun kamera on tarkennettu äärettömyyteen, muutoin kameravakio on hieman lyhyempi kuin polttoväli. Kahden kuvan välisen parallaksin fyysisen etäisyyden voi laskea pikseleistä kun tiedetään yksittäisen pikselin koko. Kohteen x- ja y- koordinaatit voidaan määrittää yhdellä kameralla kun tiedetään polttoväli. Esimerkiksi kohteen x-koordinaatti kamerakoordinaatistossa voidaan laskea yksinkertaisella neulanreikä projektiolla kaavalla 5: (Haggren 28b) jossa u x = z (5), f u on kohteen x-suuntainen etäisyys kennolla, z kohteen etäisyys ja f on polttoväli. Kohteen y-koordinaatti kamerakoordinaatistossa voidaan laskea vastaavasti kaavalla 6: v y = z (6), f jossa v on kohteen y-suuntainen etäisyys kennolla, z kohteen etäisyys ja f on polttoväli. Tässä luvussa esitetyt kaavat koordinaattien määrittämiselle toimivat ainoastaan ideaaliselle neulanreikäkameralle, eivätkä ne huomioi kameran optiikassa ja kuvasensorilla tapahtuvia vääristymiä. Nämä huomioidakseen kamerat tulee kalibroida. Kalibroimattoman stereokameran suhteellinen tarkkuus on noin 5-1 % etäisyydestä, mutta kalibroimalla voidaan päästä hyvinkin alle,1 % suhteelliseen tarkkuuteen. (Haggren 28b) Stereokuvauksen normaalitapauksessa vastinpisteiden laskenta yksinkertaistuu, koska parallaksi koostuu ainoastaan horisontaalisesta parallaksista. Stereokamera ei kuitenkaan ole ikinä aivan tasasuunnattu, jolloin tarkkoihin tuloksiin päästääkseen on kuvat tasasuunnattava epipolaarisen geometrian avulla. (Sonka et al. 1999) 9

16 Epipolaarinen geometria (Sonka et al. 1999) Epipolaarisella geometrialla on tärkeä rooli stereokuvauksessa. Siinä hyödynnetään ns. sydäntasoa, joka virittyy kuvassa 8 näkyvän kuvattavan kohteen X ja optisten keskipisteiden välille. Sydäntaso (C,C, X) on oleellinen osa stereokuvausta, koska sitä käytetään kuvien tasasuuntaamiseen ja vastinpisteiden löytämiseen. Pisteet u ja u ovat toistensa vastinpisteitä ja ne muodostavat suoran epipooleiksi kutsuttujen pisteiden e ja e kanssa. Epipoolit sijaitsevat optisten keskipisteiden kautta kulkevan suoran ja kuvatasojen risteyskohdassa. Näitä suoria kutsutaan sydänsuoriksi (u,e) ja (u,e ), ja ne kulkevat pitkin sydäntasoa. Tässä kuvassa kuvatasot on piirretty optisten keskipisteiden eteen, vaikka todellisuudessa ne ovat niiden takana ja kuvat muodostuvat niihin peilikuvana. Tämä on kuitenkin havainnollinen tapa esittää epipolaarista geometriaa. Tasasuuntaamisella päästään normalisoituun tilanteeseen (esitetty kohdassa 3.2.1), jossa vastinpisteet löytyvät vaakasuunnassa kulkevilta sydänsuorilta, eikä vinosti kulkevilta sydänsuorilta. Tällöin epipoolit eivät löydy kuvatasolta vaan lähestyvät ääretöntä. X C u e vasen kuva e u oikea kuva C Kuva 8. Epipolaarista geometriaa hyödynnetään stereokameran tasasuuntaamisessa. Harmaalla on esitetty tasasuunnatut kuvat. Muokattu lähteestä (Sonka et al. 1999). Epipolaarisesta geometriasta voidaan johtaa perusmatriisi (eng. fundamental matrix) F, jolle pätee kaava 7: jossa ' u T Fu = (7), u on kohteen piste vasemmassa kuvassa, F on perusmatriisi ja u on kohteen piste oikeassa kuvassa. Perusmatriisi siis kuvaa kahden pisteen välisen riippuvuuden stereokamerassa.

17 3.3 Kameroiden parametrit Ei-geometriset parametrit Yhden kameran ei-geometriset parametrit vaikuttavat siihen kuinka hyvin informaatio säilyy kuvassa. Mikäli kuva on tekniseltä laadultaan hyvä, eli resoluutio, dynaaminen alue ja signaali-kohina-suhde ovat riittäviä, niin kuva-analyysi, eli vastinpisteet pystytään löytämään. Näitä muuttujia voidaan tutkia perinteisin kameroiden suorituskykymittauksin. Tärkeää on, että nämä ominaisuudet ovat molemmissa kameroissa identtiset, jolloin vastinpisteet löydetään helpommin. Kahden erityyppisen kameran ei-geometrisia ominaisuuksia on vertailtu kohdassa 4.4. Stereokamerasysteemin sietoisuus kohinalle koostuu kameran ja algoritmien (ks. kohta 3.7.2) yhteisestä suorituskyvystä. Vastinpisteiden löytäminen vaikeutuu kohinan kasvaessa ja tähän ongelmaan algoritmit reagoivat eri tavoin. Yleensä kohinan vaikutusta stereokameran suorituskykyyn on arvioitu lisäämällä Gaussista kohinaa keinotekoisesti ja arvioitu vastinpisteiden löytymistä tätä vasten (Hamette & Tröster 28). Värikameran tuottamaa väri-informaatiota voidaan hyödyntää esimerkiksi käsien tunnistamisessa.(gordon et al. 22). Myös markereiden tunnistamisessa voidaan hyödyntää jotain tiettyä väriä, jolloin niiden havaitseminen helpottuu (Kanbara & et.al. 2). Toisaalta värillisen kameran spatiaalinen näytteenottotaajuus on pienempi monokromaattisen kameraan verrattuna, koska vain tietty värisignaali voidaan näytteistää tietyltä sijainnilta. Lisätyn todellisuuden sovelluksen kameran temporaalinen näytteenottotaajuus on oltava riittävä, koska kamera on usein liikkeessä. Päivitystaajuus käyttäjän ja lisätyn todellisuuden välillä tulisi olla yli 2 Hz, jolloin maksimiaika syvyysinformaation laskentaan on 5 ms. Todellisuudessa tämän ajan tulee olla vieläkin lyhyempi, koska syvyysinformaation laskennan jälkeen tulevat vielä piirtää grafiikka ja antaa palaute käyttäjälle. Kameran päivitystaajuuden tulee siis olla riittävän korkea. Hamette & Tröster (28) havaitsivat tutkimuksessaan, että viiveillä on suurempi vaikutus käytettävyyteen kuin mitatulla tarkkuudella. Kanbaran & et. al. (2) tutkimuksessa noin ms viive koostui pääasiassa kameran parametrien laskemisesta (2 ms), syvyyden laskemisesta (4 ms) ja grafiikan piirtämisestä (3ms) Kameroiden kalibrointi Kameraan sisältyy aina geometrisia virheitä, joiden vaikutusta pystytään pienentämään kameroiden kalibroinnilla. Kalibroimattoman kameran virhe voi olla huomattavasti suurempi verrattuna kalibroituun kameraan. Ilman kameroiden kalibrointia, kamerapari ei sovellu käytettäväksi etäisyyksien mittaamiseen. Virheet johtuvat geometrisista virheistä, esimerkiksi linssin ja kennon vääristymistä sekä polttovälin epätarkkuuksista. Kalibroimattoman kameran virherajoja on hieman vaikea määrittää, koska kameravalmistajat eivät niitä julkaise. Sen sijaan tarvetta näyttäisi näiden tietojen esittämiseen olevan kun kameraa käytetään mittavälineenä.

18 Kameran tarkka kalibrointi lisätyn todellisuuden sovellusta varten on tärkeää (Klein & Drummond 23; Gibson & et.al. 22) ja se sisältyykin laajasti käytössä olevaan ARToolkit (Kato & M. Billinghurst 1999) -ympäristöön. Yleisesti ja laajasti käytössä olevaa tapaa kameroiden kalibrointiin ei ole, vaan käytössä on useita erilaisia menetelmiä. Fotogrammetrinen kalibrointi suoritetaan usein kuvaamalla tarkasti ennalta tunnettua 3D-objektia, josta lasketaan kameran ulkoisia ja sisäisiä parametreja. Tämä on tehokas, mutta raskas tapa kalibroida kamera. Kevyempi menetelmä on kuvata tunnettua tasomaista objektia eri suunnista. Objektin liikettä kuvien välillä ei tarvitse tietää tarkasti. (Zhang 1999) Kalibroinnin voi suorittaa myös kuvaamalla ei-tunnettua ympäristöä eri kohdista. Tällöin kalibrointi toteutetaan tiedossa olevan kameran kierron ja siirron, pelkän kierron tai pelkän siirron mukaan. Kamera voidaan kalibroida myös tuntemattoman liikkeen perusteella, tätä kutsutaan itse-kalibroinniksi, mutta siihen liittyy hyvin paljon epävarmuuksia, sillä samat kohteet kuvien välillä on tunnistettava, mikä johtaa useiden parametrien käyttämiseen. (Sonka et al s.454). Myös muita kalibrointitapoja on olemassa, kuten katoamispisteeseen perustuvat menetelmät (Sun & et.al. 28). Seuraavassa on esitetty kameroihin liittyvät geometriset parametrit ja esitetty vaiheittain kuinka maailmakoordinaatiston piste kuvautuu kalibroidun kameran kuvatasolle. Tässä kuvattuja kalibrointiparametreja käytetään Camera Calibration Toolbox:issa (Bouget 28) ja ne perustuvat hyvin paljon Heikkilä & Silven (1997) kehittämään kalibrointimalliin Ulkoiset parametrit Ulkoiset parametrit huomioivat kameroiden sijainnin ja suuntauksen. Koordinaattimuunnos maailmakoordinaateista kamerakoordinaatteihin tapahtuu siirrolla ja kierrolla jokaisen koordinaattiakselin x, y, z-suhteen. Kiertomatriisit ovat esitetty liitteessä 1. Stereokuvauksen tapauksessa ulkoisia parametreja ovat myös kameroiden välinen etäisyys (eli kuvakanta) ja suuntaus. Teoriassa kuvakannan kasvaessa stereokameran syvyysmittauksen virhe vähenee. Tämä johtuu parallaksin kasvamisesta. Kuvakannan pituuden valintaa vaikuttaa se, että mikä on kuvattavien kohteiden etäisyys. Esimerkiksi kaukokartoituksessa kuvakannat voivat olla useita kilometrejä, kun taas käsien seuraamiseen kuvakanta voi olla vain muutamia senttejä (Hamette & Tröster 28). Päälle puettavan kameran vaatimuksena on, että kamera ei voi olla kovinkaan leveä, jolloin liikkuminen vaikeutuisi kohtuuttomasti. Pään antropometriset mitat tulee huomioida päälle puettavissa kameroissa. Ihmisen pään leveys on 98% miehistä 13,9 cm 16,5 cm ja 98% naisilla 13,3 cm 15,7cm (Poston 2). Näitä arvoja voitaisiin käyttää kuvakannan arvoina, mikäli kamerat kiinnitettäisiin silmälasien sankoihin. Näin suurella kuvakannalla päästään helpostikin ihmisen stereonäön syvyysresoluutioon, ainakin teoriassa (ks. kohta 3.6.). Yleensä kuitenkin päälle puettavat kameroiden kannat ovat olleet melko lyhyitä (Hamette & Tröster 28), ja niitä on käytetty lähinnä käsien eleiden tunnistamiseen. Mikäli kameroiden välittämää kuvaa näytetään käyttäjälle silmikkonäytöllä, niin kuvakannan tulee olla sama kuin ihmisen silmien väli, eli noin 6,5 cm (Kanbara & et.al. 2). 12

19 Pitkää kuvakantaa käytettäessä syntyy myös kahdenlaisia peittävyysongelmia. Toinen ongelma on, että kaukana toisistaan olevat kamerat näkevät kohteita hyvin eri kulmista. Tällöin kohteiden muodon takia vastinpisteitä ei löydy. Toinen peittävyysongelma on, että molemmat kamerat eivät kuvaa samaa aluetta laajasti (ks. kuva 9b). (Zhigang 27) Kuviin 9a ja 9b on piirretty samansuuruinen syvyysresoluutio, mutta kuvassa 9b sama syvyysresoluutio saavutetaan kauempana kameroista. katselupiste 13 syvyysresoluutio syvyysresoluutio a b c Kuva 9. Kuvassa on esitetty ulkoisten parametrien vaikutus yhteiseen näkökenttään ja syvyysresoluutioon. Syvyysresoluutiota on havainnollistettu mustilla salmiakkikuvioilla. Muokattu lähteestä (Zhigang 27). Yksi tapa toteuttaa stereokamera on kiertää molempia kameroita Y-akselin ympäri hieman toisiaan vasten (esitetty kuvassa 9c). Tätä kulmaa sanotaan konvergenssikulmaksi. Konvergenssinkulman virhe on suurimmillaan silloin kun kamerat leikkaavat tietyssä pisteessä (katselupiste). Tällöin parallaksi kameroiden välillä on nolla, jolloin tässä ympäristössä stereokamerasysteemi on alttiina virheelle.(mulligan 21) Tämän sijoittelun etuna on kuitenkin laaja yhteinen kuvakulma, vaikka kamerat olisivat melko kaukana toisistaan. Mikäli kameran pääasiallinen toiminta-alue on hyvin lähellä kohdetta, niin tällöin voidaan ajatella konvergenssikulman muuttamisen olevan hyvä ratkaisu. Konvergenssikulman käyttäminen ei paranna syvyysresoluutiota.

20 Matemaattisesti esitettynä kuvakanta ja konvergenssikulma voidaan esittää siirtona ja kiertona vasemman ja oikean kuvan välillä. Oikean kuvan pisteet voidaan siirtämällä ja kiertämällä muuntaa vasemman kuvan pisteiksi kaavalla 8: jossa xl yl zl xr = R yr wr t t t x y z R on kameroiden välinen kiertomatriisi ja t on siirtovektori. Kierrot eri akseleiden suhteen on esitetty kuvassa 1. R-kiertomatriisi koostuu usein kierroista eri akseleiden ympäri. Koordinaatisto on ns. oikeakätinen, ja positiivinen kiertosuunta voidaan päätellä oikeankäden sormien suunnasta kun peukalo osoittaa akselin suuntaan. Kiertomatriisit ovat esitetty liitteessä 1. (8), 14 Kuva 1. Stereokameran kamerakoordinaatistot ja kameroiden akseleita vastaavat kierrot (Bansal & et.al. 25) Sisäiset parametrit Kameran sisäisillä parametreilla tarkoitetaan yksittäisen kameran geometrisia ominaisuuksia, jotka huomioimalla kohdepiste kamerakoordinaatistossa saadaan kuvattua oikeaan paikkaan kuvakoordinaatistossa. Kameran sisäiset parametrit ovat riippumattomia kameran sijainnista tai suuntauksesta. Tyypillinen silmikkonäyttö kattaa lähes koko 12 asteen stereonäön alueen (Çöltekin 26). Stereokameran kuvakulman tulee olla riittävän suuri, jotta mahdollinen lisätyn todellisuuden näkymä on riittävän laaja. Suuri kuvakulma auttaa useamman markkerin löytämiseen ja useamman markkerin havaitseminen parantaa käyttäjän paikantamisen tarkkuutta lisätyn todellisuuden sovelluksissa. Esimerkiksi ARToolkitin tarkkuus käyttäjän paikantamiseen paranee huomattavasti kun käyttäjä paikannetaan kolmen tai useamman markkerin perusteella (Claus & Fitzgibbon 25). Kuvassa 11 on esitetty horisontaalinen kuvakulman riippuvuus sensorin leveydestä ja polttovälistä. Polttovälin pienentäminen kasvattaa näkökenttää, mutta toisaalta spatiaalinen näytteenottotaajuus ( /pix) heikkenee, eli kulman näytteenottoväli θ res kasvaa. Se voidaan laskea kaavalla 9:

21 kuvakulma θ res = (9), n pix 15 jossa kuvakulma on kuvakulma vaaka- tai pystysuunnassa ja n pix on sitä vastaavakuvan pikselimäärä vaaka- tai pystysuunnassa. Ihmisen stereonäön alue on noin (ks. kohta 2.1), joten koko tämän alueen peittävä kamerapari olisi hyvin laajakulmainen. Ihminen ei kuitenkaan näe tarkasti kerrallaan kuin 1,3 % koko näkökentästä, ja vain tämän alueen huomioimista (eng. foveation) (Çöltekin 26) voisi hyödyntää stereokameran suunnittelussa. Tällöin mittauksissa voitaisiin käyttää hyvin pitkää polttoväliä, mikäli kameran kohdistuspiste liikkuisi ihmisen katselupisteen mukana. Kuva 11. Horisontaalinen kuvakulma esitettynä sensorinleveyden ja polttovälin funktiona. Jotta ihmisen stereonäön alue pystyttäisiin kattamaan, niin täyden koon kennolla (sensorinleveys = 36 mm), polttoväli tulisi olla alle 1 mm. Polttovälin lisäksi kameran optiikkaan liittyy linssivääristymiä. Erottelukyvyn heikkenemisen lisäksi kameroiden linssivääristymät ovat voimakkaampia laajakulmaisissa linsseissä, joita tosin pystytään kompensoimaan riittävän tarkalla kalibroinnilla. Toisaalta mielenkiintoista voisi olla käyttää erilaisia polttovälejä kameroissa, jolloin toinen kuvaisi tarkasti lähellä olevia kohteita ja toinen kaukana olevia kohteita. Linssivääristymiä kompensoidaan Calibration Toolboxissa polynomifunktioilla. Linssivääristymät koostuvat radiaalisesta ja tangentiaalisesta komponentista. Radiaalinen linssivääristymä havaitaan joko tynnyri- tai tyynyvääristymänä. Monimutkaisemmat mallit huomioivat myös säteen normaalin suuntaisen tangentiaalisen vääristymän, joka johtuu linssin komponenttien

22 epätäydellisestä keskittämisestä ja muista linssisysteemin valmistuksessa syntyneistä virheistä. (Bouget 28) Neulansilmäprojektiolla (kaava 1) saadaan virheetön projektio kuvatasolle: 16 x y u u x = y c c / zc / z c (1), jossa koordinaatti x c, y c, z c on kohteen kamerakoordinaatti ja x u, y u on virheetön kuvakoord- naatti. Kun kirjoitetaan pääpisteen ja kuvautuneen kuvakoordinaatin (x u, y u ) etäisyydeksi säde r, niin r:n etäisyydelle voidaan kirjoittaa r 2 = x 2 u + y 2 u. Kuvautuneen pisteen etäisyys pääpisteestä on tärkeää huomioida linssivirheitä kompensoitaessa, koska virheet kasvavat linssin reunoja lähestyttäessä symmetrisesti säteen funktiona. Virheettömistä pisteistä voidaan laskea vääristynyt koordinaatti (x d ja y d ) kaavassa 11 esiintyvillä polynomeilla säteen funktiona ja virheettömien kuvakoordinaattien funktiona: (Bouget n.d. ) x y d d (1 + kc = + (1 + kc (1) r (1) r k (2) r c + k (2) r c k (5) r c + k (5) r c 6 6 ) x ) y u u + 2kc (3) xu y + 2k (4) x y c u u u + k (4)( r c + k (3)( r c x + 2y 2 u 2 u ) ) (11), jossa vektori k c kuvaa linssivirhettä ja sen kertoimet k c (1), k c (2) ja k c (5) ovat radiaalisen vääristymän kertoimia ja k c (3) ja k c (4) ovat tangentiaalisen vääristymän kertoimia. Tangentiaalinen linssivääristymä huomioi säteen lisäksi myös kuvakoordinaatin tangentiaalisen sijainnin. Tässä mallissa on huomioitu kolme kerrointa säteittäiselle vääristymälle, vaikka jo kahdella kertoimella on päästy melko tarkkaan malliin (Zhang 1999). Esimerkiksi tynnyrivääristymää kompensoiva, radiaalisia linssivääristymiä kuvaava, kerroin on negatiivinen ja tyynyvääristymää kompensoiva kerroin on positiivinen. Negatiivinen säteittäisen vääristymän kerroin siirtää pistettä lähemmäksi pääpistettä, kun taas positiivinen siirtää sitä kauemmaksi pääpisteestä.

23 Optiikkaan liittyvien parametrien lisäksi myös vääristymät kennolla täytyy huomioida. Kennolla syntyvät vääristymät voidaan kirjoittaa niin sanottuun 3x3 kameramatriisiin K (kaava 12). Kun linssinvääristymät huomioivat koordinaatit (x d, y d ) kerrotaan K:lla, niin saadaan lopulta koko kalibroinnin huomioivat koordinaatit (x p, y p ) pikselikoordinaatistossa: (Bouget n.d.) 17 x p fa fb u xd y p = fc v yd (12), jossa x p korjattu x-koordinaatti kuvatasolla, y p korjattu y-koordinaatti kuvatasolla, fa on polttoväli horisontaalisina pikseleinä, fb on fa kerrottuna horisontaalisten ja vertikaalisten pikselien kulmalla, fc on polttoväli vertikaalisina pikseleinä, u o on kennon horisontaalinen pääpiste, v o on kennon vertikaalinen pääpiste, x d vääristynyt x-koordinaatti kuvatasolla ja y d vääristynyt y-koordinaatti kuvatasolla. Kameramatriisi huomioi pikselien epäneliöisyyden, vinouman ja kennon siirtymän optiseen keskipisteeseen nähden. Nykyään kameroissa pikselit ovat hyvin kohtisuorassa toisiinsa, jolloin fa = fb. Pikselit ovat usein myös lähes neliömäisiä, jolloin pikselien kuvasuhde fa/fc on lähellä lukua 1. (Bouget n.d.) Edellä esitetyt vaiheet maailmakoordinaatiston pisteen kuvautumista kuvatasolle voidaan yhdistää (3 x 4) yhteen projektiomatriisiin M kaavan 13 osoittamalla tavalla: jossa xw U = yw V M z w W 1 (x w, y w, z w ) on maailmakoordinaatiston piste, M projektiomatriisi ja (U, V, W) kuvakoordinaatti. (13), Kalibroinnissa pyritään ratkaisemaan M, mikä pystytään tekemään jos vähintään kuusi maailmakoordinaatiston ja kuvakoordinaatiston välistä pistettä on tunnettuna (Sonka et al. 1999). Todistus on esitetty liitteessä 1. Yleensä käytetään useampia pisteitä. M-matriisi joudutaan approksimoimaan esimerkiksi pienimmän neliösumman menetelmällä, koska tarkkaa mallia ei tunneta. Tämä aiheuttaa kalibrointiin aina pienen virheen. M-matriisista saadaan ratkaistua edellä mainitut sisäiset ja ulkoiset parametrit. (Sonka et al. 1999).

24 Kalibroinnin tarkkuus (Weng 1992) Jotta voitaisiin arvioida stereokameran tarkkuus, tulee sen kalibroinnin tarkkuutta myös pystyä arvioimaan. Esimerkkinä tästä toimii tavallinen vaaka. Vaa an tarkkuus riippuu kalibroinnin tarkkuudesta ja sen havaitsemasta pienimmän massayksikön koosta. Vastaavasti stereokameran tarkkuus riippuu kalibroinnin tarkkuudesta ja vastinpisteiden löytymisen tarkkuudesta. Vastinpisteiden löytymisen tarkkuus vaikuttaa stereokameran syvyysresoluutioon (ks. kohta 3.6.). Weng (1992) esitti kalibroinnin tarkkuuden määrittämiseksi normalisoidun stereokalibroinnin virheen (NSCE, normalized stereo calibration error). Tämä mitta huomioi rajallisesta spatiaalisesta näytteenottotaajuudesta johtuvan virheen, sekä todellisen kalibroinnista johtuvan virheen. Se voidaan laskea kaavalla 14: 1 n 2 2 ( x ) ( ) i xki + yi yki NSCE = (14), n i= 1 zi ( f x + f y ) /12 jossa n on mittapisteiden lukumäärä, (x ki, y ki ) on kohteen oikea koordinaatti kamera koordinaatistossa, (x i, y i, z i ) on kohteen stereokameralla laskettu koordinaatti kamerakoordinaatistossa ja f x ja f y ovat x- ja y-suuntainen polttoväli. Kaavassa 14 osoittajassa on esitetty stereokameralla lasketun ja todellisen pisteen välinen etäisyys kamerakoordinaatiston xy-tasossa. Nimittäjässä on esitetty rajallisesta näytteenottotaajuudesta johtuvan kohinan varianssi xy-tasossa. Nimittäjän kaava on johdettu liitteessä 1. Mikäli laskennassa johtuvat virhe johtuu enemmän rajallisesta spatiaalisesta näytteenottotaajuudesta kuin kalibroinnista, niin NSCE < 1, jolloin kalibroinnin tarkkuus on ollut riittävä. Mikäli taas NSCE >> 1, niin silloin voidaan pitää kalibroinnista johtuvaa virhettä liian suurena. Tällöin kalibrointi on suoritettava tarkemmin. Vaikka stereokuvauksessa hyödynnetään interpoloinnilla saavutettavaa alipikselitarkkuutta, niin silti rajallisesta spatiaalisesta näytteenottotaajuudesta johtuu aina pieniä virheitä stereokameralla suoritettaviin mittauksiin. 3.4 Virhelähteet Käytännössä stereokamerat ovat herkkiä virheille. Pikseleiden ollessa yleensä alle 1 mikrometrin kokoisia, mekaaniset kierrot ja siirtymät aiheuttavat helposti suuria virheitä. Mittausvirheitä stereokameroita käytettäessä aiheutuu ainakin seuraavista seikoista. (Yang et al. 1998) 1. Kameran sijainnin ja suuntauksen muuttuminen 2. Spatiaalinen näytteenottotaajuus (ks. kaava 14) 3. Valaistus: huono kontrasti ja alhainen valaistus, kohina 4. Kohteen tai kamerajärjestelmän liikkuminen 5. Parallaksi: kohteen etäisyys kameroiden väliseen etäisyyteen on liian suuri. Kohdat 1, 2 ja 3 aiheuttavat systemaattista virhettä. Stereokamerasysteemi ei ole koskaan aivan täysin normalisoitu, ja kiertyminen on siirtymistä suurempi ongelma, sillä pienikin kierto vaikuttaa vastinpisteiden löytämiseen ja stereokameran laskentaan suuresti. (Bansal & et.al. 25) Lisäksi virheitä aiheutuu vastinpisteiden paikantamisen epätarkkuudesta. 1/ 2

25 3.5 Virheiden arviointi 19 Virheiden maksimisuuruutta voidaan arvioida osittaisdifferentiaalilla. Se toteutetaan osittaisderivoimalla arvioitavan suureen funktiota riippuvaisten muuttujien suhteen ja kertomalla kuhunkin muuttujaan liittyvällä virheellä (kaava 15): (Lahtinen & et.al. n.d.) ΔF F = F x 1 Δx 1 + F x 2 Δx 2 + (15), jossa ΔF on määritettävän virheen maksimisuuruus F on suure, jolle virhettä lasketaan muuttujien x i -suhteen ja Δx i on kyseisen muuttujan virhe. Kaavalla 15 voidaan siis laskea maksimivirhe suureelle F. Kaavassa ei huomioida virheen suuntaa vaan kaikkien muuttujien oletetaan aiheuttavan saman suuntaisen virheen. Yleisesti ottaen nämä virheet Δx i voidaan määrittää muuttujan keskiarvon keskivirheenä kaavalla 16, kun tiedetään muuttujan keskihajonta ja sen mittapisteiden lukumäärä: jossa s Δ x = (16), n s on keskihajonta, n mittapisteiden lukumäärä Stereokuvauksessa kalibroinnista johtuvat virheiden suuruudet eri parametrien suhteen voidaan laskea keskiarvon keskivirheen kaavalla. Mittapisteiden lukumääränä käytetään kalibroinnissa käytettävien kuvien lukumäärää. Stereokameran systemaattiset virheet johtuvat pääosin kalibroinnista. Kalibroinnin tarkkuutta rajoittaa pääosin kameran resoluutio. Kalibroinnin tarkkuutta voidaan arvioida NSCE:n kaavalla 14. Epätarkasta kalibroinnista johtuva etäisyyden maksimivirhe voidaan johtaa osittaisderivoimalla logaritmisesti etäisyyden laskemisen kaavaa 4, jolloin saadaan kaava 17. (Lahtinen & et.al. n.d.): jossa b f p bf Z Δ Δ Δ x Δ 1 = + + b f p (17), x d Δb on virhe kannassa, b on kuvakannan pituus, Δf on virhe polttovälissä, f on polttovälin pituus, Δp x on virhe parallaksissa ja p x on parallaksin suuruus.

26 Kantaan ja polttoväliin liittyvät virheet, Δb ja Δf, saadaan määritettyä kaavalla 16. Kaavassa 17 vaikeasti määritettävä muuttuja on virhe parallaksissa, Δp x. Tähän arvoon vaikuttavat monet tekijät kuten virheet optisen keskipisteen ja linssivääristymien laskemisessa. Pääpisteen sijoitusvirheet vaikuttavat suoraan parallaksin suuruuteen, jolloin tämä virhe voidaan sisällyttää suoraan parallaksin virheeseen. Pääpisteen tarkka määritys onkin hyvin tärkeää stereokameroiden tapauksessa. Pääpisteiden määrittäminen toisaalta on kalibroinnin vaikein tehtävä (Bouget n.d.). Kalibrointiin liittyy kuitenkin myös kiertojen ja siirtojen estimointi. Joten edellä mainittuun kaavaan tulee vielä lisätä kuitenkin kierroista ja siirroista johtuvat epävarmuudet. (Bansal & et.al. 25). Kiertyminen X-akselin ympäri ei aiheuta virhettä etäisyyden mittaamisessa stereokuvauksen perustapauksessa, koska se ei aiheuta muutosta vaakasuuntaisessa parallaksissa. Kiertyminen Y-akselin ympäri sitä vastoin aiheuttaa virheen (yaw) ja se voidaan laskea kaavalla 18 (Bansal & et.al. 25): ΔY 2 Δ Z 2 = Z (18), b jossa ΔY on kulman virhe radiaaneina, b on kuvakanta ja Z on etäisyys. Kiertyminen y-akselin ympäri on suuri ongelma ja se täytyy huomioida testejä suunnitellessa. Kameroiden kiertymistä Y-akselin ympäri tulee pystyä tarkoin seuraamaan. Virhettä aiheuttaa myös kiertyminen Z-akselin ympäri (roll). Tämä virhe voidaan laskea kaavalla 19 (Bansal & et.al. 25): jossa Z ΔRh 2 Δ 3 = Z (19), 2bf x ΔR on kulman virhe radiaaneina, h on vertikaalinen resoluutio, b on kuvakanta, f x on kennon x-suuntainen polttoväli ja Z on etäisyys. Kierron lisäksi kameroiden keskinäisestä siirtymisestä johtuvia virheitä voidaan arvioida. X- akselin suuntainen siirtymä kuuluu suoraan kuvakannan termiin Δb, mutta siirto voi tapahtua myös Z-suunnassa. Esimerkiksi, jos oikea kamera liikkuu Z-suunnassa etäisyyden T z (esitetty kuvassa 12), niin virhe voidaan laskea kaavalla 2: jossa ΔTZ xr ΔZ 4 = (2), d 2

27 21 ΔT z on Z-akselin suuntainen siirtymä, x r on oikean kameran kuvakoordinaatti ja d on kuvien välinen parallaksi. P(x,y,z) z ΔT z x f X L B X R Kuva 12. Oikean kameran siirtyminen ΔT z :n verran aiheuttaa virheen, joka on riippuvainen kohteen x-koordinaatista Näin ollen kameran paikan siirtyminen z-suunnassa, johtaa virheisiin jotka ovat riippuvaisia kohteen sijainnista x-suunnassa. Kuvassa 12 esitetyssä esimerkissä oikea kamera on siirtynyt etäisyyden ΔT z, jolloin x r on kasvanut ja z-akselin vasemmalla puolella olevat kohteet mitataan lähemmäksi kuin ne ovat todellisuudessa ovat. Vastaavasti z-akselin oikealla puolella olevat kohteet mitataan kauemmaksi kuin ne todellisuudessa ovat. Virheet (kaavat 17-19) voidaan laskea yhteen, jolloin saadaan kaava 21: b Z Δ Δ = b Δf + f Δp x + p x ΔY ΔRh + Z + Z Z b 2bf x (21), joka laskee etäisyyden kokonaisvirheen lukuun ottamatta linssivääristymien kompensoinnissa tapahtuvia virheitä. Koska z-akselin suuntaisen siirtymän aiheuttava virhe riippuu myös kohteen paikasta x-suunnassa, niin sitä ei ole lisätty kokonaisvirheen kaavaan. Tämä tulee kuitenkin huomioida testejä suunniteltaessa siten, että kuvattavia kohteita sijoitetaan stereokameran pääakselin molemmille puolille, jolloin tämä virhe voidaan havaita. Kalibroinnista johtuvia virheitä voidaan arvioida kaavalla 21, mutta satunnaisia virheitä ei pystytä arvioimaan. Satunnaisia virheitä aiheuttaa pääosin kohina, jonka temporaalinen komponentti vaihtelee ajan mukaan. Kohinan takia vastinpisteiden löytäminen vaikeutuu ja tästä aiheutuu virheitä parallaksissa kuvatasolla. Ilman kohinaakin väärin luokitellut vastinpisteet aiheuttavat satunnaisia virheitä. Myös kvantisointi aiheuttaa satunnaisia virheitä. (Das & Ahuja 1995). Satunnaisia ja systemaattisia virheitä voi aiheuttaa myös kameroiden epätoivottu liikkuminen tai kiertyminen toisiinsa nähden. Tällöin virheitä voidaan estimoida kaavoilla 18-2.

28 Etenkin algoritmien suorituskykyä on testattu käsittelemällä kuvapareja keinotekoisesti. Ominaisuuksista esimerkiksi kameroiden välisen kuvakannan vaikutusta sekä erilaisten artefaktien, kuten kameroiden kiertymisen, siirron ja kohinan vaikutusta stereokameralle on testattu aiemmissa tutkimuksissa. (Bansal et.al. 25) 3.6 Syvyysresoluutio Kalibroinnista ja muista syistä johtuvia systemaattisia virheitä pystytään ehkäisemään tarkalla kamerasysteemin hallinnalla, mutta stereokuvauksella saavutettuun syvyysinformaatioon liittyy aina epävarmuutta. Epävarmuuden mittana voidaan pitää syvyysresoluutiota. Se kuvaa syvyyksien erottelukykyä tietyn etäisyyden päästä kamerasta. Teoreettinen syvyysresoluutio dz voidaan laskea kaavalla 22 (Haggren 28b): jossa z z dz = dp x (22), f B z on etäisyys, f on polttoväli, B on kuvakanta ja dp x on parallaksiin liittyvä epävarmuus. Kaavasta 22 voidaan päätellä, että mitä suurempi kohteen etäisyyden ja polttovälin suhde ja mitä suurempi kantasuhde (z/b)on, sitä epävarmempi mittaus (Haggren 28b) ja näin pienin erotettava syvyysero kasvaa. Muuttuja dp x kuvaa epätarkkuutta, jolla parallaksi pystytään havaitsemaan kennolla. Se voi olla esimerkiksi 1/16 osa pikselin leveydestä. Myös korkeampia tarkkuuksia on esitetty (J Heikkilä 2). Alipikselitarkkuus voidaan myös ilmaista siten, että kuinka monella bitillä tarkkuus voidaan havaita pikseliä kohden. Esimerkiksi kolmen bitin tarkkuudella, parallaksin tarkkuus on 1/8 pikseliä (Gordon et al. 22). Pelkästään geometrisesti tarkasteltuna pieni pikselikoko parantaa syvyysresoluutiota. Toisaalta taas signaalia tulee vahvistaa pienellä pikselikoolla enemmän, jolloin kohinan kasvaessa etenkin matalassa valaistuksessa vastinpisteiden löytyminen vaikeutuu. Kuvassa 13 on esitetty teoreettisia syvyysresoluutioita, kun B = 7 cm ja B= 14 cm (laskettu kaavalla 22). Kuvassa on myös ihmissilmän syvyysresoluutio (käytetty arvoa 2arcsec, laskettu kaavalla 2). Esimerkkikameran (Videology inc. 28) resoluutio on 128 x 124, polttoväli 3mm, pikselikoko 5,2μm ja dp x = 1/16 pikseliä (Videre Design 28). Tätä kameraa käytetään myös työn kokeellisessa osassa. 22

29 23 Kuva 13. Ihmisen stereonäön ja stereokameran syvyysresoluutiot vertailussa. Ihmisen stereonäön syvyyserottelukyky ja kokeellisessa osassa käytetty stereokamera 7 cm kuvakannalla saavat samoja syvyysresoluution arvoja. Kuvasta 13 nähdään, että 7 cm kuvakannalla syvyysresoluutio vastaa ihmissilmän syvyysresoluutiota. Kuvakannan ollessa 14 cm, syvyysresoluutio riittäisi teoriassa helposti jopa näin laajakulmaiselle linssille. Tämä on kuitenkin ideaalitapaus, jossa ei ole huomioitu mm. kalibroinnista johtuvia virhelähteitä (ks. kohta 3.5.). 3.7 Vastinpisteiden löytäminen Rajoituksia vastinpisteille Aktiivisen stereokuvauksen suurimpia ongelmia on saman kohteen löytäminen molemmista kuvista. Tätä kutsutaan vastaavuusongelmaksi (eng. correspondence problem). Ongelmaa on luonnehdittu vaikeaksi, ja pessimististen arvioiden mukaan hyvää ratkaisua tähän ongelmaan ei ole olemassa. (Sonka et al. 1999) Esimerkiksi, vastinpisteitä on hyvin vaikeaa erottaa tasaiselta ja tasaväriseltä pinnalta. Toinen vastinpisteiden löytämistä vaikeuttava ongelma on peittävyysongelmat, jotka esiintyvät kun kohteena ovat konveksit kappaleet. Onneksi tasaiset pinnat ja peittävyysongelmat ovat varsin harvinaisia normaalitapauksissa ja kameroiden sijoittelulla voidaan vaikuttaa vastinpisteille asetettaviin rajoituksiin. Vastinpisteiden löytämiseksi on kehitetty hyvin paljon erilaisia algoritmeja, jotka hyödyntävät erilaisia rajoituksia. Osa rajoituksista seuraa geometriasta, osa kuvan fotometrisista ominaisuuksista ja osa kohteiden luonnollisista ominaisuuksista. (Sonka et al. 1999) Geometrisiin rajoituksiin pystytään vaikuttamaan kameroiden sijoittelulla. Fotometrisiin rajoituksiin pystytään vaikuttamaan valitsemalla aivan samanlaiset kamerat, jolloin kuvat ovat

30 mahdollisimman samankaltaiset. Taulukossa 1 on esitetty geometriasta seuraavat rajoitukset, ja kuinka niihin pystytään vaikuttamaan kameroiden sijoittelulla. (Sonka et al. 1999) 24 Taulukko 1. Geometrisista ominaisuuksista johdettuja rajoituksia vastinpisteille (Sonka et al. 1999) Rajoitus Selitys Kameroiden sijoittelu Epipolaarinen rajoitus Ainutlaatuisuus rajoitus Fotometrinen yhteensopivuus rajoitus Geometrinen samankaltaisuus rajoitus Kuvien vastinpisteet sydänsuoralla, joka vastaavasti sijaitsee sydäntasolla. Vain yksi piste voi ensimmäisessä kuvassa vastata vain yhtä pistettä toisessa kuvassa. Peittävyysongelma aiheuttaa tähän rajoitukseen poikkeuksen. Saman kohteen intensiteetti ensimmäisessä ja toisessa kuvassa eroaa vähän. Ne eivät todennäköisesti ole aivan samat johtuen kohteen erisuuntaisista pinnan normaaleista ja valon heijastumisesta. Tämä on kuitenkin käytännössä tärkeä ja intuitiivinen rajoitus vastinpisteille. Kuvasta löydetyt geometriset muodot (esimerkiksi pituudet alueet ja intensiteetin tasaarvokäyrät) eivät eroa kuvien välillä paljoa. Mikäli kamerat tai kuvat ovat tasasuunnattuja, niin vastinpisteiden etsiminen helpottuu ja vastinpisteiden etsiminen vaihtuu 2- uloitteisesta koordinaatistosta 1- uloitteiseksi. Mikäli kamerat ovat lähekkäin ja näkevät lähes saman alueen, niin peittävyysongelmat vähenevät. Mikäli kamerat ovat hyvin lähellä toisiaan, valo heijastuu molempiin kameroihin usein lähes samalla tavalla. Mikäli kamerat ovat hyvin lähellä toisiaan ja ainakin lähes identtiset, niin geometriset muodot toistuvat samankaltaisesti. Taulukon 1 perusteella vastinpisteiden löytymisen kannalta kameroiden läheinen sijoittaminen olisi optimaalista. Liian pitkä kuvakanta myös hidastaa algoritmien toimintaa, koska vastinpisteitä joudutaan etsimään suurella ikkunalla. Tästä seuraa kuitenkin kompromissina etävarmuutta etäisyyden laskentaan, koska parallaksi pienenee. Kuvakannan pituuden valintaan vaikuttaa se, että mikä on kuvattavien kohteiden etäisyys. Esimerkiksi kaukokartoituksessa kuvakannat voivat olla useita kilometrejä, kun taas käsien seuraamiseen kuvakanta voi olla vain muutamia senttejä (Hamette & Tröster 28). Kohteen muodosta seuraaviin rajoituksiin ei juuri pystytä vaikuttamaan kameroiden sijoittelulla. Kohteen muodosta voidaan esimerkiksi johtaa rajoitus, että parallaksi muuttuu kohteessa suhteellisen tasaisesti. Tämä rajoitus huomioi, että parallaksi muuttuu hitaasti lähes kaikkialla kuvassa. Vastinpisteparien välinen ero parallaksissa voidaan kuvata absoluuttisena pikseleiden lukumääränä, tai parallaksin vaihtelua voi tutkia tietyllä välillä. Tällöin voidaan puhua parallaksi gradientista, eli kohteen parallaksi ei saa vaihdella kuin hyvin vähän, kun vastinpisteet ovat hyvin lähellä toisiaan. Toisaalta kohteen reunoissa, parallaksin tulee muuttua toiselta puolen tasaisesti ja toiselta puolelta enemmän. Kohteen pisteiden parallaksi ei myöskään saa olla liian pieni tai suuri. Tämä rajoitus periytyy oikeastaan ihmisen näköjärjestelmästä, koska ihminen ei pysty havaitsemaan kuin tietyn suuruisia parallakseja. Vastinpisteet ovat myös usein

31 samassa järjestyksessä sydänsuoralla molemmissa kuvissa. Tämä rajoitus ei kuitenkaan päde, jos kohteiden välillä on suuria etäisyyden vaihteluita (kuva 14). (Sonka et al. 1999) 25 A B C C B A C B A B A A B a b Kuva 14. Vastinpisteiden järjestys sekoittuu sydänsuoralla (kuva b), mikäli kohteiden etäisyydet vaihtelevat paljon (Sonka et al. 1999) Parittomat vastinpisteet voidaan lopuksi poistaa. Parittomuus voi johtua esimerkiksi peitosta, ylivalottumisesta tai kohinasta. Taulukossa 2 on esitetty yhteenveto kameroiden sijoittelusta. Taulukko 2. Yhteenveto kameroiden sijoittelun vaikutuksesta suorituskykymittoihin Kamerat samansuuntaiset ja lähellä (kuva 1a) Kamerat samansuuntaiset ja kaukana (kuva 1b) Kamerat kiertyneet ja leikkaavat (kuva 1c) Yhteinen kuvakulma suuri pieni suuri Syvyysresoluutio pieni suuri suuri Peitto-ongelmat pieni suuri suuri parallaksi pieni suuri suuri nopeus nopea hidas hidas Algoritmit Ainakin osaa kohdassa esitetyistä rajoituksista sovelletaan olemassa olevissa algoritmeissa. Algoritmit ovat tyypillisesti korrelaatioon tai piirteisiin perustuvia. Korrelaation perustuvat algoritmit ovat ns. alhaalta ylöspäin algoritmeja ja piirteisiin perustuvat ylhäältä alaspäin algoritmeja. (Sonka et al. 1999) Korrelaatioon perustuvat algoritmit olettavat, että vastinpisteiden intensiteetit molemmissa kuvissa ovat hyvin samansuuruisia. Tämä hyödyntää fotometrisen yhteensopivuuden rajoitusta. Yksittäisen pisteen intensiteetti ei vielä sisällä riittävästi informatiota, vaan yleensä käytetään valitun kokoista ikkunaa. (Sonka et al. 1999) Menetelmä perustuu siihen, että ikkunan pikseleille lasketaan yksi yhteinen parallaksi. Esimerkiksi vasen kuva jaetaan blokkeihin ja niitä verrataan oikeasta kuvasta löytyviin blokkeihin. Oikeasta kuvasta etsitään intensiteetin perusteella esimerkiksi pienimmän neliösumman menetelmällä vastinblokkeja. Mahdollisia mittoja ovat SSD (Sum of sum squared differences) (Okutomi & Kanade 1993; Um et al. 26) ja SAD (Sum of absolute differences)(kanbara & et.al. 2).

32 Korrelaatioon perustuvia algoritmeja on parannettu esimerkiksi sillä, että vastinblokkia etsitään ensin suppeammalta alueelta ja ikkunan kokoa säädetään sen mukaan miten yksityiskohtainen kuva on. Tämä voidaan tehdä myös adaptiivisesti, jolloin ikkunoiden kokoa muutetaan arvioitujen parallaksien mukaan (Um et al. 26). Piirteisiin perustuvat algoritmit hyödyntävät pisteitä, jotka ovat helppo löytää konenäön menetelmillä kuvasta. Yleensä nämä pisteet sijaitsevat esimerkiksi reunoilla, viivoilla ja kulmissa. Vastinpisteet paritetaan näiden avulla. Piirteisiin perustuvien algoritmien etuna verrattuna korrelaatioon perustuviin algoritmeihin on, että piirteisiin perustuvat algoritmit antavat yksikäsitteisempiä parallakseja, koska kuvasta tunnistettavat piirteet eroavat toisistaan helpommin kuin kuvasta satunnaisesti poimittu esim. 7x7 pikselin kokoinen ikkuna. Vastinpisteiden tunnistaminen riippuu vähemmän kuvan laadun alhaisen tason attribuuteista kuten kohinasta, eli piirteisiin perustuvat algoritmit sietävät paremmin fotometrista vaihtelua kuvassa. Parallaksit pystytään laskemaan paremmalla sisäisellä tarkkuudella: piirteet voidaan paikantaa kuvasta alipikselin tarkkuudella. (Sonka, Hlavac & Boyle 1999 s ) Parallakseja voidaan laskea kuvasta harvemmin kuin korrelaation perustuvissa algoritmeissa, eli ainoastaan kohdista, joissa piirteitä havaitaan (Gordon et al. 22). Kuva-analyysia voidaan nopeuttaa hakemalla vastinpisteitä vain tietyillä sijainneilla olevista ikkunoista. Tällöin kuitenkin stereokameraparin toiminta-alue suppenee, koska suurin sallittu parallaksi on ikkunan leveys. Ikkunan koko voi olla esimerkiksi 4 x 4 pikseliä (Hamette & Tröster 28). Yleisesti ikkunan koko on alle 1 % horisontaalisesta pikselimäärästä. Suurin mahdollinen parallaksi d max voidaan laskea kaavalla 23: fb d = < kh res P koko (23), max z jossa min f on polttoväli, B on kuvakanta, z min pienin etäisyys, k on ikkunan suhteellinen koko koko kennosta, jolla vastinpisteitä etsitään, H res on vaaka-suuntainen resoluutio ja P koko on yksittäisen pikselin koko. 3.8 Tarkkuuden mittoja Tarkkuus on hyvin yleisesti käytetty termi, ja sitä käytetään helposti liian laveasti arvioitaessa mittausten ja todellisten arvojen välistä eroa. Termit ulkoinen tarkkuus (eng. accuracy) ja sisäinen tarkkuus (eng. precision) tulee pitää erillään 3D-kuvausjärjestelmää arvioitaessa. Ulkoisella tarkkuudella tarkoitetaan mitatun ja oikean arvon läheisyyttä, kun taas sisäisellä tarkkuudella mittausten välistä läheisyyttä. Sisäinen tarkkuus riippuu satunnaisista virheistä, eikä liity mitatun arvon läheisyyteen oikeasta arvosta. Mittausten sisäinen tarkkuus ilmaistaan usein mittausten keskihajontana, eli pienempi sisäinen tarkkuus johtaa suurempiin keskihajontoihin. Mittausten lukumäärän kasvattaminen parantaa sisäistä tarkkuutta. (Cheok 26) 26

33 Stereokameroiden suorituskyvylle laskea syvyyskoordinaatteja ei ole määritetty tarkkoja standardeja. Optisesta mittauksesta saadun 3D-pistejoukon spatiaalista tarkkuutta voidaan arvioida keskimääräisen neliövirheen kaavalla 24 (Cheok 26): 27 jossa RMS = n i (( x x i + ( y y n + ( z z ref _ i ) i ref _ i ) i ref _ i ) ) (x i, y i, z i ) on 3D-kuvauslaitteella laskettu koordinaatti, (x ref_i, y ref_i, z ref_i ) on mitattu referenssikoordinaatti ja n on mittausten lukumäärä (24), Um & et. al (26) laskivat oikeiden ja väärien parallaksien välistä erotusta myös RMSE (Root Mean Squared Error) -virheen kaavalla 25: RMSE d = n i (( d ( x, y) d e n g ( x, y)) 2 RMSE-lukua käyttäen tutkittiin algoritmin tuottamien parallaksien tarkkuutta verrattuna sen nopeuteen. Vastaavasti syvyysmitoille voidaan laskea myös RMSE-virhe kaavalla 26: RMSE z = n i ( z i z n 2 ref _ i ) RMSE z on samankaltainen mitta kuin RMS-virheen z-suuntainen komponentti, mutta ei kasva virheiden takia niin nopeasti, sillä virhettä ei koroteta neliöön kuin kerran. Lisäksi Bansal et. al. (23) esittivät seuraavia mittoja arvioidessaan stereokameran tarkkuutta: 1. Keskimääräinen syvyys: saatujen syvyysmittojen keskiarvo tarkasteltavan alueen sisällä. 2. Mediaani syvyys: saatujen syvyysmittojen mediaani tarkasteltavan alueen sisällä 3. Mittojen keskihajonta: saatujen syvyysmittojen keskihajonta tietyn alueen sisällä 4. Syvyyden histogrammi: saatujen syvyysmittojen histogrammi 5. Saatujen syvyysmittojen prosenttiosuus: Prosenttiosuus, josta mittaukset on saatu tietyn alueen sisällä. Osa mittauksista saattaa hävitä vastinpisteparien puuttuessa. Tähän voi johtaa esimerkiksi riittävän tekstuurien puuttuminen. Stereokameroiden tapauksessa osa valmistajista (Point Grey Research Inc. 27; Tyzx n.d.; Videre Design 28) esittävät kuitenkin Z-suunnassa esitettävän tarkkuuden etäisyyden funktiona. Mittaustapaa tämän tarkkuuden määrittämiseksi ei kuitenkaan ole esitetty valmistajien (25) (26)

34 taholta, vaikkakin esimerkiksi Point Grey Research Inc. (24) ilmoittaa virheen laskentatavan kameroihin liitetyillä kertoimilla p ja m. Kerroin p liittyy kameran resoluutioon ja m liittyy vastinpisteiden paikantamiseen sekä kalibroinnin tarkkuuteen. Tällöin x- ja y -koordinaattien virherajat voidaan laskea suoraan resoluution liittyvästä kertoimesta ja z-koordinaatin virherajat voidaan laskea vastinpisteiden paikantamiseen liittyvästä kertoimesta kaavoilla 27-29: pz Δ x = f (27) pz Δ y = f (28) Δ z = fb fb d m (29) Tällöin virheeksi on ilmoitettu ±Δx, ±Δy, ±Δz. (Point Grey Research Inc. 24) 3.9 Muita optisen 3D-mittauksen tekniikoita (Sonka et al. 1999) Optiset 3D-mittausvälineet voidaan jakaa kahteen osaan, passiivisiin ja aktiivisiin mittausvälineisiin. Passiivissa mittausvälineissä 3D-koordinaatit määritetään ilman, että mittalaitteesta lähetetään ympäristöön signaaleja. Stereokamera on esimerkki passiivisesta mittauslaitteesta. Aktiiviset mittausvälineet perustuvat mittavälineen lähettämän signaalin muuttumiseen. Signaalin amplitudi, taajuus ja/tai vaihe muuttuvat riippuen kohteen etäisyydestä ja ominaisuuksista. Signaalit muodostavat pistejoukon 3D-pisteitä tietyssä koordinaatistossa. Jos pinta mitataan vain yhdestä suunnasta, niin tätä pistejoukosta muodostettua kuvaa kutsutaan syvyyskartaksi. Aktiivisissa optisissa mittalaitteissa, LIDAR (Light Detecting and Ranging), optisena signaalina käytetään usein esimerkiksi laseria, jolloin puhutaan LADAR (Laser Detecting and Ranging) tekniikasta. Sen etuna on hyvä mittaustarkkuus (luokkaa,1 mm). LADAR-tekniikan tarkkuus kuitenkin riippuu käytetystä laserin energiasta, jonka suuruutta rajoittaa silmän haavoittuvuus korkeaenergiselle laserille. Tämän takia sitä ei voida myöskään tarkentaa liian tarkaksi pieneen pisteeseen. Tekniikka on myös hyvin riippuvainen kohteen kohtauskulmasta ja heijastavasta materiaalista. Kameran ja laser-valon yhdistelmiä on strukturoidun valon kolmiomittaus. Tässä menetelmässä kohteesta heijastunut laser-valo havaitaan kameralla, jolloin etäisyys voidaan kolmiomitata kuvan 8 kaltaisesti. Tässä menetelmässä ei kuitenkaan ole kahta vastaanottavaa sensoria, kuten on stereokamerassa. Vain yksittäinen piste on valaistuneena enemmän kuin muut pisteet, jolloin vältytään vastinpisteiden löytämisen ongelmalta. Tällöin kuitenkin laser-valoa täytyy siirtää mekaanisesti useaan paikkaan mittausten välillä, jolloin sillä ei pystytä mittaamaan liikkuvia objekteja, kuten kävelevää ihmistä. Yksi mahdollisuus välttää laserin mekaaninen liikuttelu on kuvata eri tiheydellä muodostettujen raitapintojen läpi. Jokaisella raitapintojen läpi kulkeneelle laser-säteellä on oma koodi, joka koodataan erilaisilla spektrialisilla väreillä laseriin. Kamera tunnistaa laserin mukana kulkevan koodin ja osaa näin identifioida ne. 28

35 Pelkästään yhden kameran käyttöön perustuvia 3D-mittausmenetelmiä ovat kohteen määrittäminen sen liikkeestä, harmaatasoista ja varjoista sekä tarkennuksesta. Liikkeen avulla kohdetta voidaan kuvata monesta eri suunnasta ja etäisyydestä, jolloin näiden välisistä riippuvuuksista voidaan laskea kohteen muoto. Usein muutokset kuvien välillä ovat pieniä, jolloin samat kohteet pystytään melko helposti poimimaan kuvien välillä. Kohteen muodon määrittäminen sen varjoista on hyvin epävarmaa, johtuen valaistuksen muutoksista. Tarkennukseen perustuvat menetelmät hyödyntävät linssien syväterävyyden rajallisuutta. Tarkennukseen perustuvat menetelmät voidaan jakaa tarkkaan ja epätarkkaan kuvaan perustuviin menetelmiin. Tarkkaan kuvaan perustuvat menetelmät siirtävät tarkennusta servomoottorilla Z-suunnassa siten, että kuvan korkeat taajuudet toistuvat mahdollisimman hyvin. Kohteen etäisyys määritetään tarkennuksen paikasta optisella akselilla. Epätarkkaan kuvaan perustuvissa menetelmissä kuvataan kaksi kuvaa eri etäisyyksiltä. Suhteellinen etäisyys näiden pisteiden välillä voidaan laskea kun tiedetään pisteenleviämisfunktion suhde etäisyyteen. Tämäkin menetelmä, stereokuvauksen tapaan, on riippuvainen riittävästä kohteiden ja tekstuurin määrästä kuva-alalla. Kolmiomittauksen lisäksi stereokameroilla voidaan määrittää etäisyyksiä lähentymiskulman avulla. Siinä käännetään ns. stereopäitä toisiaan vasten siten, että vastinpisteet osuvat lähemmäksi toisiaan molemmissa sensoreissa. 29

36 3 4 STEREOKAMERAT LISÄTYSSÄ TODELLISUUDESSA 4.1 Yleistä Stereokuvausta ei ole kovinkaan laajasti käytetty päälle puettavissa kameroissa, varsinkaan lisätyn todellisuuden sovelluksissa. Esimerkiksi ARToolkit (Kato & Billinghurst 1999) käyttää pääosin hyväkseen vain yhtä kameraa. Se laskee etäisyyden ennalta tiedossa olevien markkereiden avulla. Sekä käyttäjä, että lisättävät graafiset elementit voidaan paikantaa markkereiden avulla, kun merkin koko tiedetään ennalta. Stereokamerat mahdollistavat periaatteessa täysin markkerittoman paikan määrityksen. Niitä käytetään myös yhdessä markkereiden kanssa, jolloin ne lisäävät syvyysinformaatiota ympäristöstä (Gordon et al. 22). Stereokameran käyttö mahdollistaa myös reaaliaikaisen käyttäjän eleiden havaitsemisen kolmiulotteisesti, esimerkiksi sormia ja käsiä pystytään seuraamaan stereokameralla (Gordon et al. 22). Lisättyyn todellisuuteen tarkoitetuille stereokameroille ei ole yleistä formaattia, vaan niille on tehty erikoistuneita laitteistoratkaisuja. Nämä ratkaisut huomioivat mm. kustannukset ja virrankulutuksen erikoistuneilla ASIC (application-specific integrated circuit) -piireillä (Gordon et al. 22), (Hamette & Tröster 28). Grafiikan piirtäminen käyttäjälle edellyttää tietoa käyttäjän näkemästä kuvasta. Tämän tiedon saaminen edellyttää vähintään käyttäjän ja käyttäjän pään seurantaa. Silmäliikekameralla voidaan seurata vielä käyttäjän silmiä. Kamerat ovat useissa lisätyn todellisuuden tutkimuksissa (Gordon & et al. 22; Kanbara & et.al. 2; Maeda & et.al. 24; Klein & Drummond 23) kiinnitetty katsojan päähän. Kanbara & et.al.(2) ja Maeda & et.al. (24) tutkimuksissa käyttäjän paikantaminen toteutettiin markkereiden avulla, ja stereokameroilla kuvattiin silmikkonäytölle esitettävä video lisättyjen graafisten elementtien kera. Näyttöjä, jotka esittävät todellisuuden videon välityksellä kutsutaan video see-through näytöiksi, ja läpinäkyviä silmikkonäyttöjä kutsutaan optical see-through näytöiksi. Maeda & et.al. (24) tutkimuksessa vielä tutkittiin kuinka hyvin elementit onnistuttiin piirtämään silmikkonäytölle. Virtuaalisten objektien tarkkaa sijoittamista todellisuuteen kutsutaan rekisteröinniksi. Stereokameroiden kuvaaman kuvan ja silmikkonäytöllä esitettävien objektien välillä on helposti epätoivuttua siirtymää, mikä johtuu kameroiden ja silmikkonäytön välisestä epätarkasta kalibroinnista sekä käyttäjän epätarkasta sijainnin laskemisesta. (Klein & Drummond 23) Kuvassa 15 on yksinkertaistettu tapa esittää päälle puettavan stereokameran toiminta. Etäisyyden arviointi voidaan saada toiselta käytössä olevalta käyttäjän paikantamiseen tarkoitetulta sensorilta. Tällöin vastinpisteitä voidaan etsiä sopivan kokoisella ikkunalla (Kanbara & et.al. 2).

37 31 Stereokamera Silmikkonäyttö Vasen kuva Oikea kuva Vasen kuva Oikea kuva Kamera parametrit Kuvien tasasuuntaaminen ja vääristymien kompensoiminen Tietokonegraafikalla luotujen kuvien lisääminen Vastinpisteiden löytäminen Koordinaattien laskeminen Kuva 15. Päälle puettavan stereokameran toiminta lisätyn todellisuuden sovelluksessa. Muokattu lähteestä (Kanbara & et.al. 2). 4.2 Markkereista Markkereiden esittely tutkimuksen kannalta on oleellista siinä mielessä, että stereokameroita käytetään lisätyn todellisuuden sovelluksissa usein markkereiden kanssa (Kanbara & et.al. 2; Maeda & et.al. 24)vaikkakin stereokamerat mahdollistavat kokonaan markkerittoman paikantamisen. Markkereita käytetään asioiden ja käyttäjän paikantamiseen, optiseen paikannukseen perustuvassa lisätyssä todellisuudessa. Markkerit voivat olla oikeastaan mitä tahansa, kunhan ne havaitaan mahdollisimman helposti ja toisaalta ne häiritsevät käyttäjän toimimista mahdollisimman vähän. Seuraavassa esitellään tyypillisiä markkereita ja niiden ominaisuuksia. Markkerit ovat tyypillisesti binäärisiä painettuja koodeja, jolloin signaalia ei tarvitse linearisoida (ei siis yritetä tunnistaa harmaan sävyjä). ARToolkitin markkerin tunnistaminen perustuu tumman neliön tunnistamiseen, josta lasketaan koko ja orientaatio. Kaikki neliön kulmat tulee huomioida orientaatiota laskettaessa ja näin esimerkiksi Fialan (24) mukaan Datamatrix-koodi ei sovellu paikannukseen käytettäväksi merkiksi, koska koodi paikannetaan vain kolmen kulman mukaan. ARToolkit perustuu korreloivaan algoritmiin, eli tietokannassa on ensin kuvattuna kaikki merkit, joista sitten valitaan eniten korreloiva merkki. Tämän menetelmän hyvänä puolena on se, että merkit tunnistetaan melko hyvin, mutta toisaalta merkkien lisääntyessä tunnistaminen vaikeutuu. Tästä kehittyneempi versio on ARTag, joka muistuttaa enemmän Datamatrix-koodia. Siinä koodi luetaan binääristi ja tästä muodostuvan lukusarjan perusteella tunnistetaan koodi. Tämän menetelmän hyvänä puolena on lisääntynyt informaatiokapasiteetti, mutta toisaalta ARTag-koodit ovat vaikeammin tunnistettavissa kuin ARToolkitin koodit epätarkasta kuvasta. (Fiala 24) Erilaisia markkereita on esitetty kuvassa 16.

38 32 Kuva 16. Ylärivissä on informaation koodaukseen tarkoitettuja koodeja. Intersense on paikan määrittämiseen tarkoitettu koodi. Alarivissä on käyttäjän ja objektien paikantamiseen tarkoitettuja markkereita lisätyn todellisuuden sovelluksissa. (Fiala 24) ARToolkitin markkerin ja siitä edelleen kehitetyn ARTagin ominaisuuksia on tutkittu sillä, että kuinka monta pikseliä kuvakennolta tarvitaan markkerien tunnistamiseksi. Esimerkiksi ARTagin tunnistamiseksi on laskettu pikselimääriä väliltä 13-2 riippuen valaistuksesta. (Fiala 24) Tutkimuksessa ei kuitenkaan kiinnitetty huomiota pikselien kokoon tai kameran muihin ominaisuuksiin. Pikselimäärä määrittää vain kameran näytteenottotaajuuden. Erottelutarkkuuteen vaikuttaa myös optiikan piirtotarkkuus sekä kuvaprosessointi. Pienempi kennoisten kameroiden pikselit ovat keskimäärin pienempiä kuin suurempi kennoisten ja näin pienempi kennoisten pikselien markkerin tunnistamiseen tarvittava pikselien lukumäärä voi olla suurempi esimerkiksi kohinan kasvaessa. Kameroiden tarvittavaa resoluutiota markkerien tunnistamiseksi ei ole määritetty riittävällä tarkkuudella ARToolkitissa, jotta voitaisiin helposti päätellä kuinka suuria markkereita tarvitaan sovelluksesta riippuen. Standardin mukainen määritys voisi perustua esimerkiksi resoluution määrittämiseen tarkoitettuun IS standardiin (International Organization for Standardization 2). Laskemalla kameran toistamat linja-parit kennon millimetrillä tietyllä modulaation tasolla, voitaisiin kameran polttovälin avulla laskea kulmaerottelukyky. Tällöin voitaisiin määrittää minkä kokoisia markkerien tulisi tietyllä etäisyydellä olla, jotta kamera vielä pystyisi ne määrittämään.

39 Stereokameroita käytettäessä markkereiden kanssa esiintyvät peittävyysongelmat voidaan ratkaista. Lisätyn todellisuuden sovelluksissa koordinaattien laskemista voidaan rajoittaa vain tiettyyn alueeseen, johon halutaan lisätä graafisia elementtejä. Tällöin tarvittava alue voidaan tunnistaa markkereilla, jolloin kohteen etupuolella olevasta alueesta lasketaan syvyyksiä. Tällöin pystytään havaitsemaan mahdollisia peittävyyksiä, eli todelliset objektit näkyvät todella paikalle piirretyn graafisen elementin edessä. Ongelmana tässä menetelmässä on, että vähintään kolme markkeria täytyy olla samanaikaisesti näkyvissä. (Kanbara & et.al. 2) Optisten markkereiden huonona puolena on ollut heikko suorituskyky heikossa ja vaihtelevassa valaistuksessa. Infrapunavaloa emittoivien lamppujen käyttämistä markkereina on esitetty vaihtoehtona. Menetelmän etuna on myös markkerien huomaamattomuus, koska ihminen ei näe infrapunavaloa. (Maeda & et.al. 24) 4.3 Esimerkkejä päälle puettavista stereokameroista Kaupallisia päälle puettavia stereokameroita ei ole tarjolla tämän tutkimuksen puitteissa tehdyn selvityksen perusteella. Päälle puettavia kameroita löytyi lähinnä urheiluun liittyvästä kuvauksesta, jossa käyttäjä ei pysty käyttämään käsiään ottaakseen kuvia (Cameras4Sports 28). Myös päivän tapahtumat tallentavasta kamerasta löytyi esimerkki (Microsoft 27). Tämän kameran puettavuus oli toteutettu kaulaan ripustettavalla kortilla. Stereokameravalmistajia löytyi muutamia ja kuvassa on Point Grey inc. yrityksen valmistama Bumblebee2 stereokamera (kuva 17). Bumblebee on valmiiksi kalibroitu stereokamera, mitä ei ole suunniteltu päälle puettavaksi. Se voitaisiin periaatteessa ripustaa käyttäjän kaulaan. (Point Grey Research Inc. 27) 33 Kuva 17. Bumblebee2 (Point Grey Research Inc. 27) Hamette & Tröster (28) esittivät tutkimuksessaan päälle puettavan Fingermousestereokameran. Se oli hyvin pienikokoinen ja kameroiden välinen etäisyys oli vain parin sentin luokkaa. Tämän sijoittelun etuna oli kameroiden suuri yhteinen näkökenttä, ja laskennan nopeus. Fingermousea (kuva 18) voidaan käyttää erityisesti käsien liikkeiden tunnistamiseen, mikä mahdollistaa esimerkiksi eleillä toimivan käyttöliittymän HCI (Human Computer Interaction)-sovelluksissa. Kameroiden lähekkäinen asettelu aiheuttaa sen, että on vaikeaa tunnistaa kohteita kaukaa, mutta lähellä olevan kohteen erottaminen kauempana olevasta taustasta onnistuu hyvin. (Hamette & Tröster 28)

40 Tycx (n.d.) valmistaa myös Fingermousen tapaan lyhyellä kuvakannalla varustettua Deepseastereokameraa, mutta sitäkään ei ole varsinaisesti suunniteltu päälle puettaviksi. Gordon et al. (22) käyttivät Deepsea-kameraa eleiden tunnistamiseen lisätyn todellisuuden sovelluksessa. 34 Kuva 18. Fingermouse-stereokamera käyttäjän käsien tunnistamiseen (Hamette & Tröster 28) Kanbara et. al. (21) tekivät stereokameran kahdesta Toshiba IK-UM42-kamerasta ja käyttivät kuvakantana ihmisen silmien väliä (kuva 19). Kameraparin välittämää kuvaa ja siihen lisättyjä elementtejä näytettiin video see-through -silmikkönäytöllä. Kameroiden optinen akseli oli suunnattu samaan suuntaan kuin käyttäjän katse. Kuva 19. Esimerkki päälle puettavasta stereokamerasta ja näyttölaitteesta ARsovellusta varten (Kanbara & et.al. 2)

41 4.4 Kameramoduulien ominaisuuksia 35 Kameramoduuleilla tarkoitetaan tässä diplomityössä koteloimattomia, piirilevylle rakennettuja kameroita, joita voidaan ohjata tietokoneella. Näistä moduuleista pystytään rakentamaan keveitä päälle puettavia kamerasysteemejä. Taulukossa 3 on esitetty Videology:n (28) ja Point Greyn (28) kameroiden eroavia ominaisuuksia. Valmistajat ilmoittavat ominaisuuksia eritavoin, jolloin osa ominaisuuksista on päätelty itse. Molemmissa kameroissa valotus, signaalin vahvistus ja gamma-kerroin pystytään säätämään manuaalisesti. Molempiin kameroihin on saatavilla CS/C ja M12-kannat optiikalle. Lisäksi molempien kameroiden kuvasignaalin luku on ns. progressiivista, eli koko kuvan signaali luetaan kerralla. Signaalin lukeminen voisi olla lomitettua, jolloin signaalia luetaan parillisilta ja parittomilta riveiltä vuorotellen. Tämä voi kuitenkin aiheuttaa ongelmia nopeassa liikkeessä, jossa kohde on siirtynyt rivien välillä. Tämä siirtymä aiheuttaa ongelmia vastinpisteiden etsimisille ja parallaksin laskemiselle. Taulukko 3. Kahden valmistajan kameramoduulit vertailussa Kameran malli ja valmistaja Videology inc, 24B1.3XUSB-C Point Grey inc., Dragonfly 2 Sensori CMOS ½ (6,8 x 5,4 mm) CCD 1/3 (n.4,8 x n.3,6 mm) Resoluutiot ja niitä vastaavat päivitystaajuudet 128 x 124@25 fps 64 x 48@3 fps 1296 x 2fps 132 x 3 fps 648 x 8 fps Suljin ja suljinaika Globaali,,5s -1/5s 5s 1/ s Liityntä USB 2. IEEE 1394a, Firewire Dynaaminen alue 68 db ei ilmoitettu Signaali-kohina -suhde ei ilmoitettu > 6 db Jännite ja Teho 5V, <, 6W 8-32 V, 2,5W@12V Hinta n. 2 (2.6.28) n. 5 ( ) Taulukossa 3 esitetyt kameramoduulit ovat melko pieniä, joten niitä voitaisiin käyttää päälle puettavassa laitteistossa. Stereokameran massaksi tulisi molemmilla kameratyypillä alle grammaa M12-kierteen linsseillä. Päälle puettavissa kameroissa tulisi suosia M12 kierteen

42 36 linssejä (massa n.2g/kpl), koska ne ovat kevyempiä ja pienempiä kuin C/CS-kannan linssit (massa n.5 g/kpl). Videology käyttää kamerassaan CMOS (Complementary Metal Oxide Semiconductor) sensoritekniikkaa ja Point Grey CCD (Charge-Coupled Device) sensoritekniikkaa. Molemmat ovat yleisesti käytettyjä tekniikoita digitaalisessa valokuvauksessa. Molempien sensoritekniikoiden kehitys on hyvin nopeaa, eikä tässä vertailussa esitettyjen kameroiden sensorit todennäköisesti ole samalta ajankohdalta. Molemmat sensorit tekevät saman perusoperaation eli muuntavat puolijohteelle saapuvat fotonit sähkövarauksiksi ja tästä edelleen jännitteeksi. CMOS -sensoreissa on pikselikohtaisia transistoreita, joiden avulla varaus muunnetaan pikselissä jännitteeksi. CCD-kennoilla sähkövaraus siirretään riveittäin uloslukuun, jossa se muunnetaan jännitteeksi. (Litwiller 25). CMOS-sensorit mahdollistavat osittaisen kuvanlukemisen (eng. partial scan) (Litwiller 25). Tätä ominaisuutta voitaisiin hyödyntää stereokameroissa siten, että vain yhteisellä kuvakulmalla olevat alueet luettaisiin kennolta. CMOS sensorit mahdollistavat nopeamman päivitystaajuuden (Litwiller 25), mutta esimerkkikameroiden tapauksessa CCD-kennolla varustetun kameran päivitystaajuus on alhaisella resoluutiolla huomattavasti nopeampi. Korkea päivitystaajuus on lisätyn todellisuuden kannalta tärkeä ominaisuus, jotta kokonaissysteemin viive saadaan mahdollisimman pieneksi. Riittävä päivitystaajuus on liikkuvassa kamerasysteemissä huomattavan tärkeä ominaisuus. Esimerkiksi käyttäjän paikan ja asennon määrittämiseen voidaan käyttää 5 Hz:n taajuutta (Klein & Drummond 23). Molempien kameroiden sulkimet ovat ns. globaaleja sulkimia, eli ne ovat joko kokonaan kiinni tai kokonaan auki. Toinen vaihtoehto CMOS-kameroille on toteuttaa valotus ns. pyörivällä sulkimella, jolloin varaus integroituu rivi kerrallaan. Pyörivää suljinta käytetään yleisesti web- ja kännykkäkameroissa, mutta nopeassa liikkeessä niiden kuvaamat pystysuorat pinnat saattavat kaareutua. (Dalsa 25) Kameramoduulit eroavat myös ulostulosignaalin osalta. USB 2.:n teoreettinen maksiminopeus on noin 48 Mbit/s (Kangas 22) ja Videologyn kameramoduulin tuottama bittivirta suurimmillaan 128 x 124 x 8 bit x 25 (1/s) = 262,1 Mbit/s. Testeissä kuitenkin huomattiin, että kahden Videology:n kameramoduulin kytkeminen tietokoneeseen USB-portin kautta aiheutti päivitystaajuuden putoamisen jopa alle 1 kehykseen sekunnissa. Toinen varteenotettava kameroiden liityntävaihtoehto on IEEE 1394 Firewire. Sitä on käytetty yleisesti lisätyn todellisuuden sovelluksissa Point Grey Inch:in tuotteen Dragonfly 2:n kanssa (Maeda et al. 24). IEEE1394 liitynnän nopeus on riippuen versiosta välillä 4-32 Mbit/s (Kangas 22). Firewire IEEE 1394a-liitynnän nopeus Dragonfly 2-kameralle on 4 Mbit/s (Point Grey Research Inc. 28). Monet muut kytkentätavat, vastoin kuin USB ja Firewire, vaativat erillisen videon kaappauskortin asentamista tietokoneeseen. Esimerkiksi analogisen PAL- tai NTSC-signaalin tallentaminen vaatii videon kaappauskortilta signaalin dekoodamista ja digitalisointia. Smart camera on kamera, jossa kaikki kuvalle tehtävä käsittely ja analysointi tehdään ilman erillistä laitetta. Tällöin kuitenkin kameran paino kasvaa melkoisesti ja täten se, ei välttämättä sovellu puettavaksi käyttäjän päälle.

43 Dynaamisella alueella tarkoitetaan karkeasti ottaen kameran kykyä toistaa samalla valaistuksella sekä vaaleita, että tummia kohteita, ilman että kuva yli- tai alivalottuu. Se voidaan määritellä suurimman ja pienimmän luminanssin suhteena, jotka kamera pystyy vielä tallentamaan. (Kerr 26) Tässä tapauksessa ainoastaan Videology:n tuotteelle oli määritetty dynaaminen alue, ja vastaavasti ainoastaan Point Grey ilmoittaa signaali-kohina suhteen (SNR, Signal to Noise -Ratio) Mittaustavasta ei ollut mainintaa, eli ei voida tietää perustuvatko luvut ISO standardiin (International Organization for Standardization 23). Videology:n kamera myös kuluttaa vähemmän virtaa ja toimii alhaisemmalla jännitteellä kuin Dragonfly 2. Syy tähän lienee se, että CMOS-sensorit kuluttavat usein vähemmän virtaa kuin CCD-sensorit (Litwiller 25). Kameroiden hintatiedot ovat suuntaa-antavia. Taulukossa esitetyn kameran hinnan päälle tulee vielä kustannuksia liittimistä ja tietokoneelle asennettavasta kehitysympäristöstä. Myynnissä olevat stereokamerat ovat melko kalliita. Point Grey:n stereokamera (ks. kohta 4.3) maksoi n. (hinta kysytty kesäkuussa 28). 37

44 38 5 TUTKIMUSMENETELMÄT 5.1 Yleistä Kokeellinen osio rakentui iteratiivisesti useamman esitestin perusteella. Esimerkki esitestistä on liitteessä 5 esitetty Hokyo URG-4LX laser-keilaimen kokeilu (Acroname 28). Havaittiin kuitenkin, että laser-keilaimen tarkkuus (noin 1 %) etäisyydestä ei ollut riittävä, jolloin päädyttiin mittanauhan käyttämiseen todellisten etäisyysmittojen tuottamiseksi. Kokeellisen osan raportointi on kaksiosainen. Ensimmäisessä osassa esitellään rakennettua testimenetelmää ja toisessa osassa tätä menetelmää käytetään polttovälin ja kuvakannan vaikutusten arviointiin stereokamerajärjestelmälle. Näiden muuttujien vaikutus tiedetään teoriassa, mutta näiden vaikutusta stereokameran tarkkuuteen tutkitaan käytännössä. Ensin tavoitteena oli selvittää kaikkien (x,y,z)-koordinaattien määrittämisen tarkkuus, mutta tästä luovuttiin, koska mittausympäristöä ei saatu riittävän tarkaksi x- ja y-koordinaattien määrittämistä varten. Tämä johtui siitä, että kameroita ja testitaulua ei saatu aivan kohtisuoraksi toisiaan vasten, jolloin kameroita ei onnistuttu kohdentamaan samaan paikkaan kuva-alalla x- ja y-suunnassa eri etäisyyksillä. 5.2 Testitaulu Kirjallisuudessa ei ole esitetty sopivaa testitaulua passiivisen 3D-mittalaitteen tarkkuuden määrittämiseen. Keskustelua testitaulusta on käyty aktiivisten optisten 3D-mittalaitteiden tarkkuuden testaamisessa. Tälle testitaululle määriteltiin (Cheok 26) kooksi vähintään 5 mm x 5 mm ja keskelle mitattavaksi alueeksi 25 mm kokoinen alue. Tämän testitaulun suunnittelussa keskityttiin kuitenkin enemmän pinta-materiaalien heijastavuuteen, mitkä vaikuttavat enemmän laseriin perustuviin 3D-mittauksiin. Tämän diplomityön teoriaosuudesta johdettiin seuraavat vaatimukset suunniteltavalle testitaululle: Kaikkien mittapisteiden tulee näkyä molemmille kameroille, jotta vältytään peittävyysongelmilta. Kameraparin molemmilla puolilla tulee olla mitattavia kohteita, jotta epätoivottua siirtymistä tai epätarkkaa sijaintien määrittämistä kalibroinnin yhteydessä Z-suunnassa pystyttäisiin arvioimaan (ks. kohta 3.5) Kameroiden liikkuminen tai kiertyminen täytyy pystyä havaitsemaan mittauksista, jolloin testikentässä täytyy olla kiinteitä kohdistuspisteitä. Mahdollisuus päästä alipikselitarkkuuteen Riittävän suurikokoinen testitaulu, jotta siitä saataisiin riittävän monta mittausta, jolloin mittausten sisäistä tarkkuutta voidaan arvioida. Liikuteltava ja modulaarinen testitaulu, jota voi myöhemmin hyödyntää myös esimerkiksi ulko-olosuhteissa.

45 Näiden vaatimusten perusteella valmistettu testitaulu on esitetty kuvassa 2. Testitaulu valmistettiin kiinnittämällä eri paksuisia 8 mm x 8 mm tasoja 5 mm x 5 mm alumiinilevyyn. Näiden tasojen päälle liimattiin 2 x 2 shakkikuvio, mistä poimittiin mittapisteitä etsimällä kuvasta shakkiruutujen kulmia Calibration Toolboxista (Bouget 28) löytyvällä funktiolla. Kalibroinnissa mittapisteet valitaan usein interpoloimalla suoria ruudukkoon, jolloin päästään alipikselien tarkkuuteen (Zhang 1999) Mittapisteiden valinnassakin hyödynnettiin tätä interpolointia. 39 Kuva 2. Testitaulu sisälsi kahdeksan erikorkuista tasoa (1-8). Taso 9 muodosti taulun nollatason, jolla sijaitsi kameroiden kohdistuspisteet A,B ja C. Erikorkuiset tasot (numerot 1-8) muodostettiin Lego-palikoilla, jolloin niitä pystytään tarvittaessa muokkaamaan. Mitä tarkempi stereokamerapari, sitä pienempiä eroja voidaan erottaa tasojen välillä. Yhden kameran etäisyys ja suuntaus voidaan laskea keskellä olevasta 6 x 7 shakkikuviosta (numero 9) Matlabin Calibration Toolboxin avulla. Tämä on testitaulun nollataso. Tähän kohtaan taulua voitaisiin kiinnittää mikä tahansa AR-markkeri, jolloin pystyttäisiin arvioimaan esimerkiksi ARToolkitin paikannuksen tarkkuutta. Ensimmäisellä iteraatiokierroksella valmistettiin 1 erikorkuista tasoa (1 47 mm) sisältävä taulu, mutta havaittiin että suurilla etäisyyksillä tutkitut kamerat eivät pystyneet erottelemaan tasoja toisistaan, jolloin stereokameran syvyysresoluutiota ei pystytty arvioimaan. Valitut tasojen korkeudet perustuivat ihmisen syvyysresoluutioon (ks. kohta 3.6). Etäisyyden ollessa,7 5,8 m ihmisen syvyysresoluutio on noin 1 47 mm. Teoriassa tämän testitaulun avulla pystytään analysoimaan stereokameran syvyysresoluution riittävyyttä, eli pystyykö stereokamera erottamaan ihmisen syvyysresoluutiota vastaavan syvyyseron oikein. Käytäntö kuitenkin osoitti, että erot eivät olleet riittävän suuria pitkille etäisyyksille sillä testeissä käytetty kamera

46 (esitelty kohdissa 4.4 ja 5.4) ei pystynyt erottelemaan paloja nollatasosta varsin lyhyilläkään noin 3 m etäisyyksillä. Kyseistä asetelmaa voi kuitenkin soveltaa tarkemmille stereokameroille. Toisella iteraatiokierroksella tasojen korkeuksiksi valittiin numerojärjestyksessä esitettynä 26,, 93, 75, 54, 35, 17 ja 6 mm. Uudet tasojen korkeudet valittiin siten, että käytetty stereokamera erottaisi ainakin osan tasoista toisistaan. Tasojen korkeudet mitattiin viivoittimella nollatasosta. Käytetyn viivoittimen mittaustarkkuudeksi arvioitiin ± 1 mm. Testikentässä oli keskellä kohdistuspisteet (A, B, C) kameraparin keskipisteille. Tällöin voitiin varmistua siitä, että kamerat olivat samansuuntaisesti asennettu testitaulun kanssa mittaamalla molempien kameroiden etäisyys testitauluun niitä vastaaviin kohdennuspisteisiin. Näiden kohdennuspisteiden avulla varmistuttiin siitä, että kamerat olivat oikealla korkeudella ja oikealla etäisyydellä toisistaan. Tämän lisäksi varmistuttiin siitä, että kuvattavia kohteita oli testikentän molemmilla puolilla. Kuvassa 21 on esimerkki kuinka koordinaatistot sijaitsivat mittausympäristössä. 4 x w Edellisten mittojen lisäksi testitaulu mahdollistaa syvyysresoluution määrittämisen. Testitaulua käyttämällä voidaan laskea pienin mahdollinen syvyysero, jonka kamera pystyy määrittäz w yw z L z R x L x R y L y R Kuva 21. Kamera- ja maailmakoordinaatistot 5.3 Valitut tarkkuuden mitat Testitaulua käyttämällä on mahdollista määrittää kohdassa 3.8 esitetyistä mitoista RMSE z - virhe (kaava 26), keskimääräinen syvyys, mediaani syvyys, syvyyksien keskihajonta ja syvyyden histogrammi. Näistä mitoista valittiin RMSE z -virhe, keskimääräinen syvyys ja syvyyksien keskihajonta. Virhe laskettiin vain syvyydelle, koska testiympäristön x- ja y-koordinaatteja ei pystytty tarkasti määrittämään. Aluksi oli tarkoitus käyttää RMS-virhettä (kaava 24), mutta sen arvo kasvoi etenkin epätarkoissa mittauksissa todella suureksi, jolloin tulosten keskinäinen vertailu oli vaikeaa. Keskimääräinen syvyys lasketaan tasoille siten, että jokaisessa 2 x 2 ruudukossa on yhdeksän kulmaa, joista lasketaan tasolle keskiarvoinen syvyys ja sen keskihajonta.

47 mään (syvyysresoluutio). Testitaulun etäisyys määritetään taulun keskellä olevasta nollatasosta (kohta 9), mikä samalla määrittelee stereokameran ulkoisen tarkkuuden. Syvyysresoluutiota voidaan arvioida tauluun kiinnitettävistä tasoista. Voi olla mahdollista, että vaikka testitaulun nollataso arvioitaisiin yli senttimetrinkin väärään paikkaan, niin silti kamerasysteemi pystyy erottamaan tältä etäisyydeltä alle 1 cm syvyyksiä. Etuna tässä erikorkuisten tasojen käytössä on, että mittaukset eivät ole niin riippuvaisia tarkasta kuvausetäisyyden määrittämisestä. Eli kun mittaukset tasataan testitaulun pohjalle, eli käytetään tasattuja etäisyyksiä, niin silloin ei ole juuri enää väliä onko kuvausetäisyys 2, m vai 1,99 m. Toisena etuna eri syvyyksiä sisältävässä testitaulussa on, että sen avulla voidaan arvioida suhteellisia etäisyyksiä. Kuten kohdassa 2.2 on esitetty, ihmisen stereonäköön perustuva syvyysresoluutio on määritetty suhteellisille etäisyyksille. Tässä tutkimuksessa käytetty mitta syvyysresoluutiolle määritettiin suurimman virheellisen luokituksen perusteella (kuva 22). Mittana käytettiin väärinluokiteltujen tasojen todellisten arvojen erotusta. Voidaan siis sanoa, että todellisten arvojen välistä erotusta ei ole pystytty erottelemaan oikein. Taulun pienin erotus oli käytetyllä testitaululla tasojen 8 ja 9 välillä (6 mm) ja suurin erotus tasojen 1 ja 9 välillä (26 mm). Kuvan 22 tapauksessa syvyysresoluution arvoksi määritettäisiin testitaulun kohdan 2 ja 3 välinen mitattujen tasojen välinen etäisyys. Siinä tasot ovat väärin luokitettu suurimmalla virheellä, jonka suuruus on mm 93 mm = 57 mm. Vastaavaa tapa syvyysresoluution määrittämiseksi ei löytynyt kirjallisuudesta tutkimuksen puitteissa tehdyssä selvityksessä. 41 syvyys- resoluutio Kuva 22. Esimerkki syvyysresoluution määrittämisestä ja huonosti kalibroidusta tai liikkuneesta kamerasysteemistä Kuvassa 22 on esitetty mittausesimerkki huonosti kalibroidusta tai liikkuneesta kamerasysteemistä. Kuvasta näkee kuinka stereokamera on määrittänyt etäisyyksiä 3 metrin päästä testi-

48 taulun kohdan funktiona. Kuvaajassa nollatasoksi on valittu testitaulun pohja, jolloin nollatason yläpuolella olevat kohteet ovat lähempänä kameraa. Tähdellä merkitty kuvaaja näyttää todellisen mitatun etäisyyden testitaulun pohjalta. Kolmiolla merkitty käyrä kuvaa absoluuttisina arvoina mitattuja etäisyyksiä. Tässä tapauksessa stereokamera on paikantanut testitaulun noin 7-2 mm todellista kauemmaksi riippuen testitaulun kohdasta. Neliöllä on kuvattu tasattuja etäisyyksiä testitaulun pohjasta. Kuvaajasta huomaa selkeän sahalaitaisuuden, eli tasoista numerot 1, 3, 5, 8 ovat laskettu olevan lähemmäksi kameraa kuin todelliset arvot ja tasot 2, 4 ja 6 ovat laskettu kauemmaksi kuin todelliset arvot. Tästä voidaan havaita, että oikea kamera on liikkunut tai kalibroitu lähemmäksi testitaulua kuin se todellisuudessa on (ks. kuva 12). 5.4 Kamerasysteemi Testikentän käyttöä tutkittiin kamerasysteemillä, joka koostui kahdesta Videology:n 24B1.3XUSB-C moduulista (ks. kohta 4.4) (Videology inc. 28). Kamerat kiinnitettiin 25 cm x 3,5 cm x 1 cm muovilevyyn pienillä pulteilla. Muovilevyyn tehtiin kuusi kiinnityskohtaa siten, että kameroiden välistä kuvakantaa pystyttiin muuttamaan. Eri optiikoiden vaihtaminen onnistui käsin kiertämällä ja tarkennuksen lukitseminen pienillä ruuveilla. Piirustukset kameratelineestä ja kamerasta on esitetty liitteessä 2. Valotusaika ja signaalin vahvistustaso pidettiin vakiona. Valotusaika oli 1/5 s ja signaalin vahvistus oli 44 yksikköä 256-portaisella asteikolla. Kameroita ohjattiin tietokoneella USBliitynnän kautta, ja kuvat kaapattiin pakkaamattomina bmp-tiedostoina TWAIN-rajapinnan avulla. 5.5 Testiympäristö Testiympäristö on esitetty kuvassa 23 ylhäältä päin. Kuvassa 24 on valokuva testiympäristöstä. Stereokamera sijoitettiin kohtisuorasti testitaulua vastaan. Valaistusvoimakkuus oli lx ja se muodostettiin kahdella D65 loisteputkella. Tasainen valaistus helpottaa vastinpisteiden löytämistä ja takaa tasaiset testiolosuhteet. Valaistus pidettiin tasaisena, vaikkakin vastinpisteiden löytämiseen tarkoitetun algoritmin suorituskykyä voitaisiin arvioida muuttamalla valaistusta epätasaiseksi tai vähentämällä sitä. Todellisuudessa lx on paljon verrattuna normaaliin sisävalaistukseen. Esimerkiksi yleisten oleskelutilojen valaistusvoimakkuus on 2 lx (Suomen valoteknillinen seura 1986). Tässä tapauksessa valaistuksen vaikutus testeihin haluttiin minimoida. Stereokameraa liikutettiin kiskoja pitkin ja etäisyydet mitataan samasta kohtaa liikuteltavasta kameratelineestä. Kiskon pituus oli kaksi metriä, joten myös kiskoja täytyi siirtää pidempien etäisyyksien saavuttamiseksi. Kameratelineeseen kiinnitettyjen kameroiden optiset keskipisteet olivat eri kohdissa riippuen polttovälistä, jolloin etäisyys kamerakoordinaatistossa vaihteli vaikka kisko oli samassa paikassa. Nämä erot etäisyydessä voitiin kompensoida kun kameroiden mitat olivat tiedossa. Absoluuttiset etäisyydet mitattiin kamerakoordinaatistossa, jolloin mitatusta etäisyydestä vähennettiin optisen keskipisteen etäisyys kameran kennolta. Yksinkertaistetussa neulanreikämallissa optinen keskipiste sijaitsee polttovälin päässä kennolta, mutta 42

49 todellisuudessa linssisysteemien keskipisteet poikkeavat tästä. Optisen keskipisteen määrittäminen kennolta onnistuu esimerkiksi panoraamakuvauksesta tutulla metodilla, jossa kaksi kuvattavaa kohdetta pysyy toistensa päällä vaikka kamera liikkuu y-akselin suhteen. Tällöin optisen keskipisteen etäisyys on etäisyys pyörimisakseliin (Kerr 28). 43 Kuvakulma valonlähde Määritetttävä etäisyys Ikkuna jolla vastinpisteitä haetaan (alle 1% resoluutiosta) Kanta (optisten keskipisteiden välinen etäi- Pienin mahdollinen etäisyys Kulma jossa pienin etäisyys kohdataan. Pienempi kulma on nopeuden kannalta parempi. valonlähde Horopteri, eli alue jolla stereokamera toimii Testikenttä Kuva 23. Testiympäristö Kuva 24. Kamerasysteemiä ohjattiin tietokoneella ja testitaulu valaistiin loisteputkilampuilla.

50 5.6 Stereokameran kalibrointi 44 Stereokameran kalibrointi suoritettiin fotogrammetrisesti tunnetun objektin avulla. Objektina oli mustavalkoinen shakkiruudukko. Molemmilla kameroilla otettiin shakkiruudukon samasta asennosta kuva. Tämän jälkeen ruudukon asentoa vaihdettiin. Ruutujen koko oli 3mm x 3 mm ja mitä suurempi ruudukko, sitä tarkemmin kamerat voidaan kalibroida (Wei & Cooperstock 25). Ensimmäisellä iteraatiokierroksella kamera kalibroitiin 21 cm x 31 cm -kokoisella ruudukolla, jonka jälkeen kalibrointikenttänä oli 3 cm x 42 cm kokoinen ruudukko. Tämänkään ei vielä koettu antavan riittävän tarkkoja tuloksia, joten lopulta päädyttiin 8 cm x cm kokoiseen ruudukkoon, jossa oli 22 x 31 shakkiruudukko. Zhangin (1999) mukaan kuvia tulee ottaa vähintään viisi, koska tällöin kalibroinnin virhe laskee huomattavasti. Lisäksi ruudukon tulee olla noin 45 asteen kulmassa kameraan nähden, sillä tällöin kalibrointi on tarkimmillaan. (Zhang 1999). Zhang totesi myös, että ruutujen pienentyminen suurella kulmalla voi aiheuttaa ongelmia. Tämä osoittautuikin testeissä ongelmaksi varsinkin laajan kuvakulman linssejä käytettäessä. Esitesteissä huomattiin, että ennen testejä kamera tulee asettaa manuaaliselle tarkennukselle, koska linssisysteemin muuttuminen tarkennuksessa vaikuttaa linssivääristymiin. Kun kuvapareja kalibrointikentästä on vähintään yksi, niin kamerat voidaan kalibroida Matlabin Camera Calibration Toolboxilla (Bouget 28). Myös muita kameroiden kalibrointiin tarkoitettuja ohjelmia on (Heikkilä 2), mutta valitulla ohjelmalla olivat ainakin seuraavat edut. Ohjelmassa kalibroitaville parametreille oli ilmoitettu virherajat ja niiden suuruudet ovat siis noin kolme kertaa keskihajonta. Keskihajonnan monikerta on hyvä tapa ilmoittaa virhe optisissa 3D-mittausjärjestelmissä (Cheok 26). Näistä keskihajonnoista laskettiin keskiarvon keskivirheet kaavalla 16, niin että otosmääräksi n valittiin kalibroinnissa käytetyiden kuvien lukumäärää (n=16). Kalibroinnista johtuneet virherajat mittapisteiden sijainneille laskettiin kaavan 21 mukaan. Myös stereokameran kalibrointi oli mahdollista. Se on laajasti käytössä akateemisessa tutkimuksessa (Bansal & et.al. 25) Kalibrointi suoritettiin lähteestä (Bouget 28) löytyvän ohjeistuksen avulla. Ensin kalibroitiin yksittäisen kameran parametrit, jonka jälkeen kalibroitiin stereokameran ulkoiset parametrit. Kamerat pyrittiin kalibroimaan aina samalla tavalla jokaisessa tapauksessa, jolloin pyrittiin välttää epätarkan kalibroinnin aiheuttamia vääristymiä. Kalibrointikenttää kallistettiin taulukossa 4 x:llä merkityn muuttujan suhteen noin 45 astetta kamerakoordinaatistossa. Kaksi plustai miinus-merkkiä tarkoittaa, että kalibrointikenttää on kallistettu yli 45 astetta. Kalibrointikentän oli peitettävä mahdollisimman paljon kuva-alaa molempien kameroiden kuvissa.

51 45 Taulukko 4. Taulukossa on merkitty x:llä kalibrointikentän kallistuskulmaa. Merkki x:n edessä tarkoittaa kulman suuntaa kamerakoordinaatistossa ja kaksi merkkiä, että kulman suuruus on yli 45 Kierto/Kuva nro Yaw o -x x o -x x o o x -x o o o --x o ++x Roll o o o o o o -o x o o -x -x -x o o o Pitch o o o x x x -x o -x -x o x -x o --x o Kuvassa 25 on esimerkki kalibroinnissa käytetystä kuvasarjasta 6 mm polttovälin linssillä varustetulle kameralle kun on käytetty yllä olevaa kalibrointitaulukkoa. Kuva 25. Kalibroinnissa käytetty kuvasarja. Kalibrointikentän tuli peittää kuva-alaa mahdollisimman paljon siten, että se näkyi molemmille kameroille. Tässä esitetyt kuvat ovat oikealle kameralla.

52 5.7 Kuvien ottaminen ja mittapisteiden valinta 46 Kalibroinnin jälkeen kuvat otettiin testitaulusta eri etäisyyksillä. Ensin kamerat kohdistettiin testikentän kohdistuspisteisiin, minkä jälkeen kamerasysteemiä vedettiin taaksepäin kiskoja pitkin halutulle etäisyydelle. Kameroiden etäisyys testitaulusta mitattiin kohdistuspisteistä. Mittapisteet valittiin käsin kuvista hyödyntämällä Calibration Toolboxissa (Bouget 28) olevaa kulmanetsintäfunktiota ja mittapisteiden löytymistä pystyttiin visuaalisesti tarkastelemaan (kuva 26). Mittapisteet syötettiin Calibration Toolboxin stereo_triangulation funktiolle, joka huomioi kalibrointi parametrit ja laski mittapisteiden sijainnin kamerakoordinaatistossa. Nämä koordinaattipisteet muunnettiin vielä maailmakoordinaatistoon. Kuvia otettiin testikentästä 3-6 cm välein. Kuva 26. Mittapisteet valittiin kuvasta manuaalisesti käyttämällä Calibration Toolboxin kulmanetsintäfunktiota. Tämän jälkeen pystyttiin vielä tarkastelemaan kuinka kulmat löytyivät testikentästä.

53 Menetelmän validiointi Kalibrointi Menetelmä validioitiin, eli haluttiin varmistaa että mittausmenetelmä mittaa suureita oikealla tavalla. Validiointiin käytettiin kahta Canon EOS 4D-järjestelmäkameraa, joiden kuvakannaksi asetettiin 14 cm (kuva 27a). Molemmissa kameroissa oli objektiivina KIT mm f/4.5 - f/5.6. Stereokamera pyrittiin muodostamaan myös yhdellä Canon 5Djärjestelmäkameralla, siten että kameraa siirreltiin kiskolla 14 cm puolelta toiselle (kuva 27b). Tätä menetelmää ei kuitenkaan saatu kalibroitua riittävän tarkaksi. a b Kuva 27. Kaksi tapaa muodostaa stereokamera. a-kuvassa stereokamera koostuu kahdesta kamerasta ja b-kuvassa stereokamera on muodostettu yhdellä kameralla liikuttamalla sitä kiskolla kahden puupalan välissä. Yhdellä kameralla muodostetun stereokameran kalibrointitulokset ovat liitteessä 3, ja tämän menetelmä kalibroinnin tarkkuutta analysoitiin kuvien määrän funktiona. Kuvassa 28a on merkitty polttovälin kalibroinnin tarkkuutta kuvien lukumäärän funktiona. Kuvassa 28b on esitetty optisen keskipisteen keskihajonta kuvien funktiona. X-suuntainen pääpisteen sijainnin keskihajonta oli suurempi kuin y-suuntaisen. Tämä pääpisteen paikannuksen epävarmuus ai-

54 heuttaa suuren epävarmuuden myös etäisyyden laskemiseen. Kuvien lukumäärän kasvattaminen ei näytä merkittävästi parantavan kalibroinnin tarkkuutta enää noin 2 kuvan jälkeen. Tällä menetelmällä pääpisteen sijainti määritettiin x-suunnassa ± 25 pikselin tarkkuudella (tarkkuus on tässä tapauksessa kolme kertaa keskihajonta). 48 σ σ Kuvien lukumäärä a Kuvien lukumäärä b Kuva 28. Yhdellä kameralla muodostetun stereokameran polttovälin (a) ja pääpisteen sijainnin (b) keskihajonta kalibroinnissa käytettyjen kuvien lukumäärän funktiona. Sitä vastoin kahden kameran järjestelmällä päästiin tarkempiin kalibrointituloksiin (kalibrointi tulokset on esitetty liitteessä 3). Molempien kameroiden tarkennus säädettiin manuaalisesti äärettömyyteen, koska tarkennusetäisyyden muuttuminen vaikuttaa optiikan piirtoon. Näin pystyttiin pitämään optiikka vakiona. Kuvat otettiin manuaali-asetuksella siten, että polttoväli oli 18 mm, aukko f/1, ISO ja valotusaika,8 s. Aukko pidettiin melko pienenä, jotta syvyysterävyysalue olisi kuvassa mahdollisimman pitkä. Kuvat otettiin RAW-formaatissa ja muunnettiin Adobe Photoshop CS2-ohjelmalla suurimman laadun JPEG-kuviksi. Testikentän valaistusta ei pystytty validioinnissa pitämään tasaisena, koska kamerasysteemiä ei voitu liikuttaa. Etäisyyden muuttaminen toteutettiin testikenttää siirtämällä, jolloin valaistusvoimakkuutena ei pystytty käyttämään luksia. Valaistuksella ei kuitenkaan tässä tapauksessa ollut merkitystä, koska vastinpisteet poimittiin kuvasta käsin. Ensin kamerat kalibroitiin kohdassa 5.6 esitetyllä menetelmällä. Kuvasta 29 nähdään, että suurin osa kalibroinnista johtuvasta maksimivirheestä johtui pääpisteen vaikeasta määrittämisestä, joka on kuvassa merkitty Δp x symbolilla, sekä ulkoisista parametreista kameroiden välisen y-akselin mukaan tapahtuvaan kierron ΔY epätarkasta määrittämisestä. Pääpisteen määrittäminen on kalibroinnissa vaikea tehtävä (ks.kohta 3.5) (Bouget n.d.) ja havaittiin myös tässä tutkimuksessa. Muiden kalibroitavien parametrien vaikutus virhebudjettiin oli hyvin pieni. Kalibroinnin tarkkuutta oli alun perin tarkoitus arvioida NSCE-mitan avulla, mutta koska x- ja y- koordinaatteja oli vaikea määrittää mittausympäristön takia, niin päädyttiin tarkastelemaan kalibroinnista johtuvaa maksimivirhettä.

55 49 Maksimivirhe (mm) ΔY ΔP x Kuva 29. Virhebudjetti. Kalibroinnista johtuva maksimivirhe etäisyyksien laskemisessa kasvaa etäisyyden neliönä. Maksimivirhe on laskettu kaavalla Mittausten tulokset Kalibroinnin jälkeen otettiin kuvat testitaulusta etäisyyksillä 742 mm 54 mm niin, että stereokamera oli paikallaan ja testitaulua liikutettiin. Etäisyydet mitattiin kameran objektiivin kärjestä. Absoluuttisten etäisyyksien laskemiseksi määritettiin, että optinen keskipiste sijaitsee noin 2 mm päässä objektiivin kärjestä, jolloin tämä etäisyys vähennettiin lasketuista etäisyyksistä. Mittamenetelmän epätarkkuudesta johtuva virheen yläraja voitiin määrittää, kun tiedettiin millä tarkkuudella testitaulun tasojen paksuudet ja etäisyys testitaulusta olivat määritetty. Palojen paksuus pystyttiin määrittämään 1 mm tarkkuudella ja etäisyys testitaulusta 3 mm tarkkuudella. Kuvassa 3 on esitetty stereokameralla tehdyt mittaukset etäisyyksille 742 mm ja 54 mm. Yksi mittapiste on tason keskiarvo ja virheraja on keskihajonta. Muut näiden mittausten välillä olevat etäisyysmittaukset on esitetty liitteessä 4. Stereokameran mittauksiin on sovitettu lineaarinen suora pienimmän neliösumman menetelmällä. Suoran kulmakerroin k kuvaa kuinka hyvin oikeata trendiä mittaukset noudattavat. Optimaalinen kulmakertoimen arvo on 1. Termi b kuvaa ulkoista tarkkuutta, eli etäisyyden määrittämistä testitaulun nollatasosta. Esimerkiksi 742 mm etäisyydellä testitaulu on arvioitu noin 18 mm lähemmäksi stereokameraa kuin se todellisuudessa on. Selitysaste R 2 on yhden muuttujan lineaarisessa regressiossa sama kuin Pearsonin lineaarisen korrelaatiokertoimen neliö.

56 5 25 Z = 742mm, k =.993 b = , R 2 = Z = 54mm, k = 1.17 b = , R 2 = Kuva 3. Validionnissa saatiin kuvassa näkyvät tulokset etäisyyksille 742 mm ja 54 mm. Kuvaajissa y-akselilla on stereokameralla mitatut etäisyydet testikentän pohjasta ja x-akselilla on todellinen etäisyys testikentän pohjasta. Syvyysresoluutio laskettiin kohdassa 5.3 esitetyllä menetelmällä ja se laskettiin kaikkialla alle,5 pikselin teoreettisella parallaksin tarkkuudella (kuva 31). Validioinnissa käytetyn stereokameran syvyysresoluutio oli tulosten perusteella parempi kuin ihmisen yhteisnäön syvyysresoluutio Kanta = 14 cm, Polttoväli = 2 mm Syvyysresoluutio Teoreettinen syvyysresoluutio(parallaksin tarkkuus:.5pikseliä) Ihmisen näköjärjestelmän syvyysresoluutio 35 3 Syvyysresoluutio(mm) Etäisyys(mm) Kuva 31. Validioinnissa käytetyn kameraparin syvyysresoluutio on riittävä verrattuna ihmisen stereonäön syvyysresoluutioon.

57 Kuvassa 32 on esitetty stereokameran ulkoinen tarkkuus, sekä yhden kameran paikannuksen tarkkuus välillä mm. Yhden kameran paikannuksen tapauksessa oli kaksi melko suurta virhettä. Muutoin yhdellä kameralla päästiin tarkempaan tulokseen kuin stereokameralla. Yhteen kameraan perustunut menetelmä laski vain yhden etäisyyden testitaulun nollatasosta, minkä takia keskihajontaa ei voitu määrittää. Stereokameran etäisyys testikentästä laskettiin sitä vastoin kaikista nollatason nurkkapisteistä (54 kpl). Virhe(mm) Kanta = 14 cm, Polttoväli = 2 mm Yksi kamera Stereokamera Etäisyys(mm) Kuva 32. Virheet kameran ja testitaulun välisen etäisyyden mittaamisessa. Esitettyjen tulosten perusteella menetelmä tuottaa riittävän tarkkoja tuloksia, jotta sitä voidaan käyttää stereokameroiden parametrien tutkimisessa. 5.9 Tutkittavien parametrien suuruudet Polttovälin oletusarvoksi valittiin 6 mm. Tällä polttovälillä tutkimuksessa käytetyn kameramodulin horisontaalinen kuvakulma on noin 57. Se on oikeastaan kompromissi kattavuuden ja riittävän tarkkuuden välillä. Tämän polttovälin molemmilta puolilta valittiin arvot 3 mm ja 12 mm. Näitä vastaavat horisontaaliset kuvakulmat ovat noin 95 ja 28. Polttovälin puolittuessa syvyyden mittauksen epävarmuuden pitäisi kaksinkertaistua. Kuvakannan oletusarvoksi valittiin 14 cm, koska tämä voisi mahdollistaa silmälasien sankoihin kiinnitettävän stereokameran. Tämän leveyden molemmilta puolilta (7 cm ja 21 cm) haluttiin tutkia kuvakannan vaikutusta tarkkuuteen. Kuvakannan puolittuessa stereokameran syvyysresoluution pitäisi puolittua. Yhteenveto suoritetuista testeistä on koottu taulukkoon 5. Taulukko 5. Yhteenveto suoritetuista testeistä Etäisyys (m) Polttoväli (mm) Kuvakanta (cm) 1. Testi,8-3, Testi,7-5, Testi 1,3-5, Testi,7-5, Testi,7-5,

58 Tässä tutkimuksessa kameran aukon vaikutusta ei arvioida stereokameran suorituskykyyn, vaikkakin kameran syvyysterävyys riippuu siitä. Tässä tapauksessa 3 mm ja 12 mm polttovälin linsseille aukko oli f/2. ja 6 mm linssille aukko oli f/1.8. Kameran valotusajan tulee olla korkeintaan 1/25 sekuntia, koska pidempi valotusaika olisi rajoittava tekijä kameran nopeudelle. Kameran maksimipäivitystaajuus on 3 Hz. Signaalin vahvistusta voidaan säätää kameravalmistajan ohjelmistolla, siten että kuva ei yli- tai alivalotu. Suoritetuissa testeissä ei huomioitu suurimman mahdollisen parallaksin aiheuttamaa vaatimusta stereokamerasysteemille (kaava 23). Kuvasta 33 nähdään, että vain kaksi kombinaatiota täyttää ehdon k<,1. Tällöin f = 6 mm ja b = 7 mm tai f = 3 mm ja b = 14 mm, jolloin parallaksi ei kasva liian suureksi. Kuvan käyrällä sijaitsevilla pisteillä on sama teoreettinen tarkkuus, koska kuvakannan ja polttovälin tulo pysyy vakiona. 52 Kuva 33. Kuvassa tummalla alueella on esitetty kuvakannan ja polttovälin yhdistelmät tutkimuksessa käytetylle stereokameralle kun parallaksin suuruus on rajoitettu 1 % kennon koosta,7 metrin etäisyydellä.

59 53 6 TULOKSET JA ANALYSOINTI 6.1 Polttoväli Kalibroinnin tulokset Kalibrointi suoritettiin aina stereokameralle kun siihen tehtiin muutoksia. Kalibrointi pyrittiin tekemään aina kohdassa 5.6. esitetyllä tavalla, mutta 3 mm linssin kanssa stereokameraa ei pystytty kalibroimaan tällä tavalla. Tämä johtui voimakkaista linssivääristymistä, jolloin kalibrointiohjelma ei löytänyt kalibrointikentästä nurkkia. Tämän takia 3 mm linssin kalibrointi jouduttiin toteuttamaan pienemmällä 3 x 42 cm-kokoisella kalibrointikentällä. Calibration Toolboxin antamat kalibrointitulokset löytyvät liitteestä 3. Kuvassa 34 on esitetty kalibroinnista johtuvat maksimivirheet eri linsseille etäisyyden funktiona. 3 mm linssin maksimivirhe laskettiin vain etäisyydelle 35 mm, koska sitä pidemmältä ei pystytty tekemään itse mittauksiakaan. Kuvasta 34 voidaan havaita, että kalibroinnista johtuvaa maksimivirhettä aiheutti eniten Y-akselin suuntaisen kierron estimoinnin epävarmuus (ΔY) ja pääpisteen siirtymisestä johtuva epävarmuus (ΔP x ). Tämä tulos oli samansuuntainen kuin havaittiin menetelmän validioinnissa (ks. kohta 5.8.1). 3 mm 6 mm ΔB ΔF ΔB ΔF ΔP x ΔP x Maksimivirhe Epävarmuus(mm) (mm) 5 ΔY ΔR ΔY Maksimivirhe Epävarmuus(mm) 5 ΔY ΔR ΔY ΔP x ΔP x Etäisyys(mm) Etäisyys(mm) 12 mm ΔB ΔF Maksimivirhe Epävarmuus(mm) (mm) 5 ΔP x ΔY ΔR ΔY ΔP x Etäisyys(mm) Kuva 34. Kalibroinnista johtuvat maksimivirheet etäisyyden funktiona 3 mm, 6 mm ja 12 mm linsseille.

60 Kalibroinnista johtuvat maksimivirheet olivat melko samaa luokkaa kaikille polttoväleille. 3 mm linssillä kalibrointivirhe oli melko pieni siihen nähden, että kamera jouduttiin kalibroimaan pienemmällä kentällä. Nyt 3 mm linssin kalibrointivirhe on vain hieman enemmän kuin 6 mm ja 12 mm linsseille. Kalibrointi onnistui parhaiten 12 mm linssille. Kalibroinnista johtuneet maksimivirheet olivat hyvin lähellä validioinnissa käytetyn järjestelmäkameraparin kalibroinnin maksimivirhettä. Kuvassa 34 ei kuitenkaan ole huomioitu linssivirheiden kompensoinnista johtuvaa etäisyyden mittaamisen epävarmuutta. Tämä todennäköisesti kasvattaisi laajakulmaisen linssin kalibroinnin maksimivirhettä. Kompensointia arvioitiin visuaalisesti kuvien 35a-c avulla. Kuvat on piirretty Matlabin Calibration Toolboxilla (Bouget 28) kokeellisessa osiossa käytettävistä kameroista 6 mm linssillä. Kuvista näkee, että kokonaislinssivääristymä koostuu lähes kokonaan radiaalisesta komponentista (kuva 35b), eikä lähes lainkaan tangentiaalisesta komponentista (kuva 35a). Kyseisillä linsseillä on huomattavasti tynnyrivääristymää. Tasa-arvokäyrissä näkyvät luvut kuvaavat kuinka monta pikseliä pikselit ovat siirtyneet väärään paikkaan kuvatasolla. Linssivääristymien huomioiminen on hyvin merkittävää stereokuvauksessa, koska vääristymät muuttavat parallaksia huomattavasti varsinkin kuvan reunoissa. 54 a b c Kuva 35. Kuvassa on esitetty tangentiaalinen (a)-, radiaalinen (b) - ja kokonaislinssivääristymä (c) stereokameran vasemman kameran 6 mm linssille. Kuva on tuotettu Matlabin Calibration Toolboxilla (Bouguet 28).

61 Mittausten tulokset Kuvassa 36 on esitetty 3 mm linssille saadut mittaustulokset etäisyyksille 12 ja 39 mm. Kaikkien testien mittaustulokset ovat liitteessä 4. 3 mm linssille pystytty tekemään mittauksia yli 39 mm etäisyyksillä, koska testitaulun pieneni kuva-alalla niin pieneksi. Etäisyysmittaukset eivät ole tehty aivan samoilta etäisyyksiltä eri polttoväleille, vaan esitetyissä kuvausetäisyyksissä on mm eroja. Kun etäisyys oli 12 mm stereokamera mittasi etäisyydet tarkasti taululla (selitysaste R 2 oli,999.), vaikka systemaattinen virhe oli 51 mm testitaululle. Kun etäisyys oli 39 mm, niin kamera mittasi suuria etäisyysvirheitä. Systemaattinen virhe oli kasvanut yli 7 mm ja selitysaste oli ainoastaan,16. Tulosten perusteella 39 mm etäisyydellä stereokamera mittasi tasot lähes samalle etäisyydelle. 25 Z = 12mm, k =.887 b = 51.18, R 2 = Z = 39mm, k =.16 b = 781.2, R 2 = Kuva 36. Mittaukset 12 mm ja 39 etäisyyksillä 3 mm linssille. Kuvassa 37 on esitetty mittaustuloksia 6 mm linssille. Sille saatiin keskimäärin tarkempia tuloksia kuin 3 mm linssillä mitatuilla etäisyyksillä. 13 mm etäisyydellä systemaattinen virhe oli -37 mm, eli etäisyydet mitattiin kauemmaksi testitaulusta kun ne todellisuudessa olivat. 5 mm etäisyydellä systemaattinen virhe oli kasvanut noin 3 mm, mutta tasot noudattivat vielä hyvin yleistä trendiä kulmakertoimen ollessa 1,1. Z = 13mm, k = 1.4 b = , R 2 = Z = 39mm, k =.64 b = 7.899, R 2 = Z = 5mm, k = 1.96 b = , R 2 = Kuva 37. Mittaukset 13, 39 ja 5 mm etäisyyksillä 6 mm linssille.

62 Kuvassa 38 on esitetty mittaustuloksia 12 mm linssille. Ne poikkeavat 3 mm ja 6 mm linssin tapauksista. Etäisyyden kasvattaminen ei vaikuttanut juurikaan tarkkuuteen, vaan kaikissa tapauksissa etäisyydet on mitattu hyvin tarkasti. 56 Z = 13mm, k = 1.16 b = , R 2 =.995 Z = 38mm, k =.99 b = , R 2 =.993 Z = 5mm, k =.969 b = , R 2 = Kuva 38. Mittaukset 13, 38 ja 5 mm etäisyyksillä 12 mm linssille. Linssillä oli suuri vaikutus laskettuun RMSE z -virheen suuruuteen. 3 mm polttovälillä RMSE z -virhe kasvoi jo lyhyellä etäisyydellä hyvin suureksi (kuva 39).. 6 mm polttovälillä RMSE z - virhe alkoi kasvaa noin 4 m etäisyydellä 12 mm linssillä RMSE z -virhe pysyi pienenä kaikilla tutkituilla etäisyyksillä. Tämä saattoi johtua siitä, että pitkän polttovälin linssissä ei ole niin voimakkaita linssivääristymiä. Tällöin niitä ei juuri tarvinnut kompensoida. Erityisesti 3 mm linssin suuret vääristymät vaikeuttivat sekä kalibrointia että mittauksia. 12 mm linssillä saatiin hyvin mielenkiintoinen tulos. RMSE z -virhe kasvoi todennäköisesti kalibroinnista johtuvasta systemaattisesta virheestä. Tämä nähdään siitä, että myös yhdellä kameralla tapahtunut paikannuksen tarkkuus heikkeni etäisyyden kasvaessa. Todennäköisesti kalibrointiohjelma oli laskenut polttovälin todellisuutta suuremmaksi. Tällöin etäisyydet oli laskettu todellista pidemmiksi. Kalibrointiohjelma laski linssin polttovälin lähemmäksi 13 mm kuin 12 mm (kalibrointitulokset ovat liitteessä 3). 9 8 Virhe(mm) mm 6mm 12mm Etäisyys(mm) Kuva 39. RMSE z -virheet eri polttoväleille etäisyyden funktiona.

63 Syvyysresoluutio Kuvassa 4 on esitetty linssin selkeä vaikutus syvyysresoluutioon. 3 mm linssillä syvyysresoluutio oli alle kuusi millimetriä välillä,7 m 1,2 m. Toisaalta alle 6 mm syvyysresoluutiota testikentällä ei pystytä arvioimaan. Ihmisen syvyysresoluutio on alle 6 mm kahteen metriin asti (ks. kuva 13). Tämän takia on tärkeää, että testitaulun tasojen välisiä eroja pystytään tarvittaessa muuttamaan. 3 mm linssin tapauksessa syvyysresoluutio vaihteli molemmin puolin,5 pikselin teoreettista parallaksin tarkkuutta. 3 mm linssillä syvyysresoluutiolla ei päästy ihmisen syvyysresoluutioon yli 1,2 m etäisyyksillä. 6 mm linssillä syvyysresoluutio oli alle kuusi millimetriä välillä,7 m -1,5 m. 6 mm linssillä päästiin lähelle myös ihmisen syvyysresoluution rajaa. Tällä linssillä syvyysresoluutio säilyi melko hyvin 5,8 m etäisyydelle, jossa sen suuruus oli alle 8 millimetriä. 6 mm linssin syvyysresoluutio oli huomattavasti parempi kuin 3 mm linssille yli 3,9 m etäisyyksillä. 6 mm linssillä syvyysresoluutio vaihteli,5 pikselin teoreettisen parallaksin tarkkuuden molemmin puolin. 12 mm linssin tapauksessa syvyysresoluutio oli kaikilla etäisyyksillä (1,3 m-5,4 m) alle 6 mm. Etäisyyden kasvattaminen ei heikentänyt tässä tapauksessa syvyysresoluutiota. Tämä on huomattavasti paremmin kuin lyhempiä polttovälejä käytettäessä. Kuva 4. Syvyysresoluutiot vaihtelivat polttoväleittäin. Teoreettisen syvyysresoluution parallaksin tarkkuutena käytettiin,5 pikseliä. Syvyysresoluutiota voidaan arvioida myös korrelaatiokertoimien avulla (kuva 42). Pearsonin korrelaatio kuvaa lineaarista korrelaatiota ja Spearmanin korrelaatio järjestyskorrelaatiota. Eli

64 Pearsonin korrelaatio kuvaa yleisesti kuinka hyvin lasketut etäisyydet seuraavat mitattuja etäisyyksiä. Spearmanin järjestyskorrelaatio kuvaa kuinka hyvin stereokamera järjestää tasot oikeaan järjestykseen. 1 Korrelaatiokertoimet Korrelaatiokerroin.7.6 3mm -Pearson 3mm -Spearman 6mm -Pearson 6mm -Spearman 12mm -Pearson 12mm -Spearman Etäisyys(mm) Kuva 41. Mitatun ja lasketun etäisyyden korrelaatiokertoimet etäisyyden funktiona. Kertoimista näkee kuinka 3 mm polttovälin linssiä käytettäessä korrelaatio mitattujen ja oikeiden arvojen välillä laskee voimakkaasti noin 3,5 m etäisyydellä. Korrelaatiokertoimet olivat muuten tilastollisesti merkitseviä (p <,5), paitsi 3,9 m etäisyydellä 3 mm polttovälillä (Pearsonin testin p-arvo oli,16 ja Spearmanin testin p-arvo oli,21) ja 5,8 m etäisyydellä 6 mm polttovälillä (Spearmanin testin p-arvo oli,7). Korrelaatiotestin avulla ei voida itsessään arvioida kameran riittävyyttä ihmiselle, koska esimerkiksi kahden metrin etäisyydellä 3 mm ja 6 mm-polttovälin linssit eivät riitä ihmisen syvyysresoluutioon ja silti näissä tapauksissa korrelaatiokerroin on tilastollisesti merkitsevä (kuva 42) jopa p <,1 merkitsevyystasolla. Korrelaatiokertoimien tilastollista merkitsevyyttä voidaan kuitenkin pitää jonkinlaisena minimivaatimuksena syvyysresoluution riittävyydelle. Koska ihmisen syvyysresoluutio heikentyy etäisyyden funktiona, niin myös tilastollisen merkitsevyystason tulisi muuttua etäisyyden mukaan, jos sillä haluttaisiin kuvata stereokamerajärjestelmän tarkkuuden riittävyyttä ihmisen näköjärjestelmälle.

65 59.1 p-arvot.9 p-arvo mm -Pearson 3mm -Spearman 6mm -Pearson 6mm -Spearman 12mm -Pearson 12mm -Spearman Etäisyys(mm) Kuva 42. Korrelaatiokertoimien tilastollinen merkitsevyys pieneni, kun etäisyys oli yli 3 m. Tilastollisen merkitsevyyden rajan tulisi muuttua etäisyyden mukaan, jotta sillä voisi kuvata stereokameran syvyystarkkuuden riittävyyttä ihmisen stereonäön syvyysresoluutiolle.

66 6.2 Kuvakanta Kalibroinnin tulokset Kuvakannan vaikutusta syvyystarkkuuteen arvioitiin myös. Käytössä oli 6 mm linssi ja kuvakannat olivat 7 cm, 14 cm ja 21 cm. Kamerat kalibroitiin kohdassa 5.5 esitetyllä tavalla. Kalibroinnista saatiin samansuuntaisia tuloksia kuin kohdassa 6.1. esitetyssä mittauksessa, jossa muuttujana oli linssi (kuvat 34 ja 43). Camera Calibration Toolboxin raakadata on esitetty liitteessä 3. Tulosten perusteella kuvakannan kasvattaminen vähensi Y-suuntaisesta kierrosta johtuvaa kalibroinnin epävarmuutta (kuva 43). 21 cm kuvakannan kalibroinnista johtuva maksimivirhe oli noin 1/3 pienempi kuin 7 cm ja 14 cm kuvakannoilla. 7 cm 14 6 mm cm Δ B Δ F Δ P x ΔB ΔF ΔP x Maksimivirhe (mm) 5 Δ Y Δ R ΔY Maksimivirhe Epävarmuus(mm) 5 ΔY ΔR ΔY ΔP x ΔP x Etäisyys(mm) Etäisyys(mm) 21 cm ΔB ΔF Maksimivirhe (mm) 5 ΔP x ΔY ΔR ΔY ΔP x Etäisyys(mm) Kuva 43. Kalibroinnista johtuvat maksimivirheet etäisyyden funktiona 7 cm, 14 cm ja 21 cm kuvakannoille. Käytössä oli 6 mm linssi.

67 Mittausten tulokset Kuvassa 44 on esitetty stereokameran tarkkuus, kun käytössä oli 7 cm kuvakanta. Tulosten perusteella kamera oli tarkka 7 mm etäisyydellä, mutta 58 mm etäisyydellä mittausten virhe oli kasvanut huomattavasti. 7 cm kuvakannalla kulmakerroin (k = 2,3) poikkesi huomattavasti oikeasta arvosta ja R 2 oli,64. Z = 7mm, k =.996 b = , R 2 =.998 Z = 58mm, k = 2.39 b = , R 2 = Kuva 44. Mitatut etäisyydet kuvausetäisyyksille 7 mm ja 58 mm, kun kanta oli 7 cm Kuvakannan ollessa 14 cm saatiin kuvassa 45 näkyviä tuloksia. 7 cm kuvakantaan verrattuna tarkkuus on parempi 58 mm etäisyydellä, kulmakertoimen ollessa (k =,92) ja R 2 =,73. Z = 7mm, k = 1.35 b = , R 2 =.998 Z = 58mm, k =.92 b = , R 2 = Kuva 45. Mitatut etäisyydet kuvausetäisyyksille 7 mm ja 58 mm, kun kanta oli 14 cm Kuvakannan ollessa 21 cm saatiin kuvassa 46 näkyviä tuloksia. Tällä kuvakannalla syvyysmittojen yleinen trendi 58 mm etäisyydellä oli lähempänä oikeaa (k =,72) kuin 7 cm kuvakannalla, mutta huonompi kuin 14 cm kuvakannalla. R 2 oli,81 mikä oli käytetyille kuvakannoille suurin.

68 62 Z = 7mm, k = 1.11 b = , R 2 =1 Z = 58mm, k =.715 b = , R 2 = Kuva 46. Mitatut etäisyydet kuvausetäisyyksille 7 mm ja 58 mm, kun kanta oli 21 cm. Eripituisia kantoja käytettäessä havaittiin, että kameroita ei oltu kalibroitu samalle tasolle z- suunnassa (ks. kuva 12). Mielenkiintoista on, että 14 cm ja 21 cm kuvakannan kalibroinnissa oikea kamera oli merkitty vasemman kameran eteen (T z on negatiivinen) kun taas 7 cm kuvakannalla oikea kamera oli merkitty vasemman kameran taakse (T z on positiivinen). Tämä aiheutti sen, että mittapisteet sijaitsivat lähes poikkeuksetta eri puolilla niihin sovitettua suoraa. Lasketut etäisyydet seurasivat lineaarisesti mitattuja arvoja, mutta sahalaitaisuus oli näkyvissä mittapisteissä. Kuvio oli säännöllisempi 21 cm kuvakannan kuin 7 cm kuvakannan tapauksessa. RMSE z -virheeseen kuvakannan muuttuminen ei juuri vaikuttanut, RMSE z -virhe syntyi pääosin kalibroinnista johtuvista systemaattisista virheistä, etenkin pitkää kuvakantaa käytettäessä. RMSE z -virhe kasvoi huomattavasti kaikilla kuvakannoilla, kun etäisyys oli yli 35 mm (kuva 47) cm 14cm 21cm 5 Virhe(mm) Etäisyys(mm) Kuva 47. RMSE z -virheet eri pituisilla kuvakannoilla etäisyyden funktiona.

69 Mittausvirheiden tulisi pienentyä kuvakannan pituuden kasvaessa. Eri etäisyyksiltä tehtyjen mittausten perusteella näin ei kuitenkaan käynyt tässä tutkimuksessa, esimerkiksi Mulligan (21) sai tutkimuksessaan tulokseksi, että suhteellinen virhe väheni kuvakannan pidentyessä. Tähän vaikutti mahdollisesti tarkemmin suoritettu kalibrointi. Kalibrointimenetelmää ei kuitenkaan ollut kuvattu tarkemmin Syvyysresoluutio Kuvakannalla ei ollut selkeää vaikutusta RMSE z -virheeseen, mutta syvyysresoluutioon se vaikutti (kuva 48) pitkillä etäisyyksillä. Syvyysresoluutio oli 7cm kuvakannalla lähes poikkeuksetta huonompi kuin ihmissilmän syvyysresoluutio, sen sijaan syvyysresoluutio oli 21 cm kuvakannalla lähellä ihmisen stereonäön syvyysresoluutiota. 63 Kuva 48. Syvyysresoluutiot vaihtelivat kuvakannan pituuden mukaan. Pitkillä etäisyyksillä kuvakannan pituuden vaikutus alkoi näkyä.

70 Kuvassa 48 on esitetty stereokameralla mitattujen etäisyyksien ja mittanauhalla mitattujen etäisyyksien korrelaatiokertoimet. Korrelaatiokertoimet olivat muilla mitatuilla etäisyyksillä tilastollisesti merkitseviä (p <,5), paitsi 5,8 m etäisyydellä 7 cm kuvakannalla (Pearsonin testin p-arvo oli,525 ja Spearmanin testin p-arvo oli,16) ja 5,8 m etäisyydellä 14 cm kuvakannalla (Spearmanin testin p-arvo oli,7). Korrelaatiokertoimista nähdään, että 21 cm kuvakannan arvot erityisesti Pearsonin korrelaatiokertoimen osalta olivat vahvasti tilastollisesti merkitseviä (p-arvot <.1). Tämä johtui siitä, että tasojen yleinen laskeva trendi pysyttiin havaitsemaan, vaikka tasojen järjestys oli osittain kalibroinnin takia sekoittunut Korrelaatiokertoimet 64 Korrelaatiokerroin cm -Pearson 7cm -Spearman 14cm -Pearson 14cm -Spearman 21cm -Pearson 21cm -Spearman Etäisyys(mm) Kuva 49. Kameralla ja mittanauhalla mitattujen etäisyyksien korrelaatiokertoimet etäisyyden funktiona, kun kuvakanta oli 7, 14 ja 21 cm..1 p-arvot.9 p-arvo cm -Pearson 7cm -Spearman 14cm -Pearson 14cm -Spearman 21cm -Pearson 21cm -Spearman Etäisyys(mm) Kuva 5. Korrelaatiokertoimien tilastollinen merkitsevyys. 21 cm kuvakannalla Pearsonin korrelaatiokertoimet olivat tilastollisesti merkitseviä p <,1 merkitsevyystasolla.

71 Vertaus yhden kameran tarkkuuteen Yhdellä kameralla pystyttiin paikantamaan testitaulun nollataso erittäin tarkasti. Kaikilla etäisyyksillä virhe oli alle millimetriä (kuva 51). Sen sijaan stereokameran mittauksissa oli huomattavasti enemmän hajontaa eri linssien välillä, ja keskimäärin stereokameralla saavutettiin epätarkempia tuloksia kuin yhdellä kameralla. Kalibrointivirhe näyttää siis syntyneen kameroiden stereokalibroinnista, koska yksittäinen kamera pystyttiin kalibroimaan tarkasti. Tähän epätarkkaan stereokalibrointiin voisi auttaa toisen kalibrointiohjelman käyttäminen. Camera Calibration Toolboxissa (Bouget 28) on myös saatavilla ns. kalansilmälinsseille omanlaisensa kalibrointiohjelma. Tämän ohjelman dokumentointi kuitenkin puuttui, eikä sitä näin haluttu käyttää. Tämä ohjelma käyttää linssivirheiden kompensoimiseen erilaisia kertoimia kuin tässä työssä esitetyt (ks. kohta 3.3.4), eli laajalle linssille se saattaa toimia paremmin. Kuva 51. Yhden kameran ja stereokameran absoluuttiset virheet testitaulun nollatason etäisyyden määrittämisessä kuvausetäisyyden funktiona. Eri mittaussarjat on merkitty kuvaan ja niiden perusteella rajattu alue, jolla mittaukset pääosin sijaitsevat. Yhden kameran käyttäminen antoi samansuuntaisia tuloksia kuin ARToolkit. ARToolkitille 1 3 m etäisyydelle maksimivirheet olivat 14mm - 27mm kun käytössä oli kooltaan lähes testitaulun nollatasoa vastaava 2 x 2 cm kokoinen markkeri. (Malbezin, Piekarski & Thomas 22). Alle yhden metrin etäisyydellä ARToolkit aiheutti yli 1 mm virheitä VGA- resoluutioisella kameralla, kun käytössä oli 5,5 x 5,5 cm kokoinen markkeri (Abawi, Bienwald & Dörner 24). ARToolkitin tarkkuus riippuu myös markkerin ja kameran välisestä kulmasta. Tar-