Eve Parviainen Microsoft Kinectin tarkkuuden arviointi

Eve Parviainen Microsoft Kinectin tarkkuuden arviointi Kandidaatintyö Tarkastaja: Heikki Huttunen

I TIIVISTELMÄ TAMPEREEN TEKNILLINEN YLIOPISTO Signaalinkäsittelyn ja tietoliikennetekniikan koulutusohjelma Eve Parviainen: Microsoft Kinectin tarkkuuden arviointi Kandidaatintyö, 20 sivua, 1 liitesivu Toukokuu 2015 Pääaine: Signaalinkäsittely ja multimedia Tarkastajat: yliopistonlehtori Heikki Huttunen Avainsanat: Microsoft Kinect, infrapunasäteily, strukturoitu valo, pienimmän neliösumman menetelmä, linssin vääristymä Microsoft Kinect on suosittu kamerasensori harrastaja- ja ammattilaisohjelmoijien keskuudessa, kun tarvitaan järkevän hintaista etäisyyskameraa. Kinectille on kehitetty lukuisia sovelluksia, ja internetistä löytyy myös paljon ohjeita niiden kehittämiseen. Tämän kandidaatintyön tavoite on arvioida sekä Kinectin infrapunakameran että värikameran tarkkuutta käyttämällä pienimmän neliösumman menetelmää (PNS) sekä linssin vääristymän arviointia. Työn teoriaosuudessa esitellään ensimmäisenä Kinectin toimintaperiaate, joka perustuu infrapunasäteilyyn sekä strukturoituun valoon. Teorian muissa osuuksissa esitellään linssin vääristymän arviointi sekä pienimmän neliösumman menetelmä. Kandidaatintyön kokeellisessa osuudessa mitattiin Kinectin tarkkuutta eri etäisyyksillä, sekä Kinectin toimintaa eri valaistuksessa ja pinnanmuodoilla. Kokeellisessa osuudessa tutkittiin myös värikameran vääristymiä shakkilautakuvion sekä kalibrointityökalun avulla. Työn tutkimustulosten perusteella Kinect on tarkasti kalibroitu sekä infrapunakameransa että värikameransa osalta. Parhaiten Kinect toimii, kun häiritsevää infapunasäteilyä ei ole, ja kohteet ovat kohtisuoraan sen kameroita kohti. PNS-menetelmä antoi virhetermin arvoksi 3,0162 ja dataan sovitetun suoran kulmakertoimeksi 1,0053. Kalibrointityökalu antoi vääristymän kertoimeksi -0,09474. PNS-mallin ja kalibrointityökalun tulokset ovat todiste siitä, että Kinect on tarkasti kalibroitu.

II SISÄLLYS 1. Johdanto.................................... 1 2. Kameran vääristymien arviointi........................ 3 2.1 Kinectin toimintaperiaate........................ 3 2.2 Linssin vääristymä............................ 6 2.3 Pienimmän neliösumman menetelmä.................. 7 3. Mittaukset ja tulokset............................. 10 3.1 Tarkkuus eri etäisyyksillä........................ 10 3.2 Pintojen muotojen ja infrapunasäteilyn vaikutus tarkkuuteen..... 11 3.3 Värikameran vääristymät......................... 13 4. Johtopäätökset................................. 16 Lähteet....................................... 18 A. Liitteitä..................................... 21

III TERMIT JA NIIDEN MÄÄRITELMÄT 2D 3D IR plenoptinen PNS RGB-kamera ToF Kaksiulotteinen Kolmiulotteinen Infrapuna Kamera, jossa on useita pieniä linssejä Pienimmän neliösumman menetelmä Värikamera (RGB juontuu valon päävärien englanninkielisistä nimistä red, green, blue) Time of Flight

1 1. JOHDANTO 3D-tekniikka eri muodoissaan on levinnyt useille käyttöaloille viime vuosina. Erityisesti viihdeteollisuus on hyödyntänyt 3D-tekniikkaa monin eri tavoin. 3D-elokuvia on näytetty jo vuosia elokuvateattereissa ympäri maailmaa. Lisäksi on kehitetty pelaamiseen tarkoitettuja 3D-laseja, 3D-näyttöjä sekä 3D-kameroita. 3D-tulostimet ovat myös yleistyneet, mutta niiden yli tuhannen euron kappalehinnan [1] takia ne ovat vielä lähinnä tiede- ja viihdekäytössä. Kinect on Microsoftin kehittämä liikeohjain, joka pystyy havaitsemaan pelaajan liikkeet tämän ollessa Kinect-ohjaimen kameroiden näkökentässä. Kinect julkaistiin ensimmäisenä Xbox 360 -konsolille vuonna 2010 ja sen jälkeen Windows PC:lle vuonna 2012 ja Xbox Onelle vuonna 2013. Vaikka Kinect oli alun perin tarkoitettu pelivälineeksi Xboxille, Microsoft julkaisi vuonna 2011 Kinectille ohjelmistorajapinnan, jonka avulla sekä harrastaja- että ammattilaiskehittäjät voivat tehdä omia ohjelmiaan Kinectille. [17] Kinectin lisäksi on muita 3D-kuvantamiseen tarkoitettuja kameroita. Tuotantokäyttöön suunnitellut 3D-kamerat ovat kuitenkin huomattavasti kalliimpia ja suurempikokoisia kuin kuluttajille pelikäyttöön valmistetut kamerat. Teollisuuskäytön suuret kamerat on usein tarkoitettu tutkimukseen, tiedekäyttöön ja laaduntarkkailuun. Erityisen hyödyllisiä 3D-kamerat ovat esimerkiksi autonosien valmistuksen laaduntarkkailussa. Tavallisella 2D-kameralla kuvattaessa jouduttaisiin ottamaan useita kuvia muuttaen joko kameran tai tarkkailtavan osan paikkaa. 3D-kameralla kuvattaessa kuitenkin riittää yksi kuvaus, jonka jälkeen osasta voidaan tehdä 3D-malli ja osa voidaan tarkastaa virheiden varalta. Erityisesti automatisoidulla valmistuslinjalla 3D-kamera on tehokkaampi ja edullisempi vaihtoehto kuin 2D-kamera. [21] Kamerajärjestelmän etäisyysmittaustekniikka voi olla joko aktiivista tai passiivista. Aktiivisessa mittauksessa on projektori, jonka lähettämän säteilyn kameran sensori havaitsee. Passiivisessa mittauksessa ei ole projektoria, vaan havainnot perustuvat ulkoisten valonlähteiden havainnointiin. Passiivisen tekniikan etäisyyskartan tarkkuus ei yllä aktiivisen tekniikan tasolle, mutta passiivinen mittaus ei ole yhtä herkkä kirkkauden vaihtelulle. [24] Passiivinen mittaus perustuu plenoptisen kameran käyttöön. Plenoptiset kamerat perustuvat teknologialtaan siihen, että kameran linssi on yhdistelmä useita pieniä linssejä. Jokainen mikrolinssi kuvaa kohdetta hieman eri kulmassa toisiin mikrolinsseihin verrattuna. [21] Tietokoneohjelma

1. Johdanto 2 päättelee kohteen syvyyden eli etäisyyden kameran linssistä sen perusteella, kuinka teräviä kohteiden väliset rajat ovat. Rajojen terävyyden päättely pohjautuu siihen, kuinka monelle pienelle linssille kohteen reunaraja ulottuu. Jos raja ulottuu usealle mikrolinssille, kohteen raja on sumuinen, kun taas vain muutamalla linssillä näkyvä raja on tarkka. Saksalainen yritys Raytrix GmbH kehitti ensimmäisen 3D-kameran, joka oli tarkoitettu sekä teollisuus- että tiedekäyttöön [3]. Raytrixin kamerat ovat plenoptisia. Kuluttajille suunnatun, samaan plenoptiseen teknologiaan perustuvan kameran on valmistanut Lytro Incorporation. Lytro-kameran etuna on, että sillä pystyy tarkentamaan kuvaa myös jälkikäteen, joten epäonnistuneesta otoksesta saattaa saada onnistuneen jälkitarkennuksella. Lisäksi Lytro-kameran tiedoilla pystyy luomaan 3D-mallin kuvatusta kohteesta. [7] Creative ja Intel ovat myös yhdessä julkaisseet kuluttajille tarkoitetun 3D-kameran. Creative Senz3D -kamera on tarkoitus asettaa tietokoneen näytön päälle tavallisen web-kameran tavoin. Kamera pystyy muun muassa irrottamaan henkilön taustasta ja tekemään kolmiulotteisen kasvojentunnistuksen. Kameraa voi käyttää myös pelaamiseen käsiliikkeiden avulla. [6] Yksi esimerkki edelläkävijästä älypuhelinkamera-alalla on Pelican Imaging -niminen yritys, jonka kamera käyttää myös plenoptista tekniikkaa. Pelicanin päämäärä on kehittää 3D-kamera älypuhelimeen. Pelicanin kamerassa on 16 mikrolinssiä, joista jokainen kuvaa joko punaista, vihreää tai sinistä väriä. Kameran etuna on, että sen ottamissa kuvissa on vähemmän kohinaa kuin tavallisissa älypuhelinkameroiden kuvissa. [23] Sovelluskohteita 3D:tä kuvaaville kameroille on siis useita: niitä voi käyttää laaduntarkkailuun, 3D-mallin tekemiseen tietokoneohjelmalla, kuvatun kohteen jälkitarkentamiseen haluttuun kohtaan, pelien ohjaamiseen kehonliikkeillä ja kasvojentunnistukseen. Microsoft Kinect kuitenkin soveltuu näistä sovelluskohteista parhaiten pelien ohjaamiseen, mitä varten se on kehitettykin, sillä sen tarkkuus ei yllä plenoptisten kameroiden tasolle. Kinect on kuitenkin noin 150 euron hintaluokassaan [19] halvempi kuin plenoptiset kamerat, vaikka esimerkiksi Lytro on noin 200 euron hinnallansa [15] plenoptisten kameroiden edullisemmasta päästä. Raytrixin kamera maksaa halvimmillaan 15 000 euroa [22]. Kinect on myös helposti saatavissa, minkä takia tietokonealan harrastajat käyttävät sitä paljon. Tässä kandidaatintyössä käsitellään Kinectin tarkkuutta. Työssä arvioidaan etäisyyskameran kalibrointia, linssin vääristymää ja pintojen, etäisyyden sekä ulkoisen valon vaikutusta kameran toimintaan. Toisessa luvussa käydään läpi teoriaa siitä, miten kameran tarkkuutta voidaan mitata. Kolmannessa luvussa kerrotaan mittauksista sekä tuloksista ja sovelletaan teoriaa niihin. Neljännessä luvussa tehdään johtopäätökset tuloksista ja kerrotaan mihin tuloksia voidaan soveltaa.

3 2. KAMERAN VÄÄRISTYMIEN ARVIOINTI Kinect-sensorin tarkkuutta voidaan arvioida mittaamalla sen tuottamat harmaavärisävyjen arvot tietyn kohteen pinnalla, kun kohde on eri etäisyyksillä sensorista. Lisäksi sen tarkkuutta voidaan määrittää sillä, miten paljon Kinectin linssit vääristävät kuvaa. Kinectin etäisyyskameran tarkkuutta voidaan myös arvioida sillä, miten tarkka sen syvyysresoluutio on eli kuinka paljon vaihtelua pitää syvyyssuunnassa olla, että Kinect erottaa sen eri etäisyytenä. 2.1 Kinectin toimintaperiaate Kinectin toiminta perustuu kahteen kameraan sekä infrapunaprojektoriin. Toinen kameroista on tarkoitettu tavallisen värikuvan kuvaamiseen, ja toinen kamera on tarkoitettu syvyyden havainnoimiseen. Kuvaan 2.1 on merkitty IR-projektorin ja kameroiden paikat. Sekä RGB-kameran että IR-kameran resoluutio on 640x480. Syvyyden havainnoimiseen tarkoitettu IR-kamera toimii infrapunasäteilyn taajuusalueella ja havaitsee, mikä on lähellä Kinect-ohjainta ja mikä kaukana sen perusteella, miten infrapunaprojektorin lähettämät lasersäteet heijastuvat kohteista takaisin kameraan. Kinectin etäisyysmittaus on siis aktiivista. Kuva 2.1: Kinectin IR-projektorin ja kameroiden paikat.

2. Kameran vääristymien arviointi 4 Kuva 2.2: Kinectin IR-kameran kuvaa. Kinectin syvyyden havainnoiminen perustuu strukturoituun valoon (engl. structured light). Projektori tuottaa kohteiden pinnalle näennäissatunnaisen pistekuvion, jonka voi nähdä kuvasta 2.2 1. IR-kamera kuvaa pistekuvion ja vertaa sitä kuvioon, joka kameran ohjelmistoon on tallennettu. Häiriöt kuvatussa pistekuviossa verrattuna alkuperäiseen kuvioon tarkoittavat pinnanmuotojen vaihteluita. Pistekuvion muutosten avulla Kinect pystyy päättelemään ovatko kohteet lähellä vai kaukana. [12]. Strukturoitu valo voi perustua pisteiden lisäksi myös esimerkiksi viivoihin tai ruudukkoihin [14]. Koska etäisyysdata saadaan pisteille eikä yhtenäiselle pinnalle, pitää pisteiden väliin sovittaa pinta, jos etäisyysdatasta halutaan tehdä 2D- tai 3D-malli. Pinnan rakentaminen (engl. surface reconstruction) toteutetaan interpoloimalla pisteitä ja sovittamalla pinta pisteiden väliin. Interpoloinnista ja pinnan sovittamisesta johtuen etäisyyskartta ei täysin vastaa todellisia etäisyyksiä. [12] Värikuvan ja syvyysdatan avulla Kinect pystyy luomaan kuvan pelaajasta television näytölle, ja syvyysdatan avulla voidaan poistaa tai lisätä tietylle etäisyydelle graikkaa. Esimerkiksi jos pelaaja on 1,5 metrin etäisyydellä Kinectistä, voidaan 2,0 metrin etäisyydelle lisätä uusi tausta ja 0,8 metrin etäisyydelle lisätä pelin etenemisen pistetiedot. Pelaajalla on tilaa liikkua syvyyssuunnassa, mutta tausta ja pistetiedot pysyvät määrättynä graikkana. Kinect pystyy tunnistamaan niin monta 1 http://commons.wikimedia.org/wiki/file:kinect2-ir-image.png

2. Kameran vääristymien arviointi 5 pelaajaa kuin sen kameroiden näkökenttään mahtuu. Kinectissä on myös 4 mikrofonia, joiden avulla se pystyy tunnistamaan puhetta useilla kielillä, mutta esimerkiksi suomen kieltä ei vielä tueta [18]. Koska Kinect käyttää infrapunasäteitä, sitä ei voida käyttää täydessä auringonpaisteessa, sillä aurinko tuottaa infrapunasäteilyä. Hehku- ja halogeenilamput tuottavat myös IR-säteilyä, joten hyvä valonlähde Kinectillä kuvaamiseen on esimerkiksi loisteputki tai LED-lamppu, sillä ne eivät tuota IR-säteilyä [13]. Lisäksi lasi absorboi infrapunasäteitä [2], joten Kinect ei pysty erottamaan esimerkiksi ikkunoita tai lasikantista pöytää. Kinect toimii kuitenkin tyydyttävästi myös päivänvalossa ja hehkulamppujen valossa, kunhan se ei ole suorassa auringonpaisteessa ja infrapunasäteilyä tuottavat lamput eivät ole liian lähellä kuvattavia kohteita. [12] Kinectin värikameralla on kiinteä polttoväli, mikä tarkoittaa, että linssiä ei ole mahdollista lähentää tai loitontaa. Värikamera on tarkennettu hyperfokaaliselle etäisyydelle (engl. hyperfocal distance) eli kamera on tyydyttävän tarkka koko sen kuvaamalta etäisyysalueelta. Aivan kameran linssin välittömässä läheisyydessä olevat kohteet ja varsin etäällä olevat kohteet näyttävät jonkin verran epätarkoilta. [5] Kinectin uudessa vuonna 2013 julkaistussa versiossa on parannettu hahmontunnistus, parempi syvyystarkkuus ja suurempi 1920x1080 kuvapisteen videoresoluutio. Syvyyskameran resoluutio on 512x424. [20] Kinect v2 toimii osittain eri tekniikalla kuin vanha Kinect. Uudempi liiketunnistin käyttää time-of-ight-tekniikkaa syvyysdatan kuvantamiseen. ToF-tekniikka perustuu valopulssiin ja valonnopeuteen. Kuva 2.3: Time-of-ight-tekniikka. Lähetin lähettää pulssin, joka heijastuu kohteesta kameraan ja järjestelmä mittaa ajan, joka pulssilta kestää lähettimestä kameran vastaanottimeen.

2. Kameran vääristymien arviointi 6 Time-of-ight-tekniikan toiminta on havainnollistettu kuvassa 2.3. Järjestelmä lähettää laser- tai valopulssin kameran kuvaamaan suuntaan. Pulssi heijastuu sitten kohteista takaisin kameraan. Järjestelmä mittaa sen jälkeen valopulssin matka-ajan. Tätä aikaa, joka pulssilla kestää matkata kohteeseen ja palata kameraan, kutsutaan termillä "time of ight". [8] Valopulssi heijastuu lähellä olevista kohteista nopeammin takaisin kameraan kuin kaukana olevista kohteista. Pulssin matka voidaan laskea kaavalla s = v t, (2.1) jossa s on matkan pituus, v on valonnopeus ja t on matka-aika. Esimerkiksi järjestelmän mitattua matka-ajaksi t=0,000001 s voidaan kaavan 2.1 ja valonnopeuden v=299 792 458 m/s avulla laskea matkan pituus s = 299792458 m/s 0, 000001 s = 299, 79 m. (2.2) Etäisyys on siis puolet matkasta eli s = 149,90 m. 2 Time-of-ight-kamerat ovat tarkempia kuin infrapunatekniikkaan perustuvat kamerat. Niiden syvyysresoluutio on noin yksi senttimetri, mikä tarkoittaa sitä, että kohteilla pitää olla yli yhden senttimetrin etäisyysero kameraan, jotta kamera havaitsee kohteiden olevan eri etäisyyksillä. 2.2 Linssin vääristymä Linssit, jotka eivät vääristä ottamaansa kuvaa yhtään, ovat harvinaisia. Niiden valmistaminen maksaa moninkertaisesti enemmän kuin linssien, joiden optiikassa on jonkin verran vääristymää. Vaikka linssi olisi edullinen ja optiikka aiheuttaisi vääristymää, on se mahdollista korjata jälkikäsittelyllä: esimerkiksi geometriankorjausohjelmalla, kuvankäsittelyohjelmalla tai MATLABilla. Hankalaa jälkikäsittelystä tekee se, että vääristymiä on useanlaisia, ja linssi voi aiheuttaa samanaikaisesti montaa vääristymää. Kuva 2.4: Vääristymiä. Vasemmalla tynnyrivääristymä, keskellä tyynyvääristymä ja oikealla viiksivääristymä, joka on yhdistelmä tynnyri- ja tyynyvääristymää.

2. Kameran vääristymien arviointi 7 Kuva 2.5: Kuvaaja todellisen r u ja vääristyneen r d pisteen käyttäytymisestä. Tavallisimmat vääristymät ovat tynnyrivääristymä (engl. barrel distortion), tyynyvääristymä (engl. cushion distortion) ja viiksivääristymä (engl. moustache distortion), jotka on esitetty kuvassa 2.4. Nimet kuvaavat vääristymän muotoja. Tynnyrivääristymässä kuvan keskikohta on pulleampi kuin reunat. Tyynyvääristymässä kuvan reunat vetäytyvät kohti keskikohtaa, mutta kulmat eivät. Viiksivääristymä on puolestaan yhdistelmä sekä tynnyri- että tyynyvääristymää. Merkittävin vääristymistä on tynnyrivääristymä. Tynnyrivääristymää ilmenee linsseissä, jotka suurentavat keskeltä enemmän kuin reunoilta. Tynnyrivääristymässä siis kuvan keskikohta puskee reunojen keskiosia ulos kuva-alueelta. Tavallisinta tynnyrivääristymä on laajakulmalinsseissä. [16] Vääristymä voidaan korjata kaavalla r u = r d (1 + kr d 2 ), (2.3) jossa r u on yksittäisen pisteen etäisyys kuvan keskipisteestä vääristymättömässä (engl. undistorted) kuvassa, ja vastaavasti r d on vääristyneen (engl. distorted) kuvan yksittäisen pisteen etäisyys keskipisteestä. Vääristyneen kuvan yksittäinen piste kuvautuu siis eri kohtaan kuin vääristymättömän kuvan piste. Ylläolevaa kaavaa voi soveltaa myös tyynyvääristymään. Kaavan 2.3 muuttuja k > 0, kun kyseessä on tynnyrivääristymä ja k < 0, kun kyseessä on tyynyvääristymä. Muiden vääristymien kuvaaminen kaavalla on monimutkaisempaa. Kaava 2.3 on monotoninen funktio, jolla on myös käänteisfunktio. Käänteisfunktiolla saadaan yksittäisen pisteen etäisyys vääristyneessä kuvassa. Käänteisfunktio on monimutkaisempi kuin kaava 2.3 ja se ei ole olennainen tämän työn kannalta, joten se jätetään huomiotta. Kun linssi vääristää, se siis vääristää yksittäisen pisteen etäisyyttä kuvan keskikohdasta. Kuvassa 2.5 vektori r u merkitsee erään pisteen todellista etäisyyttä kuvan keskipisteestä, mutta linssinvääristymän takia näyttää siltä, että se on r d :n määrittelemässä kohdassa. [9] 2.3 Pienimmän neliösumman menetelmä Pienimmän neliösumman menetelmä (PNS) on yleinen tapa mallintaa muuttujien suhdetta toisiinsa. Menetelmän nimi viittaa siihen, että malli minimoi virheiden

2. Kameran vääristymien arviointi 8 Kuva 2.6: Vasemmalla pisteiden vertikaali poikkeama sovitetusta suorasta ja oikealla pisteiden kohtisuora poikkeama. neliöiden summan. PNS on yleinen tapa sovittaa malli dataan. Menetelmää voi käyttää sekä lineaarisiin että epälineaarisiin ratkaisumalleihin. Useimmiten poikkeaman etäisyyden laskemiseen käytetään pisteiden pystysuoraa (engl. vertical) poikkeamaa. Se on yksinkertaisempi tapa sovittaa piste käyrään, kuin kohtisuora (engl. perpendicular) poikkeama. Kun mittauspisteitä on tarpeeksi, on ero kummankin poikkeamatyyppiin sovitetun käyrän välillä pieni. Kuvassa 2.6 on havainnollistettu pystysuorat ja kohtisuorat poikkeamat. Myös horisontaali poikkeama on mahdollinen, mutta harvoin käytetty tapa. [10] Pienimmän neliösumman kaava on β = (X T X) 1 X T y, (2.4) jossa β minimoi neliösumman virheen. X on matriisi, joka sisältää todelliset etäisyydet sekä sarakkeen ykkösiä, ja y on vektori, jossa on mitattu data. Kaavan 2.4 oletuksena on, että y = Xβ + ε, (2.5) jossa ε on virhetermi. Kaavassa 3.1 halutaan löytää kertoimet X:lle ja vakiolle niin, että tuloksena tulee aina y. Virheen ε 2 = y Xβ (2.6) minimoi β. Kun PNS-mallin sovittaa dataan, β on kulmakerroin ja ε on siis vertikaalien poikkeamien neliövirhe. PNS-malli siis minimoi vertikaalien poikkeamien yhteispituuden. [10]

2. Kameran vääristymien arviointi 9 Kaava 3.1 on suoran malli, ja se voidaan ilmaista myös kaavalla y(0) y(1) y(2). y(n 1) = x(0) 1 x(1) 1 x(2) 1.. x(n 1) 1 ( a b ) + ε, jossa N on mittauspisteiden lukumäärä. Toisen asteen malli on epälineaarinen malli ja se ei välttämättä aina löydy, mutta se voidaan ilmaista matriisimuodossa y(0) y(1) y(2). y(n 1) = x(0) 2 x(0) 1 x(1) 2 x(1) 1 x(2) 2 x(2) 1... x(n 1) 2 x(n 1) 1 a b c + ε. [10]

10 3. MITTAUKSET JA TULOKSET Mittauksien suorittamiseen käytettiin Microsoft Kinectiä, mittanauhaa sekä MAT- LAB-ohjelmistoa, ja kuvauskohteena toimi tasakylkinen pahvilaatikko. MATLABiin asennettiin myös Image Acquisition Toolbox -työkalu, joka on MATLAB-ohjelmiston tavoin MathWorks-yhtiön kehittämä. Image Acquisition Toolbox sisältää koodin, jonka suorittamalla Kinectillä saa otettua kuvia. Mittaukset tehtiin lattialla, koska pinta oli tasainen ja soveltui näin ollen hyvin mittausalustaksi. Kun MATLABin avulla otettiin kuva Kinectin kuvaamasta alueesta, tuotti Kinect tavallisen värikuvan sekä harmaasävyisen etäisyyskarttakuvan, jossa eri harmaasävyt vastasivat eri etäisyyksiä. Pahvilaatikosta otettiin kuvia eri etäisyyksillä. MATLABilla otettiin etäisyyskameran tuottamasta harmaasävykuvasta 11x11 pikselin kokoinen alue kohteesta eli pahvilaatikosta. Mittaukset toistettiin viisi kertaa, ja mittauksista sekä 11x11 pikselin kokoisesta alueesta laskettiin keskiarvo, jota käytettiin PNS-mallin sovituksessa. 3.1 Tarkkuus eri etäisyyksillä Ensimmäisenä selvitettiin Kinectin etäisyyskameran havaitsema minimietäisyys. Kun pahvilaatikon asettaa 0-800 millimetrin etäisyydelle Kinectin sensorista, on etäisyysdata nolla. Tasan 800 millimetrin etäisyydellä Kinect tuottaa ensimmäiset nollasta poikkeavat luvut, jotka tässä tapauksessa ovat arvon 801 kohdalla. Mittauksia jatkettiin 200 millimetrin välein. Pääsääntöisesti näytti siltä, että Kinectin havaitsema etäisyys on lähellä todellista etäisyyttä. Etäisyyskameran havaitsemisalue loppuu neljään metriin, jolloin se antaa etäisyysdataksi vaihtelevasti 3975 ja 0. Musta harmaasävyn arvo eli nolladata merkitsee, että Kinect ei pysty havaitsemaan mitään. Viimeinen etäisyys, jolla etäisyyskamera tunnisti vielä koko pahvilaatikon, oli 3920 millimetrin etäisyydellä. Tällöin Kinect antoi dataksi 3941. Kinectin toiminta-alue rajoittuu myös IR-projektorin lasersäteen tehoon, joka ei voi olla liian voimakas, jotta se ei vahingoita pelaajien silmiä. Sovitetaan Kinectillä mitattuun dataan teorialuvussa esitelty pienimmän neliösumman menetelmä, jolloin mittausdatan poikkeama todelliseen etäisyyteen verrattuna on helppo havaita. MATLABissa suoritetun PNS-mallin sovituksen jälkeen kulmakertoimeksi saatiin 1,0053 ja neliövirheeksi 3,0162. Luvun 2.3 kaavan mukaan

3. Mittaukset ja tulokset 11 Kuva 3.1: Punaisilla ympyröillä on merkitty Kinectin havaitseman etäisyyden ja todellisen etäisyyden kuvaaja. Sininen suora on tähän dataan sovitettu PNS-malli. saadaan sijoitettua kertoimet X:lle ja ε:lle seuraavasti: y = 1, 0053X + 3, 0162, (3.1) jossa kertoimet on siis löydetty niin, että tuloksena tulee aina y. Yleisesti voidaan todeta, että mikä tahansa kamera on kalibroitu hyvin, jos kulmakerroin on 1 ja neliövirhe on pieni. Voidaan siis todeta, että Kinectin IR-kamera on tarkasti kalibroitu. Kuvassa 3.1 on Kinectin havaitseman etäisyyden ja todellisen etäisyyden kuvaaja, johon on sovitettu PNS-malli. Kuvasta voi nähdä, että lähellä neljää metriä Kinectin havaitsema etäisyys poikkeaa sovitetusta PNS-suorasta. Poikkeamat ovat kuitenkin pieniä. Kuvaajasta on myös jätetty pois etäisyydet 0-600 millimetrin sekä 4000 millimetrin kohdalla, sillä niissä Kinect tuotti nolladataa. 3.2 Pintojen muotojen ja infrapunasäteilyn vaikutus tarkkuuteen Kinect erottaa parhaiten muodot, jotka ovat selkeitä rajoiltaan ja jotka pysyvät paikallaan. Mittauksien mukaan Kinect kuitenkin pystyy erottamaan myös hankalia kohteita, kuten pitkät, liikkeessä olevat hiukset, mutta Kinect tulkitsee ne yhtenä kokonaisena alueena eikä yksittäisinä ohuina kohteina. Tämänkaltaiset kohteet

3. Mittaukset ja tulokset 12 Kuva 3.2: Pahvilaatikko asetettuna vinosti kohti Kinectin kameraa. Vasemmalla värikameran kuva ja oikealla IR-kameran kuva. näkyvät syvyyskartassa yhtenä isona kenttänä interpoloinnin takia. Esimerkiksi lattialla sijaitseva tuoli on puolestaan helposti havaittavissa todellisessa muodossaan. Kaikissa mittauksissa on varmistettu, että kuvattavat kohteet eivät ole liian lähellä tai kaukana Kinectistä, niin että ne ovat sen toiminta-alueella. Kinect ei erota pieniä vaihtelevuuksia syvyyksissä, esimerkiksi tekstuuria tapetin pinnassa tai rapattua seinää, koska Kinectin syvyysresoluutio ei ole tarpeeksi tarkka erottamaan pieniä syvyyseroja. Lisäksi Kinect ei havaitse kameraa kohti sijaitsevien viistojen tasaisten pintojen etäisyyksiä pätevästi. Kuvan 3.2 mittausasetelmassa pahvilaatikon oikean ja vasemman reunan etäisyyksiksi kolmen mittauksen toistamisen jälkeen Kinect antoi arvon 1212 vasemmalle ja 1104 oikealla. Vasemman reunan mitattu etäisyys oli todellisuudessa 1250 millimetriä ja oikean reunan mitattu etäisyys 1115 millimetriä. Kameraa lähimpänä olevan pahvilaatikon kulman arvoksi Kinect antoi 849, kun mitattu etäisyys oli todellisuudessa 850 millimetriä. Vasemman reunan poikkeama todellisesta etäisyydestä oli siis 38 millimetriä, ja oikean reunan 11 millimetriä. Kuva 3.3: Kinectin IR-kameran toiminta auringonpaisteessa.

3. Mittaukset ja tulokset 13 Kuva 3.4: Kinectin IR-kameran toiminta, kun halogeenilamppu on lähellä kuvattavaa kohdetta. Kinect ei siis tunnista kohteen reunoja yhtä tarkasti kuin tasaista, selkeää pintaa, mikä johtuu IR-säteiden pistejoukon tiheydestä. Kohteen reunojen kohdalle pistejoukot osuvat niin, että aivan kohteen reunaan ei välttämättä osu kuin muutama IR-säde, jolloin Kinectin on vaikea muodostaa yhtenäinen etäisyyskartta. Etäisyyskarttoja tutkimalla huomataan myös, että Kinect ei muodosta tyydyttävästi tarkkoja, suoria reunoja kohteille. Tämä johtuu edelleen infrapunasäteiden pistejoukon tiheydestä ja muodosta, joka on siis näennäissatunnainen. Ulkopuolisista lähteistä peräisin oleva infrapunasäteily häiritsee Kinectin IR-sensorin toimintaa. Suora auringonpaiste tuottaa niin paljon häiritsevää IR-säteilyä, että Kinect ei havaitse ollenkaan etäisyysdataa kuvatusta kohteesta. Kuvassa 3.3 näkyy, että Kinect tuottaa vain nolladataa, kun sillä yrittää ottaa etäisyyskuvan aurinkoisesta parvekkeesta. Myös halogeenilampun tuottamaa häiriötä testattiin. Kuvasta 3.4 huomataan, että halogeenilampun aiheuttama IR-säteily estää Kinectiä havaitsemasta pahvilaatikon seinää. Lampun aiheuttama IR-säteily ulottuu kuitenkin vain pienelle alueelle. 3.3 Värikameran vääristymät Kinectin värikameran tarkkuutta arvioitiin ottamalla kuvia shakkiruudukosta eri kuvakulmista. Shakkiruutujen kulmat eroteltiin Jean-Yves Bouguetin tekemän Camera Calibration Toolbox for Matlab -ohjelman työkalulla [4]. Ensin kuvaan merkittiin shakkiruudukon neljä kulmaa, joiden sisälle kulmanerottelutyökalu laskee shakkiruudukon muut kulmat. Jos työkalun merkitsemät punaiset ristit osuvat kulmien kohdalle, on kamera hyvin kalibroitu eikä linssin vääristymää juuri ole. Kuvista 3.5 ja 3.6 nähdään, että Kinectin värikameran linssissä ei ole havaittavissa vääristymää. Kun Calibration Toolbox for Matlab -ohjelman kuitenkin suorittaa, antaa ohjelma vääristymän kertoimeksi k = 0, 09474. Kalibraatio-ohjelman mukaan

3. Mittaukset ja tulokset 14 Kuva 3.5: Caltechin Camera Calibration -ohjelman kuvaa. Kohtisuoraan otettu kuva. siis Kinectin kamerassa on pientä vääristymää, joka on kuitenkin esimerkiksi kuvasta 3.5 juuri mahdotonta havaita. Ohjelma käsittelee kertoimet toisinpäin kuin luvun 2.2 kaava 2.3. Ohjelman mukaan, kun k > 0, niin kuvassa on tyynyvääristymää, ja kun k < 0, kyseessä on tynnyrivääristymä [4]. Kalibraatiotyökalun mukaan Kinectin värikamerassa on siis pientä tyynyvääristymää eli kuvan reunat ovat hieman vetäytyneet kohti kuvan keskipistettä. Voidaan kuitenkin todeta, että Kinectin värikamera on hyvin kalibroitu. Kuva 3.6: Caltechin Camera Calibration -ohjelman kuvaa. Viistosti otettu kuva.

3. Mittaukset ja tulokset 15 Linssin geometristen vääristymien lisäksi kuvan laatuun vaikuttavat automaattitarkennus (engl. autofocus (AF)), automaattivalotus (engl. automatic exposure (AE)) ja automaattinen valkotasapaino (engl. automatic white balance (AWB)). Nämä menetelmät ovat käytössä usein digitaalisissa kamerajärjestelmissä, kuten älypuhelimien tai tablettilaitteiden kameroissa. [11] Geometristen vääristymien ohella Kinectin värikameran muu tarkkuus ei kuitenkaan kuulu työn aihepiiriin, joten esimerkiksi yllämainitut automaattimenetelmät jätetään huomiotta.

16 4. JOHTOPÄÄTÖKSET Kinectin infrapunakameran havaitsema etäisyysalue loppuu 3920 millimetrin kohdalle. Voidaan olettaa, että jos Kinectin toiminta-aluetta jatkettaisiin sen yli, niin etäisyyden havainnointi ei enää toimisi yhtä tarkasti. Kinectin infrapunaprojektorin lasersäteen tehoa jouduttaisiin luultavasti myös lisäämään, mikä aiheuttaisi ongelmia turvallisuusmääräysten suhteen. Kinectin havaitsema etäisyys poikkeaa todellisesta etäisyydestä vain vähän mitattaessa kohdetta, joka on asetettu kohtisuoraan Kinectiä vastaan. Kun mitataan pintojen reunoja, Kinectin havaitsema etäisyys poikkeaa todellisestä etäisyydestä selkeästi. Poikkeamat Kinectin datassa, joiden voidaan olettaa vastaavan todellisen etäisyyden millimetrejä, saattavat johtua osittain mittausvirheistä, minkä takia samoja mittauksia toistettiin useampaan kertaan. Luvussa 3.1 käytetyn PNS-mallin antamat kertoimet Kinectin datalle ovat todiste siitä, että Kinect toimii tarkasti mitatessaan etäisyyttä toiminta-alueellaan. Kinect on siis kalibroitu tarkasti tuotantovaiheessa, eikä tarvitse jälkikalibrointia. Koska Kinectin reunojenerottelukyky sekä syvyysresoluutio eivät ole tarpeeksi tarkkoja, Kinectin tekniikka ei sovellu esimerkiksi tehtaiden tuotantolinjoilla valmistusvirheiden havaitsemiseen. Kuitenkin suhteellisen tarkan etäisyyskameransa ja vääristämättömän linssinsä ansiosta se on kelvollinen vaihtoehto kameraksi viihdetai opetustarkoituksessa 3D-mallinnusta tekeville ohjelmille. Jatkotutkimusvaihtoehtona on esimerkiksi tutkia 3D-mallinnusohjelmien tarkkuutta, kun kohteet on kuvattu Kinectillä. Kinectin värikameran vääristymän arvoksi saatiin -0,09474, jonka mukaan värikameran linssissä on pientä tyynyvääristymää, joka on kuitenkin mahdotonta nähdä kuvasta. Luvun 3.3 lopussa mainittujen automaattimenetelmien laatua ja toimivuutta voi harkita jatkotutkimusvaihtoehdoksi värikameran tarkkuuteen liittyen. Kinectin kyky erottaa esimerkiksi hiukset tekee siitä hyvän vaihtoehdon peliohjaimeksi. Se pystyy tunnistamaan ihmishahmon kokonaisuudessaan ja kykenee irrottamaan hahmon taustasta, jolloin tausta on mahdollista korvata graikalla. Kuitenkin hehkulamppujen ja erityisesti auringon tuottaman häiritsevän infrapunasäteilyn takia Kinectiä ei voi käyttää missä tahansa valaistusolosuhteessa. Myös häiritsevä infrapunasäteily on hyvä jatkotutkimusvaihtoehto. Jatkotutkimuksessa voisi käyttää esimerkiksi kahta Kinectiä ja tutkia niiden vaikutusta toistensa toimintaan.

4. Johtopäätökset 17 Tämän kandidaatintyön tavoitteena oli arvioida Kinectin tarkkuutta. Menetelmät, joita käytettiin, toimivat hyvin ja todistavat sen, että Kinect on kalibroitu tarkasti. Työ jäi sen osalta avoimeksi, että suoristusfunktiota linssin vääristymälle ei saatu toteutettua, sillä linssi oli lähes vääristämätön. Lisäksi Kinectin IR-kameraa ei päästy itse kalibroimaan, sillä sekin oli jo valmiiksi tarkka.

18 LÄHTEET [1] 3ders. 3D printer price compare. Saatavissa (viitattu 16.5.2015): http:// www.3ders.org/3d-printer/3d-printer-price.html. [2] J. R. Barrante. Can infrared light pass through glass?, April 2013. Saatavissa (viitattu 5.5.2015): https://climaterx.wordpress.com/2013/04/11/caninfrared-light-pass-through-glass. [3] BBC News. Out-of-focus pictures eliminated by photography innovation, August 2011. Saatavissa (viitattu 5.5.2015): http://news.bbc.co.uk/2/hi/ programmes/click_online/9568340.stm. [4] J.-Y. Bouguet. Camera calibration toolbox for Matlab. Saatavissa (viitattu 11.5.2015): http://www.vision.caltech.edu/bouguetj/calib_doc/. [5] Cambridge in Colour. Hyperfocal distance. Saatavissa (viitattu 5.5.2015): http://www.cambridgeincolour.com/tutorials/hyperfocal-distance.htm. [6] Creative Technology Ltd. Creative Senz3D. Saatavissa (viitattu 16.5.2015): http://fi.creative.com/p/web-cameras/creative-senz3d. [7] I. Fried. Meet the stealthy start-up that aims to sharpen focus of entire camera industry, June 2011. Saatavissa (viitattu 5.5.2015): http://allthingsd.com/20110621/meet-the-stealthy-start-up-thataims-to-sharpen-focus-of-entire-camera-industry. [8] S. B. Gokturk, H. Yalcin, and C. Bamji. A Time-Of-Flight depth sensor - system description, issues and solutions. Saatavissa: http: //web.archive.org/web/20070623233559/http://www.canesta.com/assets/ pdf/technicalpapers/cvpr_submission_tof.pdf. [9] K.T. Gribbon, C.T. Johnston, and D.G. Bailey. A real-time FPGA implementation of a barrel distortion correction algorithm with bilinear interpolation, November 2003. Saatavissa: http://sprg.massey.ac.nz/pdfs/ 2003_IVCNZ_408.pdf. [10] T. Hastie, R. Tibshirani, and J. Friedman. The Elements of Statistical Learning. Springer, 2nd edition, February 2009. Saatavissa: http:// statweb.stanford.edu/~tibs/elemstatlearn. pp.21-46. [11] W. Jang, B. Kwak, J. Kim, and B. Kang. An image signal processor for ultra small HD video sensor with 3A in camera phones. 2009.

LÄHTEET 19 [12] J. Kramer, N. Burrus, F. Echtler, D. Herrera C., and M. Parker. Hacking the Kinect. Springer, 2012. pp.12-162. [13] Ledstore. Led vai halogeeni? Saatavissa (viitattu 5.5.2015): http:// ledstore.fi/led-vai-halogeeni. [14] E. Lilienblum and A. Al-Hamadi. A structured light approach for 3-D surfacereconstruction with a stereo line-scan system. IEEE transactions on instrumentation and measurement, 2015. Vol.64, No.5, pp.1266-1274. [15] Lytro. The rst generation Lytro camera. Saatavissa (viitattu 16.5.2015): [16] J. Meyer. Lens distortion: everything every photographer must know, October 2012. Saatavissa (viitattu 5.5.2015): http://www.digitalcameraworld.com/ https://store.lytro.com/collections/the-first-generation-lytrocamera. 2012/10/12/lens-distortion-everything-every-photographer-mustknow/. [17] Microsoft News Center. Microsoft releases Kinect for Windows SDK beta for academics and enthusiasts, June 2011. Saatavissa (viitattu 5.5.2015): http://www.microsoft.com/en-us/news/press/2011/jun11/ 06-16mskinectsdkpr.aspx. [18] Microsoft Xbox. Kinectin puheentunnistus ja keskustelu Xbox 360:ssä. Saatavissa (viitattu 5.5.2015): http://support.xbox.com/fi-fi/xbox-360/ kinect/speech-recognition. [19] Microsoft Xbox. Lisää lisälaitteita. Saatavissa (viitattu 16.5.2015): http:// www.xbox.com/fi-fi/xbox-360/accessories/more#retailerblade. [20] V. Pterneas. Kinect for Windows version 2: overview, February 2014. Saatavissa (viitattu 5.5.2015): http://pterneas.com/2014/02/08/kinect-forwindows-version-2-overview. [21] G. Rainville. GPU startup story: Raytrix conjures 3D from singlelens camera, October 2012. Saatavissa (viitattu 5.5.2015): http: //blogs.nvidia.com/blog/2012/10/19/gpu-startup-story-raytrixconjures-3d-from-single-lens-camera. [22] Raytrix GmbH. 3D light eld camera technology. Saatavissa (viitattu 16.5.2015): http://www.raytrix.de/tl_files/downloads/products.pdf.

LÄHTEET 20 [23] S. Sakr. Pelican Imaging's 16-lens array camera coming to smartphones next year, May 2013. Saatavissa (viitattu 5.5.2015): http://www.engadget.com/ 2013/05/02/pelican-imaging-array-camera-coming-2014. [24] A. Yadav and T. B. Mohite-Patil. Distance measurement with active and passive method distance. International Journal of Computer Science and Network (IJCSN), August 2012. Vol.1, No.4, pp.16-19. Saatavissa (viitattu 16.5.2015): http://ijcsn.org/ijcsn-2012/1-4/ijcsn-2012-1-4-13.pdf.

21 A. LIITTEITÄ Liite 1 - Camera Calibration Toolbox for Matlab -ohjelman kalibrointidata