Suurnopeusfotogrammetria: 3D-liikkeen määrityksestä kuvamittauksin suurnopeusvideota käyttäen

Transkriptio

1 Maa Fotogrammetrian erikoistyö Suurnopeusfotogrammetria: 3D-liikkeen määrityksestä kuvamittauksin suurnopeusvideota käyttäen Mika Virtanen

2 Sisällysluettelo 0. Johdanto 5 1. Kuva, sen tallennus ja analysointi Dynaamisten ilmiöiden mittaaminen kuvilta Kuvamittauksen eri tyypit Lähifotogrammetria Tosiaikainen fotogrammetria Suurnopeusfotogrammetria Tosiaikainen suurnopeusfotogrammetria 1.3 Ihmissilmän rajoitukset dynaamisten ilmiöiden analysoinnissa Ihmissilmän rekisteröintinopeus Tarkan näön näkökenttä Hidas muutos Hetkellinen nopeuden muutos 1.4 Kuvauslaitteet dynaamisten ilmiöiden tallentamiseen Valokuvaus ja elokuvakamerat Videokamerat Suurnopeusvideot Modernit videolaitteet Integroidut videotallentimet Liikkeen tunnistavat kuvasensorit 1.5 Nopean kuvauksen virstanpylväitä Kuvasensorien ominaisuuksista Kuvasensorien päätyypit Kuvasensorien ominaisuuksista Täyttöaste ( Fill factor ) Kvanttihyötysuhde Vaste ( responsivity ) Herkkyys Yhtenäisyys ( Uniformity ) Suljin Nopeus Ikkunointi kuvan rajaus Antiblooming ylivuodon estäminen Toimintojen ajoitus Luotettavuus ja käyttö Kustannusvertailu 2

3 2.3 Kuvasensorien kehitysnäkymiä Liikkeen tyyppien taksonomia Liikkeiden päätyypit Rajoitetut liikkeen tyypit Yleiset liikkeen tyypit 3.2 A priori-tiedon vaikutus Liikkeen seuranta ilman a priori-tietoa kohteesta Liikkeen seuranta kohteen a priori-tiedon ja keinotekoisten piirteiden avulla Rajoitukset ja oletukset mallintamisen apuna 3.3 Piirteiden irrotus kohteesta Eksplisiittinen piirteiden sovitus Implisiittinen piirteiden sovitus 3.4 Kohteen liikkeen seuranta a priori-tietoa hyödyntäen Parametriset mallit Fysikaaliset mallit 3.5 Käytännön liikemittauksista Avainkohtien mittaaminen Pintamalli Kohteen osittelu Region, volume ja moment of interest 4. Esimerkkejä kuvamittauksen käytännön sovelluksista D-mittaus yhdellä kameralla Geometrinen rajoitus Pintakuvion käyttö Holografiset menetelmät 4.2 3D-mittaus kahdella kameralla Ortogonaalinen kamerakonfiguraatio Aramis 3D-mittausjärjestelmä Jäykän kappaleen liikkeen 3D-seuranta 4.3 3D-mittaus kolmella kameralla Epipolaarigeometria Virtauksen määritys kolmella kameralla epipolaarigeometriaa hyödyntäen 3

4 4.4 Neljä kameraa ja enemmän Kameroiden määrän vaikutus mittaustarkkuuteen 4.5 Kameroiden synkronointi Matemaattisia malleja ja laitteistoja tietokoneavusteiseen liikkeen havainnollistamiseen Liikkeen määritys havaintomatriisin faktorisointimenetelmällä DSS - Dynamic surfel sampling Kalman-suodatin 5 ESPI : pienten dynaamisten muutosten mittaus holografialla Perusteet Temporaalinen vaiheen purku Spatiaalinen vaiheen purku Vaihepuretun aineiston käsittely Johtopäätökset Lähdeluettelo 47 4

5 0. Johdanto Dynaamisten ilmiöiden ja liikkeen tutkimiseen ja mittaamiseen liikkuvan kuvan tallentaminen tarjoaa hyvän työkalun. Kun lähifotogrammetrian keinoin määritetään tutkimuksen kohteen kolmiulotteista muutosta ja liikettä kuvamittauksin, siirrytään kohti konenäköä ja tosiaikaista fotogrammetriaa. Tutkittavien ilmiöiden tai liikkeen ollessa hyvin nopeaa, siirrytään uudelle alueelle kuvauslaitteiden vaatimusten suhteen, suurnopeusvideoihin luvun alusta lähtien on ollut saatavilla täysin digitaalisia videolaitteita, joiden nopeus ylittää selkeästi normaalin videostandardin. Näiden hyödyntäminen myös lähifotogrammetriassa on luonnollinen jatko tosiaikaisen fotogrammetrian ja konenäön kehityksessä. Tässä erikoistyössä luodaan katsaus kehitykseen dynaamisten ilmiöiden kolmiulotteisessa mittauksessa lähifotogrammetrian avulla. Pohdinnan kohteena on myös, onko suurnopeusfotogrammetriaa olemassa, ja millä perusteilla suurnopeusfotogrammetrian voisi erottaa omaksi lähifotogrammetrian osa-alueekseen. Tätä tavoitetta toteutetaan etsimällä tässä työssä määritellyn mukaisen suurnopeusfotogrammetrian kriteerit täyttäviä tai siihen sovellettavia mittausratkaisuja kirjallisuustutkimuksena. Ensimmäisessä luvussa lähdetään kuvan määrittelystä seuraamaan havaintolaitteiden kehityskulkua silmästä nykyaikaiseen videotekniikkaan, ja käydään läpi lähifotogrammetriaan liittyviä määritelmiä. Toisessa luvussa selvitetään nyt vallitsevan kahden videosensoriteknologian eroja, ja mitkä ovat niiden vahvuudet ja heikkoudet toisiinsa nähden. Kolmannessa luvussa esitellään liikkeen tyyppien taksonomia, jonka avulla voidaan luoda viitekehys matemaattisille ja fysikaalisille malleille liikkeen määrittämisessä. Neljäs luku käsittelee käytännön toteutuksia ja ratkaisumalleja erilaisten liikkeiden määritykseen, ja esittelee joitain laitteistoja sekä laskentamalleja. Viidennessä luvussa esitellään lyhyesti hyvin pienten muutosten holografisen mittausmenetelmän ESPI:n kaksi perusvariaatiota. 5

6 1. Kuva, sen tallennus ja analysointi Kuva I voidaan esittää Bengtssonin [2] mukaan funktiona: I = F(x,y,z,w,t) (1.1) jossa x,y,z ovat kolme spatiaalista ulottuvuutta, w kuvaa spektraalista ulottuvuutta ja t temporaalista ulottuvuutta. Spektraaliset ominaisuudet voidaan jakaa aallonpituuteen, intensiteettiin ja vaiheeseen. [34]. Sekä spatiaalista että spektraalista tietoa, erityisesti säteilyn aallon vaihetta käyttävää kuvamittauksen aluetta kutsutaan holografiaksi ( whole-a-graphy, kaikkea tietoa käyttävä) [36] Jako kuvan spatiaaliseen, spektraaliseen ja temporaaliseen ulottuvuuteen on erottava tekijä myös erityyppisille kuvien pakkausmenetelmille [3]. 1.1 Dynaamisten ilmiöiden mittaaminen kuvilta Kuvien käyttö muutoksen tai liikkeen analysointiin on pätevä apuväline eri tutkimuksen aloilla. Perustuen kuvausjärjestelyn pysyvyyteen on kuva-analyysi jaettu tässä työssä ensin karkeasti kolmeen ryhmään: - Kuvasarjat, joissa kuvat voivat olla eri lähteistä, visuaaliseen tarkasteluun ja puhtaasti kvalitatiiviseen analyysiin, esimerkiksi kaupunkikuvia eri aikakausilta. Kuvat voivat olla eri suunnista, eri mittakaavaisia, eri formaateissa (painettu kuva, printti, negatiivit, digitaaliset kuvat). Tämänkaltainen kuva-analyysi ei välttämättä sisällä kuvakoordinaattien mittaamista. Esimerkkinä Jyväskylän kaupungin kaupunkikuvan muutos [41]. - Erikseen toisistaan kalibroitujen ja orientoitujen satelliitti-, ilma- tai terrestriaalikamerakuvien ( mahdollisesti automaattiset) muutostulkinnat. 6

7 Kuvakulma on sama tai lähes sama eri aikaisilla kuvilla, ja kuvat on orientoitu tai oikaistu samassa datumissa. Esimerkkinä rannikkoalueen muutosseuranta myrskytuhojen arvioinnissa Landsat TM-kuvien avulla [43]. - Tutkimuksen aikana vakiona tai lähes vakiona pysyvät kuvausjärjestelyt, jossa koko ilmiö kuvataan kerralla, sekä kalibroinnin että kuvien orientointien muutokset ovat pieniä tai kuvausjärjestely oletetaan stabiiliksi. Esimerkkinä ovat muun muassa deformaatiomittaukset, liikkeen seuranta ja konenäkösovellukset. Erottavana tekijänä edellä mainitulle kolmelle ryhmälle voidaan pitää kalibrointia: ensimmäisessä ryhmässä sitä ei ole, tai sillä ei ole merkitystä. Toisessa ryhmässä eri aikana, mahdollisesti eri laitteilla, otetuilla kuvilla on kullakin oma kalibrointinsa. Kolmannessa ryhmässä mittausjärjestelmä kalibroidaan kokonaisuutena koko mittauksen ajaksi. Tässä työssä keskitytään kolmanteen ryhmään, ja erityisesti nopeiden dynaamisten ilmiöiden mittaamiseen ja nopeiden ilmiöiden mittaamiseen suhteessa lähifotogrammetriaan. Pohdinnan kohteena on lähinnä, minkälaisia yhdistäviä tai erottavia tekijöitä suurnopeusfotogrammetriassa on verrattuna perinteiseen eitopografiseen fotogrammetriaan. 1.2 Kuvamittauksen eri tyypit Fotogrammetria on yleisesti kohteen muodon ja paikan mittaamista kuvilta. Tulosteena on kohteiden koordinaatteja, erilaisia graafisia esityksiä tai kuvatuotteita. Arkikielessä se yhdistetään ilmakuvauksiin ja ilmakuvilta suoritettaviin kartoitusmittauksiin eli topografiseen fotogrammetriaan, jolla tuotetaan aineistoa paikkatietojärjestelmiin [23] Lähifotogrammetria Lähifotogrammetria kattaa kuvamittauksen ei-topografiset sovellukset, erotukseksi topografisesta fotogrammetriasta. Tarkemmin määritettynä lähifotogrammetria kattaa 300 7

8 metrin sisällä havaintovälineestä olevan kohteen ei-topografiset kuvamittaukset [21]. Kraus määrittelee lähifotogrammetriaksi m etäisyydeltä otetuilta kuvilta mittaamisen [23] Tosiaikainen fotogrammetria Tosiaikaisessa fotogrammetriassa normaalin videostandardin mukaisesta kuvauksesta nopeudella 25 tai 30 fps suoritetaan mittaukset ja ne prosessoidaan reaaliajassa RTP, real time photogrammetry [10],[24] Suurnopeusfotogrammetria Suurnopeusfotogrammetriaksi tässä työssä määritellään mittaukset, joissa kuvausnopeus ylittää videostandardin huomioiden kuvan limityksen. Tällä määritelmällä yli 60 fps nopeudella suoritetusta kuvauksesta mittaaminen on suurnopeusfotogrammetrian alueella Tosiaikainen suurnopeusfotogrammetria Tosiaikaisessa suurnopeusfotogrammetriassa HSRTP, high speed real time photogrammetry, prosessoidaan suurnopeusvideolla kuvattu aineisto reaaliajassa [31], [42]. 1.3 Ihmissilmän rajoitukset dynaamisten ilmiöiden analysoinnissa Ihmissilmä on verrattavissa pelkän kameran sijasta kokonaiseen järjestelmään, joka tuottaa kuvan ja analysoi sitä. Jotkut automaattiset silmän näköaistiin liittyvät reaktiot ovat paljon silmän kuvanmuodostusprosessia nopeampia, mutta normaalissa tilanteessa silmän toimintaan pätevät seuraavassa listattavat ominaisuudet [16]. 8

9 1.3.1 Ihmissilmän rekisteröintinopeus Ihmissilmän rekisteröintinopeuden on todettu olevan yksinkertaiselle liikkeelle noin 1/5 sekuntia, josta saadaan nopeus 5 fps. Monimutkaisempi liike vaatii enemmän aikaa, ja toisaalta hyvin harjoitetun silmän nopeus voi parhaimmillaan olla 1/10 s Tarkan näön näkökenttä Ihmissilmä tarkan näön havaintoalue on kapea. Havaintoa tehdessä koko näkökenttä skannataan monessa osassa. Tämä osaltaan vaikuttaa rekisteröintinopeuteen Hidas muutos Hitaasti tapahtuvat muutokset ovat ihmissilmälle hyvin vaikeita arvioida. Kyseessä ei niinkään ole silmän ominaisuus kuin mahdollisuus keskittyä pitkäksi ajaksi yhteen asiaan. Videolle tai filmille voidaan kuvia tallentaa myös hyvin pienellä kuvanottotiheydellä, esimerkkinä tästä rakenteiden kunnon valvonta Hetkellinen nopeuden muutos Hetkellisen nopeuden muutoksen määritelmä on v 1 v 2 /v (1.2) jossa v 1 on nopeus ennen muutosta ja v 2 loppunopeus. Ihmissilmä erottaa n. 10% muutoksen, huonoissa oloissa tai kaukana huonommin. Video- tai filmimateriaalista mittaamalla päästään selvästi alle 1% erotuskykyyn nopeuden muutoksessa [16]. 9

10 1.4 Kuvauslaitteet dynaamisten ilmiöiden tallentamiseen Valokuvaus ja elokuvakamerat Ensimmäiset suurnopeusvalokuvat otettiin 1851 [27], ja mahdollisuus jäädyttää liike avasi tutkijoille uuden maailman ihmissilmän rajoitusten ulkopuolella. Tästä siirryttiin elokuvakameroiden kautta kautta suurella nopeudella liikkuvaan filmiin esimerkiksi 1932 Los Angelesin olympialaisissa käytettiin 128 fps nopeudella toimivaa maalikameraa, jossa kuvalla oli myös kello näkyvissä luvulla saavutettiin fps nopeus rotating prism-tyyppisillä kameroilla *. On syytä erottaa hyvin lyhyet valotusajat, liikkeen jäädytys, nopeista filmikameroista jotka tallentavat tuhansia, jopa kymmeniätuhansia erillisiä kuvia sekunnissa. Tässä työssä suurnopeus viittaa nimenomaan suurella nopeudella liikkuvan filmin ja suuren tallennustiheyden videolaitteisiin Videokamerat Seuraava suuri läpimurto oli videotallennus 1970-luvun alussa. Ratkaiseva tekijä alussa ei ollut nopeus, joka ei lähennellyt perinteistä filmitallennusmenetelmää, vaan mahdollisuus kuvatun materiaalin tutkimiseen välittömästi, ilman aikaa vievää kehitysprosessia sekä tallennusmateriaalin uudelleenkäyttömahdollisuus. CCD-sensorien ja yleinen elektroniikan kehitys paransi sekä spatiaalista että temporaalista erotuskykyä, ja 80-luvulla voitiin jo puhua suurnopeusvideoista Suurnopeusvideot 90-luvun alussa digitaaliseen suurnopeusvideoon yhdistettiin RAM-muisti [29]. (*) Ultranopeat piko- ja femttosekunnin temporaalisella resoluutiolla toimivat havaintolaitteet ovat käytännössä aina ns. streakkameroita, joiden rakenne ja toiminta poikkeaa siitä mitä yleensä mielletään kameraksi. Tässä työssä ei niitä käsitellä, ne ovat kuvien tulkintaa myöten oma lajinsa. 10

11 Kodak Ektapro EM:llä saavutettiin kuvausnopeus 1000 kuvaa sekunnissa 192 x 240 resoluutiolla jolloin talteen saatiin bit kuvaa ( 4.8 s mittainen yhtäjaksoinen mittaus). Tiedon tallennusnopeus oli noin 40 MB / s. Maas esitteli 1992 edullista ratkaisua, jolla päästäisiin 1000 fps kuvausnopeuteen yhdistämällä 16 kpl standardi 60 fps videokameraa (756 x 287)ja 16 frame-grabberia synkronoituun järjestelmään. Tällä järjestelmällä teoreettinen tiedon tallennusnopeus oli 175 MB/s [29] Modernit videolaitteet Vertailukohdaksi edellisille käy esimerkiksi nykyaikaisista suurnopeusvideoista Visionresearchin phantom v9.0 CMOS -kameran tekniset tiedot [37]: Spatiaalinen resoluutio 1600 x 1200, 10 bit harmaasävy Temporaalinen resoluutio 1000 fps, koko kuvalle Lisävarusteena 12.2 GB integroitu muisti, 6.4 s yhtäjaksoinen tallennus Mahdollisuus nostaa temporaalista resoluutiota (max fps ) pudottamalla spatiaalista resoluutiota. Resoluution askellus 16 x 8 pikselin välein. Tiedonsiirto 10/100/1000 ethernet tai RS232 Kuva 1.1 : phantom v9.0 [37] 11

12 1.4.5 Integroidut videotallentimet CMOS-tyyppisille videosensoreille on kehitetty yhä pitemmälle integroituja järjestelmiä, joissa yksittäisessä sensorielementissä on mukana kuvadiodin lisäksi sen toiminnan ohjaus. Kagami et al. esittelivät menetelmän jolla A-D konversio tehdään kontrolloidusti sensorielementin omalla kuvankäsittelyelementillä [18]. Sensorin dynaaminen alue laajenee, kun integrointiajat kuvadiodissa voidaan valita kohteen vaihtelujen mukaan. Tämän kaltaisia älykkäitä sensorisiruja Kagami kutsuu näkösiruiksi ( ( digital) vision chip). Vision Chip- tekniikkaan on suunnattu paljon tutkimusresursseja, koska se kaventaa CCD-sensorien merkittävintä etumatkaa CMOSsensoreihin nähden Liikkeen tunnistavat kuvasensorit Li et al. esittelee aktiivisen pikselitekniikan, jolla näkösirussa itsessään estimoidaan 2Dliikettä peräkkäisten kuvien välillä, edellytyksenä SMA- ( small motion assumption) ehdon toteutuminen. Liikkeen suuruus voi olla korkeintaan 1-2 pikseliä kuvien välillä [25]. 1.5 Nopean kuvauksen virstanpylväitä 1851 nopean liikkeen jäädytys 1930 suurnopeus filmille 1970 ccd- kamerat suurnopeusvideot 1990 digitaaliset suurnopeusvideot 1990 cmos-kamerat, ~2000 väri- ja multispektraalinen cmos [12], integroidut cmos-rakenteet, APS 12

13 2. Kuvasensorien ominaisuuksista 2.1 Kuvasensorien päätyypit Digitaalisten kuva-sensoreiden kaksi päätyyppiä ovat CCD - Charge Coupled Device sekä CMOS - Complementary Metal Oxide Semiconductor [26]. Kummatkin koostuvat valoherkkien puolijohteiden joukosta, mutta toisistaan muilta osin poikkeavasti toteutettu rakenne aiheuttaa niiden välille eroja, joita tässä käsitellään. Kuvissa 2.1 ja 2.2 käy ilmi tärkein ero: CCD-anturissa kuvadiodit ovat erillään muusta toiminnasta ja CMOS-anturissa saapuvan fotonin aiheuttaman varauksen muuntaminen digitaaliseksi arvoksi tapahtuu itse sensorin sisällä. kuva 2.1 : CCD sensori [26] 13

14 kuva 2.2 : CMOS sensori [26] 2.2 Kuvasensorien ominaisuuksista Sekä CCD- että CMOS-sensorit koostuvat useista pikselikohtaisista metallioksidipuolijohteista. Joka pikselissä syntyy sille osuvan elektromagneettisen säteilyn voimakkuutta vastaava varaus, josta syntyy yksi kuvakoordinaatistossa sijainniltaan tunnettu näyte. Kun valotus on valmis, CCD-sensorissa varaukset kuljetetaan rivi kerrallaan yhteiseen tulostusrakenteeseen, joka muuntaa varauksen jännitteeksi, puskuroi sen ja lähettää sen eteenpäin. CMOS-sensorissa varauksen muuntaminen jännitteeksi tapahtuu jokaisessa pikselissä erikseen. Lukutekniikassa oleva ero vaikuttaa huomattavasti sensorin rakenteeseen ja toimintaan, ja eroavaisuuksiin suorituskyvyssä ja siihen vaikuttavissa ominaisuuksissa Täyttöaste ( Fill factor ) Sensorin täyttöaste ( Fill factor ) kuvaa prosenteissa, kuinka suuri osa sensorista on valoherkkää. CCD on tässä suhteessa optimaalinen (~ 100 %), koska suuri osa toiminnoista on itse sensorin ulkopuolella. Anti-blooming- ratkaisut voivat pudottaa arvoa optimista. Erilaisilla teknisillä (esimerkiksi mikrolinssit) ja layout-ratkaisuilla 14

15 CMOS-tyyppisten sensoreiden täyttöaste-arvoja on pystytty parantamaan aina 70 % saakka Kvanttihyötysuhde kvanttihyötysuhde kertoo, kuinka monta elektronia kuvadiodille saapuva fotoni vapauttaa. Saapuvan valon aallonpituuden lisäksi se riippuu sensorin ominaisuuksista, CCD-sensoreilla suhde on 85 %, CMOS-antureilla jää alle puoleen tästä [30]. Samassa lähteessä käytetään tärkeänä suureena kvanttihyötysuhde x täyttöaste, joka kuvaa sensorin vastaanottokykyä kokonaisuutena Vaste ( responsivity ) Vaste ( responsivity ) kuvaa, kuinka suuren jännitteen puolijohde-elementille lankeava säteily aiheuttaa. Tällä ominaisuudella CMOS ottaa CCD-sensorin QE x FF -etumatkaa kiinni, koska signaalia vahvistavat elementit on helpompi sijoittaa CMOS-rakenteeseen Vaihteluväli Vaihteluväli ( dynamic range ) on suurimman valaistusarvon ( saturation kyllästyminen) ja pienimmän erottuvan arvon suhde. Koeolosuhteissa CCD:n dynamic range on suuruusluokkaa kaksinkertainen verrattuna CMOS-sensoriin, koska CCD-sensorissa ei synny sirussa itsessään olevista toiminnoista kohinaa yhtä paljon kuin CMOSsensoreissa. Tässä suhteessa CCD on selkeästi edellä Yhtenäisyys ( Uniformity ) Sensorin eri osille lankeavan säteilyn pitäisi tuottaa samantasoinen signaali. Ideaalitapaukseen ei päästä, koska kaikki osat sensorissa eivät koskaan ole identtisiä. On vielä erotettava toisistaan yhtenäisyys valaistuksen kirkkaassa ja tummassa päässä. 15

16 Alunperin CMOS-sensorit olivat molemmissa tapauksissa heikompia, koska joka pikselissä olevat vahvistimet poikkesivat toisistaan sekä gain- että offset-arvoiltaan. Tähän ratkaisuksi kehitettiin vahvistinrakenteita, jotka gain-arvoja pienentämällä pääsivät lähemmäksi yhtenäistä tasoa kirkkaassa päässä. Offset-arvojen epäyhtenäisyys tummassa päässä on edelleen ongelma CMOS-sensoreilla verrattuun CCD-sensoreihin. Erityisesti suurnopeusvideoilla tämä on kriittistä, koska valotusajat ovat rajallisia ja signaalien matala taso johtaa kuvien laadun heikkouteen Suljin CCD-sensorissa suljin (shutter) voidaan toteuttaa elektronisesti tinkimättä pikselikohtaisesta valoherkän osan (kuvadiodin) koosta fill-factor pysyy optimaalisena. CMOS-sensorissa voidaan saavuttaa lähes yhtä hyvä täyttöaste käyttämällä rolling shutter -menetelmää, jossa suljin toimii riveittäin. Nopeille kohteille tämä aiheuttaa kuvan vääristymistä. Koko kuva-alan yhtäaikaisesti sulkeva non-rolling shutter joudutaan toteuttamaan pikselikohtaisella transistorilla, joka vähentää täyttöastetta. Valinta jää käyttäjälle: edullinen, rolling shutter CMOS paremmalla täyttöasteella tai kalliimpi, non-rolling-shutter huonommalla täyttöasteella ja parempi temporaalinen erotuskyky Nopeus Nopeuden suhteen CMOS on rakenteestaan suurin osa komponenteista on samalla sirulla - johtuen teoriassa jokseenkin ylivoimainen. Tämä teoreettinen etumatka on vielä jossain määrin hyödyntämättä, koska valtaosa kehitystyöstä on ollut kuluttajille suunnattujen, pienten ja edullisten sensorien tuomisessa käyttöön. CCD-sensoreilla on tieteellisissä ja teollisissa sovelluksissa pitkä perinne, ja CCD-sensoreihin liittyen on tehty paljon kehitystyötä, myös nopeuden lisäämiseksi. 16

17 2.2.8 Ikkunointi kuvan rajaus CMOS-sensorista voidaan varsin yksinkertaisesti lukea mielivaltainen alue kerrallaan, koska jokainen pikseli tuottaa oman signaalinsa. Kuva-alueelta voidaan lukea esimerkiksi eri resoluutioita eri alueelta. CCD-sensorilla osittelu täytyy tehdä riveittäin Antiblooming ylivuodon estäminen Ylivalottuneiden pikselien vuotaminen ympäristöön ei ole ongelma CMOS-sensorissa, koska varaus ei siirry muiden pikseleiden kautta. CCD-sensorissa antiblooming täytyy toteuttaa erikoisratkaisuilla, jotka pudottavat täyttöastetta Toimintojen ajoitus CMOS-sensori toimii yhdellä kellotuksella ja tästä syystä käytännössä toimivampi, CCDsensorille tyypillistä jittering-ongelmaa ei synny Luotettavuus ja käyttö Normaalioloissa ei voida katsoa sensorien luotettavuudessa ja toiminnassa olevan eroa. Hyvin vaativissa olosuhteissa CMOS on mekaanisesti luotettavampi, koska sen komponentit ovat samassa sirussa minimoiden liitosten määrän. CMOS-sensori voidaan räätälöidä sovellukseen hyvin tarkasti, integroiden myös muita elementtejä samalla sirulle, mahdollistaen hyvin kompaktin rakenteen verrattuna CCDsensoriin pohjautuvaan kameraan. Myös virrankulutus on CMOS-sensoriin pohjautuvissa ratkaisuissa selkeästi pienempi. 17

18 Kustannusvertailu Periaatteessa CMOS-sensorit ovat edullisempia, koska niitä voidaan valmistaa missä tahansa normaalissa elektroniikan tuotantolaitoksessa, standardikomponenteista. CCDantureista valtaosa rakennetaan suurten kameratehtaiden omissa, pitkälle erikoistuneissa tuotantolaitoksissa. On syytä kuitenkin huomata, että korkean suorituskyvyn CMOS-sensori on räätälöity tuote, joka pitää suunnitella ja valmistaa tiettyyn tarkoitukseen. Massatuotannosta johtuen ne ovat selvästi edullisempia kuin CCD-sensorit ja tulevat valtaamaan alaa nettikameroissa, kamerapuhelimissa ja yleensä kuluttajasovelluksissa. Vaativissa sovelluksissa hinta-laatusuhde kallistuu vielä useimmissa tapauksissa CCD-sensorin puolelle [26]. 2.3 Kuvasensorien kehitysnäkymiä CCD-sensorin etuna on pitkä historia (käytössä jo 70-luvun alusta ) ja vankka asema teknillisessä ja tieteellisissä sovelluksissa. CCD-sensori on itsessään standardikomponentti, jonka ympärille kootaan korkean suorituskyvyn omaava kameraratkaisu. Tulevaisuudessa CMOS-teknologian kehittämiseen tullaan käyttämään paljon resursseja, ja erot sensorien välillä tulevat vähenemään. CMOS:sta seuraava askel on APS - active pixel sensor - teknologia, jossa pikseliin lisätään yhä enemmän ja enemmän älykkyyttä ja toiminnallisuutta, esim. 2D- liikkeen estimointi tai valotusajan säätäminen (non-destructive multiple capture, kuva 2.3) kohteen osien mukaan dynamiikan lisäämiseksi [19], [25], [9]. 18

19 kuva 2.3 : APS- tekniikan havaintoesitys: Vasemmalla 4 kuvaa, kasvavin valotusajoin. Oikealla yhdistetty, synteettinen kuva [9]. 19

20 3. Liikkeen tyyppien taksonomia 3.1 Liikkeiden päätyypit Kuvamittauksen kohteena oleva liike voidaan jakaa eri tyyppisiin liikkeisiin, jaottelun puumalli on kuvassa 3.1. Päätyypit ovat 1) jäykän kohteen liike (rigid motion), jossa kohteessa olevien piirteiden etäisyydet ja kulmat eivät muutu ja 2) muotoa muuttavan kohteen liike (non-rigid motion). Muotoa muuttavan kohteen liike voidaan jakaa rajoitettuihin ja yleisiin liikkeisiin. liike jäykän kappaleen liike muotoa muuttavan kohteen liike rajoitetusti muotoa muuttavan kohteen liike yleinen liike paloittain jäykkä lähes jäykkä konforminen homoteettinen virtaava isometrinen elastinen kuva 3.1 : liikkeen päätyyppien jaottelu puumallina [1]. 20

21 3.1.1 Rajoitetut liikkeen tyypit Rajoitetuissa liikkeen tyypeissä voidaan muodonmuutos jakaa eri ryhmiin rajoittavan tekijän mukaan seuraavasti [1]: Paloittain jäykkä liike ( articulated motion) koostuu jäykkänä liikkuvista osista, mutta kokonaisuus on muotoa muuttavaa liikettä Lähes jäykkä liike ( quasi-rigid ), jossa muutokset ovat hyvin pieniä. On huomattava, että temporaalisen resoluution parantuessa riittävästi on kaikki liike luokiteltavissa tähän ryhmään. Isometrinen liike, jossa etäisyydet pintaa pitkin säilyvät ennallaan ja pinnalla olevien käyrien väliset kulmat säilyvät muuttumattomina Homoteettinen liike, jossa kohteen pinnan laajeneminen tai supistuminen on yhtenäistä koko alueella Konforminen liike, jossa pinnalla olevien käyrien väliset kulmat säilyvät, mutta niiden väliset etäisyydet muuttuvat Yleiset liikkeen tyypit Yleiset liikkeen tyypit ovat [1]: Elastinen liike, jossa oletuksena on selkeä jatkuvuus ja pehmeys muodonmuutoksessa ja topologian säilyminen. Virtaava liike, jossa ei ole mitään rajoituksia, kohteen topologia voi muuttua ja muutokset voivat olla äkillisiä, satunnaisia ja epäjatkuvia. 3.2 A priori-tiedon vaikutus Liikkeen ja muodonmuutoksen määritykseen vaikuttaa myös oleellisesti, onko kohteesta käytettävissä a priori-tietoa vai ei. 21

22 3.2.1 Liikkeen seuranta ilman a priori-tietoa kohteesta Kohteen muodonmuutoksen ja liikkeen seuranta ilman a priori-tietoa kohteesta vaatii piirteiden irrotusta ja temporaalista yhteensovitusta niiden sijainnin ja muodon mahdollisesti muuttuessa mittauksen aikana. Jos mittaus halutaan automatisoida, vaadittavat operaatiot ovat monimutkaisia, korkean tason prosesseja [1] Liikkeen seuranta kohteen a priori-tiedon ja keinotekoisten piirteiden avulla Liikkeen 3D-seurannan ongelmia on pyritty toteutetuissa koejärjestelyissä yksinkertaistamaan eri tavoin. Erityisesti piirteiden erotuksen ja tunnistamisen helpottamiseksi on kehitelty monenlaisia ratkaisuja Yksi yleisesti käytetty menetelmä on käyttää MLD- tähyksiä ( moving light display - target ) kiinnitettyinä liikkeen tai muodonmuutoksen kannalta oleellisiin kohtiin. Sovellusesimerkkinä ihmisen liikkeiden tutkimus liikuntatieteissä tai ergonomian tutkimuksessa [44]. Sopivia, toisistaan erottuvia tähyksiä voidaan luoda myös kuvioimalla pinta maalaamalla epäsäännöllinen spray-kuvio [40] tai projisoimalla kuvioita tai pisteitä esimerkiksi laservalon avulla [32]. Robotin toiminnanohjauksessa on laservalopisteillä ja erotuskuvilla luotu keinotekoisia tähyksiä [14] Rajoitukset ja oletukset mallintamisen apuna Yleiskäyttöisiä algoritmeja ei liikkeen tunnistuksessa muotoa muuttaville, liikkuville kohteille voida vielä esittää. Paljon käytetty oletus sovitustehtävän automatisoinnin avuksi on small motion assumption, eli peräkkäisten kuvien välillä liikkeestä johtuva ero on pieni. Tässä on syytä huomata, että lisäämällä kuvausnopeutta mikä tahansa liike voidaan teoriassa saattaa tämän oletuksen piiriin. Lisärajoituksia voidaan asettaa myös liikkeen nopeudelle esimerkiksi olettamalla se vakioksi, tai suurimmille mahdollisille 22

23 kiihtyvyyksille joita kohteen osilla voi olla. Heuristisena oletuksena voi olla kohteen osien sisäinen koherenssi liikkeen suhteen [1]. 3.3 Piirteiden irrotus kohteesta Mitenkään merkitsemättömien piirteiden irrottaminen itse kohteesta on vaativa tehtävä, jossa tasapainoillaan piirteiden irrotuksen itsensä ja irrotettujen piirteiden eri kuvilla yhteensovittamisen välillä. Jos piirteitä on liian paljon, piirteiden yksiselitteisyyden ja sovitustulosten luotettavuuden varmistaminen on hankalaa, jos taas pyritään hakemaan määrällisesti vähemmän laadultaan hyviä piirteitä, on itse piirteiden irrotus ja sopivien valinta tuottaa vaikeuksia. Ongelmat ovat samankaltaisia kuin digitaalisen fotogrammetrian kuvien piirrepohjaisessa yhteensovituksessa yleensä. Piirteiden temporaalinen sovitus jakautuu kahteen päätyyppiin [1]: eksplisiittiseen ja implisiittiseen Eksplisiittinen piirteiden sovitus Eksplisiittisessä sovituksessa rajattu piirrejoukko erotetaan kuvasarjan kuvilta, ja piirrejoukkoa yhteen sovitetaan kuvasarjassa kuvalta toiselle edeten. Tämä vastaa piirrepohjaista yhteensovitusta kuvien välillä fotogrammetriassa, mutta sovitus on temporaalinen spatiaalisen sijasta Implisiittinen piirteiden sovitus Implisiittisessä sovituksessa piirteitä ei eroteta ollenkaan, vaan luodaan malli sisäisin (esim. jatkuvuusoletukset) ja ulkoisin ( piirteiden energiasisältö) rajoituksin ja optimoidaan sitä. Tämä vertautuu yleisen digitaalisen fotogrammetrian radiometriseen, 23

24 kuvapohjaiseen yhteensovitukseen. Kuvajoukkojen yhteensovituksen sijasta sovitus on peräkkäisten kuvien välillä. 3.4 Kohteen liikkeen seuranta a priori-tietoa hyödyntäen Elastisen tai rajoitetun liikkeen tapauksessa voidaan a priori-tietoa kohteesta hyödyntää kuvaamalla liikettä joko kokonaisuudessaan tai osissa. Osiin jako voidaan tehdä spatiaalisesti tai temporaalisesti osittaen, tai molemmilla tavoin. Liikettä voidaan a prioritietoa hyödyntäen kuvata parametrisillä tai fysikaalisilla malleilla [1] Parametriset mallit Parametriset mallit sopivat yksinkertaisempiin, erilaisilla oletuksilla rajoitettuihin tapauksiin hyvin. Yksinkertaisimpia, ja siksi paljon käytettyjä, ovat erilaiset polynomimallit. Pallot, sylinterit, kartiot ja yksinkertaiset toisen asteen pinnat ovat yksinkertaisten muodonmuutosten ja liikkeiden kuvaukseen sopivia. Harmoniset pallofunktiot sopivat hankalampien pintojen, ja paikallisten deformaatioiden mallintamiseen. Käytännössä niillä on mallinnettu esimerkiksi sydämen toimintaa [6]. Splinimallit ovat yleinen tapa mallintaa käyriä ja pintoja matemaattisesti tietokoneavusteisissa suunnittelujärjestelmissä. Niillä on paljon suotuisia ominaisuuksia deformaation mallintamisen kannalta [17] ja niistä on johdettu fysikaalisiin malleihin kuuluva snake-model Fysikaaliset mallit Fysikaalisia malleja Aggarwal et al. [1] listaa mm. Snake-, balloon-, symmetry seeking, deformable superquadrics, deformable templates ja modaaliset mallit. 24

25 Snake-malli koostuu aktiivisista käyristä jotka muuttavat muotoaan ulkoa annettujen fysikaalisten muuttujien vaikutuksesta, sisäisten rajoitusten sallimissa rajoissa. Se voidaan laajentaa kolmiulotteiseksi, jolloin puhutaan balloon-malleista. Malleja voidaan vielä laajentaa Bayesin teoreeman avulla MAP- (maximum a posteriori ) ongelmaksi, jolloin mallit alkavat siirtyä fysikaalisisten energiafunktioiden minimointiin perustuvista malleista takaisin kohti matemaattisia, a posteriori -todennäköisyyksiä maksimoivia malleja. Lääketieteen sovelluksissa kuten sydämen seinämien liikkeiden analysoinnissa on käytetty tämän kaltaisia malleja.[1 ]. 3.5 Käytännön liikemittauksista Avainkohtien mittaaminen Paloittain jäykässä liikkeessä topologisen a priori-tiedon ollessa saatavilla voidaan liike mallintaa asettamalla tähykset nivelkohtiin tai muuten mittaamalla nivelkohtia. Nivelkohtia voidaan myös tunnistaa jälkikäteen pelkän kuva-aineiston varassa Pintamalli Edettäessä kohti vapaampia ja vaikeammin ennustettavia malleja tarvitaan yhä enemmän ja enemmän tietoa kohteen eri kohdista, ääripäässä on kuvakorrelaatiolla mitattava havaintogridi jolla estimoidaan pintoja koko kohteesta jokaisella (diskreetisti havaitulla) ajan hetkellä. Vaikka tämä tapa ei ole matemaattisesti hienostunut eikä käytännössä reaaliaikainen, on sillä epäilemättä sijansa kohteen muodon ja liikkeen muutoksia tutkittaessa. Suuria datamääriä voidaan tiivistää topografisissa kartoituksissa ja paikkatietojärjestelmissä käytetyillä menetelmillä. 25