Suurnopeusfotogrammetria: 3D-liikkeen määrityksestä kuvamittauksin suurnopeusvideota käyttäen

Koko: px
Aloita esitys sivulta:

Download "Suurnopeusfotogrammetria: 3D-liikkeen määrityksestä kuvamittauksin suurnopeusvideota käyttäen"

Transkriptio

1 Maa Fotogrammetrian erikoistyö Suurnopeusfotogrammetria: 3D-liikkeen määrityksestä kuvamittauksin suurnopeusvideota käyttäen Mika Virtanen

2 Sisällysluettelo 0. Johdanto 5 1. Kuva, sen tallennus ja analysointi Dynaamisten ilmiöiden mittaaminen kuvilta Kuvamittauksen eri tyypit Lähifotogrammetria Tosiaikainen fotogrammetria Suurnopeusfotogrammetria Tosiaikainen suurnopeusfotogrammetria 1.3 Ihmissilmän rajoitukset dynaamisten ilmiöiden analysoinnissa Ihmissilmän rekisteröintinopeus Tarkan näön näkökenttä Hidas muutos Hetkellinen nopeuden muutos 1.4 Kuvauslaitteet dynaamisten ilmiöiden tallentamiseen Valokuvaus ja elokuvakamerat Videokamerat Suurnopeusvideot Modernit videolaitteet Integroidut videotallentimet Liikkeen tunnistavat kuvasensorit 1.5 Nopean kuvauksen virstanpylväitä Kuvasensorien ominaisuuksista Kuvasensorien päätyypit Kuvasensorien ominaisuuksista Täyttöaste ( Fill factor ) Kvanttihyötysuhde Vaste ( responsivity ) Herkkyys Yhtenäisyys ( Uniformity ) Suljin Nopeus Ikkunointi kuvan rajaus Antiblooming ylivuodon estäminen Toimintojen ajoitus Luotettavuus ja käyttö Kustannusvertailu 2

3 2.3 Kuvasensorien kehitysnäkymiä Liikkeen tyyppien taksonomia Liikkeiden päätyypit Rajoitetut liikkeen tyypit Yleiset liikkeen tyypit 3.2 A priori-tiedon vaikutus Liikkeen seuranta ilman a priori-tietoa kohteesta Liikkeen seuranta kohteen a priori-tiedon ja keinotekoisten piirteiden avulla Rajoitukset ja oletukset mallintamisen apuna 3.3 Piirteiden irrotus kohteesta Eksplisiittinen piirteiden sovitus Implisiittinen piirteiden sovitus 3.4 Kohteen liikkeen seuranta a priori-tietoa hyödyntäen Parametriset mallit Fysikaaliset mallit 3.5 Käytännön liikemittauksista Avainkohtien mittaaminen Pintamalli Kohteen osittelu Region, volume ja moment of interest 4. Esimerkkejä kuvamittauksen käytännön sovelluksista D-mittaus yhdellä kameralla Geometrinen rajoitus Pintakuvion käyttö Holografiset menetelmät 4.2 3D-mittaus kahdella kameralla Ortogonaalinen kamerakonfiguraatio Aramis 3D-mittausjärjestelmä Jäykän kappaleen liikkeen 3D-seuranta 4.3 3D-mittaus kolmella kameralla Epipolaarigeometria Virtauksen määritys kolmella kameralla epipolaarigeometriaa hyödyntäen 3

4 4.4 Neljä kameraa ja enemmän Kameroiden määrän vaikutus mittaustarkkuuteen 4.5 Kameroiden synkronointi Matemaattisia malleja ja laitteistoja tietokoneavusteiseen liikkeen havainnollistamiseen Liikkeen määritys havaintomatriisin faktorisointimenetelmällä DSS - Dynamic surfel sampling Kalman-suodatin 5 ESPI : pienten dynaamisten muutosten mittaus holografialla Perusteet Temporaalinen vaiheen purku Spatiaalinen vaiheen purku Vaihepuretun aineiston käsittely Johtopäätökset Lähdeluettelo 47 4

5 0. Johdanto Dynaamisten ilmiöiden ja liikkeen tutkimiseen ja mittaamiseen liikkuvan kuvan tallentaminen tarjoaa hyvän työkalun. Kun lähifotogrammetrian keinoin määritetään tutkimuksen kohteen kolmiulotteista muutosta ja liikettä kuvamittauksin, siirrytään kohti konenäköä ja tosiaikaista fotogrammetriaa. Tutkittavien ilmiöiden tai liikkeen ollessa hyvin nopeaa, siirrytään uudelle alueelle kuvauslaitteiden vaatimusten suhteen, suurnopeusvideoihin luvun alusta lähtien on ollut saatavilla täysin digitaalisia videolaitteita, joiden nopeus ylittää selkeästi normaalin videostandardin. Näiden hyödyntäminen myös lähifotogrammetriassa on luonnollinen jatko tosiaikaisen fotogrammetrian ja konenäön kehityksessä. Tässä erikoistyössä luodaan katsaus kehitykseen dynaamisten ilmiöiden kolmiulotteisessa mittauksessa lähifotogrammetrian avulla. Pohdinnan kohteena on myös, onko suurnopeusfotogrammetriaa olemassa, ja millä perusteilla suurnopeusfotogrammetrian voisi erottaa omaksi lähifotogrammetrian osa-alueekseen. Tätä tavoitetta toteutetaan etsimällä tässä työssä määritellyn mukaisen suurnopeusfotogrammetrian kriteerit täyttäviä tai siihen sovellettavia mittausratkaisuja kirjallisuustutkimuksena. Ensimmäisessä luvussa lähdetään kuvan määrittelystä seuraamaan havaintolaitteiden kehityskulkua silmästä nykyaikaiseen videotekniikkaan, ja käydään läpi lähifotogrammetriaan liittyviä määritelmiä. Toisessa luvussa selvitetään nyt vallitsevan kahden videosensoriteknologian eroja, ja mitkä ovat niiden vahvuudet ja heikkoudet toisiinsa nähden. Kolmannessa luvussa esitellään liikkeen tyyppien taksonomia, jonka avulla voidaan luoda viitekehys matemaattisille ja fysikaalisille malleille liikkeen määrittämisessä. Neljäs luku käsittelee käytännön toteutuksia ja ratkaisumalleja erilaisten liikkeiden määritykseen, ja esittelee joitain laitteistoja sekä laskentamalleja. Viidennessä luvussa esitellään lyhyesti hyvin pienten muutosten holografisen mittausmenetelmän ESPI:n kaksi perusvariaatiota. 5

6 1. Kuva, sen tallennus ja analysointi Kuva I voidaan esittää Bengtssonin [2] mukaan funktiona: I = F(x,y,z,w,t) (1.1) jossa x,y,z ovat kolme spatiaalista ulottuvuutta, w kuvaa spektraalista ulottuvuutta ja t temporaalista ulottuvuutta. Spektraaliset ominaisuudet voidaan jakaa aallonpituuteen, intensiteettiin ja vaiheeseen. [34]. Sekä spatiaalista että spektraalista tietoa, erityisesti säteilyn aallon vaihetta käyttävää kuvamittauksen aluetta kutsutaan holografiaksi ( whole-a-graphy, kaikkea tietoa käyttävä) [36] Jako kuvan spatiaaliseen, spektraaliseen ja temporaaliseen ulottuvuuteen on erottava tekijä myös erityyppisille kuvien pakkausmenetelmille [3]. 1.1 Dynaamisten ilmiöiden mittaaminen kuvilta Kuvien käyttö muutoksen tai liikkeen analysointiin on pätevä apuväline eri tutkimuksen aloilla. Perustuen kuvausjärjestelyn pysyvyyteen on kuva-analyysi jaettu tässä työssä ensin karkeasti kolmeen ryhmään: - Kuvasarjat, joissa kuvat voivat olla eri lähteistä, visuaaliseen tarkasteluun ja puhtaasti kvalitatiiviseen analyysiin, esimerkiksi kaupunkikuvia eri aikakausilta. Kuvat voivat olla eri suunnista, eri mittakaavaisia, eri formaateissa (painettu kuva, printti, negatiivit, digitaaliset kuvat). Tämänkaltainen kuva-analyysi ei välttämättä sisällä kuvakoordinaattien mittaamista. Esimerkkinä Jyväskylän kaupungin kaupunkikuvan muutos [41]. - Erikseen toisistaan kalibroitujen ja orientoitujen satelliitti-, ilma- tai terrestriaalikamerakuvien ( mahdollisesti automaattiset) muutostulkinnat. 6

7 Kuvakulma on sama tai lähes sama eri aikaisilla kuvilla, ja kuvat on orientoitu tai oikaistu samassa datumissa. Esimerkkinä rannikkoalueen muutosseuranta myrskytuhojen arvioinnissa Landsat TM-kuvien avulla [43]. - Tutkimuksen aikana vakiona tai lähes vakiona pysyvät kuvausjärjestelyt, jossa koko ilmiö kuvataan kerralla, sekä kalibroinnin että kuvien orientointien muutokset ovat pieniä tai kuvausjärjestely oletetaan stabiiliksi. Esimerkkinä ovat muun muassa deformaatiomittaukset, liikkeen seuranta ja konenäkösovellukset. Erottavana tekijänä edellä mainitulle kolmelle ryhmälle voidaan pitää kalibrointia: ensimmäisessä ryhmässä sitä ei ole, tai sillä ei ole merkitystä. Toisessa ryhmässä eri aikana, mahdollisesti eri laitteilla, otetuilla kuvilla on kullakin oma kalibrointinsa. Kolmannessa ryhmässä mittausjärjestelmä kalibroidaan kokonaisuutena koko mittauksen ajaksi. Tässä työssä keskitytään kolmanteen ryhmään, ja erityisesti nopeiden dynaamisten ilmiöiden mittaamiseen ja nopeiden ilmiöiden mittaamiseen suhteessa lähifotogrammetriaan. Pohdinnan kohteena on lähinnä, minkälaisia yhdistäviä tai erottavia tekijöitä suurnopeusfotogrammetriassa on verrattuna perinteiseen eitopografiseen fotogrammetriaan. 1.2 Kuvamittauksen eri tyypit Fotogrammetria on yleisesti kohteen muodon ja paikan mittaamista kuvilta. Tulosteena on kohteiden koordinaatteja, erilaisia graafisia esityksiä tai kuvatuotteita. Arkikielessä se yhdistetään ilmakuvauksiin ja ilmakuvilta suoritettaviin kartoitusmittauksiin eli topografiseen fotogrammetriaan, jolla tuotetaan aineistoa paikkatietojärjestelmiin [23] Lähifotogrammetria Lähifotogrammetria kattaa kuvamittauksen ei-topografiset sovellukset, erotukseksi topografisesta fotogrammetriasta. Tarkemmin määritettynä lähifotogrammetria kattaa 300 7

8 metrin sisällä havaintovälineestä olevan kohteen ei-topografiset kuvamittaukset [21]. Kraus määrittelee lähifotogrammetriaksi m etäisyydeltä otetuilta kuvilta mittaamisen [23] Tosiaikainen fotogrammetria Tosiaikaisessa fotogrammetriassa normaalin videostandardin mukaisesta kuvauksesta nopeudella 25 tai 30 fps suoritetaan mittaukset ja ne prosessoidaan reaaliajassa RTP, real time photogrammetry [10],[24] Suurnopeusfotogrammetria Suurnopeusfotogrammetriaksi tässä työssä määritellään mittaukset, joissa kuvausnopeus ylittää videostandardin huomioiden kuvan limityksen. Tällä määritelmällä yli 60 fps nopeudella suoritetusta kuvauksesta mittaaminen on suurnopeusfotogrammetrian alueella Tosiaikainen suurnopeusfotogrammetria Tosiaikaisessa suurnopeusfotogrammetriassa HSRTP, high speed real time photogrammetry, prosessoidaan suurnopeusvideolla kuvattu aineisto reaaliajassa [31], [42]. 1.3 Ihmissilmän rajoitukset dynaamisten ilmiöiden analysoinnissa Ihmissilmä on verrattavissa pelkän kameran sijasta kokonaiseen järjestelmään, joka tuottaa kuvan ja analysoi sitä. Jotkut automaattiset silmän näköaistiin liittyvät reaktiot ovat paljon silmän kuvanmuodostusprosessia nopeampia, mutta normaalissa tilanteessa silmän toimintaan pätevät seuraavassa listattavat ominaisuudet [16]. 8

9 6. Johtopäätökset Suurnopeusfotogrammetria on olemassa. Sen voi löytää useistakin konenäön ja 3Dkuvamittauksen sovelluksesta. Ishikawa-laboratorioiden sensor-fusion projekteissa on jo rakennettu robottijärjestelmiä, joissa koko laitteen vasteaika visuaaliseen ärsykkeeseen kohteen kolmiulotteiseen liikkeeseen on millisekunnin luokkaa. Erikseen määriteltynä suurnopeusfotogrammetriaa ei varsinaisesti kirjallisuudesta löytynyt. Kuva-aineistosta suoritettavien mittausten periaate säilyy samana riippumatta kuvanottotiheydestä. Nopeampien kameroiden avulla voidaan tutkia nopeampia ilmiöitä, tai helpottaa automaattisen mittauksen suorittamista ja ohjelmistojen laatimista, mutta 3D-mittauksen keskeiset lainalaisuudet ovat voimassa. Liikkeen tyyppien taksonomian kautta löytyy mielenkiintoinen ajatus lähes jäykän kappaleen liikkeestä: kasvattamalla kuvaustiheyttä voidaan periaatteessa mikä tahansa liike saattaa tämän oletuksen piiriin. Tuloksena on small motion assumption -ehdon täyttymisen mahdollistaminen kuvausnopeutta kasvattamalla. Vaikka itse tutkittava ilmiö ei välttämättä nopeutensa puolesta vaadi erityisen nopeaa kuvausta, voi automaattisen liikkeentunnistuksen ja mittauksen kannalta olla edullista kuvata tutkittava ilmiö suurella nopeudella, varsinkin tutkittavan liikkeen ollessa tyypiltään jäykän kappaleen liikettä monimutkaisempaa. Osaa tässä työssä esitellyistä rtp- ja muiden mittausten esimerkeistä voidaan pitää vanhentuneina. Ongelmat siirrettäessä laitteistojen suorituskyvyn rajoja automaattisessa mittauksessa ovat tekniikan kehittyessä kuitenkin usein samankaltaisia, kuin aiemmin alaa tutkineiden jo kertaalleen taklaamat. Rajoitukset muistissa, datan siirtonopeudessa, levytilassa ja prosessointinopeudessa ovat edelleenkin olemassa, suuruusluokka on vain toinen. Suurnopeusfotogrammetrian voi erottaa omaksi osa-alueeksi lähifotogrammetriassa, yhtä lailla kuin suurella nopeudella toimivat kamerat ja videot erotetaan normaaleista kameroista ja videoista. 46

10 7. Lähdeluettelo [1] Aggarwal, J. K. Nonrigid Motion Analysis: Articulated and Elastic Motion, COMPUTER VISION AND IMAGE UNDERSTANDING Vol. 70, No. 2, May [2] Bengtsson, M Luentomateriaali : Digital Bildalstrande System, Centrum för bildanalys, Uppsala Universitet. sivulla käyty [3] Broman, H Tredimensionell positionsbestämning av ett rörligt föremål, Diplomityö, Fotogrammetrian ja kaukokartoituksen laboratorio, Teknillinen Korkeakoulu [4] Burke, J et al. Messung schnell veränderlicher Verformungen mit räumlich phasenschiebender elektronischer Specklemuster- Interferometrie (ESPI). Z. Angew. Math. Mech. 78, [5] Carceroni, R et al. From Video Streams to Non-Rigid 3D-Motion, Shape and Reflectance, International Journal of Computer Vision 49 (2/3) [6] Chen, C. W. et al Surface modeling in heart motion analysis, Proceedings of SPIE Vol 1610,1991. [7] Chen, J. et al. Three-dimensional high speed photographic survey for bomb dropping in wind tunnel, Proceedings of SPIE Vol part 1, [8] Creath, K Phase-measurement interferometry: Beware these errors, Proceedings of SPIE Vol. 1553,

11 [9] El Gamal, A. Trends in CMOS Image Sensor Technology and Design, Invited Talk at IEDM 2002, Dec [10] El-Hakim, S.F. A Real Time system for object measurement with CCD cameras, International Archives of Photogrammetry and Remote sensing Vol. 26, part [11] EtherLynx PRO sivulla käyty [12] Gilblom, D.L. et al. Infrared and ultraviolet imaging with a CMOS sensor having layered photodiodes. SPIE/ISA Electronic Imaging January 18-22, San Jose California, USA. [13] Hager,G. et al. A Portable Substrate for Real-Time Vision Applications, Computer Vision and Image Understanding, Vol 69. No. 1,1998. [14] Haggrén, H. On System Development of Photogrammetric Stations for On-Line Manufacturing Control. Acta Polytecnica Scandinavia Ci 97. Helsinki [15] Huntley, J. et al. Phase Shifted Dynamic Speckle Pattern Interferometry at 1 khz, Applied Optics Vol 38 No. 31, Nov [16] Hyzer, W.G. The Eye, The Film, and Video In High Speed Motion Analysis, Proceedings of SPIE Vol. 674 part 1, [17] Inkilä, K Analyyttinen fotogrammetria, luentomateriaali, TKK/M Otaniemi,

12 [18] Jain, R. et al. Machine vision. McGraw-Hill, [19] Kagami et al. A Software-Controlled Pixel-Level A-D Conversion Method for Digital Vision Chips, 2003 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors Elmau, Germany - May [20] Kalman, R. E. A New Approach to Linear Filtering and Prediction Problems. Transactions of the ASME Journal of Basic Engineering, 82 (Series D), March [21] Karara,M et al. Non-Topographic Photogrammetry, 2nd edition, American society for photogrammetry and remote sensing, [22] Kilpatrick, J.M. et al. Measurement of Complex Surface Deformation by High- Speed Dynamic Speckle Pattern Interferometry, Optics Letters Vol. 25 No. 15, [23] Kraus, K Photogrammetry Vol. 1, 4th edition, Ferd. Dummlers Verlag, Bonn [24] Li, W et al. Determination of the deformation of the bridge model in real time with CCD solid state camera, Proceedings of SPIE Vol part [25] Li, Z. et al. Design and Implementation of a Smart Image Sensor with 2D Motion Vector Estimation, Procedings of SPIE vol. 3649,

13 [26] Litwiller, D CCD vs. CMOS:Facts and Fiction, PHOTONICS SPECTRA,January 2001,Laurin Publishing Co. Inc. [27] Lunn, G.H. High Speed Photography in The United Kingdom, Proceedings of SPIE vol.1032 part 2, [28] Maas, H Digital Photogrammetry for Determination of Trace Particle Coordinates in Trbulent Flow Research, Proceedings of SPIE Vol part 1, [29] Maas, H. High-Speed Solid State Camera Systems for Digital Photogrammetry, The International Archives of Photogrammetry and Remote Sensing, Vol. XXIX, [30] Meynants G. et al. CMOS active pixel image sensor with CCD performance, proceedings of SPIE, vol. 3410, [31] Namiki A. et al High Speed Grasping Using Visual and Force Feedback, Proc. IEEE Int. Conf. on Robotics and Automation, Detroit, Proceedings, [32] Niini, I On The Calibration of Mapvision 4D System, The International Archives of Photogrammetry and RemoteSensing and Spatial Information Sciences, Vol. 34, Part 3A, Graz, Austria [33] Polsson, K Chronology of Workstation Computers, sivulla käyty

14 [34] Schenk,T Digital photogrammetry 1 : Background, fundamentals, automatic orientation procedures, Laurelville (OH) : TerraScience, [35] Sorenson, H. W. Least Squares Estimation: From Gauss to Kalman. IEEE Spectrum, vol 7, July [36] Tan, J et al. Deformable Shape Recovery by Factorization Based on a Spatiotemporal Measurement Matrix, Computer Vision and Image Understanding 82, [37] Vision Research Inc. Phantom v9.0 esite, [38] Wykes & Jones Holographic and Speckle Interferometry, 2nd edition, Cambridge University Press [39] sivulla käyty [40] sivulla käyty [41] sivulla käyty [42] High-Speed Batting Using a Multi-Jointed Manipulator, sivulla käyty

15 [43] Using remote sensing technology as a tool for hazards planning and damage assessment : sivulla käyty [44] sivulla käyty