Maa-57.290 Fotogrammetrian erikoistyö Suurnopeusfotogrammetria: 3D-liikkeen määrityksestä kuvamittauksin suurnopeusvideota käyttäen Mika Virtanen
Sisällysluettelo 0. Johdanto 5 1. Kuva, sen tallennus ja analysointi 6 1.1 Dynaamisten ilmiöiden mittaaminen kuvilta 6 1.2 Kuvamittauksen eri tyypit 7 1.2.1 Lähifotogrammetria 1.2.2 Tosiaikainen fotogrammetria 1.2.3 Suurnopeusfotogrammetria 1.2.4 Tosiaikainen suurnopeusfotogrammetria 1.3 Ihmissilmän rajoitukset dynaamisten ilmiöiden analysoinnissa 8 1.3.1 Ihmissilmän rekisteröintinopeus 1.3.2 Tarkan näön näkökenttä 1.3.3 Hidas muutos 1.3.4 Hetkellinen nopeuden muutos 1.4 Kuvauslaitteet dynaamisten ilmiöiden tallentamiseen 10 1.4.1 Valokuvaus ja elokuvakamerat 1.4.2 Videokamerat 1.4.3 Suurnopeusvideot 1.4.4 Modernit videolaitteet 1.4.5 Integroidut videotallentimet 1.4.6 Liikkeen tunnistavat kuvasensorit 1.5 Nopean kuvauksen virstanpylväitä 12 2. Kuvasensorien ominaisuuksista 13 2.1 Kuvasensorien päätyypit 13 2.2 Kuvasensorien ominaisuuksista 14 2.2.1 Täyttöaste ( Fill factor ) 2.2.2 Kvanttihyötysuhde 2.2.3 Vaste ( responsivity ) 2.2.4 Herkkyys 2.2.5 Yhtenäisyys ( Uniformity ) 2.2.6 Suljin 2.2.7 Nopeus 2.2.8 Ikkunointi kuvan rajaus 2.2.9 Antiblooming ylivuodon estäminen 2.2.10 Toimintojen ajoitus 2.2.11 Luotettavuus ja käyttö 2.2.12 Kustannusvertailu 2
2.3 Kuvasensorien kehitysnäkymiä 18 3. Liikkeen tyyppien taksonomia 20 3.1 Liikkeiden päätyypit 20 3.1.1 Rajoitetut liikkeen tyypit 3.1.2 Yleiset liikkeen tyypit 3.2 A priori-tiedon vaikutus 21 3.2.1 Liikkeen seuranta ilman a priori-tietoa kohteesta 3.2.2 Liikkeen seuranta kohteen a priori-tiedon ja keinotekoisten piirteiden avulla 3.2.3 Rajoitukset ja oletukset mallintamisen apuna 3.3 Piirteiden irrotus kohteesta 23 3.3.1 Eksplisiittinen piirteiden sovitus 3.3.2 Implisiittinen piirteiden sovitus 3.4 Kohteen liikkeen seuranta a priori-tietoa hyödyntäen 24 3.4.1 Parametriset mallit 3.4.2 Fysikaaliset mallit 3.5 Käytännön liikemittauksista 25 3.5.1 Avainkohtien mittaaminen 3.5.2 Pintamalli 3.5.3 Kohteen osittelu 3.5.4 Region, volume ja moment of interest 4. Esimerkkejä kuvamittauksen käytännön sovelluksista 27 4.1 3D-mittaus yhdellä kameralla 27 4.1.1 Geometrinen rajoitus 4.1.2 Pintakuvion käyttö 4.1.3 Holografiset menetelmät 4.2 3D-mittaus kahdella kameralla 29 4.2.1 Ortogonaalinen kamerakonfiguraatio 4.2.2 Aramis 3D-mittausjärjestelmä 4.2.3 Jäykän kappaleen liikkeen 3D-seuranta 4.3 3D-mittaus kolmella kameralla 33 4.3.1 Epipolaarigeometria 4.3.2 Virtauksen määritys kolmella kameralla epipolaarigeometriaa hyödyntäen 3
4.4 Neljä kameraa ja enemmän 35 4.4.1 Kameroiden määrän vaikutus mittaustarkkuuteen 4.5 Kameroiden synkronointi 36 4.6 Matemaattisia malleja ja laitteistoja tietokoneavusteiseen liikkeen havainnollistamiseen 37 4.6.1 Liikkeen määritys havaintomatriisin faktorisointimenetelmällä 4.6.2 DSS - Dynamic surfel sampling 4.6.3 Kalman-suodatin 5 ESPI : pienten dynaamisten muutosten mittaus holografialla 42 5.1 Perusteet 42 5.2Temporaalinen vaiheen purku 43 5.3 Spatiaalinen vaiheen purku 44 5.4 Vaihepuretun aineiston käsittely 45 6. Johtopäätökset 46 7. Lähdeluettelo 47 4
0. Johdanto Dynaamisten ilmiöiden ja liikkeen tutkimiseen ja mittaamiseen liikkuvan kuvan tallentaminen tarjoaa hyvän työkalun. Kun lähifotogrammetrian keinoin määritetään tutkimuksen kohteen kolmiulotteista muutosta ja liikettä kuvamittauksin, siirrytään kohti konenäköä ja tosiaikaista fotogrammetriaa. Tutkittavien ilmiöiden tai liikkeen ollessa hyvin nopeaa, siirrytään uudelle alueelle kuvauslaitteiden vaatimusten suhteen, suurnopeusvideoihin. 1990-luvun alusta lähtien on ollut saatavilla täysin digitaalisia videolaitteita, joiden nopeus ylittää selkeästi normaalin videostandardin. Näiden hyödyntäminen myös lähifotogrammetriassa on luonnollinen jatko tosiaikaisen fotogrammetrian ja konenäön kehityksessä. Tässä erikoistyössä luodaan katsaus kehitykseen dynaamisten ilmiöiden kolmiulotteisessa mittauksessa lähifotogrammetrian avulla. Pohdinnan kohteena on myös, onko suurnopeusfotogrammetriaa olemassa, ja millä perusteilla suurnopeusfotogrammetrian voisi erottaa omaksi lähifotogrammetrian osa-alueekseen. Tätä tavoitetta toteutetaan etsimällä tässä työssä määritellyn mukaisen suurnopeusfotogrammetrian kriteerit täyttäviä tai siihen sovellettavia mittausratkaisuja kirjallisuustutkimuksena. Ensimmäisessä luvussa lähdetään kuvan määrittelystä seuraamaan havaintolaitteiden kehityskulkua silmästä nykyaikaiseen videotekniikkaan, ja käydään läpi lähifotogrammetriaan liittyviä määritelmiä. Toisessa luvussa selvitetään nyt vallitsevan kahden videosensoriteknologian eroja, ja mitkä ovat niiden vahvuudet ja heikkoudet toisiinsa nähden. Kolmannessa luvussa esitellään liikkeen tyyppien taksonomia, jonka avulla voidaan luoda viitekehys matemaattisille ja fysikaalisille malleille liikkeen määrittämisessä. Neljäs luku käsittelee käytännön toteutuksia ja ratkaisumalleja erilaisten liikkeiden määritykseen, ja esittelee joitain laitteistoja sekä laskentamalleja. Viidennessä luvussa esitellään lyhyesti hyvin pienten muutosten holografisen mittausmenetelmän ESPI:n kaksi perusvariaatiota. 5
1. Kuva, sen tallennus ja analysointi Kuva I voidaan esittää Bengtssonin [2] mukaan funktiona: I = F(x,y,z,w,t) (1.1) jossa x,y,z ovat kolme spatiaalista ulottuvuutta, w kuvaa spektraalista ulottuvuutta ja t temporaalista ulottuvuutta. Spektraaliset ominaisuudet voidaan jakaa aallonpituuteen, intensiteettiin ja vaiheeseen. [34]. Sekä spatiaalista että spektraalista tietoa, erityisesti säteilyn aallon vaihetta käyttävää kuvamittauksen aluetta kutsutaan holografiaksi ( whole-a-graphy, kaikkea tietoa käyttävä) [36] Jako kuvan spatiaaliseen, spektraaliseen ja temporaaliseen ulottuvuuteen on erottava tekijä myös erityyppisille kuvien pakkausmenetelmille [3]. 1.1 Dynaamisten ilmiöiden mittaaminen kuvilta Kuvien käyttö muutoksen tai liikkeen analysointiin on pätevä apuväline eri tutkimuksen aloilla. Perustuen kuvausjärjestelyn pysyvyyteen on kuva-analyysi jaettu tässä työssä ensin karkeasti kolmeen ryhmään: - Kuvasarjat, joissa kuvat voivat olla eri lähteistä, visuaaliseen tarkasteluun ja puhtaasti kvalitatiiviseen analyysiin, esimerkiksi kaupunkikuvia eri aikakausilta. Kuvat voivat olla eri suunnista, eri mittakaavaisia, eri formaateissa (painettu kuva, printti, negatiivit, digitaaliset kuvat). Tämänkaltainen kuva-analyysi ei välttämättä sisällä kuvakoordinaattien mittaamista. Esimerkkinä Jyväskylän kaupungin kaupunkikuvan muutos [41]. - Erikseen toisistaan kalibroitujen ja orientoitujen satelliitti-, ilma- tai terrestriaalikamerakuvien ( mahdollisesti automaattiset) muutostulkinnat. 6
Kuvakulma on sama tai lähes sama eri aikaisilla kuvilla, ja kuvat on orientoitu tai oikaistu samassa datumissa. Esimerkkinä rannikkoalueen muutosseuranta myrskytuhojen arvioinnissa Landsat TM-kuvien avulla [43]. - Tutkimuksen aikana vakiona tai lähes vakiona pysyvät kuvausjärjestelyt, jossa koko ilmiö kuvataan kerralla, sekä kalibroinnin että kuvien orientointien muutokset ovat pieniä tai kuvausjärjestely oletetaan stabiiliksi. Esimerkkinä ovat muun muassa deformaatiomittaukset, liikkeen seuranta ja konenäkösovellukset. Erottavana tekijänä edellä mainitulle kolmelle ryhmälle voidaan pitää kalibrointia: ensimmäisessä ryhmässä sitä ei ole, tai sillä ei ole merkitystä. Toisessa ryhmässä eri aikana, mahdollisesti eri laitteilla, otetuilla kuvilla on kullakin oma kalibrointinsa. Kolmannessa ryhmässä mittausjärjestelmä kalibroidaan kokonaisuutena koko mittauksen ajaksi. Tässä työssä keskitytään kolmanteen ryhmään, ja erityisesti nopeiden dynaamisten ilmiöiden mittaamiseen ja nopeiden ilmiöiden mittaamiseen suhteessa lähifotogrammetriaan. Pohdinnan kohteena on lähinnä, minkälaisia yhdistäviä tai erottavia tekijöitä suurnopeusfotogrammetriassa on verrattuna perinteiseen eitopografiseen fotogrammetriaan. 1.2 Kuvamittauksen eri tyypit Fotogrammetria on yleisesti kohteen muodon ja paikan mittaamista kuvilta. Tulosteena on kohteiden koordinaatteja, erilaisia graafisia esityksiä tai kuvatuotteita. Arkikielessä se yhdistetään ilmakuvauksiin ja ilmakuvilta suoritettaviin kartoitusmittauksiin eli topografiseen fotogrammetriaan, jolla tuotetaan aineistoa paikkatietojärjestelmiin [23]. 1.2.1 Lähifotogrammetria Lähifotogrammetria kattaa kuvamittauksen ei-topografiset sovellukset, erotukseksi topografisesta fotogrammetriasta. Tarkemmin määritettynä lähifotogrammetria kattaa 300 7
metrin sisällä havaintovälineestä olevan kohteen ei-topografiset kuvamittaukset [21]. Kraus määrittelee lähifotogrammetriaksi 1 100 m etäisyydeltä otetuilta kuvilta mittaamisen [23]. 1.2.2 Tosiaikainen fotogrammetria Tosiaikaisessa fotogrammetriassa normaalin videostandardin mukaisesta kuvauksesta nopeudella 25 tai 30 fps suoritetaan mittaukset ja ne prosessoidaan reaaliajassa RTP, real time photogrammetry [10],[24]. 1.2.3 Suurnopeusfotogrammetria Suurnopeusfotogrammetriaksi tässä työssä määritellään mittaukset, joissa kuvausnopeus ylittää videostandardin huomioiden kuvan limityksen. Tällä määritelmällä yli 60 fps nopeudella suoritetusta kuvauksesta mittaaminen on suurnopeusfotogrammetrian alueella. 1.2.4 Tosiaikainen suurnopeusfotogrammetria Tosiaikaisessa suurnopeusfotogrammetriassa HSRTP, high speed real time photogrammetry, prosessoidaan suurnopeusvideolla kuvattu aineisto reaaliajassa [31], [42]. 1.3 Ihmissilmän rajoitukset dynaamisten ilmiöiden analysoinnissa Ihmissilmä on verrattavissa pelkän kameran sijasta kokonaiseen järjestelmään, joka tuottaa kuvan ja analysoi sitä. Jotkut automaattiset silmän näköaistiin liittyvät reaktiot ovat paljon silmän kuvanmuodostusprosessia nopeampia, mutta normaalissa tilanteessa silmän toimintaan pätevät seuraavassa listattavat ominaisuudet [16]. 8
6. Johtopäätökset Suurnopeusfotogrammetria on olemassa. Sen voi löytää useistakin konenäön ja 3Dkuvamittauksen sovelluksesta. Ishikawa-laboratorioiden sensor-fusion projekteissa on jo rakennettu robottijärjestelmiä, joissa koko laitteen vasteaika visuaaliseen ärsykkeeseen kohteen kolmiulotteiseen liikkeeseen on millisekunnin luokkaa. Erikseen määriteltynä suurnopeusfotogrammetriaa ei varsinaisesti kirjallisuudesta löytynyt. Kuva-aineistosta suoritettavien mittausten periaate säilyy samana riippumatta kuvanottotiheydestä. Nopeampien kameroiden avulla voidaan tutkia nopeampia ilmiöitä, tai helpottaa automaattisen mittauksen suorittamista ja ohjelmistojen laatimista, mutta 3D-mittauksen keskeiset lainalaisuudet ovat voimassa. Liikkeen tyyppien taksonomian kautta löytyy mielenkiintoinen ajatus lähes jäykän kappaleen liikkeestä: kasvattamalla kuvaustiheyttä voidaan periaatteessa mikä tahansa liike saattaa tämän oletuksen piiriin. Tuloksena on small motion assumption -ehdon täyttymisen mahdollistaminen kuvausnopeutta kasvattamalla. Vaikka itse tutkittava ilmiö ei välttämättä nopeutensa puolesta vaadi erityisen nopeaa kuvausta, voi automaattisen liikkeentunnistuksen ja mittauksen kannalta olla edullista kuvata tutkittava ilmiö suurella nopeudella, varsinkin tutkittavan liikkeen ollessa tyypiltään jäykän kappaleen liikettä monimutkaisempaa. Osaa tässä työssä esitellyistä rtp- ja muiden mittausten esimerkeistä voidaan pitää vanhentuneina. Ongelmat siirrettäessä laitteistojen suorituskyvyn rajoja automaattisessa mittauksessa ovat tekniikan kehittyessä kuitenkin usein samankaltaisia, kuin aiemmin alaa tutkineiden jo kertaalleen taklaamat. Rajoitukset muistissa, datan siirtonopeudessa, levytilassa ja prosessointinopeudessa ovat edelleenkin olemassa, suuruusluokka on vain toinen. Suurnopeusfotogrammetrian voi erottaa omaksi osa-alueeksi lähifotogrammetriassa, yhtä lailla kuin suurella nopeudella toimivat kamerat ja videot erotetaan normaaleista kameroista ja videoista. 46
7. Lähdeluettelo [1] Aggarwal, J. K. Nonrigid Motion Analysis: Articulated and Elastic Motion, COMPUTER VISION AND IMAGE UNDERSTANDING Vol. 70, No. 2, May 1998. [2] Bengtsson, M Luentomateriaali : Digital Bildalstrande System, 2004. Centrum för bildanalys, Uppsala Universitet.http://www.cb.uu.se/~ewert/kurs.html sivulla käyty 13.12.2004 [3] Broman, H Tredimensionell positionsbestämning av ett rörligt föremål, Diplomityö, Fotogrammetrian ja kaukokartoituksen laboratorio, Teknillinen Korkeakoulu 1997. [4] Burke, J et al. Messung schnell veränderlicher Verformungen mit räumlich phasenschiebender elektronischer Specklemuster- Interferometrie (ESPI). Z. Angew. Math. Mech. 78, 1998. [5] Carceroni, R et al. From Video Streams to Non-Rigid 3D-Motion, Shape and Reflectance, International Journal of Computer Vision 49 (2/3) 2002. [6] Chen, C. W. et al Surface modeling in heart motion analysis, Proceedings of SPIE Vol 1610,1991. [7] Chen, J. et al. Three-dimensional high speed photographic survey for bomb dropping in wind tunnel, Proceedings of SPIE Vol. 1032 part 1, 1988. [8] Creath, K Phase-measurement interferometry: Beware these errors, Proceedings of SPIE Vol. 1553, 1992. 47
[9] El Gamal, A. Trends in CMOS Image Sensor Technology and Design, Invited Talk at IEDM 2002, Dec. 2002. [10] El-Hakim, S.F. A Real Time system for object measurement with CCD cameras, International Archives of Photogrammetry and Remote sensing Vol. 26, part 5 1986. [11] EtherLynx PRO http://www.finishlynx.com/, sivulla käyty 13.12.2004 [12] Gilblom, D.L. et al. Infrared and ultraviolet imaging with a CMOS sensor having layered photodiodes. SPIE/ISA Electronic Imaging 2004 - January 18-22, 2004 - San Jose California, USA. [13] Hager,G. et al. A Portable Substrate for Real-Time Vision Applications, Computer Vision and Image Understanding, Vol 69. No. 1,1998. [14] Haggrén, H. On System Development of Photogrammetric Stations for On-Line Manufacturing Control. Acta Polytecnica Scandinavia Ci 97. Helsinki 1992. [15] Huntley, J. et al. Phase Shifted Dynamic Speckle Pattern Interferometry at 1 khz, Applied Optics Vol 38 No. 31, Nov. 1999. [16] Hyzer, W.G. The Eye, The Film, and Video In High Speed Motion Analysis, Proceedings of SPIE Vol. 674 part 1, 1986. [17] Inkilä, K Analyyttinen fotogrammetria, luentomateriaali, TKK/M Otaniemi, 2004. 48
[18] Jain, R. et al. Machine vision. McGraw-Hill, 1995. [19] Kagami et al. A Software-Controlled Pixel-Level A-D Conversion Method for Digital Vision Chips, 2003 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors Elmau, Germany - May 2003. [20] Kalman, R. E. A New Approach to Linear Filtering and Prediction Problems. Transactions of the ASME Journal of Basic Engineering, 82 (Series D), March 1960. [21] Karara,M et al. Non-Topographic Photogrammetry, 2nd edition, American society for photogrammetry and remote sensing, 1989. [22] Kilpatrick, J.M. et al. Measurement of Complex Surface Deformation by High- Speed Dynamic Speckle Pattern Interferometry, Optics Letters Vol. 25 No. 15, 2000. [23] Kraus, K Photogrammetry Vol. 1, 4th edition, Ferd. Dummlers Verlag, Bonn 1993. [24] Li, W et al. Determination of the deformation of the bridge model in real time with CCD solid state camera, Proceedings of SPIE Vol. 1395 part 2. 1990. [25] Li, Z. et al. Design and Implementation of a Smart Image Sensor with 2D Motion Vector Estimation, Procedings of SPIE vol. 3649, 1999. 49
[26] Litwiller, D CCD vs. CMOS:Facts and Fiction, PHOTONICS SPECTRA,January 2001,Laurin Publishing Co. Inc. [27] Lunn, G.H. High Speed Photography in The United Kingdom, Proceedings of SPIE vol.1032 part 2, 1988. [28] Maas, H Digital Photogrammetry for Determination of Trace Particle Coordinates in Trbulent Flow Research, Proceedings of SPIE Vol. 1395 part 1, 1990. [29] Maas, H. High-Speed Solid State Camera Systems for Digital Photogrammetry, The International Archives of Photogrammetry and Remote Sensing, Vol. XXIX, 1992. [30] Meynants G. et al. CMOS active pixel image sensor with CCD performance, proceedings of SPIE, vol. 3410, 1998. [31] Namiki A. et al High Speed Grasping Using Visual and Force Feedback, Proc. IEEE Int. Conf. on Robotics and Automation, Detroit, Proceedings, 1999. [32] Niini, I On The Calibration of Mapvision 4D System, The International Archives of Photogrammetry and RemoteSensing and Spatial Information Sciences, Vol. 34, Part 3A, Graz, Austria 2002. [33] Polsson, K Chronology of Workstation Computers, http://www.islandnet.com/~kpolsson/workstat/ sivulla käyty 13.12.2004 50
[34] Schenk,T Digital photogrammetry 1 : Background, fundamentals, automatic orientation procedures, Laurelville (OH) : TerraScience, 1999. [35] Sorenson, H. W. Least Squares Estimation: From Gauss to Kalman. IEEE Spectrum, vol 7, July 1970. [36] Tan, J et al. Deformable Shape Recovery by Factorization Based on a Spatiotemporal Measurement Matrix, Computer Vision and Image Understanding 82, 2001. [37] Vision Research Inc. www.visiblesolutions.com, Phantom v9.0 esite, 2004. [38] Wykes & Jones Holographic and Speckle Interferometry, 2nd edition, Cambridge University Press 1989. [39] www.gom.com, sivulla käyty 13.12.2004 [40] www.trilion.com, sivulla käyty 13.12.2004 [41] http://www.jyvaskyla.fi/historia/nakymat/muuttuva.htm sivulla käyty 13.12.2004 [42] High-Speed Batting Using a Multi-Jointed Manipulator, http://www.k2.t.utokyo.ac.jp/fusion/highspeedbatting/index-e.html sivulla käyty 13.12.2004 51
[43] Using remote sensing technology as a tool for hazards planning and damage assessment : http://www.csc.noaa.gov/products/nchaz/htm/ccap2.htm sivulla käyty 13.12.2004 [44] www.arielnet.com, sivulla käyty 13.12.2004 52