Maa-57.270 Fotogrammetran, kuvatulknnan ja kaukokartotuksen semnaar Automaattnen 3D - mallnnus kalbromattomlta kuvasekvensseltä Terh Ahola 2005
Ssällysluettelo 1 Johdanto...2 2 Perusteoraa...2 2.1 Kohteen rekonstruont...2 2.1.1 Projektvnen rekonstruont...4 2.1.2 Metrnen rekonstruont...4 2.2 Eppolaargeometraa...4 3 Yleskatsaus menetelmään...5 4 Vahe 1: Projektvnen rekonstruont...7 4.1 Kuven yhteensovtus...7 4.1.1 Vastnpsteden etsmnen...7 4.1.2 Eppolaargeometran määrttämnen...7 4.2 Projektomatrsen laskemnen ja rekonstruont...8 4.2.1 Alustava rekonstruont...8 4.2.2 Kuven lsäämnen...9 4.3 Sädekmpputasotus...9 5 Vahe 2: Itsekalbront... 10 6 Vahe 3: Syvyyskarttojen estmont... 11 6.1 Stereokuvaparn yhteensovtus... 12 6.2 Useden kuven lnkttämnen... 12 7 Vahe 4: 3D-malln muodostamnen... 13 8 Menetelmän tarkkuus ja luotettavuus... 14 9 Yhteenveto... 16 1
1 Johdanto 3D-objekten mallntamnen kuvasekvensseltä on haastava ongelma ja se on ollut tärkeä tutkmuksen ahe fotogrammetran ja tetokonenäön alalla useta vuosa. Tetokonegrafkka, vrtuaaltodellsuus ja vestntä ovat uusa sovellusalueta joden myötä 3D-mallen vsuaalsen laadun ja tarkkuuden kehttämnen on saanut merkttävmmän aseman tällä tutkmusalalla. (Pollefeys et al. 2004: 207) Monet pernteset ratkasut 3D-mallen luomseen ovat akaa vevä ja nhn käytettävät latteet, kuten 3D-dgtontlatteet, laserskannert ja stereokojeet vaatvat huolellsta kästtelyä ja tarkkaa kalbronta. Lsäks nämä kojeet on suunnteltu anoastaan rajatulle syvyysasteelle el mallnnettava kohde e vo olla mten suur tahansa. Pernteset kojeet 3D-mallen luomseen ovat usen myös hyvn kallta. (Koch et al. 2000: 115) Uudet sovellusalueet 3D-mallnnuksessa, kuten 3D-kaupunkmallnnus, arkeologset sovellukset sekä masemamallnnus vaatvat yksnkertasen, halvan ja kenttäolosuhteta hyvn kestävän järjestelmän. Tämä nostaa eslle ajatuksen käyttää tavallsa kuluttajamarkknoden kuva- sekä vdeokamerota kohteden 3D-mallen muodostamsessa. (Pollefeys et al. 2000: 251) Tässä työssä estellään menetelmä, jonka avulla vodaan automaattsest luoda 3D-malleja kalbromattomlta kuvasekvensseltä, jotka on otettu tavallsella dgtaal- ta vdeokameralla. Tämän järjestelmän avulla vodaan välttää usemmat edellä mantusta ongelmsta. Järjestelmä e aseta rajotuksa mallnnettavan kohteen koolle. Penen objektn ta kokonasen maseman mallntamnen on yhtä helppoa. Lsäks kuva-aneston hankkmnen on vavatonta. Käyttäjä ottaa kuvat lkuttamalla kameraa vapaast kohteen ympärllä. Järjestelmä e vaad mtään etukätestetoa kohteesta ta kamerasta ja nän ollen raskata kalbronttomenptetä e tarvta lankaan. Kameran suhteellnen asema ja orentont saadaan suoraan kuva-anestosta. Muodostettu 3D-mall on skaalattu verso alkuperäsestä objektsta el rekonstruont on metrnen. Lsäks tekstuur malln saadaan kuvasekvenssstä. (Pollefeys et al. 2000: 251, Koch et al. 2000: 115) 2 Perusteoraa Perusteoraa kappale pohjautuu pääosn lähteeseen Inklä 2002. 2.1 Kohteen rekonstruont Kohteen rekonstruont kuvlta on tämän estelmän pääahe. Rppuen stä, kunka paljon on saatavlla etukätestetoa kohteesta ta kamerasta saadaan tehtyä erlasa rekonstruonteja. Projektvnen ja metrnen rekonstruont ovat tämän järjestelmän kannalta keskesmmät. Kuvassa 1 on estetty erlasten lähtötetojen ja kalbronten vakutusta lopullseen rekonstruktoon. Esteltävä menetelmä e ssällä mtään tunnettua lähtönformaatota ta kalbronta. 2
Lähtökohtana on projektvnen kamera ja lopputuloksena kohteen metrnen rekonstruont. Projektvsen kameran lsäks kuvassa on estetty rekonstruontmenettelyt perspektvsen ja metrsen el kalbrodun kameran tapauksssa. Kuvasta käy lm selkeäst se tossekka, että malln absoluuttseen orentontn tarvtaan ana jotan tunnettua lähtönformaatota. Tetokonenäön ja fotogrammetran lähestymstavat kohteen rekonstruontn ovat erlaset. Fotogrammetrassa estmodaan kulma, jotka kuvataan kertomatrsn avulla. Tetokonenäössä sen sjaan estmodaan suoraan matrsn alkota. Tämä estelmä pohjautuu jälkmmäsen tavan käyttöön. Kuva 1. Kohteen rekonstruont erlasten lähtötetojen avulla (Inklä 2002). 3
2.1.1 Projektvnen rekonstruont Kohde vodaan rekonstruoda kalbromattomlta kamerolta pelkkä vastnpsteden kuvakoordnaatthavantoja hyväks käyttäen anoastaan 15- parametrseen projektvseen avaruusmuunnokseen ast. Tällasta rekonstruonta kutsutaan projektvseks. Projektvnen rekonstruont kohteesta on projektvsest väärstynyt. Jotta alkuperänen kohde saatasn tästä mallsta, vaats se yhteensä 15 parametrn ratkasemsta. Projektvsessa muunnoksessa sekä kulmat että etäsyydet muuttuvat. Suorat kuvautuvat suorks ja tasot tasoks. Lsäks kaksossuhteen arvo sälyy muuttumattomana. Kaksossuhde on etäsyyksen suhteden suhde. 2.1.2 Metrnen rekonstruont Kohteen rekonstruonta kutsutaan metrseks kun kohde pystytään määrttämään 7-parametrseen 3D-yhdenmuotosmuunnokseen ast. Metrsessä rekonstruonnssa kohteen muoto pystytään määrttämään. Yhdensuuntaset suorat sälyvät yhdensuuntasna ja kulmat evät muutu. Tuntemattomna sälyvät kohteen sjant, kertoasema sekä koko el mttakaavaa e tunneta. 2.2 Eppolaargeometraa Eppolaargeometralla tarkotetaan kuvatasojen lekkaamsta suorlla ja tasolla. Kyse on kuvaparn teorasta, jossa saman kohdepsteen kahdella er kuvalla näkyvät kuvapsteet el vastnpsteet kytketään tosnsa. Seuraavassa jotakn peruskästtetä (Kuva 2): Kannalla (b ) tarkotetaan kahden kuvan välsten projektokeskuksen välstä yhdyssuoraa. Eppolaartaso on melvaltanen taso, joka ssältää kannan. Eppolaarpste ( e j ) on kuvatason ja kannan lekkauspste ja se saadaan projsomalla kameran projektokeskus kuvalle j. Eppolaarsuora (l) on kuvatason ja eppolaartason lekkaussuora ja kakk kuvan eppolaarsuorat lekkaavat eppolaarpsteessä. Nästä määrttelystä vodaan johtaa seuraavat kahta kuvaa koskevat ehdot: Koplanarteettehdon mukaan projektokeskukset ja kuvapsteet, jotka vastaavat samaa kohdepstettä sjatsevat samassa tasossa, eppolaartasossa el seuraava yhtälö totetutuu: ' m Fm 0 (1) 1 2? 4
jossa F on eppolaarmatrs (fundamental matrx), 2? x2 y21? kuvapste ja m?? x? sen vastnpste tosella kuvalla. 1 1 y 11 Eppolaarehto sanoo, että annetun kuvapsteen 2? x2 y21? m?? x? sjatsee eppolaarsuoralla 1 1 y 11 l? Fm 2 (2) m? annettu m? vastnpste Jokaselle kuvapsteelle on ss olemassa tosella kuvalla suora, jolla kysesen psteen vastnpste sjatsee. Eppolaarehto on ertysen tärkeä kuven yhteensovttamsessa, jossa eppolaarehdon avulla vodaan huomattavast penentää etsntäavaruuden suuruutta kuven välsten vastnpsteden etsnnässä. Kuva 2. Kahden kuvan geometraa (Inklä 2002). 3 Yleskatsaus menetelmään Esteltävä menetelmä ssältää neljä päävahetta, jotka ovat projektvnen rekonstruont, tsekalbront, syvyyskarttojen estmont ja 3D-malln muodostamnen (Kuva 3). Vaheden edetessä saadaan vähtellen lsää tetoa kohteesta ja kamerasta. (Pollefeys et al. 2000: 253-254) Kahdessa ensmmäsessä vaheessa, jotka ovat projektvnen rekonstruont ja tsekalbront, suortetaan vastnpsteden etsntä kuven välllä sekä järjestelmän kalbront. Kuvasekvenssn kalbromseen tarvtaan muutama luotettava vastnpstetä. Ensmmäsestä vaheesta saadaan tuloksena kohteen projektvnen mall ja kameroden pakat. Itsekalbronnn avulla projektvnen mall pävtetään metrseks. Molempen vaheden jälkeen rekonstruonta parannetaan sädekmpputasotuksen avulla. Tässä vaheessa rekonstruont on harva el va muutama vastnpstetä tunnetaan. (Pollefeys et al. 2000: 253-254, Koch et al. 1998: 56-57) 5
Seuraavassa vaheessa, joka on syvyyskarttojen estmont, löydetään vastnpsteet suurmmalle osalle kuvan pstestä. Tuloksena saadaan jokaselle kameralle theät syvyyskartat, jossa on kuvattuna jokasen kohdepsteen etäsyys kameran projektokeskuksesta. (Pollefeys et al. 2000: 254) Vmenen vahe on 3D-malln muodostamnen, jossa thestä syvyyskartosta tehdään 3D-pntamall ja kuvlta projsodaan tekstuur malln pnnalle. (Pollefeys et al. 2000: 254) Seuraavssa kappalessa tarkastellaan jokasta nästä vahesta ykstyskohtasemmn. Kuva 3. Menetelmän päävaheet (Pollefeys et al. 2000: 253). 6
4 Vahe 1: Projektvnen rekonstruont Projektvnen rekonstruont on järjestelmän kalbronnn ja kuven yhteensovttamsen ensmmänen vahe (Pollefeys et al. 2000: 255). Kalbronnlla tässä tapauksessa tarkotetaan kameran ssäsen kalbronnn määrttämstä sekä kameran suhteellsen pakan ja orentonnn määrttämstä kaklle kuvlle (Koch et al. 1998: 57). Itsekalbronta, jolla projektvnen rekonstruont pävtetään metrseks, tarkastellaan seuraavassa luvussa. 4.1 Kuven yhteensovtus 4.1.1 Vastnpsteden etsmnen Aluks sekvenssn kuvat ovat täysn erllsä. Anoa oletus on, että kuvasekvenssn verekkäset kuvat evät eroa tosstaan lan paljon. Tällön samaa kohdepstettä kuvaaven kuvapsteden pakallsen ympärstön tuls olla samanlanen, jos kuvat ovat lähekkän tosaan sekvenssssä. Tämä oletus mahdollstaa automaattsten yhteensovtusalgortmen käyttämsen. (Pollefeys et al. 2000: 255) Kuven yhteensovttamsta varten on kuvlta löydettävä muutama erttän luotettava vastnpstetä. Psteet, jolla on pakallsessa ympärstössä suur ntensteettvahtelu, ovat sopva vastnpsteks. Tällaset psteet löydetään käyttäen jotan kulmantunnstnta, kuten Harrsn kulmatunnstnta. Kulmen tunnstamseks on sekä x- että y-suunnassa oltava rttävä määrtysvoma. Tämä tarkotta stä, että gradentt on suur el muutos kuvalla olevssa harmaasävyarvossa on suur. Vastnpsteet löydetylle kulmapstelle saadaan yhteensovtusmenettelyn avulla, jossa pentä kkunaa (esm. 7x7 pkselä) lkutetaan psteen ympärstössä ja lasketaan ntensteettarvojen rstkorrelaatokertomen arvo. Etsntäalue vodaan rajata samalle alueelle mllä kyseessä oleva pste on tosella kuvalla, sllä kuvat oletetaan otetuks sten, ettevät ne eroa paljon tosstaan (Kuva 4(a)). Pste, jolle saadaan suurn rstkorrelaatokertomen arvo, oletetaan vastnpsteeks. (Koch et al. 1998: 57, Pollefeys et al. 2000: 255) Kuva 4. Vastnpsteden etsnnässä käytetty a) alkuperänen etsntäalue, b) eppolaarehtoon perustuva etsntäalue ja c) psteen ennustetun pakan ympärllä oleva etsntäalue (Pollefeys et al. 2000: 256). 4.1.2 Eppolaargeometran määrttämnen Muutamen luotettaven vastnpsteden löytymsen jälkeen, vodaan kuvaparlle laskea eppolaargeometra. Eppolaargeometra kuvaa kahden kuvan 7
välsen geometran täydellsest. Lsäks sen avulla vodaan postaa yhteensovtuksessa saatuja väärä vastnpstepareja ja helpottaa uusen vastnpsteden etsmstä. Eppolaargeometra lasketaan parettan kuvasekvenssn kuvlle löydettyjen vastnpsteden perusteella. Eppolaargeometran laskemnen tarkottaa eppolaarmatrsn F laskemsta, joka ssältää kaken nformaaton eppolaargeometrasta. Eppolaarmatrs vodaan laskea pelkstä vastnpstehavannosta seuraavan kaavan avulla: [ xx yx x xy yy y x y 1] f? 0 (3) jossa m? [ x y 1] ja m? [ x y 1] ovat vastnpsteden homogeenset koordnaatt ja f on vektor, joka ssältää eppolaarmatrsn alkot. (Pollefeys et al. 2000: 255, Pollefeys et al. 2004: 210, Inklä 2002) Eppolaargeometran laskemsen jälkeen etstään lsää vastnpstetä geometran parantamseks. Eppolaarmatrsn avulla vodaan laskea eppolaarsuorat kuvan kaklle pstelle (Kaava 2). Etsntäalue vodaan nän rajata eppolaarsuoran ympärlle muutamaan pkseln (Kuva 4(b)). Eppolaarmatrsn laskemnen suoraan vastnpsteparen avulla käyttäen perntestä penmmän nelösumman (PNS) menetelmää on epävarmaa, sllä väären vastnpsteparen el karkeden vrheden havatsemnen on vakeaa PNSmenetelmässä, jossa vrhe jakautuu tasasest (rppuen geometrasta) usesn havantohn. Sen tähden tarvtaan tällasta vankempaa (robust) menetelmää, jossa ensn lasketaan alustava geometra muutamen luotettaven vastnpsteden avulla ja sen jälkeen parannetaan geometraa uuslla vastnpsteparella. (Pollefeys et al. 2000: 255, 2004: 209-211) 4.2 Projektomatrsen laskemnen ja rekonstruont 4.2.1 Alustava rekonstruont Yhteensovtus tehdään ensn kahdelle ensmmäselle kuvalle, jolle määrtetty kalbront tom referenssnä muta kuva lsättäessä. Edellä kuvatun yhteensovtusmenettelyn jälkeen vodaan laskea kameroden projektomatrst, jotka kuvaavat objektn projsotumsta kuvalle. Projektomatrsella luodaan projektvnen mallkoordnaatsto ja ne vodaan laskea saadusta eppolaarmatrsesta seuraaven kaavojen avulla: P?? 0? ja? TF e? 1 I P 1 1? (4) jossa T on melvaltanen vastasymmetrnen (antsymmetrc) matrs, eppolaarmatrs kuvan 1 ja välllä sekä e 1 vastaava eppolaarpste. (Koch et al. 1998: 58, Inklä 2002, Pollefeys et al. 2000: 253) Tämän jälkeen on mahdollsta tehdä alustava rekonstruont nällä kahdella kuvalla kolmonnn avulla. Kolmont tetokonenäössä on sama asa kun avaruuseteenpänlekkaus fotogrammetrassa. Kameraparametrt ovat tunnettuja (tässä tapauksessa projektvset kameraparametrt el projektomatrsn F 1 8
alkot), kuvakoordnaatt on mtattu ja kohdekoordnaatt ratkastaan. Kahden psteen kuvaussäteet evät lekkaa tosaan täydellsest ja 3D-psteen pakka joudutaan laskemaan tasottamalla. Yleensä käytetään penmmän nelösumman (PNS) menetelmää. (Pollefeys et al. 2000: 255, 2004: 212, Inklä 2002) 4.2.2 Kuven lsäämnen Jokaselle uudelle kuvalle, joka lsätään kalbrontn ja rekonstruontn määrtetään sen eppolaargeometra ja projektomatrst (Kaava 4) suhteessa alustavaan rekonstruontn ja tämän jälkeen rekonstruont pävtetään. Pävtys ssältää akasemmn rekonstruotujen psteden kohdekoordnaatten lkarvojen parantamsen sekä kuvalta löydettyjen uusen kulmapsteden valmstamsen seuraavaa sovtusta varten. Psteen parantamsessa vodaan etsntäalue rajata jo rekonstruodun psteen projekton lähelle tosella kuvalla (Kuva 4(c)). Tällanen pävtysmenettely mahdollstaa sen, että alkuperästen ltospsteden e tarvtse pysyä näkyvllä koko ajan, sllä kalbrontpstejoukko laajenee jokasen uuden kuvan mukana (Kuva 5). (Pollefeys et al. 2000: 255-256) Kuva 5. Kuven yhteensovtus ja uusen kuven lsäämnen kalbrontn ja rekonstruontn (Pollefeys et al. 2004: 213). 4.3 Sädekmpputasotus Kun kalbront ja rekonstruont on laskettu koko kuvasekvensslle, stä parannetaan globaaln mnmonnn el sädekmpputasotuksen avulla. Aemmn saadut kameroden kalbrontparametrt P ja kohdepsteden pakat M tomvat lkarvona sädekmpputasotuksessa. Tavotteena on määrttää 9
tarkat kameroden, P k, parametrt ja kohdepsteden 3D-pakat, tehdään mnmomalla havattujen kuvapsteden kohdepsteden?? M M j. Tämä m j ja takasn projsotujen P välsten etäsyyksen nelötä. Kuvasekvensslle, jossa on m kuvaa ja n pstettä seuraava krteer tuls mnmoda: m? n? P, M j? 1 j? 1? m, P? M? mn d (5) j j 2 Mnmontongelma on valtavan suur, sllä kuva saattaa olla useta kymmenä ja pstetä jokasella kuvalla lähes sata, mkä johtaa useden tuhansen muuttujen ratkasuun. Yhtälöryhmät ovat kutenkn tyypllsest hyvn harvoja el suurn osa alkosta on nolla, jollon ongelman ratkasu helpottuu. Yhtälöryhmen harva rakenne johtuu stä, että kukn havantoyhtälö ssältää van penen osan tuntemattomsta. (Pollefeys et al. 2004: 212,214) 5 Vahe 2: Itsekalbront Itsekalbronnn avulla projektvnen rekonstruont pävtetään automaattsest metrseks el kohteen muoto saadaan selvlle. Tämä tsekalbronnn määrtelmä eroaa fotogrammetrassa perntesest käytetystä määrtelmästä, jossa tsekalbront koostuu kamerakalbrontparametren määrttämsestä anoastaan vastnpsteden perusteella. Jotta projektvnen rekonstruont saatasn rajattua metrseks, tarvtaan vähntään kahdeksan rajotetta. Tämä johtuu stä, että projektvnen rekonstruont on määrtelty anoastaan 15- parametrseen projektvseen muunnokseen ast ja metrnen rekonstruont 7- parametrseen 3D-yhdenmuotosmuunnokseen ast, jollon näden muunnosten vällle jää kahdeksan tuntematonta parametra. (Koch et al. 2000: 118, Pollefeys et al. 1998: 9, 2000: 252) Metrsen rekonstruonnn tapauksessa kameran projektomatrst näyttävät seuraavalta:? R R t? P? K?, jossa? f x s u x? K???? f y u y? (6)? 1? jossa R on kertomatrs ja t srtovektor, jotka yhdessä määrttävät kameran ulkosen orentonnn kuvalle. K ssältää ssäset kameraparametrt. f x ja f kuvaavat horsontaalsta ja vertkaalsta polttovälä pkselessä, y?? u? u, u x y on kameran pääpste ja s määrttää kuvan väärstymän. Tekemällä oletuksa ssässsä kameraparametressa, vodaan projektvnen rekonstruont pävttää metrseks. (Koch et al. 2000: 118) Teorassa metrsen rekonstruonnn saavuttamnen on mahdollsta anoastaan oletuksella, että kuvassa e ole väärstymä el pkselt ovat ortogonaalsa. 10
Tällanen menettely vaats vähntään kahdeksan kuvan sekvenssn, jollon jokanen kuva tos yhden uuden rajotteen. Käytännössä rajotteta on kutenkn tarjolla enemmän. Ssässtä kameraparametresta leveyden ja korkeuden suhteen oletetaan usen olevan yks el polttovälks tulee anoastaan f. Tarvttaessa myös pääpsteen vodaan olettaa olevan keskellä kuvaa. (Pollefeys et al. 1998: 9-11) Käytännön tapa saada kalbrontparametrt ssästen kameraparametren rajottesta on käyttää absoluuttsen karton (conc) kästettä. Tämä vrtuaalnen karto on olemassa jokasella kuvalla. Se vodaan löytää anoastaan ssässsä kameraparametressä oleven rajotteden avulla. Kun karto on löydetty, se sall metrsten mttausten tekemsen ja nän rekonstruonnn pävttämsen projektvsesta metrseks. Kun metrnen rekonstruont ja kalbront on saavutettu, parannetaan stä sädekmpputasotuksen avulla, kuten tehtn projektvsessa tapauksessa (kohta 4.2.3). (Pollefeys et al. 1998: 10) Kuvassa 6 on estetty tsekalbronnn vakutus rekonstruontn el kuvat kohteesta ennen ja jälkeen tsekalbronnn. Kuva 6. Rekonstruont ennen (yllä) ja jälkeen (alla) tsekalbronnn (Pollefeys et al. 2000: 257). 6 Vahe 3: Syvyyskarttojen estmont Järjestelmän kalbronnn tuloksena saadaan anoastaan harva rekonstruont kohteesta. Tämä e kutenkaan velä ole rttävä tuottamaan geometrsest oketa ja vsuaalsest tyydyttävä kohdemalleja. Vastnpsteet täytyykn löytää lähes kaklle pstelle kuvlla tyydyttävän malln akaansaamseks. Koska edellsessä vaheessa on saatu kamerakalbront kaklle kuvlle, vodaan käyttää 11
algortmeja, jotka on kehtetty kalbrodulle stereokuvaparelle. (Koch et al. 1998: 59, 2000: 118) Seuraavassa estelty menetelmä koostuu kahdesta vaheesta. Aluks yhteensovtus tehdään stereokuvaparelle ja lasketaan syvyyskartat jokaselle kuvalle. Tämän jälkeen er kuven syvyyskartat lnktetään yhteseks mallks globaaln ja tarkemman syvyysestmaatn akaansaamseks. 6.1 Stereokuvaparn yhteensovtus Yhteensovtusprosess helpottuu huomattavast, kun kuvat okastaan stereokuvauksen normaaltapaukseen (Kuva 7). Tällön kuvausakselt ovat yhdensuuntaset ja kohtsuorassa kuvakantaa vasten. Okastut kuvat vodaan orentoda sten, että eppolaarsuorat yhtyvät kuvan rven kanssa. (Koch et al. 1998: 60) Kuva 7. Kaks esmerkkkuvaa lnnasekvenssstä sekä vastaavat stereokuvauksen normaaltapaukseen okastut kuvat (Pollefeys et al. 2004: 217). Vastnpstettä etstään stereokuvan rveltä lkuttamalla pentä kkunaa (5x5 ta 7x7 pkselä) ptkn tätä lnjaa etsen rstkorrelaatofunkton maksmarvoa. Vastnpsteden löytymsen jälkeen vodaan laskea psteden välset parallakst. Parallakslla tarkotetaan kuvlla olevaa eroa psteen x-koordnaatssa el kannan suunnassa. Koska kuvat on okastu stereokuvauksen normaaltapaukseen, vodaan kuvaparn pstelle estmoda tsenäset syvyysestmaatt suoraan parallakshavannosta kaavalla: Z Bf /? p x, jossa p x x 2? x1? (7) B on kanta el projektokeskusten välnen etäsyys, f on polttoväl ja vastnpsteden välnen parallaks. Syvyysestmaatlla tarkotetaan ss kohdepsteen etäsyyttä kameran projektokeskuksesta. (Koch et al. 1998: 60-61, Haggrén 2003) 6.2 Useden kuven lnkttämnen Stereoparettan suortettu vastnpsteden etsntä mahdollstaa tsenästen syvyysestmaatten laskemsen jokaselle kuvalle el kameralle. Optmaalnen ja tarkemp syvyysestmaatt saadaan yhdstämällä er kuven estmaatt yhteseks mallks. Tämä vodaan suorttaa vastnpsteden lnktysalgortmn p x 12
avulla yhdstämällä useat kuvat tosnsa. Menettely hyödyntää sekä suurettä penkantasen stereokuvauksen hyvä puola. (Koch et al. 1998: 61) Penkantasessa stereokuvauksessa kanta on huomattavast penemp kun keskmääränen maseman syvyys. Kuvat on tällön otettu sekvenssnä usesta heman tosstaan pokkeavsta pakosta. Etuja tällasessa menettelyssä ovat helppo vastnpsteden etsmnen ja suurn osa kuvapstestä löytyy myös veresltä kuvlta. Hattana ovat pen kolmontkulma ja tästä johtuva huono syvyystarkkuus. Suurkantasessa stereokuvauksessa otetaan muutama kuva sten, että kanta on suur. Tällön kolmontkulma on suur ja syvyystarkkuus hyvä, mutta vastnpsteden etsmnen on vakeaa ja kuvapsteet ovat erlasa veresllä kuvlla. Nyt esteltävä menettely yhdstää molempen tapojen hyvät puolet ja mahdollstaa tarkkojen syvyyskarttojen tuottamsen jokaselle kuvalle. (Koch et al. 1998: 61-62) Valtaan yks kuva referensskuvaks ja lnktetään vastnpsteet ketjuks eteen- ja taaksepän referensskuvasta. Jokaselle vastnpsteelle suhteessa referensskuvaan lasketaan syvyysestmaatt, joka tarkottaa kameran projektokeskuksen etäsyyttä kohdepsteestä, kolmonnn el eteenpänlekkauksen avulla (Kuva 8). Syvyysvrhe vähenee kolmontkulman kasvaessa. Kakk syvyysestmaatt, jotka pysyvät määrtetyn epävarmuusrajan ssällä, otetaan mukaan lopullsen estmaatn laskemseen. Jos laskettu syvyysestmaatt menee epävarmuusrajan ulkopuolelle, lnktys loppuu ja shen ast saadut estmaatt muodostavat lopullsen syvyysestmaatn kyseselle psteelle (Kuva 8). Syvyysestmaatt yhdstetään käyttäen 1-D kalmansuodatnta. Menetelmä tostetaan kuvan kaklle pstelle ja sekvenssn kaklle kuvlle. Tuloksena saadaan theät ja tarkat syvyyskartat jokaselle kuvalle. (Koch et al. 1998: 62-64) Kuva 8. Kolmontkulman vakutus syvyysvrheeseen (vasemmalla) ja lnktyksen loppumnen johtuen epävarmasta vastnpsteestä (Pollefeys et al. 2004: 219). 7 Vahe 4: 3D-malln muodostamnen Edellsen vaheen tuloksena saadut syvyyskartat kuvaavat jokaselle psteelle ja kuvalle saatua omaa syvyysestmaatta. 3D-malln muodostamsta varten syvyyskartosta tehdään pntamall, jota approksmodaan psteden avulla 13
muodostetun pntakolmoverkon avulla (Kuva 9). Pntamalla käyttäen vähennetään mallssa oleven psteden määrää oleellsn ja geometra yksnkertastuu. Varsnanen pntamall saadaan projsomalla kolmoverkon kulmapsteet takasn avaruuteen syvyysarvojen mukaan (Kuva 9). (Pollefeys et al. 2004: 220) Pntamalln muodostamsen jälkeen tekstuur projsodaan kuvlta malln päälle ja nän saadaan realstsemp ja vsuaalsemp kuva kohteesta (Kuva 9). (Pollefeys et al. 2004: 221) Edellä kuvatun menettelyn avulla saadaan erllset mallt jokaselle kuvalle. Monmutkasempen muotojen rekonstruomsessa on välttämätöntä yhdstää useden syvyyskarttojen tulokset. Tämä vodaan tehdä yksnkertasest luomalla ensn erllset mallt ja stten lataamalle ne yhdessä grafkkajärjestelmään. Vahtoehtosest vodaan yhdstää er kuvlta tehdyt pntakolmoverkot ja muodostaa sten yhtenen 3D-mall. Yhdstämsmenettelyjen tarkemp tarkastelu menee tämän estelmän ulkopuolelle. (Pollefeys et al. 2004: 221) Kuva 9. Ylhäällä vasemmalla syvyyskartasta muodostettu pntakolmoverkko, keskellä eräs sekvenssn kuvsta ja okealla syvyyskartta. Alhaalla vasemmalla teksturotu 3D-mall ja okealla pntakolmoverkon ja syvyysarvojen avulla muodostettu pntamall. (Pollefeys et al. 2004: 221) 8 Menetelmän tarkkuus ja luotettavuus Menetelmän tarkkuutta ja rekonstruonnn luotettavuutta vodaan arvoda käyttäen muutama erlasa laatumttareta. Eräs mttar kuvaa vastnpsteden ylmäärtystä el laskee kunka monella kuvalla sama kohdepste näkyy. Tähän lttyen on määrtelty näkyvyyttä kuvaava mttar, joka tarkottaa referenss- 14
kuvaan lnktettyjen kuven lukumäärää. Tonen tärkeä omnasuus menetelmän tarkkuutta arvotaessa on syvyyskarttojen theys ja tarkkuus. Syvyyskarttojen theyttä kuvaa täyttöaste F ja tarkkuutta syvyysvrhe E. Alla olevat esmerkt ovat tässä estelmässä esmerkknä käytetystä lnnasekvenssstä laskettuja lukuja. Sekvenss koostuu 22 kuvasta, jotka on otettu 720x576 pkselresoluutolla. (Koch et al. 1998: 65-66) Laatumttaren määrtelmät: Näkyvyys V[kuvat]: keskmääränen kuven lukumäärä, jotka on lnktetty referensskuvaan Täyttöaste F[%]: rekonstruotujen pkseleden määrä / pkseleden kokonasmäärä Syvyysvrhe E[%]: suhteellnen syvyysvrhe e kaklle rekonstruodulle pkselelle Kuvassa 10 on vertaltu sekvenssnptuuden vakutusta suhteellseen syvyysvrheeseen ja näkyvyyteen 2-15 kuvan sekvenssellä. Tulokssta huomataan, että keskmäärn 5 kuvan sekvenssessä kakka kuva velä hyödynnetään. Lnktyksen määrän tulee esn suhteellsen syvyysvrheen arvossa, joka 2 kuvan sekvenssssä on yl 4% ja vähene n. 1,2%:n 15 kuvan sekvenssssä. (Pollefeys et al. 2004: 220) Kolmontn vaadtaan vähntään kahden kuvan psteden lnkttämstä tosnsa. Syvyysestmaatn luotettavuuden parantamseks tuls pste havata useammalla kun kahdella kuvalla. Vomme nän määrttää mnm näkyvyyden Vmn syvyysestmaatlle el mnmmäärän kuva, jolla psteen tulee näkyä. Tällänen rajote mahdollstaa epäluotettaven syvyysestmaatten karsmsen el karkeden vrheden määrä penenee, mutta samalla se vähentää syvyyskartan täyttöastetta. Kuvasta 10 nähdään mten mnmnäkyvyyden lsäämnen vakuttaa suhteellseen syvyysvrheeseen ja täyttöasteeseen kuvasekvenssn ptuudella N=11. Kuvstä nähdään, että täyttöaste putoaa 92%:sta 70%:n, mutta samalla syvyysvrhe putoaa 0,5%:n epävarmojen syvyysestmaatten karsmsen johdosta. (Pollefeys et al. 2004: 220) 15
Kuva 10. Vasemmalla: Sekvenssn ptuuden N vakutus näkyvyyteen V ja suhteellseen syvyysvrheeseen E. Keskellä: Mnmnäkyvyyden Vmn vakutus täyttöasteeseen F ja syvyysvrheeseen E, kun N=11. Okealla: Syvyyskartta (yllä) ja vrhekartta (alla), kun N=11 ja Vmn=3. (Pollefeys et al. 2004: 220) 9 Yhteenveto Edellä on estelty täysn automaattnen menetelmä, jonka avulla vodaan muodostaa metrsä 3D-malleja kalbromattomlta kuvasekvensseltä käyttäen tavallsta dgtaal- ta vdeokameraa. Menetelmä sop käytettäväks usesn sovellusaluesn, sllä se on joustava, nopea ja tarkka. Erlasten automaattsten yhteensovtus- ja rekonstruontalgortmen käyttö varmstaa menetelmän nopeuden ja vankan yhteensovtusalgortmn ja sädekmpputasotuksen käyttö tarkkuuden. Saadut 3D-mallt ovat metrsä el muoto on tunnettu. Malln absoluuttseen orentontn vaadttasn setsemän parametrn ratkasu el vähntään kaks koordnaateltaan tunnettua kohdepstettä sekä yks tunnettu korkeus. 16
Lähdeluettelo Haggrén H., 2003. Fotogrammetran perusteet, luentomonste. Teknllnen Korkeakoulu, Fotogrammetran ja kaukokartotuksen laboratoro. Inklä K., 2002. Analyyttnen fotogrammetra, opetusmonste. Teknllnen Korkeakoulu, Fotogrammetran ja kaukokartotuksen laboratoro. Koch R., Pollefeys M., Van Gool L.,1998. Mult Vewpont stereo from uncalbrated vdeo sequences. Computer Vson - ECCV 98, Vol I, Lecture Notes Computer Scence 1406, 55-71. Koch R., Pollefeys M., Van Gool L., 2000. Realstc surface resconstructon of 3D scenes from uncalbrated mage sequences. The Journal of Vsualzaton and Computer Anmaton 2000, 11, 115-127. John Wley & Sons, Ltd. Pollefeys M., Koch R., Van Gool L., 1999. Self-calbraton and metrc reconstructon n spte of varyng and unknown nternal camera parameters. Internatonal Journal of Computer Vson 32(1), 7-25. Kluwer Academc Publshers. Pollefeys M., Koch R., Vergauwen M., Van Gool L., 2000. Automated reconstructon of 3D scenes from sequences of mages. ISPRS Journal of Photogrammetry & Remote sensng 55, 251-267. Elsever Scence 2000. Pollefeys M., Koch R., Van Gool L., Vergauwen M., Verbest F., Cornels K., Tops J, 2004. Vsual Modellng wth a Hand-Held Camera. In Internatonal Journal of Computer Vson 59(3), 207-232. Kluwer Academc Publshers. 17