Luento 6: Kolmiointi digitoiduin kuvin.

Transkriptio

1 Maa Fotogrammetrinen kartoitus Luento-ohjelma Luento 6: Kolmiointi digitoiduin kuvin. Luento 6: Kolmiointi digitoiduin kuvin. Liitospisteiden mittaus Kuvien yhteensovitus Korrelaatio Liitospisteiden mittausohjelmia OEEPE:n koetyöt Tuotantojärjestelmiä Suomessa Julkaisuja (Alkuperäinen luento: Henrik Haggrén, Muutoksia: Eija Honkavaara ) Kolmioinnissa on kyse kuvien liittämisestä a) toisiinsa, b) kohdekoordinaatistoon. Yhteenliittymää kutsutaan kuvablokiksi. Kolmioidussa kuvablokissa jokaisen kuvan orientointi tunnetaan a) kuvablokin koordinaatistossa, b) kohdekoordinaatistossa. Kolmiointiin osallistuvia pisteitä kutsutaan liitospisteiksi. Tavanomaisessa, analogisin kuvin tehdyssä kolmioinnissa liitospisteiden määrä on 15-20/kuva. Osa liitospisteistä toimii liitospisteinä kohdekoordinaatistoon. Näitä kohdekoordinaateiltaan tunnettuja pisteitä kutsutaan lähtöpisteiksi. Lähtöpisteiden määrä isossa, esim kuvan blokissa on muutamia kymmeniä, GPS-tuetussa kuvauksessa vielä huomattavasti vähemmän. Digitoitujen kuvien kanssa tehdyssä kolmioinnissa liitospisteiden määrä voi nousta useisiin kymmeniin, jopa satoihin yhdellä kuvalla. Liitospisteiksi valitaan kuvittain pisteitä, pikemminkin kuvanosia, joiden harmaasävyjakautuma soveltuu tarkkaan yhteensovitukseen. Valinnassa käytetään hyväksi ns. piirreoperaattoreita. Piirreoperaattorit määrittävät kullekin liitospisteelle sen kuvakoordinaattien lisäksi tietoa sen ominaisuuksista. Kolmioinnin kannalta tärkeitä ominaisuuksia ovat pisteen paikannettavuus, tunnistettavuus, erottuvuus ympäristöstään, yksilöllisyys, jne. Nämä tiedot kerätään pisteen ominaisarvoiksi. Kun liitospiste-ehdokkaat on ensin valittu kuvilta, järjestetään ne vastinpisteryhmiin. Vastinpisteet ryhmitellään likiarvoisten orientointien ja edellä kerättyjen ominaisarvojen perusteella. Automaattiseen kuvablokin muodostamiseen ja pisteiden yhteensovittamiseen liittyy hierarkinen hakustrategia. Yleensä tämä toteutetaan moniresoluutioisen kuvapyramidin avulla. Kuvapyramidi muodostuu useista kuvatasoista. Alinna on alkuperäinen kuva, ylinnä vaiheittain alipäästösuodatettu kuva samasta alueesta. Kunkin välitason kuva on näytteistetty edellistä kuvaa harvemmalla näytteenottovälillä. Kuvien ensimmäiset likiarvot voidaan ratkaista ylimmällä pyramiditasolla, jolloin liitospisteet edustavat kuvasisällöltään alkuperäisen kuvan kaikkein matalataajuisimpia kuvanosia ja vastinpisteiden tunnistettavuus on hyvä. Kolmiointia jatketaan laskeutumalla pyramidia vaiheittain alemmas. Kullakin välitasolla edellisen kolmioinnin tulosta käytetään likiarvona. Lopulta kolmiointi tehdään alimmalla tasolla eli alkuperäisellä ja parhaalla resoluutiolla. 1

2 Kolmioinnin jälkeen pistetihennystä voidaan jatkaa osamalleittain. Osamalli on joko kohdetilassa tai kuvatilassa rajattu osa-alue. Osamallin tihennykseen osallistuvat kaikki sitä vastaavat kuvat. Tihennys tehdään eteenpäinleikaten, eli ulkoiset orientoinnit kiinnitetään. General o Task Automatic detection of conjugate points of a block of images Point selection and transfer o Point selection Ensure stable block geometry: manifold tie points, uniform distribution Find good enough points for matching: well-conditioned image function, suitable for multiple images By measurement design and analysis of image contents o Point transfer By image matching: matching method, matching strategy o Approaches Measure distinct tie points Reconstruct whole object o Questions Failures in difficult conditions (occlusions, shadows, height differences, ) Manifold tie points Parameter settings Quality control Properties of tie point measurement task o Variability due to object Land cover classes Agricultural (mostly fields)) Forest (dense vs. sparse) Built-up (dense/sparse, big/small) Open swamps Dry open terrain with vegetation Water (e.g. small lake, sea) Topography Flat Rolling Steep o Variability due to imaging Scale Rotation Temporal (e.g. illumination, scene) Spectral Image quality o Variability due to requirements, e.g. high, medium and low accuracy tasks Tulevaisuudessa o Automaattista liitospisteenmittausta tarvitaan mm. GPS/IMU/kamera kalibrointi (Luento 4, 5) 2

3 matriisisensorikuvien prosessointi (Luento 3) rivisensorikuvien prosessointi (Luento 3) integroitu sensoriorientointi (Luento 5) o Suora sensoriorientointi helpottaa liitospisteenmittaustehtävää (hyvät likiarvot, laaduntarkistus, pienempi määrä liitospisteitä riittää) o Digitaaliset fotogrammetriset kamerat: automaattinen kuvansovitus helpottu ja tarkentuu kuvien paremman radiometrisen laadun ansiosta Kuvapyramidi. Kuvien resoluutio eri pyramiditasoilla. 3

4 Ilmakuvablokki, Montserrat. Kuvamittakaava 1 : 15'000, pituuspeitto 60 %, sivupeitto 30 %. (Heipke, 1999) Gruber-pisteet. 4

5 Kolmiointipisteet ensimmäisten likarvojen laskemiseen. Kolmiointipisteiden tihentäminen. Kolmiointipisteet lopulliseen blokkitasoitukseen. 5

6 Esimerkki pisteiden tihentämisestä. Liitospisteet kuvalla. (Ilves, 2001) References o Christian Heipke, Automatic aerial triangulation: results of the OEEPE- ISPRS test and current developments, Photogrammetric Week '99, Wichmann, p

7 Liitospisteiden mittaus Liitospisteiden mittausohjelmille voidaan asettaa vaatimuksia, joilla vaikutetaan mm. mitattavien pisteiden lukumäärään, sijaintiin kuvilla, havaintojen tarkkuuteen, yhteensovituksen kuvamäärään ja likiarvojen hyödyntämiseen mittausprosessin aikana. o Ohjelman toimintaperiaate Liitospisteiden mittaus voidaan käynnistää ilman korkeusmallia tai orientointihavaintoja. Mittausohjelma käyttää liitospisteiden likiarvoja laskiessaan hyväkseen tiedot korkeusmallista ja kuvauslennon orientointihavainnoista sekä toimii hierarkisesti kuvapyramidilla. Mittausohjelmaan sisältyy 'on-line'-blokkitasoitus ja sitä käytetään myös blokin geometrian suunnittelussa (liitospisteiden määrä ja sijainti kuvilla). Liitospisteet valitaan niiden toiminnallisten piirteiden perusteella (hyvä yhteensovitettavuus). Epäonnistuneet liitospistehavainnot korvataan tarpeen mukaan uusilla liitospisteillä. Yhteensovituksen ohjaustiedot sovitetaan automaattisesti blokin ja kohteen ominaisuuksiin. Karkeat virheet ('outlier'-havainnot) tarkastetaan havainnoista ja korvataan uusilla. o Yhteensovitus Yhteensovitusta ohjataan tarkalla kameramallilla (keskusprojektio tai rivikamera). Yhteensovitusta ohjataan kohteesta käytettävissä olevalla pintamallilla. Yhteensovitusta ohjataan tarkoilla kuvausyhtälöillä (kollineaarisuusehto). Yhteensovitukseen sisällytetään lineaarinen radiometrinen malli. Yhteensovitus tehdään samanaikaisesti jokaisen kyseiseen pisteeseen liittyvän kuvahavainnon välillä, ei pareittain. o Liitospisteet Mittaustarkkuuden vähimmäisvaatimuksena voidaan pitää 10 µm. Liitospistehavainnot tehdään täydellisinä eli liitospisteet havaitaan kyseiseen pisteen kaikilta kuvilta. Liitospisteiden lukumäärä ja jakauma määritetään mittaustyön kuluessa niin, että blokin geometriasta tulee hyvä. Kirjallisuutta: o Honkavaara, E., Automatic tie point measurement: On properties of tie points, measurement methods and quality issues, Licentiate's Thesis, HUT, Espoo 2000 Kuvien yhteensovitus Termiä "kuvien yhteensovitus" on käytetty oikeastaan vasta puhuttaessa digitoiduista kuvista ja niiden automaattisesta keskinäisestä orientoinnista. Esimerkkejä yhteensovituksen nykyisistä sovelluksista ovat liitospisteiden mittaus kolmioinnissa ja korkeusmallin mittaus orientoidulta stereomallilta. 7

8 Yhteensovituksen perustoiminto on vastinpisteiden tarkka mittaus. Valmistavia toimenpiteitä ovat yhteensovitukseen soveltuvien kuvanosien valinta ja vastinpisteiden hakuavaruuden rajaus. Yhteensovituksen menetelmiä ovat piirrepohjaiset, aluepohjaiset ja globaalit menetelmät. o Piirrepohjaiset menetelmät perustuvat kuvittain tapahtuvaan piirteiden tunnistamiseen ja paikantamiseen. Piirteitä voivat olla mm. pisteet, viivat tai alueet. Nykyiset kolmiointiohjelmistot perustuvat pistemäisiin piirteisiin. Esimerkkejä hyvin tunnistuvista pistemäisistä piirteistä ovat nurkat ja ympäristöstään erottuvat läiskät. Tunnistaminen perustuu harmaasävykuvan gradienttien suuruuteen ja suuntautuneisuuteen. Piirrepohjaisen yhteensovituksen operaattoreista on tunnetuin Förstnerin operaattori. o Aluepohjaiset menetelmät perustuvat liitospisteiden havaitsemiseen suoraan kahden tai useamman kuvan välillä. Liitospisteeltä ei edellytetä geometrisia ominaisuuksia vaan ainoastaan hyvää yhteensovittuvuutta. Yhteensovitus tehdään vertaamalla mallikuvan harmaasävyjä kohdekuvan harmaasävyihin. Mallikuvaa siirretään kohdekuvalla ja paras vastaavuus havaitaan likimäärin yhden pikselin tarkkuudella laskemalla kuvasignaalien välisiä korrelaatioita. Tarkempi kohdistus tehdään harmaasävyjen erojen neliösummaa minimoimalla. Tällä yhteensovituksella on mahdollista päästä pikselin murtoosien tarkkuuksiin (0,5..0,005 pikseliä). Korrelaatio PNS-yhteensovitus kuvatasolla o Globaalilla yhteensovituksella sovitetaan kuvanosia harmaasävyjen perusteella samoin kuin aluepohjaisissa menetelmissä. Yhteensovituksessa ei kuitenkaan rajoituta vastaavuuksien havaitsemiseen kuvien välillä vaan siinä pyritään rekonstruoimaan kohde. Vastaavuudet lasketaan kuvien ja kohteen välillä. Yhteensovitusta ei tehdä orientoinneiltaan tunnetuilla kuvilla vaan harmaasävyjen neliösummaa minimoidaan suoraan vertaamalla kuvia samanaikaisesti geometrialtaan ja radiometrialtaan ratkaistavaan kohteen pintamalliin. PNS-yhteensovitus kohteen pinnalla Kuvansovitusmenetelmien muuttujat o Primitives area (signal) or feature (point, line, polygon, ) local or global support o Geometric and radiometric mappings between images 2D or 3D pairwise or arbitrary number of images o Similarity measure and search for optimum 8

9 Yksiulotteinen yhteensovitus. Kaksiulotteinen yhteensovitus kahden kuvan välillä. 9

10 Kolmiulotteinen yhtensovitus kohteen pinnan ja kuvablokin välillä. Yhteensovitusmenetelmien vertailua Sovitettava ominaisuus Geometrinen malli Radiometrinen malli Piirteiden sovitus Piste - Korrelaatio PNS kuvalla PNS kohteessa Harmasävy Harmaasävy Harmaasävy 1D ja 2D siirto 1D ja 2D siirto, kierto, mittakaava, vinous - Lineaarinen Lineaarinen, ym. Kuvien lkm n 2 n n Pull-in range suuri suuri 3 3 [pikseliä] Tarkkuus [pikseliä] 3D 0,3-0,5 0,1 0,1 0,1 Luotettavuus huono huono kohtalainen hyvä Käytettävyys edellyttää piirteiden määrittämistä ja irroittamista hyvä hyvä Häiriösietoisuus huono huono kohtalainen hyvä Lineaarinen, ym. edellyttää kohteen rekonstruoimista 10

11 Korrelaatio LDIP Inter is an educational program which runs on the Internet by means of a browser. o o correlation o Foerstner o Foerstnerin_operaattori savykuva Mallikuva ja hakuikkuna. Esimerkki kuvaa reunamerkistä tehtyä mallinetta ja vastaavaa kohtaa kuvalta. 11

12 1-D yhteensovituksen lähtötilanne. Paras korrelaatio saadaan x-koordinaatin arvolla x = 80. PNS-yhteensovitukseen perustuva paras vastaavuus on kohdassa x = 75,5. Malli- ja kohdesignaali parhaan korrelaation mukaisesti kohdistettuina. 12

13 Malli- ja kuvasignaali PNS-yhteensovituksen mukaisesti kohdistettuina. Signaalit on vertaistettu skaalaamalla ja tasoa muuttamalla. Kaksiulotteinen ristikorrelaatio. (Heipke, 1996) 13

14 Least squares image matching Kuvafunktio kuvaikkunalle, jota siirretään koordinaattierojen xo ja yo verran. Muuttujat xo ja yo ratkaistaan, suure n(x,y) on kohinaa. Linearisoidut virheyhtälöt. Normaaliyhtälöt. Förstnerin operaattorin virhe-ellipsejä eri tilanteissa. (Heikkilä, 1989) Julkaisuja o Christian Heipke, Overview of Image Matching Techniques, Application of Digital Photogrammetric Workstations, OEEPE, Official Publications No 33, IfAG, Frankfurt am Main o Petri Rönnholm, Förstnerin operaattori, fotogrammetrian erikoistyö, TKK, Espoo, Liitospisteiden mittausohjelmia Liitospisteiden mittausohjelmia o Kaupallisia järjestelmiä Leica Photogrammetry Suite, Leica Geosystems Match-AT, Inpho GmbH ISAT, Intergraph 14

15 o Tutkimusjärjestelmiä OSU, Ohio State University FGI, Finnish Geodetic Institute TUM, Technical University of Munich Tsingas: Ensimmäinen toimiva liitospisteiden mittausjärjestelmä, joka esiteltiin syksyllä 1991 ja julkaistiin sittemmin väitöskirjana (Tsingas, 1992). Esimerkki ohjelmiston toiminnasta: HATS / Socet Set (Helava) 1) Alustus Määritellään blokin geometria eli kuvaindeksi ja lähtöpisteet. Määritellään kameran kalibrointitiedot. Valitaan tasoitusmenetelmä: sädekimppukolmiointi mittakuville, muille DLT- tai polynomimalliin perustuva kolmiointi. 2) Automaattinen liitospisteiden mittaus Määritellään liitospistemalli eli liitospisteiden määrä ja sijainti kuvilla sekä liitospisteiden yhteensovituksessa käytettävä korrelaatioalgoritmi. Automaattinen pisteenhaku tehdään toistavin havainnoin. Kullekin liitospistehavainnolle lasketaan yhteensovituksessa myös keskivirhe. Automaattisen pisteenhaun ja yhteensovituksen jälkeen liitospisteiden mittaus voidaan tarkistaa visuaalisesti ja sitä voidaan täydentää interaktiivisesti. Myös yhteensovitus voidaan haluttaessa tehdä manuaalisesti kursorilla osoittaen. Tällöin kuvahavainnon keskivirhe on 0.5 pikseliä tai toistavista havainnoista laskettuna niiden keskihajonta. Kun havainnot on tehty, blokki tasoitetaan, aluksi osablokein, lopuksi yhtenä. Tällä tavalla pyritään blokista eliminoimaan karkeat ja puolikarkeat virheet. 3) Interaktiivinen lähtöpisteiden mittaus Määritellään kunkin lähtöpisteen tyyppi (taso-, korkeus-, XYZ-piste, jne..) ja arvioidaan kunkin lähtöpisteen koordinaattien tarkkuus. Kukin lähtöpiste havaitaan kuva kuvalta komparaattorimittauksena. 4) Blokkitasoitus Liitospisteiden havaitsemisen jälkeinen blokkitasoitus toistetaan. Havaintojen tarkkuusarvoja käytetään blokkitasoituksen aikana painotettaessa yksittäisiä havaintoja toistensa suhteen. Myös lähtöpisteiden koordinaatit käsitellään havaintoina. Laskennan jälkeen voidaan tulosta tarkastella pistekohtisesti. Samalla voidaan arvioida blokin ja lähtöpisteiden yhteensopivuutta, ja toistaa epävarmoiksi osittautuneita havaintoja. Sen jälkeen, kun blokin tasoitus on hyväksytty, kuvaorientoinnit ja liitospisteiden koordinaatit dokumentoidaan. o Lähde: Juha Heikkinen, Interaktiivinen pistetihennysmenetelmä Helavaohjelmistolla,

16 Ilmakolmiointia työasemalla, Swissphoto Vermessung AG. (Kersten, 1999) Ilmakolmiointijärjestelmiä. (Heipke, 1999) References o Thomas Kersten, Digital Aerial Triangulation in Production - Experiences with Block Switzerland, Photogrammetric Week '99, Wichman, p OEEPE:n koetyöt OEEPE (Organisation Europeenne d'etudes Photogrammetriques Experimentales) on selvittänyt koetöiden avulla digitoitujen ilmakuvien käyttöä kolmiointiin. Geodeettinen laitos järjesti koetyön, jossa selvitettiin digitoitujen kuvien soveltuuvuutta yleensä ilmakolmiointiin. Toisessa koetyössä (Heipke et al ) verrattiin kolmiointikäytäntöjä toisiinsa ja erityisesti automaattisen pisteenhaun vaikutusta kolmioinnin tuloksiin. Geodeettinen laitos: Kolmiointi digitoiduin kuvin 16

17 o Blokki: Forssa, x 2.5 km2 h = 600 m => 1 : jonoa, 7 kuvaa/jono peitot 60 % / 35 % o Tuloksia Digitoidun kuvan pikselikoolla (15 µm vai 30 µm) ei käytännössä ollut juurikaan vaikutusta kolmioinnin tarkkuuteen. Pistemittauksen tarkkuuteen vaikutti käytetty yhteensovitusalgoritmi. Aluepohjaisella yhteensovituksella Z-koordinaattien mittaustarkkuus parani, kun käytettiin 30 µm pikselikokoa. Kolmioinnin tarkkuus uusien pisteiden osalta riippui lähinnä lähtöpisteiden jakautumisesta blokin alueella. Lisäparametreilla kyettiin parantamaan tarkkuutta vain, mikäli käytettiin tiheätä lähtöpisteistöä. Signaloitujen lähtöpisteiden pisteenhakuun tulisi kehittää mallineita. Lisäparametrien käyttäytymistä tulisi selvitettää blokeissa, joissa kuvien välisiä liitospisteitä on kuvittain pikemminkin satoja kuin kymmeniä. o Julkaisuja Jaakkola J., Sarjakoski T., Experimental Test on Digital Aerial Triangulation, Application of Digital Photogrammetric Workstations, OEEPE, Official Publications No 33, IfAG, Frankfurt am Main Forssa. Blokki ja sen lähtöpisteet sekä uudet pisteet. (Jaakkola et al., 1996) 17

18 Forssa, painoyksikön keskivirheet tasoituksen jälkeen. (Jaakkola et al., 1996) Forssa, kolmiointipisteiden jäännösvirheet XYZ-koordinaateissa, kun digitoinnin pikselikoko oli 15 µm. (Jaakkola et al., 1996) Forssa, kolmiointipisteiden jäännösvirheet XYZ-koordinaateissa, kun digitoinnin pikselikoko oli 30 µm. (Jaakkola et al., 1996) 18

19 Remarks from OEEPE/ISPRS-test Performance of tie-point extraction in automatic aerial triangulation o All the commercial and many of the empirical systems were able to give good results. o Good quality by using high redundancy, good connections within and between the strips, good tie point geometry and robust block adjustment. When these conditions are met, no remarkable differences in the quality results of different systems seem to exist. o Poor quality when using a small number of tie points (<50) or loose connections between the strips. o Accuracy Pixel size µm Good conditions: σ 0 was 3-4 µm Difficult conditions: σ 0 was 4-9 µm o Problems In mountainous and forested terrain (some systems) Sensitivity to initial values of exterior orientation and terrain (some systems) Sensitivity to parameter settings o Julkaisuja Christian Heipke, Automatic aerial triangulation: results of the OEEPE-ISPRS test and current developments, Photogrammetric Week '99, Wichmann, p Christian Heipke, K. Eder, Performance of tie-point extraction in automatic aerial triangulation. OEEPE Official Publication 35. ISBN OEEPE:n koetyön tuloksia. Blokki Montserrat. Blokki oli kooltaan 3 x 3 kuvaa, kuvamittakaava on 1:15'000 ja kuvat on digitoitu 30 µm pikselikoolla. Blokkitasoituksen jälkeen verrattiin XYZ-koordinaatteja testipisteissä. Suureella kuvataan tässä testipisteiden jäännösvirheitä kuvalla, RMS-arvoilla eroja koordinaateissa. (Heipke, 1999) 19

20 Tuotantojärjestelmiä Suomessa Maanmittauslaitos : LH Systems Socet Set and Orima o Block setup with GPS/IMU data o Automatic point measurement image correlation twice -> maximize six ray points o Interactive point measurement ground control points, water points blunders in APM o Final block adjustment in Orima optimized for aerial photography GPS/IMU-integration additional parameters quality control Julkaisuja 1. ASPRS, Manual of Photogrammetry, Fifth Edition, Chapter 12: Automation and Digital Photogrammetric Workstations p Friedrich Ackermann, Some Considerations about Automatic Digital Aerial Triangulation,Application of Digital Photogrammetric Workstations, OEEPE, Official Publications No 33, IfAG, Frankfurt am Main Christian Heipke, Automatic aerial triangulation: results of the OEEPE-ISPRS test and current developments, in: Photogrammetric Week '99, Wichmann, p Christian Heipke, K. Eder, Performance of tie-point extraction in automatic aerial triangulation. OEEPE Official Publication 35. ISBN Eija Honkavaara, Automatic tie point measurement: On properties of tie points, measurement methods and quality issues, Licentiate's Thesis, HUT, Espoo Jaakkola J., Sarjakoski T., Experimental Test on Digital Aerial Triangulation, Application of Digital Photogrammetric Workstations, OEEPE, Official Publications No 33, IfAG, Frankfurt am Main Vesa Roivas, Automaattinen ilmakolmiointi Maa Fotogrammetrian, kuvatulkinnan ja kaukokartoituksen seminaari, Espoo Mostafa Madani, Importance of Digital Photogrammetry for a complete GIS. 5th Global Spatial Data Infrastructure Conference, Cartagena, Columbia May 21-25, Yandong Wang, Mostafa Madani, Automatic Detection of Shadow Points in Digital Images for Automatic Triangulation. In: Internation Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol XXXV, Part B Tsingas, V., Automatisierung der Punktübertragung in der Aerotriangulation durch mehrfache digitale Zuordnung, DGK, Reihe C, Heft 392, München Maa Fotogrammetrinen kartoitus Luento-ohjelma