GEOLOGIAN TUTKIMUSKESKUS Ympäristögeologia Espoo 12.12.2016 90/2016 Sotkamon Kolmisoppijärven UAValustaisen hyperspektrilentokampanjan tekninen kuvaus Maarit Middleton, Heikki Salmirinne, Jussi Soukkamäki, Jukka Tienhaara, Eija Honkavaara, Toni Rosnell ja Ilkka Pölönen
GEOLOGIAN TUTKIMUSKESKUS 1 12.12.2016 GEOLOGIAN TUTKIMUSKESKUS KUVAILULEHTI 12.12.2016 / Dnro Tekijät Maarit Middleton, Heikki Salmirinne, Jussi Soukkamäki, Jukka Tienhaara, Eija Honkavaara, Toni Rosnell ja Ilkka Pölönen Raportin laji Arkistoraportti Toimeksiantaja GTK Raportin nimi Sotkamon Kolmisoppijärven UAV-alustaisen hyperspektrilentokampanjan tekninen kuvaus Tiivistelmä Terrafame Oy:n Sotkamon kaivosalueella sijaitsevan Kolmisoppijärven klorofyllipitpisuuksien spatiaalista jakaumaa pyrittiin mallintamaan hyperspektrilentoaineistosta. Maailmasta Oy lennätti Fabry-Pérot teknologiaan perustuvaa spektrikameraa (500 900 nm, Rikola Oy, Suomi) järven länsirannalla miehittämättömässä lennokista 28. elokuuta 2016. Senop Oy järjesti mittauskampanjan ja vastasi kameran käytöstä. Aineiston geometrisen ja radiometrisen korjauksen teki Paikkatietokeskus. Klorofyllipitoisuuden mallinsi Jyväskylän yliopisto. Tämän raportin tavoitteena on koota yhteen näiden toimijoiden lentomittausta ja aineiston käsittelyä kuvaavat tekniset raportit. Asiasanat (kohde, menetelmät jne.) lennokki, hyperspektri, kuvaava spektrometria, Kolmisoppijärvi Maantieteellinen alue (maa, lääni, kunta, kylä, esiintymä) Sotkamo, Suomi Karttalehdet Q5231 Muut tiedot Arkistosarjan nimi Arkistoraportti Arkistotunnus 90/2016 Kokonaissivumäärä 44 Kieli suomi/englanti Hinta Julkisuus Julkinen Yksikkö ja vastuualue Ympäristögeologia Allekirjoitus/nimen selvennys Hanketunnus 50403-30036, UAV-MEMO Allekirjoitus/nimen selvennys Maarit Middleton
GEOLOGIAN TUTKIMUSKESKUS 2 12.12.2016 Raportti koostuu neljästä osaraportista: I. Senop Oy. Measurement Campaign Report of Talvivaara 28.08.2016. 9 s. II. Maailmasta Oy. Kolmisoppijärven lentoraportti 28.08.2016. 4 s. III. Honkavaara, E., Rosnell, T., 2016. Talvivaara processing, Geometric and radiometric data processing, 16.10.2016. NLS Finnish Geospatial Research Institute, 11 s. IV. Pölönen, I., 2016. Modeling of chlorophyll concentrations at the Kolmisoppi lake. Spectral Imaging Laboratory, 18 s.
Measurement Campaign Report of Talvivaara 28.08.2016 Oulu, 25.10.2016
Summary The part of lake Kolmisoppi was measured 28.08.2016 by UAV and Rikola hyperspectral camera in order to define clhorophyll content of the water. The measured area was 1.53 km 2 from western coast of the lake The analytical basis of the measurement campaign were former similar projects made by Finnish Geodetic Institute and University of Jyväskylä The overall process flow is described in the image below, and each phase results in following slides will be presented. UAV HSI Data capture Data preprocessing Rikola preprocessing software Maailmasta Oy, Rikola Oy GCPs Georeferencing Interior and exterior orientations DSM Pix4D by FGI Band registration FGI radba Field reflectance reference Radiometric model and block adjustment FGI radba Reflectance output products Mosaics Point clouds FGI radba Insitu water quaity measurements Water quality analysis Uni Jyväskylä Aerotekniikka Ilkka Pölönen
UAV Flights UAV operator was Maailmasta Oy Three different flights were made from about 700 m altitude, 45,5 cm ground pixel size Flights were operated in quite good weather condition, no clouds See more detailed information from the Lento-Raportti.pdf as attachement.
Mosaics formations, Georeferencing and band registrations Mosaics were made by Dimensium Oy, responsible manager Dr. Eija Honkavaara, FGI (Finnish Geodetic Institute) The mosaics were formed by FGI s 3D automatic band registration algorithm The estimated georeferencing accuracy is 1-3 m The band registration accuracy below < pixel were achieved. Pixel size 5.5 um in sensor. See the original results from Talvivaaran-mosaiikkilaskenta-20161014.ppt
Radiometric analysis, straylight issue Reflectance transformation was performed using empirical line method using reflectance panels in the ground with nominal reflectance of 0.1, 0.2 and 0.3 Reflectance transformation succeeed well In final data analysis, the data was filtered using multiview reflectance observation, utilizing overlapping images. See the original results from Talvivaaran-mosaiikkilaskenta-20161014.ppt Ch 34-visual
Chlorophyll reference data Talvivaara 1.2 1 0.8 The reference chlorophyll data was measured by GTK. The values were pretty low, about 4, and the variation was very small. See the variation chart on the top right. In previous project in Hiidenvesi, there were a lot bigger variation in chlorophyll values. See the image the low right. If the variation is very small, the good correlation is more challenging to achieve. 0.6 0.4 0.2 0 0 5 10 15 20 25 30 35 40 45 60 50 Hiidenvesi 40 30 20 10 0 0 5000 10000 15000
Clhorophyll ratio analysis, two methods The regression analysis was not used for Talvivaara data, because the variation in chlorophyll values was so small. Two analysis methods were succesfull: Chlorophyll ratio, using reflectance ratio R 672 /R 706 Estimation based on chlorophyll absorption Scale in images is ug/l Ratio-method gave: r=0.56449, p=0.00018169 rmse= 0.14 ug/l Absorption-method gave R=0.54201, p=0.00036533 Rmse=0.14 ug/l The accuracy of the results is pretty near the overall measuring accuracy. Absorption -method Ratiomethod
Hiidenvesi reference analysis When there is big variation in the chlorophyll values, as in Hiidenvesi campaing, the chlorophyll absorption method give pretty accurate results: r=0.81561, p=0
Conclusions The chlorophyll content in the lake Kolmisoppi was succesfully determined using UAV, Rikola hyperspectral camera, chlorophyll absorption and chlorophyll ratio analysis method. The small chlorophyll concentration, small variation in the values and straylight issue made analysis challenging, but finally only 0.14 ug/l rmse value error was left. This method can be succesfully used for environmental monitoring for cholorphyll concenration even for 3-4 ug/l values.
Kolmisoppijärven Lentoraportti 28.08.2016 Maailmasta Oy Lennokki Aerotekniikka M-012-Trainer Alkuperäinen valmistus ajankohta 2005. Pituus n. 2.5m, kärkiväli n. 170. (typistetty) Viimeisin päivitys ja peruskorjaus 2016/08, Muokattu tälle kuvaukselle sopivaksi (keula ja kameratila) Esivalmistelut Yli 150m lentoihin tarvittiin Trafin poikkeuslupa ( anottiin 800m korkeuteen saakka). Poikkeuslupa edellytti NOTAM-ilmoituksen tekemistä. Ilmoituksella kerrotaan muille ilmailijoille vaara-alueesta jolla UAV-lentoja tapahtuu. Myös Kajaanin lennonjohtoa piti lennosta informoida. Pitkään ja hartaasti odotettiin kaikille sopivaa hetkeä. Täydellistä ei saatu, mutta homma hoidettiin. Päätös tehdä kuvaus lennokilla eikä multiroottorilla oli täysin oikea. Tuuli olisi vienyt kopterin mennessään!!! Yleistä lento olosuhteista Myrskyn jälkeen on poutasää. Tuuliolosuhteet olivat 700m korkeudella kohtuu haastavat edellisyön myrskyn jälkimainingeissa. Maassa tuuli tälle lennokille ihan ok 4-5 m/s ja puuskissa n. 8-10/ms (ilmatieteenlaitos), myös maassa todettiin tuulen voima(heitteli ref. ressuja). Ylhäällä 700 m. autopilottikan mukaan keskimäärin pikkaisen alle 20 m/s ja puuskissa enemmän(laskennallinen / ei täysin luotettava). Suunniteltu lentopaikka oli vedenpeitossa jouduimme hakemaan uuden tukikohdan. Reittihin ei isoja muutoksia tarvinut tehdä. Kuvauskorkeus 700m. lentopaikan pinnasta, kuvauslinja väli 100m ja kuvanottoväli 50m. Ohessa Google Eartilla aukeavat lentodatat (myös xml versiot saatavilla). Eartin valikosta muokkaa -->
näytä korkeusprofiili saa auki esimerkki kuvien alaosassa olevat metriikat. Vasemmalla ylhäällä olevasta liukusäätimiestä pitää säättä reitti näkyville. Käytännössä vedä oikeanpuoleinen liukusäädin oikealle tappiin ja vasemmanpuoleisellä säätimellä voi sitten säätää kuinka paljon aikaisemmin olevaa dataa näytetään. GPS-virheistä johtuen data on paljon kulmikkaampaa kuin mitä todellisuus oli!!! 1. Lento(Keskeytys). - Varsinainen Google Eart tiedosto liitteenä (len1.kml) Lentonopeus kuvauslinjoille (100m-välein/ paluu puolessa välissä 50m) oli rajoitettu 18 km/h = 5 m/s. Ensimmäinen linja OK, nopeuden säätelystä näkee että lentonopeus on alhainen ja autopilotti joutuu säätää konetta paljon sekä kelit ovat ollee rajut ( Lennokki pyrki säätämään korkeutta turhan agressiivisesti kaasulla --> wow wow ääni ja nykivää menoa). Säädettiin lento nopeutta seuraaviin lentoihin isommaksi sekä painopistettä eteenpäin tasaisemman lennon aikaansaamiseksi. Ensimmäisen lennon toinen lentolinja meni myös OK, mutta tuulet olivat niin kovat käännöksessä ettei lennokki saavuttanut koskaan paluupistettä( joka näin jälkiviisaana voisi sanoa että piste oli turha, kun paluulinjalla ei kuvattu --> olisi voinut ottaa poiskin). Seuraaviin lentoihin kasvaettiin pisteen hyväksymisetäisyyttä. Näin kovissa tuulissa emme ole koskaan testanneet autopilotiikan myötätuuli käännöstä. Ongelma tulee siittä kun lennokki käännöksessä paljastaa pohjanpinnan vastatuulelle, niin noin voimakas tuuli nappaa lennokin mukaansa. Lennokki jäi hakee tuota pistettä --> komenettiin 6-yrityksen jälkeen pois. Kestävä ratkaisu on että vaidetaan reittipisteen tyyppiä(circle to --> fly to). Pika-kuva-analyysissä todettiin että reunimmainen kuvauslinja on aivan turha, Etäisyys rantaan yli 300m rantaa ei näy ollenkaan suurimmassa osassa kuvista.
2.lento(OK) 3-lentolinjaa ja kuvausnopeus kasvatettu 30 km/h -> 8,3 m/s. Edelleen vaatii pientä tasapaino / autopilotiikka säätöä (parempi kuin ensimmäinen). - GE- tiedosto lento2.kml
3. Lento (OK, reittin ensimmäinen linja kuvattiin 2-kertaa!!!) - GE tiedosto lento3.kml - Kameraan uudet säädöt - Pudotettiin vielä 1-linjaa pois --> 2-linjanlento ( kuvapeitto järvenpuoleilesilla linjalla on vielä riittävä (100m + 230m = 330 m rannasta/alueen reunasta). - Komennettiin reitille pikkaisen liian alhaalta --> otettiin ensimmäinen linja uusiksi. Tuulet selvästi rauhoittumaan päin. Tämä lennollisesti kaikista paras. Pääteltiin kuva materiaalin riittävän eikä lisälentoja tarvita. Yhteenveto: Lennokin ominaisuuksia säätämällä tai/ja paremmalla kelillä päästään vielä parempaan tulokseen lennollisesti. Kuva-analyysi kertoo tämän operaation laadun riittävyyden. Haasteita lentoon tuo kameran tod. Suuri suljinaika vaadittava lentonopeuden hitaus. Arvioimme tuloksen olevan olosuhteisiin nähden kiitettävä ja kokonaisuudessaan hyvä. Parannettavaa jäi ja tiedämme kuinka parannukset tehdään. Operaatio oli varsin mielenkiintoinen ja opettavainen. Saimme paljon lisätietoa sekä sovellusalueesta(hyperspektri) että lento-olosuhde käyttäytymisestä lennokkimalleille. Harvoin tälläisiin olosuhteisiin päästään lentämään. Yhteistyö oli mielestämme erinomaista eri toimijoiden välillä. Alueelle on Trafin myöntämä lentokorkeuden ylityslupa syyskuunpuolelle, mikäli lisälentoja tarvitaan tai muita lentoja on se mahdollista sekä kaivosalueella että järvellä nopeallakin aikataululla(notam-ilmoituksella).
Talvivaara processing Eija Honkavaara, Tomi Rosnell Finnish Geospatial Research Institute Geometric and radiometric data processing, 16.10.2016
UAV remote sensing processing flow Aerotekniikka UAV HSI Data capture Data preprocessing Rikola preprocessing software Maailmasta Oy, Rikola Oy GCPs Georeferencing Interior and exterior orientations DSM Pix4D by FGI Band registration FGI radba Field reflectance reference Radiometric model and block adjustment FGI radba Reflectance output products Mosaics Point clouds FGI radba Insitu water quaity measurements Water quality analysis Uni Jyväskylä 2 Ilkka Pölönen
Talvivaara flight data: Block 2 Image data capture by Maailmasta Oy using Aerotekniikka M-012-Trainer fixed wing UAV Camera: Fabry-Pérot interferometer based hyperspectral imager of Rikola Oy Date and time: 28.8.2016 at 12:50 Flight height: 659 m Flight speed: 30 km/h (8.3 m/s) Solar elevation; azimuth (º): 35.5; 180.3 Expsure time: 12 ms Preprocessing to Calibrated images by Rikola Ltd. Maailmasta Oy
Georeferencing Area Covered: 1.53 km 2 Overlaps of individual cubes: Forward: 87% Side: 75% Average Ground Sampling Distance (GSD): 43.6 cm 434 images from 109 cubes Four bands Ch05 (L0=531.9 nm), ch13 (L0=610.4 nm), ch25 (L0=733.0 nm), ch34 (L0=850.3 nm) 5 GCPs by Geologian tutkimuskeskus Mean reprojection error 0.211 pixel Estimated georeferencing accuracy 1-3 m. Focal length Principal point X Principal point Y Initial values (mm) 9.00 2.777 2.777 Optimized values (mm) 8.625 3.179 3.215 Sigma (mm) 0.022 0.009 0.014
Band registration Rikola camera uses time sequential principle to produce hyperspectral data cube FGI s 3D band registration algorithm based on orthorectification was used to register the bands Band 13 was used as the reference Approximately 100 points per image were measured by automatic image matching and used to calculate the collinearity model parameters for band registration Residuals of transformation indicated average residuals <1 pixels (shown below as function of band and time difference to reference) and sub-pixel registration accuracy Registration accuracy was primarily dependent on the time difference from the reference band and less dependent on the spectral dissimilarity to the reference band
Radiometric processing Reflectance transformation was performed using emprical line method using reflectance panels with nominal reflectance of 0.1, 0.2 and 0.3 Refl = a DN + b RMSE of residuals were less than 0.01 Theree options for processing Reflectance transformation Reflectance transformation, imagewise relative corrections Reflectance transformation, imagwise relative corrections and empirical BRDF correction
Mosaicking Ortho rectification of each band using accurate exterior orientations based on Pix4D processing and FGI band registration Reflectance transformation by emprical line method and different processing options Outputs Orthophoto image mosaic using most nadir image parts with 0.5 m point interval Multiview hyperspectral point cloud: For each point in a point cloud with 0.5 m point interval take reflectance from all images where the point is visible
Homogeniety of the mosaics Calculating mosaic for each radiometric processing option No-corrections (no-corr) Relative correction and BRDFcorrection (brdf-rela) Brdf-correction (brdf) Homogeniety factor: Average of coefficients of variation (coeff_var) in each radiometric tie point coeff_var = standard_deviation/average Rela-brdf improved homogeneity the most (20-50%) An unexpected performance: homogeneity factors follow reflectance characteristics of vegetation.
Mosaics Visual evaluation indicated quite large nonuniformity of mosaics Nonuniformity is lower for band 05 than for band 34 Sun is in south during the data capture. BRDF coes no explain the nonuniformuty Band 05 Rela_brdf Band 34 Rela_brdf nocorr nocorr
Check of original imges Three images on right Images were calculated from calibrated images using Rikola Tiffextraction software with a scaling factor of 0.001 Ch 34-visual
More information Eija.Honkavaara@nls.fi
Modeling of chlorophyll concentrations at the Kolmisoppi lake Dr. Ilkka Pölönen Spectral Imaging Laboratory University of Jyväskylä Spectral Imaging Laboratory University of Jyväskylä 1 http://r.jyu.fi/iij
Flight 2 Spectral Imaging Laboratory University of Jyväskylä 2 http://r.jyu.fi/iij
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 500 550 600 650 700 750 800 850 900 Wavelength nm Spectral Imaging Laboratory University of Jyväskylä 3 http://r.jyu.fi/iij
Modelling based on chlorophyll absorption - Two different models - Trying to model reflectance - No correlation between measurements 1.05 1.05 1 1 0.95 0.95 0.9 0.9 0.85 0.85 Spectral Imaging Laboratory University of Jyväskylä 4 http://r.jyu.fi/iij 0.8 0.75 0.8 0.75 0.7 0.7 0.702 0.704 0.706 0.708 0.71 0.712 0.7 0.7 0.701 0.702 0.703 0.704 0.705 0.706 0.707 0.708 0.709 0.71
Linear regression - Nice correlation with chlorophyll (r=0.9) - Using all reference measurements - But 1.05 1 0.95 0.9 0.85 0.8 0.75 0.7 0.7 0.75 0.8 0.85 0.9 0.95 1 Spectral Imaging Laboratory University of Jyväskylä 5 http://r.jyu.fi/iij
Linear regression - Map is noisy - If we divide reference measurements for test and training set: - r=0.32 - This means that regression is actually overfitting 0.95 0.9 0.85 0.8 0.75 Spectral Imaging Laboratory University of Jyväskylä 6 http://r.jyu.fi/iij 0.7 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05
Chlorophyll ratio R 672 /R 706 Shafique, N. A., Fulk, F., Autrey, B. C., & Flotemersch, J. (2003, October). Hyperspectral remote sensing of water quality parameters for large rivers in the Ohio River basin. In Proc. First Interagency Conf. on Research in the Watersheds (pp. 216-221). Reference measurement 0.86 0.84 0.82 0.8 0.78 0.76 Chloro, r=0.20831, p=0.19708 0.74 0.72 0.7 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 Estimation Spectral Imaging Laboratory University of Jyväskylä 7 http://r.jyu.fi/iij
Problem - Mosaic is has high quality in forest - But in water there is much more noise and mosaic edges Spectral Imaging Laboratory University of Jyväskylä 8 http://r.jyu.fi/iij
1.2 Chlorophyll reference measurements On top right you can see Talvivaara s chlorophylls reference measurements, which shows that there isn t much variance. Talvivaara 1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25 30 35 40 45 On bottom right is similar measurement from Hiidenvesi (2015, Luode Consulting Oy) 60 50 Hiidenvesi 40 30 20 10 0 0 5000 10000 15000 Spectral Imaging Laboratory University of Jyväskylä 9 http://r.jyu.fi/iij
Additional solutions 1. Using linear unmixing appoach to separate vegetation spectra from water spectra 2. Use all observed points for single pixel and reconstruct water reflectance data based on some reference spectrum. Spectral Imaging Laboratory University of Jyväskylä 10 http://r.jyu.fi/iij
Unmixing Using vegetation spectrum and reference spectrum (from Hiidenvesi 2015) we may try to reconstruct spectral cube so that only water part of mixture is used. This is done by separating abundances of water and vegetation. After this we simply multiply water abundance with reference spectrum and then we gain reconstruct water s specrtal cube. Spectral Imaging Laboratory University of Jyväskylä 11 http://r.jyu.fi/iij
Unmixing On left reconstructed water cube on wavelength 706. On left original mosaic on same wavelength. Unfortunately unmixing also destroyed chlorophyll s abundance on data. Thus, there weren t reliable estimate for this data Spectral Imaging Laboratory University of Jyväskylä 12 http://r.jyu.fi/iij
Reconstruct watercube from multidirection Because Rikola spectral image is working on snapshot principle, there is multiple observation for each pixel from different angles. We can reconstruct water spectrum using reference spectrum (Hiidenvesi 2015). Basically we want to find that observation i, which minimize min 1 R i (λ) R (λ), where R i (λ) is one of the observed reflectance values on certain wavelength λ and R (λ) is corresponding reference value. Spectral Imaging Laboratory University of Jyväskylä 13 http://r.jyu.fi/iij
Reconstruct watercube from multidirection Here we have reconstructed data cube and measurements. It is quite uniform on reference area. There are some areas where fit isn t reliable, which can be seen white in image. 1.05 Chloro, r=0.076468, p=0.626 5 1 1 0.95 2 0.9 Spectral Imaging Laboratory University of Jyväskylä 14 http://r.jyu.fi/iij 0.85 4 13 6 0.8 1011 14 7 3 9 15 17 18 8 12 0.75 16 41 28 42 34 43 40 38 39 31 25 37 29 32 27 26 30 36 35 33 23 21 22 19 0.7 20 24 0.782 0.784 0.786 0.788 0.79 0.792 0.794 0.796 0.798
Reconstruct watercube from multidirection It seems that highest reference (1,2 and 5) values are forming somekind of anomaly in data. Those are near coast and there spectrum can be affected by shadows or shallow water. If leave those points out, results will be much 1.05 better. 1 Chloro, r=0.076468, p=0.626 5 1 0.95 2 0.9 Spectral Imaging Laboratory University of Jyväskylä 15 http://r.jyu.fi/iij 0.85 13 0.8 0.75 16 4 28 6 1011 14 7 3 9 15 17 18 8 12 25 32 27 26 41 42 34 43 40 38 39 36 31 35 33 37 29 30 23 21 22 19 0.7 20 24 0.782 0.784 0.786 0.788 0.79 0.792 0.794 0.796 0.798
Chlorophyll ratio R 672 /R 706 Ratio values are fitted to observation with linear fitting. RMSE = 0.14 Shafique, N. A., Fulk, F., Autrey, B. C., & Flotemersch, J. (2003, October). Hyperspectral remote sensing of water quality parameters for large rivers in the Ohio River basin. In Proc. First Interagency Conf. on Research in the Watersheds (pp. 216-221). Spectral Imaging Laboratory University of Jyväskylä 16 http://r.jyu.fi/iij
Estimation based chlorophyll absorption Reflectance is estimated first to single scattering albedo (SSA) [Hapke2012], which can be expressed also SSA = S S + A where S is scattering and A is absorption. From this equation we can iteratively approximate amount of chlorophyll, based on absorption coefficient spectrum of chlorophyll. Amount of chlorophyll is fitted to reference observation with linear fitting. Rmse = 0.14 Spectral Imaging Laboratory University of Jyväskylä 17 http://r.jyu.fi/iij
Nrmse 9 % (Talvivaara Nrmse 22%) Hiidenvesi example Spectral Imaging Laboratory University of Jyväskylä 18 http://r.jyu.fi/iij