Analysis of field data Introduction to Kriging Kirsi Virrantaus GIS-E1060 Spatial Analytics 8.11.2016
Kenttädatan analyysi Johdanto krigingiin Kirsi Virrantaus GIS-E1060 Spatial Analytics 8.11.2016
Contents of the lecture Polygon map as a field concept Modeling and analysing fields Statistical analysis of field data Introduction to kriging
Luennon sisältö Polygonikartat kenttinä Kenttädatan mallinnus ja analysointi Kenttädatan tilastollinen analyysi Johdanto Krigingiin
1. Spatial data in fields problems that require field model understanding of spatial distribution of values by the data on samples model is used in estimating values for unknown locations typical task in geosciences like climate research, hydrology, geology, environmental research field vs. discrete object
1. Spatiaalinen data kenttädatana probleematyyppejä halutaan ymmärtää arvojen spatiaalinen jakauma kun on annettu tietyt otosarvot mallia halutaan käyttää ennusteiden laskemiseen tuntemattomille pisteille tavanomainen tehtävä geotieteissä kuten ilmastotutkimus, hydrologia, geologia, ympäristötutkimus kenttä vs. diskreetti kohde
Scalar fields field data can be described as a scalar field a scalar field is a continuous surface, each location has a spatially dependent value z i =f(s i ) =f(x i,y i ) an example of field data is elevation model simulators, navigators, viewsheds mathematical assumptions continuity (in all derivatives) single valued do not always exist (vertical cliffs, overhangs)
Skalaarikentät spatiaalinen data voidaan kuvata skalaarikenttänä skalaarikenttä on jatkuva pinta, jossa jokaisella sijainnilla on sijainnista riippuva arvo z i =f(s i ) =f(x i,y i ) esimerkki kenttämäisestä datasta on korkeustieto simulaattorit, navigointisovellukset, näkemät matemaattiset oletukset oletetaan (myös derivaattojen) jatkuvuus ja että jokaisessa sijainnissa funktiolla vain yksi arvo eivät aina toteudu: pystysuorat kalliot, luolat
Sunila,R., 2009
Sunila, R, 2009
Vector fields in vector fields each magnitude has also a direction each scalar field has a corresponding vector field for example land elevation can be used to generate a vector field giving the maximum surface slope (a magnitude) and its aspect (a direction)
Vektorikentät vektorikentissä ominaisuustiedolla on myös suunta jokaisella skalaarikentällä on vastaava vektorikenttä esimerkiksi korkeustietoa vastaa vektorikenttä, joka kuvaa rinteen maksimikaltevuuden ja suunnan
Measures and analyses derived from surfaces relative relief height range from the lowest to the highest in some specified area area/height relationship slope maximum rate of change of elevation at a point, called a gradient of the field; vertical interval/horisontal equivalent = tan α how to calculate gradient in each location of the sutrface, see Fig 8.14 aspect the direction of the slope See Fig 237 (vector field and scalar field of elevation) watershed and drainage area based on slope and aspect data viewshed and line-of-sight (LOS) based on the height data in the text book pages 234
Pinnoista johdettuja mittoja ja analyysejä suhteellinen korkeus korkeustiedon arvoväli jollain määritellyllä alueella pinta-ala/korkeus suhde histogrammina kaltevuus maksimi suhteellinen korkeuden muutos pisteessa, gradientti; korkesero/vastaava horisontaaliero = tan α Gradientin laskeminen pinnan jokaisessa pisteessä, ks kuva 8.14 aspekti kaltevuuden suunta ks. kuva 8.13, korkeustiedon vektori ja skalaarikentät vedenjakaja ja valuma-alue näkemä ja line-of-sight (näkemäviiva)
Example Terrain analysis using map overlay: topographic map layer and results of cross country mobility are overlaid visibility analysis calculated by using the elevation data Application is on quality check of an observation in the terrain Is this observation possible based on terrain and visibility analyses? If somebody tells that he/she has observed an object, is it possible in these circumstances?
Esimerkki Maastoanalyysi, jossa käytetään map overlay tä: topografinen kartta ja maaston kulkukelpoisuuden analyysitulos näkemäanalyysi korkeustiedon pohjalta Sovellus: havainnon laadun tarkistaminen Onko tämä havainto mahdollinen? Jos joku sanoo tehneensä tämän havainnon, voiko se olla totta(mahdollinen)?
Modelling field data two steps in modelling field data 1) sampling the real surface 2) interpolation of the continuous surface based on the samples representations of the fields contours mathematical functions, trend surfaces point systems (grids) TINs (triangulated irregular networks)
Kenttädatan mallinnus kenttädatan mallinnuksen vaiheet: 1) todellisen pinnan arvojen otanta 2) jatkuvan pinnan interpolointi pinnan esitysmuotoja korkeuskäyrät matemaattiset funktiot, trendipinnat pisteistöt (gridit) kolmioverkot
Contours suitable method for presenting the elevation data for visual analysis fits for topographic maps that include other similar data as well, like the boundaries of lakes and the sea contours are produced in the streomapping process (not as describe in the book: by digitizing the printed map!) or by laser scanning and processing the data contours do not fit well to analysis processes; data must be first converted into a grid format
Korkeuskäyrät soveltuva menetelmä maanpinnan korkeuden esittämiseen erityisesti visuaaliseen tarkasteluun sopii topografisille kartoille, joilla on muitakin vastaavia samanarvonkäyriä kuten esimerkiksi järvien ja meren rantaviiva syntyy useimmiten stereotyöskentelyssä (ei kuten kirjassa sanotaan painetun kartan digitointina!) ja nykyään myös laser skannauksella ei sovellu kovinkaan hyvin analyysin lähtöaineistoksi; käyristä täytyy tuottaa ensin gridi
Mathematical functions -Trend surfaces it would be nice to find a mathematical expression for the surface that inludes the spatial coordinates mathematical functions have many advantages, but the disadvantage is that they only can give an approximation, not interpolation in trend surface method a mathematical function is defined that shows the major feature, or trend (Fig. 9.4, simple linear trend surface) a polynomial function is fitted to the data by using the methods of least squares in least squares method the variance of the observed values is minimized by the polynomial function not suitable for interpolation identifying big trends and associations also: locally valid analytical surfaces, a collection of local models that give very good values
Matemaattiset funktiot Trendipinnat matemaattinen esitys pinnan kuvaajana olisi kätevä ja sillä olisi paljon etuja, mutta sen huono puoli on, että se voi olla vain approksimaatio, ei interpolaatio trendipintamenetelmässä haetaan matemaattinen funktio, joka parhaalla tavalla kuvaa ilmiön pääasiallista käyttäytymistä, trendiä (ks. esim. 9.4, lineaarinen trendipinta) dataan sovitetaan polynomifunktioon käyttäen pienimmän neliösumman menetelmää pienimmän neliösumman menetelmä (least squares) sovitetaan dataan funktio, joka minimoi havaintojen hajonnan ei sovellu interpolointiin suurten trendien ja suhteiden tunnistamiseen myös : lokaalien mallien muodossa, kokoelma paikallisia malleja, jotka mallintavat ilmiötä hyvin
Grids and TINs in the textbook there is a discussion about the agvantages and disadvantages of grids and TINs the basic difference if grid data is really collected in each square in TIN data is collected according a preliminary knowledge about the required data density the basic difference is actually the sampling method
Grid ja TIN kirjassa vertaillaan gridin ja TINin hyötyjä ja haittoja periaatteellinen ero: jos gridi malli luodaan niin, että tieto todella kerätään jokaisesta ruudusta TIN -mallissa tieto mitataan ennalta oletetun tietotiheyden mukaan oikeastaan kyse on otannan menetelmästä
Triangular irregular network, TIN best known algorithm Delaunay triangulation based on the rule of the circumscribing cirles of three points if there are no other points inside such a circle, then the three corresponding points make a triangle of TIN TIN is often the best model of elevation each measured point can be taken into account the amount of points in local neighbourhoods depend on the differences in heights, in flat areas less points the dual of TIN is Voronoi; useful in many applications
Epäsäännöllinen kolmioverkko, TIN Tunnetuin algoritmi TINin laskemiseen Delaunay kolmiointi periaate: kolmen pisteen kautta piirretty ympyrä ei sisällä muita pisteitä jos tämä sääntö toteutuu, kyseiset kolme pistettä muodostavat TINin kolmion TIN on usein paras malli korkeustiedolle voidaan ottaa kaikki halutut korkeuspisteet huomioon pisteiden määrä riippuu paikallisesta korkeuden vaihtelusta, tasaisella alueella vähemmän pisteitä TINin duaali Voronoi; käyttökelpoinen monissa sovelluksissa
2. Introduction to statistical analysis of field data the previously introduced interpolation methods are examples of deterministic models disadvantages of deterministic interpolators control points have errors, which are not recognized in the methods methods assume that nothing is known about the (behaviour of the) variable being interpolated
2. Johdanto kenttädatan tilastolliseen analyysiin edellä esitetyt interpolointimenetelmät esimerkkejä deterministisistä malleista determinististen mallien heikkouksia eivät ota huomioon lähtödatan virhettä, joka kuitenkin on aina olemassa olettavat ettei interpoloitavien muuttujien (ilmiötä) käyttäytymistä tunneta
Two statistical methods trend surface analysis a variation of linear regression, where specified functions are fitted to the locational coordinate data (control points); it is an attempt to approximate trends in field data (introduced shortly before; see in the book pp. 248 265) Kriging attempts to make optimum use of the available control point data in order to develop an intrepolator that creates a spatially continuous surface of the phenomenon in question
Kaksi tilastollista menetemää trendipinta-analyysi lineaarisen regressiomallin variaatio, jossa tietyt funktiot sovitetaan koordinaattidataan; pyritään approksimoimaan kenttädatan trendiä koko alueella (esitetty lyhyesti edellä) kriging pyritään kehittämään interpolaattori, joka käyttää lähtödataa optimaalisella tavalla ja mallintaa kohteena olevaa ilmiötä jatkuvana pintana
Introduction to Kriging in IDW (inverse distance weighted) interpolation the near control points are taken into account but the weighting is more or less arbitrary in trend surface analysis a function is fitted to the data (control points), we can say that this mehods lets the data speak for themselves ; however it is hard to find a fundtion that fits well to the whole surface in Kriging these two approaches are somehow combined; IDW method is used in the sense of weighting but data speak in defining the choice of function, weights and neighbourhood autocorrelation of the known data is quantified and taken into account
Johdanto Krigingiin käänteisesti painotettu menetelmä: interpoloi ottaen huomioon lähi-ympäristön, painotuksen valinta mielivaltainen trendipintamenetelmässä: haetaan funktion muotoa, joka sopii dataan annetaan datan puhua ; vaikeaa löytää sopivaa funktiota krigingissä tavallaan yhdistetään nämä kaksi lähestymistapaa käytetään etäisyydellä käänteisesti painotettua menetelmää, mutta annetaan datan puhua (funktio, painot ja naapuruusalue) autokorrelaatio datassa huomioidaan ja se kvantifioidaan
Kriging (Burrough, 113...155; text book 265 ) development of geostatistics based on works of Geoges Matheron in the 60 s used for mining applications by D.G.Krige ( kriging comes from his name) starting point: geostatististical phenomenon can not be modeled by a deterministic mathematical function, better by a stochastic surface spatial variation can be modeled by three component structure: structural component (constant mean or trend), stochastic spatial variable, error
Kriging (Burrough, 113...155; kirja 265 ) geostatistiikan kehitys perustuu Georges Matheronin 60-luvulla kehittämään menetelmään jota sovelsi kaivosalan sovelluksiin D.G.Krige ( kriging tulee hänen nimestään) lähtökohta: geostatistista ilmiötä ei voida mallintaa deterministisellä matemaattisella funktiolla, paremmin stokastisena (= satunnaisena) pintana spatiaalista variaatiota voidaan kuvata kolmella komponentilla: rakenteellinen komponentti (vakio ka tai trendi), satunnainen alueellinen muuttuja, virhe
basically the idea in Kriging is the same than in the distance weighting method, but the weights are derived by geostatistical analysis 1) producing a description of the spatial variation in the sample control point data 2) summarising the variation by a regular mathematical function 3) using this model to determine the intrepolation weights
periaatteessa Krigingin idea on sama kuin etäisyydellä painotuksen, nyt vain painot johdetaan geostatistisella analyysillä 1) kuvataan lähtödatan spatiaalinen vaihtelu 2) ilmaistaan tämä vaihtelu matemaattisen funktion avulla 3) käytetään tätä mallia interpoloinnissa painotusten määräämiseen.
Describing the spatial variation - semivariogram The core concept of kriging is semivariogram that is based on the idea of variogram cloud (introduced in Intro course) describes the degree to which nearby locations have similar values, or do not variogram cloud is a plot of a measure of the attribute value differences agaist the distance between any possible pairs of the control points (y-axis tells the squared distance) the distance x-axis can be divided into bands called lags; for all of these lags you can make statistics for example in box plots and recognize the trend of spatial autocorrelation
Spatiaalisen vaihtelun kuvaaminen - semivariogrammi semivariogrammi perustuu variogrammi -menetelmään kuvaa spatiaalisen autokorrelaation voimakkuuden kussakin sijainnissa variogrammipilvessä kuvataan kaikkien mahdollisten pisteparien ominaisuustiedon ero suhteessa pisteiden etäisyyteen (y-akseli kertoo erotusten neliöjuuren) jatkuva etäisyysakseli voidaan jakaa vyöhykkeisiin (lags), joille jokaiselle lasketaan keskiarvo ja arvoja havainnollistetaan graafisesti (box plot, kirjassa sivulla 48) voidaan todeta (kuvan aineistolla) että mitä kauempana pisteet ovat, sitä erilaisempia ne ovat
Semivariance, semivariogram function semivariance shows the squared difference/2 of the attribute data in locations; it is half of variogarm value experimental semivariogram function can be estimated from the sample data by using the equation 9.47 (see page 267 in the text book) based on the distance d and is based on the average sum of squared differences in attribute values for all pairs of control points that are a distance d apart for practical reasons estimates are not made on each distance but on distance lags; for each lag area the average semivariange is calculated
Semivarianssi, semivariogrammifunktio sijaintien ominaisuustietojen (neliöity erotus/2) kutsutaan semivarianssiksi; semivarianssi on siis varianssin puolikas variogrammipilveä paremman kuvauksen datan spatiaalisesta riippuvuudesta antaa kokeellinen semivariogrammifunktio, joka voidaan estimoida lähtödatasta (ks. kaava 9.47 sivulla 267) kaava kertoo, että semivariogrammi on etäisyyden funktio ja se perustuu kaikkien etäisyydellä d olevien pisteparien ominaisuuksien erotuksen neliöihin käytännön syistä ei semivarianssia lasketa kaikille pistepareille vaan x-akseli on jaettu tasavälein ja kullekin välille lasketaan semivarianssin keskiarvo
Summarizing the spatial variation by a mathematical function empirical variogram is an estimate of the spatial variation for practical reasons the empirical model is replaced by a mathematical model that best fit to the empirical model some concepts:
Spatiaalisen vaihtelun kuvaaminen matemaattisella mallilla kokeellinen variogrammi on estimaatti otospisteiden kuvaamalle jatkuvalle ilmiölle käytännön syistä kokeellinen variogrammi korvataan matemaattisella mallilla, joka parhaiten soveltuu siihen variogrammiin liittyviä käsitteitä:
semivariogram can be described by a a curve range is the distance, outside which there is no more correlation between events sill is value of the variogram, that meets the range sill is the variance, if nugget is 0 nugget is a small area close to origo, with local dispersion, no significancy reason to this measurement errors if nugget us zero, the kriging predictions goes exactly through the observations; if observations are very inaccurate, also the prediction is only smoothing
semivariogrammia voidaan kuvata käyrällä, jossa range on etäisyys, jonka ulkopuolella arvot eivät enää korreloi sill on variogrammin arvo, jolla saavutetaan range sill vastaa varianssia, jos ns. nugget on 0 nugget alue on pieni alue lähellä origoa, jossa on paikallista hajontaa, ei merkitystä johtuu havaintojen epätarkkuudesta, yleensä ei merkitystä jos havainnot hyvin epätarkkoja, kriging ei ole interpolointia vaan vain pehmennys
Variogram models a specified variogram model can be fitted into the experimental variogram of the data set circular spherical exponential Gaussian linear
Variogrammimallit edellä selitetty aineiston variogrammi, voidaan sovittaa tiettyyn variogrammimalliin ja käyttää mallinnukseen ympyrämäinen (circular) pallomainen (spherical) eksponentiaalinen (exponential) Gaussin (Gaussian) lineaarinen
(Burrough& McDonnell)
Using the model for interepolation in ordinary kriging the surface has constant (unknown) mean, with no underlying trend, stationarity the surface is isotrophic, the same spatial variation to all directions the same semivariogram applies to the entire area In universal kriging there is a trend in the data that can be modeled by a deterministic function the function value is subtracted from the data values and the autocorrelation is modeled from the random errors in results the trend is added to the values
Käytetään mallia interpoloinnin painojen määräämiseen ns. ordinary kriging (ks. 274 281) aineistolla on vakiokeskiarvo, ei trendiä, stationäärinen pinta on isotrooppinen, sama vaihtelu joka suuntaan semivariogrammi on yksinkertainen matemaattinen malli, jolla tietyt määrätyt ominaisuudet; sama malli sopii koko aineistolle menetelmä tuottaa painot tunnetuille pisteille tietyllä alueella, interpolointi kuten IDW universal kriging datassa on trendi, joka poistetaan vähentämällä funktion arvo datapisteiden arvosta seminvariogrammi lasketaan satunnaisten virheiden perusteella interpoloinnissa funktion arvo lisätään pisteiden arvoihin
About kriging Kriging is included in many GIS software packages as an interpolation method variations: ordinary, universal, indicator, co-kriging indicator kriging is applied for example when nominal data is processed; classes are separated and the data is then binary; each layer is processed separately in co-kriging several data saets are used; there is one variable to be interpolated and the autocorrelation plus cross-correlation with other variables are used an advanced user is required computationally heavy requires good source (sample) data produces an estimate about the uncertainty of the interpolation
Krigingistä menetelmä löytyy useista GIS ohjelmistoista käyttö vaatii harjaannusta, mm. mallin valinta ja tulosten tulkinta laskennallisesti raskas vaatii hyvä lähtöaineiston tuottaa estimaatin interpoloitujen arvojen epävarmuudesta olemassa useita krigingin variaatioita, jotka soveltuvat erilaisiin lähtöaineistoihin: mm. indikaattorikriging, co-kriging indikaattorikrigingiä sovelletaan mm. käytettäessä krigingiä luokkadataan; luokat erotetaan toisistaan ja datasta muodostuu binääristä (0,1); kukin taso käsitellään indikaattorikrigingin periaattein erikseen co-krigingissä käytetään useamman tyyppistä dataa; yksi muuttuja on se jota interpoloidaan ja sen autokorrelaatiota sekä ristikorrelaatiota muiden muuttujien kanssa käytetään hyväksi
The uncertainty of the Kriging result Uncertainty of kriging is expressed by a separate data layer by standard deviation of the values used in kriging Kriging in exercises
Kriging tuloksen epävarmuus Krigingin tuloksen epävarmuus esitetään erillisenä datatasona Keskihajonta Harjoituksissa tarkastellaan krigingiä
Semivariogram, Kriging and Kriging standard (Burrough & McDonnell)
Results of the case study 3 Sunila.R., 2009 Figure 7. Comparison of resulting maps (a) TIN map, (b) Fuzzy DEM map and (c) Kriging DEM map (a) (b) (c) Comparison of RMSE: Fuzzy/subclustering = 4.21 Ordinary kriging/ exponential = 3.27 04.12.2009 58
Conclusion (2) Sunila,R.,2009 Amount of data Insufficient Sufficient Low Low-quality result, not recommended for modelling Statistical method (kriging) Deterministic method (fuzzy) High Deterministic method (fuzzy) Statistical method (kriging) (high-quality result) 04.12.2009 59
Literature O Sullivan & Unwin, Chapter 8 and 9 Burrough,P., McDonnell,Rachael, Principles of Geographical Information Systems, 1999, given pages Sunila,R., "Spatial Data Modelling Using Fuzzy and Geostatistical Applications". Dr. thesis, 2009. for further reading: Bailey,T., Spatial statistics and GIS. Part A, Part B/Ch3, Part C/Ch 5, Part D/ Ch 7 Isaaks,E., Srivastava,R.M., An introduction to applied geostatistics. Cressie, N., Statistics for spatial data. Fotheringham,S., Rogerson,P., Spatial analysis and GIS. In ArcGIS Tools there is good descriptions on how Kriging works