Epävarmuus ja sen huomioiminen hydrologisessa mallinnuksessa Jarkko J. Koskela Harri Koivusalo Yhdyskunta- ja ympäristötekniikan laitos Aalto-yliopiston insinööritieteiden korkeakoulu Mallinnusseminaari Lahti 03.02.2011
Taustaa IAHS Decade on Prediction in Ungauged Basins (PUB), 2003-2012 Kuinka vähentää sadanta-valunta -mallin tulosten epävarmuutta? Pidemmät havaintoaikasarjat? Erilaisten havaintojen hyödyntäminen (esim. pohjavesi)? Kuinka arvioida luotettavasti mallin laskeman virtaaman epävarmuutta? Kuinka arvioida parametriestimaattien luotettavuutta? Kuinka erotella epävarmuutta aiheuttavien tekijöiden osuus mallin tuloksissa? Tutustuminen kirjallisuuteen
Sadanta-valuntamallin tulosten epävarmuus koostuu neljästä pääkomponentista Mallin rakenne Syötetiedot Parametrien arvot Virtaamahavainnot (tai esim. lumen vesiarvo) Jos esim. syötetietojen (esim. sadanta) epävarmuus jätetään huomioimatta kalibroinnissa, seurauksena harhaiset parametriestimaatit ja niiden luottamusvälit (esim. Huard ja Mailhot,2008; Thyer et al. 2009)
Generalised Likelihood Uncertainty Estimation (GLUE) Beven ja Binley 1992 Hyväksytään kalibroinnissa kaikki riittävän hyvän tuloksen kohdefunktion kannalta antavat parametrikombinaatiot ja lasketaan tulosten luottamusvälit yhdistämällä parametrikombinaatioita vastaavien virtaamien tulokset Helppokäyttöinen, mutta. Jos käytössä on jokin yleistetty ( informal ) likelihood-funktio, saaduilla luottamusväleillä ei ole tilastotieteellistä pohjaa Menetelmällä ei voi erotella epävarmuuden lähteitä, sillä kaikki epävarmuus esitetään parametri-estimaattien epävarmuuden avulla Hyvin kirjoitettu kriittinen tarkastelu GLUEsta: Stedinger et al. 2008
Vaihtoehto GLUElle Bayesilainen päättely (Bayesian inference), jossa käytetään oikeita ( formal ) likelihood-funktioita Parametrien a priori - tiedon käyttö sekä vahvuus että heikkous On mahdollista pyrkiä erottelemaan epävarmuuden lähteitä Formaalit kohdefunktiot voivat olla monimutkaisia (esim. Schoups and Vrugt, 2010.) Oletusten tarkistus keskeistä Esim. virheiden residuaalien riippumattomuus Hyvin kirjoitettu kriittinen tarkastelu formaalien likelihood funktioiden käytöstä: Beven et al., 2008. Vertailuja GLUE:n kanssa on tehty ja tulokset samankaltaisia. (Esim. Vrugt et al. 2009b)
Kuinka huomioida sadantahavaintojen epävarmuus? BAyesian Total Error Analysis BATEA Kavetski, Kuczera, esim. Kavetski et al. 2002, 2006a, 2006b Erillinen korjauskerroin jokaiselle sadantatapahtumalle Korjauskertoimien a priori jakaumien merkitys! Yliparametrisointi? Integrated Bayesian UNcertainty Estimation IBUNE Ajami et al, 2007 Kerroin jokaiselle sadantatapahtumalle mutta samasta jakaumasta, ja vain tämän jakauman odotusarvo ja varianssi estimoidaan Stokastiset a posteriori-jakaumat? Suppenemisongelmat kalibroinnissa Eivät pysty korjaamaan tilanteita, joissa on satanut, mutta havainto on 0. Kertoimien lisääminen vaikeuttaa optimointiongelmaa
Kuinka huomioida mallin rakenteen aiheuttama epävarmuus? Tilastollisten ARMA- mallien sovittaminen residuaali-aikasarjaan esim. Vrugt et al. 2008 Ei ongelmatonta Entä ennustaminen viikoiksi eteenpäin? Usean mallin tulosten yhdistäminen Esim. Refsgaard et al. 2006. Kuinka monta eri tyyppistä mallia pitäisi valita ja käyttää? Esim. Bayesian model averaging Stokastiset parametrit Renard et al. 2010 Huomioiko kaikentyyppiset rakenteelliset virheet?
Työkaluja DREAM Differential Evolution Adaptive Metropolis algorithm Vrugt et al. 2009b Monte Carlo Markovin-ketjujen käyttöön perustuva algoritmi parametrien a posteriori jakaumien arviointiin Pelkän parametriestimaatin sijaan saadaan selville myös parametrien luottamusvälit Löytyy R:stä HYDROMAD paketista (http://hydromad.catchment.org/ ) Myös alkuperäinen Matlab-koodi saatavissa Vrugtilta uusi kehitysversio tulossa
Rudbäck 142 ha IHACRES sadanta-valuntamalli+astepäivämalli lumelle (HYDROMAD-paketti) Precipitation Air temperature Air temperature Snowmelt/ throughfall Effective rainfall Snow module CMD module Routing module Snow water equivalent Evapotranspiration Runoff Bayesilainen päättely, mutta tasajakautuneet a priori -jakaumat DREAM formaali likelihood-funktio, jossa lumen vesiarvo ja virtaama vasteina
Runoff [mm/d] 18 16 Calibration period Validation period 14 12 10 Total uncertainty Parameter uncertainty Observed 8 6 4 2 0 1/08/1997 1/02/1998 1/08/1998 1/02/1999 1/08/1999 1/02/2000 1/08/2000
Snow water equivalent [mm] 180 160 Calibration period Validation period 140 120 Total uncertainty Parameter uncertainty Observed 100 80 60 40 20 0 1/08/1997 1/02/1998 1/08/1998 1/02/1999 1/08/1999 1/02/2000 1/08/2000
Johtopäätökset Parametrien aiheuttama epävarmuus usein vain pieni osa kokonaisepävarmuudesta. Havaintojakson pidentäminen ei tietyn rajan jälkeen vähennä parametriestimaattien epävarmuutta (Esim. Vrugt et al. 2006) Pohjavesihavaintojen yms. lisääminen voi johtaa mallirakenteen kehittämiseen, jolloin mallin rakenteen aiheuttama epävarmuus pienentyy Likelihood-funktiot voivat olla hyvin monimutkaisia sadanta-valuntamallien tapauksissa, koska esim. virheiden normaalisuusoletus ei yleensä toteudu (Schoups and Vrugt, 2010) Epävarmuutta aiheuttavien lähteiden vaikutusten erottelu tuloksissa vaikeaa ilman tarkkoja a priori tietoja (Renard et al. 2010) Mittaustoiminnan yhteydessä tietokantoihin olisi hyvä saada arvio yksittäisen mittauksen epävarmuudesta
Kiitos Maa- ja vesitekniikan tuki ry Sven Hallinin tutkimussäätiö
Ajami N. K., Q. Duan and S. Sorooshian, 2007. An integrated hydrologic Bayesian multimodel combination framework: Confronting input, parameter, and model structural uncertainty in hydrologic prediction, Water Resour Res, Vol. 43, W01403, doi:10.1029/2005wr004745. Beven ja Binley, 1992. The Future of Distributed Models: Model Calibration and Uncertainty Prediction. Hydrol Processes, Vol 6: 279-298. Beven K. J., P. J Smith and J. E Freer 2008. So just why would a modeller choose to be incoherent? J Hydrol 354: 15-32. Huard D. and A. Mailhot, 2008. Calibration of hydrological model GR2M using Bayesian uncertainty analysis. Water Resour Res., Vol. 44 W02424, doi:10.1029/2007wr005949 Kavetski D., G. Kuczera and S. W. Franks, 2006a. Bayesian analysis of input uncertainty in hydrological modelling: 1. Theory. Water Resour Res, Vol. 42: W03407, doi:10.1029/2005wr004368. Kavetski D., G. Kuczera and S. W. Franks, 2006b. Bayesian analysis of input uncertainty in hydrological modeling: 2. Application, Water Resour Res, Vol. 42, W03408, doi:10.1029/2005wr004376. Refsgaard J.C., J.P. van der Sluijs, J. Brown, P. Van der Keur, 2006. A framework for dealing with uncertainty due to model structure error. Adv Water Resour, 29, 1586:1597. Renard, B., D. Kavetski, G. Kuczera, M. Thyer, and S. W. Franks 2010, Understanding predictive uncertainty in hydrologic modeling: The challenge of identifying input and structural errors, Water Resour. Res., 46, W05521, doi:10.1029/2009wr008328. Schoups, G., and J. A. Vrugt 2010, A formal likelihood function for parameter and predictive inference of hydrologic models with correlated, heteroscedastic, and non Gaussian errors, Water Resour. Res., 46, W10531,doi:10.1029/2009WR008933. Stedinger, J. R., R. M. Vogel, S. U. Lee, and R. Batchelder 2008, Appraisal of the generalized likelihood uncertainty estimation (GLUE) method, Water Resour. Res., 44, W00B06, doi:10.1029/2008wr006822. Thyer M., B. Renard, D. Kavetski, G. Kuczera, S. W. Franks and S. Srikanthan, 2009. Critical evaluation of parameter consistency and predictive uncertainty in hydrological modeling: A case study using Bayesian total error analysis. Water Resour Res, Vol. 45, W00B14, doi:10.1029/2008wr006825. Vrugt J.A., H.V. Gupta, S.C. Dekker, S. Sorooshian, T. Wagenerja W. Bouten, 2006. Application of stochastic parameter optimization to the Sacramento Soil Moisture Accounting model. J Hydrology, 325: 288-307. Vrugt, J. A., C. J. F. ter Braak, M. P. Clark, J. M. Hyman ja B. A. Robinson, 2008. Treatment of input uncertainty in hydrologic modeling: Doing hydrology backward with Markov chain Monte Carlo simulation, Water Resour Res, 44, W00B09, doi:10.1029/2007wr006720. Vrugt J. A., C. J. F. ter Braak, H. V. Gupta and B. A. Robinson, 2009a. Equifinality of formal (DREAM) and informal (GLUE) Bayesian approaches in hydrologic modeling? Stoch Environ Res Risk Assess 23:1011 1026 DOI 10.1007/s00477-008-0274-y. Vrugt J. A., C. J. F. ter Braak, C. G. H. Diks, D. Higdon, B. A. Robinson and J. M. Hyman, 2009b. Accelerating Markov chain Monte Carlo simulation by differential evolution with self-adaptive randomized subspace sampling, Int J Nonlinear Sci Numer Simul, 10(3), 273 290.