How to handle uncertainty in future projections?



Samankaltaiset tiedostot
Capacity Utilization

On instrument costs in decentralized macroeconomic decision making (Helsingin Kauppakorkeakoulun julkaisuja ; D-31)

Efficiency change over time

Information on preparing Presentation

On instrument costs in decentralized macroeconomic decision making (Helsingin Kauppakorkeakoulun julkaisuja ; D-31)

Uusi Ajatus Löytyy Luonnosta 4 (käsikirja) (Finnish Edition)

On instrument costs in decentralized macroeconomic decision making (Helsingin Kauppakorkeakoulun julkaisuja ; D-31)

anna minun kertoa let me tell you

Gap-filling methods for CH 4 data

The CCR Model and Production Correspondence

Constructive Alignment in Specialisation Studies in Industrial Pharmacy in Finland

16. Allocation Models

Results on the new polydrug use questions in the Finnish TDI data

7. Product-line architectures

Other approaches to restrict multipliers

Hankkeiden vaikuttavuus: Työkaluja hankesuunnittelun tueksi

Choose Finland-Helsinki Valitse Finland-Helsinki

Data protection template

National Building Code of Finland, Part D1, Building Water Supply and Sewerage Systems, Regulations and guidelines 2007

1. SIT. The handler and dog stop with the dog sitting at heel. When the dog is sitting, the handler cues the dog to heel forward.

Valuation of Asian Quanto- Basket Options

MEETING PEOPLE COMMUNICATIVE QUESTIONS

Oma sininen meresi (Finnish Edition)

The role of 3dr sector in rural -community based- tourism - potentials, challenges

Returns to Scale II. S ysteemianalyysin. Laboratorio. Esitelmä 8 Timo Salminen. Teknillinen korkeakoulu

Skene. Games Refueled. Muokkaa perustyyl. for Health, Kuopio

FinFamily PostgreSQL installation ( ) FinFamily PostgreSQL

Network to Get Work. Tehtäviä opiskelijoille Assignments for students.

TIETEEN PÄIVÄT OULUSSA

T Statistical Natural Language Processing Answers 6 Collocations Version 1.0

Miksi Suomi on Suomi (Finnish Edition)

Guidebook for Multicultural TUT Users

Co-Design Yhteissuunnittelu

Alternative DEA Models

1. Liikkuvat määreet

Uusia kokeellisia töitä opiskelijoiden tutkimustaitojen kehittämiseen

Innovative and responsible public procurement Urban Agenda kumppanuusryhmä. public-procurement

Työsuojelurahaston Tutkimus tutuksi - PalveluPulssi Peter Michelsson Wallstreet Asset Management Oy

Karkaavatko ylläpitokustannukset miten kustannukset ja tuotot johdetaan hallitusti?

Nuku hyvin, pieni susi -????????????,?????????????????. Kaksikielinen satukirja (suomi - venäjä) ( (Finnish Edition)

C++11 seminaari, kevät Johannes Koskinen

1.3Lohkorakenne muodostetaan käyttämällä a) puolipistettä b) aaltosulkeita c) BEGIN ja END lausekkeita d) sisennystä

ECVETin soveltuvuus suomalaisiin tutkinnon perusteisiin. Case:Yrittäjyyskurssi matkailualan opiskelijoille englantilaisen opettajan toteuttamana

make and make and make ThinkMath 2017

Metal 3D. manufacturing. Kimmo K. Mäkelä Post doctoral researcher

7.4 Variability management

Vertaispalaute. Vertaispalaute, /9

Statistical design. Tuomas Selander

Opiskelijat valtaan! TOPIC MASTER menetelmä lukion englannin opetuksessa. Tuija Kae, englannin kielen lehtori Sotungin lukio ja etälukio

Characterization of clay using x-ray and neutron scattering at the University of Helsinki and ILL

HARJOITUS- PAKETTI A

Capacity utilization

Expression of interest

LYTH-CONS CONSISTENCY TRANSMITTER

TIEKE Verkottaja Service Tools for electronic data interchange utilizers. Heikki Laaksamo

812336A C++ -kielen perusteet,

Toimintamallit happamuuden ennakoimiseksi ja riskien hallitsemiseksi turvetuotantoalueilla (Sulfa II)

KONEISTUSKOKOONPANON TEKEMINEN NX10-YMPÄRISTÖSSÄ

EUROOPAN PARLAMENTTI

Master's Programme in Life Science Technologies (LifeTech) Prof. Juho Rousu Director of the Life Science Technologies programme 3.1.

Uusi Ajatus Löytyy Luonnosta 3 (Finnish Edition)

1.3 Lohkorakenne muodostetaan käyttämällä a) puolipistettä b) aaltosulkeita c) BEGIN ja END lausekkeita d) sisennystä

Salasanan vaihto uuteen / How to change password

EVALUATION FOR THE ERASMUS+-PROJECT, STUDENTSE

RANTALA SARI: Sairaanhoitajan eettisten ohjeiden tunnettavuus ja niiden käyttö hoitotyön tukena sisätautien vuodeosastolla

AYYE 9/ HOUSING POLICY

Land-Use Model for the Helsinki Metropolitan Area

Keskeisiä näkökulmia RCE-verkoston rakentamisessa Central viewpoints to consider when constructing RCE

Information on Finnish Language Courses Spring Semester 2018 Päivi Paukku & Jenni Laine Centre for Language and Communication Studies

Bounds on non-surjective cellular automata

Security server v6 installation requirements

EARLY LEARNING PLAN / ENGLANTI VARHAISKASVATUSSUUNNITELMA

ProAgria. Opportunities For Success

LX 70. Ominaisuuksien mittaustulokset 1-kerroksinen 2-kerroksinen. Fyysiset ominaisuudet, nimellisarvot. Kalvon ominaisuudet

Hankkeen toiminnot työsuunnitelman laatiminen

Increase of opioid use in Finland when is there enough key indicator data to state a trend?

Arkkitehtuuritietoisku. eli mitä aina olet halunnut tietää arkkitehtuureista, muttet ole uskaltanut kysyä

Infrastruktuurin asemoituminen kansalliseen ja kansainväliseen kenttään Outi Ala-Honkola Tiedeasiantuntija

Academic Opening. Opening - Introduction. In this essay/paper/thesis I shall examine/investigate/evaluate/analyze General opening for an essay/thesis

VAASAN YLIOPISTO Humanististen tieteiden kandidaatin tutkinto / Filosofian maisterin tutkinto

Tracking and Filtering. Petteri Nurmi

Information on Finnish Language Courses Spring Semester 2017 Jenni Laine

BDD (behavior-driven development) suunnittelumenetelmän käyttö open source projektissa, case: SpecFlow/.NET.

Riitta Kilpeläinen Elia Liitiäinen Belle Selene Xia University of Eastern Finland Department of Forest Sciences Department of Economics and HECER

ELEMET- MOCASTRO. Effect of grain size on A 3 temperatures in C-Mn and low alloyed steels - Gleeble tests and predictions. Period

Voice Over LTE (VoLTE) By Miikka Poikselkä;Harri Holma;Jukka Hongisto

Norpe Winning Culture

Fighting diffuse nutrient load: Multifunctional water management concept in natural reed beds

BLOCKCHAINS AND ODR: SMART CONTRACTS AS AN ALTERNATIVE TO ENFORCEMENT

Security server v6 installation requirements

A new model of regional development work in habilitation of children - Good habilitation in functional networks

HOITAJAN ROOLI TEKNOLOGIAVÄLITTEISESSÄ POTILASOHJAUKSESSA VÄITÖSKIRJATUTKIJA JENNI HUHTASALO

Erasmus Intensive Language Course KV kevätpäivät Kuopio Päivi Martin, Lapin yliopisto

E80. Data Uncertainty, Data Fitting, Error Propagation. Jan. 23, 2014 Jon Roberts. Experimental Engineering

FinFamily Installation and importing data ( ) FinFamily Asennus / Installation

JA CHALLENGE Anna-Mari Sopenlehto Central Administration The City Development Group Business Developement and Competence

Kuvankäsi/ely. Vieraana Jorma Laaksonen Tietotekniikan laitos. Viikko Luento Ope-ajat Harjoitus 7: Tietoliikenteen signaalinkäsi/ely

Tietorakenteet ja algoritmit

Siirtymä maisteriohjelmiin tekniikan korkeakoulujen välillä Transfer to MSc programmes between engineering schools

Kaivostoiminnan eri vaiheiden kumulatiivisten vaikutusten huomioimisen kehittäminen suomalaisessa luonnonsuojelulainsäädännössä

Transkriptio:

How to handle uncertainty in future projections? Samu Mäntyniemi, Fisheries and Environmental Management group (FEM), University of Helsinki http://www.helsinki.fi/science/fem/ Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 1

My background PhD in biometry Bayesian inference in fisheries science Dynamic models Alternative model structures Lots of uncertain parameters Interest in latent variables: the true stock size has never been observed Role in the FEM group Supervising the use of statistical methods Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 2

Purpose and outline of the talk Food for thought Basic principles illustrated with simple examples Three parts Part I: There is no uncertainty Part II: Correlation is good for you Part III: Weight the average Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 3

Part I: There is no uncertainty Uncertainty does not physically exist Uncertainty exists in mind Uncertainty only exists in the context of a person Subjective object by definition Uncertainty of a collective mind Scientific community Panel of experts Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 4

Uncertainty about the future When future becomes observed, it is not the future anymore We can only have beliefs about the future The belief can be well documented, consistently updated and scientifically sound But it is still a (scientific) belief Varies between scientists Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 5

Is my uncertainty more correct than yours? Uncertainty is what it is: everyone is right Being wise afterwards: a reality check? Predict the future Observe what really happened Compare and learn : calibration Some statements of uncertainty fit to observations better than others How to take this into account? Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 6

Sources of uncertainty: Why I am uncertain? Unpredictable natural variability Can be reduced by better modeling Uncertainty about causalities Alternative models Uncertainty about model parameters More data -> less uncertainty Uncertainty about implementation of management actions How will governments, industry and consumers react? Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 7

How to handle uncertainty systematically? Probability: measure of uncertainty Interpretation of probability: Relative frequency Or degree of belief? RF is not defined for unique events 15.10. 2010 can not be repeated Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 8

Handling uncertainty : statistical inference Classical (frequentist) statistics Uncertainty about potential data sets under a fixed hypothesis: long run relative frequencies Assumes a repeatable experiment to define the concept of probability Bayesian statistics Uncertainty about hypotheses given a fixed set of data Probability : personal degree of belief Data consists of facts, everything else is a matter of believing Mathematical logic for handling beliefs Transparent and consistent framework Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 9

Learning from experience : location of a fish school 1 1. Prior knowledge Probability 0.8 0.6 0.4 0.2 0 Estuary Offshore 2. New observation 3. Learning 10 www.helsinki.fi/yliopisto 4. Posterior knowledge 25.10.2010 Biotiete ellinen tiedekun ta / Henkilö n nimi / Esitykse n nimi

The Bayes rule: Artificial intelligence h : hypothesis x : observed data Likelihood: interpretation of observed data P ( h x) = P( x h) P( h) P( x) Prior: initial knowledge Posterior: updated knowledge Normalizing constant: predictive probability of data Learning: use posterior as prior for the next case www.helsinki.fi/yliopisto

Part I : Summary I Everyone is right about their own uncertainty/beliefs Best we can do: Systematic approach to our own uncertainty Honest account of uncertainty Emphasize clear communication of uncertainty But some people s beliefs are more consistent with data than others : higher expertise Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 12

Part I : Summary II Classical statistics : No direct statements of uncertainty about past and future states of nature, no parameter/structural uncertainty Bayesian statistics: Consistent framework for handling beliefs Probability as measure of uncertainty Baye s rule for learning from data Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 13

Part II: Correlation is good for you Correlation of parameter estimates is a problem, as it indicates that the parameters are difficult to identify On the other hand: Higher correlation = more information Less correlation = less information Example from linear regression Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 14

Bayesian linear regression: predicting surface runoff using precipitation Priors Intercept : between -50 and 0 Slope: betweem 0 and 1 Add one data point at a time Show predictions with and without correlation of parameters Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 15

25.10.2010 16

25.10.2010 17

25.10.2010 18

25.10.2010 19

25.10.2010 20

25.10.2010 21

25.10.2010 22

25.10.2010 23

25.10.2010 24

25.10.2010 25

25.10.2010 26

25.10.2010 27

25.10.2010 28

25.10.2010 29

25.10.2010 30

25.10.2010 31

25.10.2010 32

25.10.2010 33

Part II: Summary Correlation is information Include correlation when predicting, not just the marginal distributions Report the correlation of your parameter estimates, so that others can use it When using expert knowledge to formulate priors for prediction, try to assess the combinations of variables. Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 34

Part III: model averaging Multiple models Each model gives different prediction Not sure which model is true How to take this uncertainty into account? Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 35

Bayesian Model Averaging Each model represents a hypothesis Baye s rule: probability of a hypothesis data Just use it! 1. Give prior weights to models before seeing the data 2. Predict the next time step 3. Update the weights based on observed data 4. Go to (2) Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 36

Example: three models for an environmental Index Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 37

Uncertainty: which model is true? Bayesian approach: assing prior probability for each model before seeing the data In this example: pretend that nothing is know a priori P(model=white noise) = 1/3 P(model=white noise data) =? Demonstration 1. Predict upcoming data 2. Observe data 3. Update P( model data), use as prior for next case 4. Go to (1) Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 38

25.10.2010 39

25.10.2010 40

25.10.2010 41

25.10.2010 42

25.10.2010 43

25.10.2010 44

25.10.2010 45

25.10.2010 46

25.10.2010 47

25.10.2010 48

25.10.2010 49

25.10.2010 50

25.10.2010 51

25.10.2010 52

25.10.2010 53

25.10.2010 54

25.10.2010 55

25.10.2010 56

25.10.2010 57

25.10.2010 58

25.10.2010 59

25.10.2010 60

25.10.2010 61

25.10.2010 62

25.10.2010 63

25.10.2010 64

25.10.2010 65

25.10.2010 66

25.10.2010 67

25.10.2010 68

25.10.2010 69

25.10.2010 70

25.10.2010 71

25.10.2010 72

25.10.2010 73

25.10.2010 74

25.10.2010 75

25.10.2010 76

25.10.2010 77

25.10.2010 78

25.10.2010 79

How it works? 0.14 0.4 0.8 ility 0.3 0.6 a b 0.2 0.4 b ro 0.1 0.2 P 0 1 2 3 Model P(data)=ΣP(data model)p(model) In other words: Predictive distribution of data is weighted average of model specific predictive distributions 0.12 0.1 sity n e d 0.08 ility 0.06 a b b ro P 0.04 0.02 Model 1 Model 2 Model 3 Average Weights are updated based on the predictive performance of individual models Just using the Bayes rule 0 1 4 7 1013 1619 222528 3134 3740 434649 52 Next observation Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 80

The next step 0.14 0.12 0.8 1 ility ility 0.6 a b 0.5 0.4 b ro ro 0.2 P 0 1 22 3 3 Model Prediction using updated weights P(model data) Update the weights again using a new observation 0.1 sity n e d 0.08 ility 0.06 a b b ro P 0.04 0.02 Model 1 Model 2 Model 3 Average 0 1 4 7 1013 1619 222528 3134 3740 434649 52 Next observation Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 81

And so on 1 ility a b 0.5 b ro P 0 1 2 3 Model 0.14 0.12 0.1 sity n e d 0.08 ility 0.06 a b b ro P 0.04 0.02 Model 1 Model 2 Model 3 Average 0 1 4 7 1013 1619 222528 3134 3740 434649 52 Next observation Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 82

Part III: summary Bayesian Model Averaging : consistent way of accounting for model uncertainty Theory is very simple Practice can be difficult Typically analytically intractable Approximations needed Ideal: parameters of each model should be updated after each new data point : Correlation is information Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 83

Methods to estimate uncertainties of scenario simulations Bayesian framework Structural & parameter uncertainty Expert knowledge and data Fit all models to all data using Baye s rule : full uncertainty accounted for, including the effect of correlations of parameter estimates Computational tools Monte Carlo methods: parameter estimation & model uncertainty Bayesian networks : Decision anlysis, integration of simulation output, interactive format Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 84

Possibilities to combine Bayesian risk analysis and climate change ensemble modelling? If the models in the ensemble provide probabilistic prediction: Should be straightforward, in theory Computational problems may arise If the models are deterministic Not possible without changes to models Predict a data set, learn residual variation -> use as uncertainty in further predictions And/or use expert judegement to estimate the uncertainty Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 85

www.helsinki.fi/yliopisto 25.10.2010 86

Monthly Weather Review, 133, 1155-1174 Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 87

Thank you! Biotieteellinen tiedekunta / Henkilön nimi / www.helsinki.fi/yliopisto 25.10.2010 88