Asiantuntija-arvioiden tarve Asiantuntija-arviot hyödyllisiä epävarmuuksien arvioinnissa kun riittävää dataa tai hyviä malleja ei ole käytettävissä tai niiden käyttö liian kallista tai aikaa vievää
Arvioista Ihmiset tekevät arvioita päivittäin Uskon että tänään sataa. En usko, että demokraatit voittavat USA:n seuraavat presidentinvaalit. Muodollisen arviointiprosessin hyödyt Eksplisiittinen Systemaattinen Epävarmuudet kuvataan todennäköisyyksillä Arvioiden harhat pyritään poistamaan => Tarkemmat ja luotettavammat arviot
Osapuolet Tilaaja, päätöksentekijä Käyttää tuloksia omiin tarpeisiinsa Normatiiviset asiantuntijat Todennäköisyyslaskennan, tilastotieteen, kognitiivisen psykologian ja päätösanalyysin tuntijoita Johtavat asiantuntija-arvioprosessia Substanssiasiantuntijat Tuntevat tarkasteltavan aihepiirin Analysoivat ongelman, arvioivat tarkasteltavien muuttujien arvot ja niiden epävarmuudet
Todennäköisyystulkinnat ja -jakaumat
Satunnaisilmiöt ja toistokokeet Satunnaisilmiö on ilmiö, jonka tuloksen määrää sattuma. esim. nopanheitto, rahan heitto, kortin vetäminen pakasta Koe on tapahtumasarja, joka tuottaa käsiteltävää aineistoa. Kun koetta toistetaan samoissa olosuhteissa, puhutaan toistokokeesta. Jos tulosmahdollisuuksia vain kaksi, toistokoe on Bernoullin koe
Tapahtuman todennäköisyys Mahdottoman tapahtuman todennäköisyys on nolla. Varman tapahtuman todennäköisyys on yksi. Tapahtuman A todennäköisyys saa siis arvoja väliltä 0 P(A) 1. A:n vastatapahtuman todennäköisyys P( A ei tapahdu ) = 1 - P( A tapahtuu ).
Yhdistettyjen tapahtumien todennäköisyydet: Yhteenlaskusääntö Todennäköisyys, että A tai B tapahtuu on: P(A tai B) = P(A) + P(B) - P(A ja B) Esimerkki:Tehtaan valmistamissa tuotteissa havaittiin valmistusvikoja 2 %:ssa ja värivikoja 4 %:ssa tuotteista. 1%:ssa tuotteista esiintyi sekä valmistus- että värivikoja. Millä todennäköisyydellä satunnaisesti valitussa tuotteessa on jompikumpi tai molemmat vioista? P(A tai B) = 0,02 + 0,04 0,01 = 0,05
Yhdistettyjen tapahtumien todennäköisyydet: Yhteenlaskusääntö Jos tapahtumat A ja B ovat toisensa poissulkevia P(A ja B) = 0. Tällöin P(A tai B) = P(A) + P(B) Esimerkki: Mikä on todennäköisyys, että heitettäessä yhtä tikkaa saadaan tulokseksi 9 tai 10? P(9 tai 10) = P(9) + P(10)
Yhdistettyjen tapahtumien todennäköisyydet: Ehdollinen todennäköisyys Tapahtuman A todennäköisyys, kun tapahtuman B tiedetään esiintyneen sitä ennen on A:n ehdollinen todennäköisyys: P ( A B) = P( A& B) P( B)
Yhdistettyjen tapahtumien todennäköisyydet: Ehdollinen todennäköisyys Esimerkki: Korttipakasta nostetaan kortti, joka osoittautuu kuvakortiksi. Millä todennäköisyydellä nostettu kortti on kuningas? P( kuningas & kuvakortti) 4 / 52 4 P( kuningas kuvakortti) = = = = P( kuvakortti) 12 / 52 12 1 3
Yhdistettyjen tapahtumien todennäköisyydet: Kertolaskusääntö Ratkaisemalla P(A ja B) ehdollisen todennäköisyyden kaavasta saadaan P( A & B) = P( B) P( A B) Jos P(A B) = P(A), ei ehto B vaikuta mitenkään tapahtuman A todennäköisyyteen. Tällöin P( A & B) = P( B) P( A)
Todennäköisyyden tulkinnat Klassinen tulkinta Todennäköisyys on suotuisten tapausten lukumäärän suhde kaikkien mahdolliset tapausten lukumäärään. Soveltuu ilmiöihin, joissa kaikkien alkeistapausten todennäköisyys on sama Ongelmia syntyy, kun symmetrisiä vaihtoehtoja ei ole, esim. toispuoleisesti painotettu raha Tulkinnan mukaan ei voida analysoida esim. seuraavantyyppisiä lauseita: Suhteellisuusteoria on todennäköisesti tosi. Todennäköisyys, että umpimähkään valittu suomalainen on vasenkätinen, on 0,12.
Todennäköisyyden tulkinnat Klassinen tulkinta Esimerkki, jossa klassista todennäköisyystulkintaa voidaan soveltaa: Maljassa on 3 valkoista, 5 keltaista ja 4 sinistä palloa, jotka eroavat toisistaan vain värinsä puolesta. Jokaisen pallon esiintymistodennäköisyys on siis 1/12. Millä todennäköisyydellä maljasta satunnaisesti nostettu pallo on valkoinen? Suotuisia alkeistapahtumia on 3. Tällöin P(valkoinen) = 3/12 = 1/4. valkoinen tai sininen? Suotuisia alkeistapahtumia on 3 + 4 = 7 ja P(valkoinen tai sininen) = 7/12. ei ole keltainen? P(ei keltainen) = 1 P(keltainen) = 1 5/12 = 7/12.
Todennäköisyyden tulkinnat Frekvenssitulkinta Aristoteles: Todennäköistä on se, mikä tavallisesti tapahtuu. Tarkastellaan tapahtuman A suhteellista frekvenssiä pitkissä koesarjoissa. P(A) on luku, jota A:n tuottaneiden kokeiden lukumäärän suhde suoritettujen kokeiden lukumäärään lähestyy toistojen määrän kasvaessa. Kutsutaan myös todennäköisyyden tilastolliseksi, empiiriseksi tai objektiiviseksi tulkinnaksi.
Todennäköisyyden tulkinnat Frekvenssitulkinta Sulkee pois monia todennäköisyyden käsitteen luonnollisia käyttötapoja Esim. seuraavat lauseet ovat tulkinnan mukaan mielettömiä: Todennäköisesti en ehdi päivälliselle. On erittäin epätodennäköistä, että Marsissa on elämää. Todennäköisyys saada ykkönen seuraavassa heitossa tällä nopalla on 1/6.
Todennäköisyyden tulkinnat Propensiteettitulkinta Todennäköisyys on jonkin koejärjestelyn taipumus tuottaa koesarjoja, joissa tapahtuman suhteellinen frekvenssi on tietyn suuruinen. Ongelmana yksittäisten tapahtumien todennäköisyyksien käsittely.
Todennäköisyyden tulkinnat Looginen tulkinta Todennäköisyys ilmaisee loogisen suhteen kahden lauseen, hypoteesin ja evidenssin välillä. Todennäköisyys on uskomuksen aste hypoteesin totuuteen evidenssin nojalla
Todennäköisyyden tulkinnat Subjektiivinen tulkinta (1/3) Kaikkia epävarmuuksia ei ole mielekästä kuvata klassisen tai frekvenssitodennäköisyystulkinnan avulla, esim: Millä todennäköisyydellä Saimaan norppa on kuollut sukupuuttoon vuoteen 2020 mennessä? Millä todennäköisyydellä tapahtuu suuri ydinvoimalaonnettomuus Suomessa seuraavan kymmenen vuoden sisällä? Toistokoe? Suotuisten tapahtumien osuus?
Todennäköisyyden tulkinnat Subjektiivinen tulkinta (2/3) Tapahtuma on jo sattunut, mutta tuloksesta ei olla varmoja, esim.: 1. Kolikkoa on heitetty, mutta tulosta ei ole vielä katsottu. Millä todennäköisyydellä tuli kruunu? 2. Millä todennäköisyydellä TPS voitti Jokerit jääkiekkojoukkueiden ensimmäisessä SM-liigaottelussa vuonna 1998? 3. Millä todennäköisyydellä Pariisin asukasluku oli suurempi kuin Lontoon 1.1.1930? Tapahtumat eivät enää satunnaisia Jos oikeita vastauksia ei tiedetä, arviot ovat epävarmoja
Todennäköisyyden tulkinnat Subjektiivinen tulkinta (3/3) Ilmaisee havaitsijan epävarmuutta tai käsitystä tietyn tapahtuman tuloksesta Havaitsijasta riippuvainen Saatavilla olevasta tiedosta riippuvainen subj. tn muuttuu, kun saadaan uutta tietoa
Tavallisimmat todennäköisyysjakaumat Normaalijakauma Esimerkki: Suomalaisten poikalasten syntymäpituus noudattaa normaalijakaumaa keskiarvona 52,0 cm ja keskihajontana 3,5 cm. 0.25 Normaalijakauman tiheysfunktion kuvaaja 0.20 0.15 0.10 0.05 0.00 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65
Tavallisimmat todennäköisyysjakaumat Normaalijakauma Kertymäfunktion kuvaajasta nähdään, että syntymäpituuden mediaani on sama kuin keskiarvo, eli 52 cm. Fraktiilit kertovat, että 10 % poikalapsista on syntyessään alle 47,5 cm pitkiä ja 10 % yli 56,5 cm pitkiä. 100 % N orm aalijakaum an kertym äfunktion kuvaaja 90 % 90 % 80 % 70 % 60 % 50 % 50 % 40 % 30 % 20 % 10 % 0 % 10 % 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65
Tavallisimmat todennäköisyysjakaumat Tasajakauma Esimerkki: Tarkastellaan 15 m pitkää kaapelia, jossa todetaan yksi vika. Tasajakauman tiheysfunktion kuvaaja 1/15 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Tavallisimmat todennäköisyysjakaumat Tasajakauma Kertymäfunktion kuvaajaan piirretyistä fraktiileista nähdään, että vika löytyy 25 %:n todennäköisyydellä ensimmäisen 3,8 m:n matkalta ja 50 %:n todennäköisyydellä ennen 7,5 metrin kohtaa. Todennäköisyydellä 25 % kaapelia joudutaan tutkimaan yli 11,2 metrin matkalta ennen kuin vika löytyy. Tasajakauman kertymäfunktion kuvaaja 1 0.9 0.8 0.7 75 % 0.6 0.5 0.4 50 % 0.3 0.2 25 % 0.1 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Tavallisimmat todennäköisyysjakaumat Eksponentiaalijakauma Esimerkki: Satunnaisessa liikennevirrassa ajoneuvojen aikavälit noudattavat eksponentiaalijakaumaa. Liikennemäärä on 800 ajon/h. Eksponentiaalijakauman tiheysfunktion kuvaaja 0.2 0.0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Tavallisimmat todennäköisyysjakaumat Eksponentiaalijakauma Kertymäfunktion kuvaajaan piirretystä mediaanista nähdään, että lähes puolella ajoneuvoista aikaväli edelliseen ajoneuvoon on alle 3 sekuntia. 20 % ajoneuvoista ajaa alle sekunnin ja 80 % alle 7,2 sekunnin päässä edellä ajavasta ajoneuvosta. Eksponentiaalijakauman kertymäfunktion kuvaaja 1.0 0.9 0.8 80 % 0.7 0.6 0.5 50 % 0.4 0.3 0.2 20 % 0.1 0.0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Arvioiden antaminen 1. Muuttujan X minimija maksimipisteet 2. Mediaani f 50 : Asiantuntijan mielestä X < f 50 on yhtä todennäköinen kuin X > f 50 3. Fraktiileja f 5, f 25, f 75, f 95... kertymätodennäköisyys Fraktiilit ja sovitettu kertymäfunktio 1 0,8 0,6 0,4 0,2 0 0 100 200 300 muuttujan arvo esim. f 5 : P(X<f 5 ) = 0,05; X < f 5 yhtä varma kuin, että 20 arvan joukosta nostetaan määrätty arpalippu
Muuttujien dekomponointi Usein alkuperäinen ongelma voidaan jakaa osiin ja arvioida niitä näitä yleensä helpompi arvioida arviot yhdistetään todennäköisyyslaskun sääntöjä käyttäen => Saadaan parempi arvio alkuperäisestä ongelmasta
Esimerkki dekomponoinnista Alkuperäinen kysymys: Millä todennäköisyydellä osakkeen X arvo nousee huomenna? p 1-p X nousee X laskee Tehtävänä arvioida p:n suuruus
Esimerkki dekomponoinnista (2) Jaetaan alkuperäinen kysymys kahteen tapaukseen: Hex-indeksi nousee Hex-indeksi laskee p H Hex nousee p u X nousee 1-p u X laskee 1-p H Hex laskee Arvioidaan p H, p u, p d p d 1-p d X nousee X laskee
Esimerkki dekomponoinnista (3) Alkuperäisen kysymyksen todennäköisyys p saadaan seuraavalla laskutoimituksella: p = = = P( X nousee) P( Hex nousee) P( X nousee Hex nousee) + P( Hex laskee) P( X nousee Hex laskee) p H p u + (1 p H ) p d
Heuristiikat ja harhat
Heuristiikka = Nyrkkisääntö, jonka avulla ihminen arvioi monimutkaisten epävarmojen tapahtumien todennäköisyyttä Heuristiikat monesti hyödyllisiä, mutta voivat myös johtaa systemaattiseen virhearviointiin eli harhoihin, joita seuraavassa esitellään
Linda on 31-vuotias, naimaton, sanavalmis ja älykäs nainen. Opiskeluaikoinaan hän oli kiinnostunut syrjinnästä ja sosiaalisesta tasaarvosta sekä osallistui myös ydinvoiman vastaisiin mielenosoituksiin. Kumpi seuraavista vaihtoehdoista on mielestäsi todennäköisempi: a) Linda on pankkivirkailija. b) Linda on pankkivirkailija ja toimii aktiivisesti feministisessä kansalaisjärjestössä.
Psykologiryhmä on haastatellut 30 insinööriä ja 70 asianajajaa ja tehnyt kaikista heistä lyhyen kuvauksen. Millä todennäköisyydellä henkilö on insinööri jos a) Hänet valitaan satunnaisesti koko 100 haastatellun joukosta. b) Hänen kuvauksensa on seuraava: "Hän on 30-vuotias lapseton mies. Hän on omalla alallaan kyvykäs ja erittäin motivoitunut. Hänen kollegansa arvostavat häntä." c) Hänen kuvauksensa on seuraava: "Hän on 45-vuotias mies, jolla on neljä lasta. Hän on yleisesti ottaen konservatiivinen, huolellinen ja kunnianhimoinen. Hän ei ole kiinnostunut politiikasta tai sosiaalisista asioista ja viettää vapaa-aikaansa monien harrastustensa parissa, joita ovat mm. purjehtiminen ja matemaattisten "pähkinöiden ratkaiseminen.
Kahdeksasluokkalaisten keskimääräinen älykkyysosamäärä tietyssä kaupungissa on 100. Oppilaiden joukosta on valittu 50 lapsen otos, jonka älykkyyttä tutkitaan. Ensimmäisen testattavan oppilaan älykkyysosamäärä on 150. Minkä oletat olevan koko otoksen keskimääräinen älykkyysosamäärä?
Edustavuusheuristiikka (1/3) Ajatellaan, että jos x edustaa hyvin joukkoa A, niin todennäköisyys, että x kuuluu A:han on suuri. Usein unohdetaan eri joukkojen suhteelliset frekvenssit eli yleisyydet. Esim. ammattijalkapalloilijoita vähemmän kuin hoitajia
Edustavuusheuristiikka (2/3) Kahden tapahtuman leikkaus ei voi olla todennäköisempi kuin toinen tapahtumista yksinään Leikkaus A B
Edustavuusheuristiikka (3/3) Otoskoko täytyy huomioida Pienemmässä otoksessa sattuu helpommin keskimääräisestä poikkeavia tapahtumia Satunnaiset ilmiöt eivät ole itseään korjaavia Esim. kumpi todennäköisempi: HTTHTH vai HHHTTT
Valitse kustakin parista se, jonka arvelet olevan yleisempi kuolinsyy USA:ssa: Diabetes / Murha Pyörremyrsky / Salamanisku Auto-onnettomuudet / Mahasyöpä
Vertaa kahta eri rakennetta A ja B, jotka on esitetty ohessa. Polku on sellainen viiva, joka yhdistää merkin X ylärivillä merkkiin X alarivillä kulkien kullakin rivillä täsmälleen yhden X-merkin kautta. Toisin sanoen rakenteessa A polkuun kuuluu kolme X:ää ja B:ssä yhdeksän X:ää (yksi joka riviltä). Kuvaan on piirretty yhdet mahdolliset polut. Kummassa rakenteessa on enemmän mahdollisia polkuja? A: X X X X X X X X X X X X X X X X X X X X X X X X B: X X X X X X X X X X X X X X X X X X
Saavutettavuusheuristiikka Helposti muistettavat ja miellettävät asiat vaikuttavat todennäköisemmiltä Harhaa synnyttää mm. sensaatioarvo, asioiden kuvitteleminen sekä se, miten elävästi jokin asia on esitetty Esim. ilmailusta jäävät mieleen onnettomuudet, eivät onnistuneet lennot
Paperi taitetaan kahtia. Sitten se taitetaan uudestaan kahtia ja taas uudestaan. Kuinka paksu se on 100 taitoksen jälkeen? Anna pikainen arvio seuraavalle tulolle (laskematta sitä oikeasti). 8 7 6 5 4 3 2 1 =
Kaksi uurnaa on täytetty miljoonilla pokerin pelimerkeillä. Toisessa uurnassa on 70 % punaisia ja 30 % sinisiä pelimerkkejä. Toisessa puolestaan on 70 % sinisiä ja 30 % punaisia pelimerkkejä. Toisesta uurnasta nostetaan kaksitoista pelimerkkiä, joista kahdeksan on punaista ja neljä on sinistä. Mikä on todennäköisyys, että pelimerkit nostettiin uurnasta, jossa oli 70 % punaisia merkkejä?
Ankkuroituminen Ihminen arvioi todennäköisyyksiä tai esiintymistiheyksiä jonkin alkuarvon perusteella Yleensä alkuarvoa ei muuteta tarpeeksi ja arvio jää liian pieneksi Esim. Arvioi vuotuinen kuolleisuus, kun liikenneonnettomuuksissa kuolee vuosittain 400 ihmistä.
Absintti on a) likööri b) jalokivi Kuinka varma olet vastauksestasi 0.5 0.6 0.7 0.8 0.9 1.0
Ajattele seuraavaa historiallista tapahtumasarjaa: Supervalta A:n läheisen valtion hallitus alkoi laajentaa kaupankäyntiään supervalta B:n kanssa käytyään keskusteluja puolue-järjestelmästään. Estääkseen nämä muutokset hallinnossa ja kauppasuhteissa supervalta A lähetti joukkonsa maahan ja palautti vanhan hallituksen valtaan. Onko supervalta A a) Neuvostoliitto vain b) USA? Kuinka varma olet vastauksestasi? En ollenkaan varma 1 2 3 4 5 6 7 8 9 10 Täysin varma
Yliluottamus Ihmiset pitävät omia arvioitaan varmempina kuin ne todellisuudessa ovat Täysin varmoista ihmisistä vain noin 80 % on oikeassa Tietomäärä lisää luottamusta vaikka ei välttämättä paranna arviota
Tutkimuksessa, johon osallistui 250 potilasta saatiin oheiset tulokset aivokasvaimen ja huimauksen esiintymisestä. a) Mitkä taulukon solut tarvitaan, kun halutaan tutkia, onko huimauksella yhteys aivokasvaimeen? b) Voidaanko havaintoaineiston perusteella sanoa, että huimauksella olisi yhteys aivokasvaimeen? HUIMAUS AIVOKASVAIN on ei on 160 40 ei 40 10
Korrelaatio Kuviteltu korrelaatio = Kuvitellaan, että asiat korreloivat, vaikka oikeasti ne eivät korreloi. Stereotypiat ja asioiden mieltäminen yhteenkuuluviksi vaikuttavat asiaan. Näkymätön korrelaatio = Korrelaatiota ei huomata, vaikka sitä olisikin
Kumpi on mielestäsi todennäköisempää a) Isossa-Britanniassa tullaan säännöstelemään yksityisten kuluttajien energiankäyttöä, jos oletetaan, että talojen lämmittämiseen tullaan käyttämään nykyistä paljon enemmän aurinkoenergiaa. b) Isossa-Britanniassa tullaan säännöstelemään yksityisten kuluttajien energiankäyttöä, jos oletetaan, että talojen lämmittämiseen ei tulla käyttämään nykyistä enemmän aurinkoenergiaa.
Syy-seuraussuhde Vaikka kaksi asiaa korreloisivat, niin se ei tarkoita, että toinen olisi seurausta toisesta. Muitakin selittäjiä voi olla. Usein ajatellaan, että syystä voidaan päätellä seuraus, mutta seurauksesta ei syytä
Mikä on todennäköisyys, että voitat pelissä, jossa sinun tulee arvata kolikon heiton tulos (kruunu / klaava) oikein viidessä peräkkäisessä heitossa? Millä todennäköisyydellä voitat pelissä, jossa sinun tulee arvata oikein ainakin yksi kolikon heiton tulos (kruunu / klaava) viidestä?
Yhdistetyt tapahtumat Leikkaus = A ja B Unioni = A tai B Leikkauksen todennäköisyys usein yliarvioidaan ja unionin aliarvioidaan A B
Jälkiviisaus Jälkikäteen ihminen kuvittelee ennustaneensa tapahtuman ( mitä minä sanoin ) Harhaa voi välttää ajattelemalla, miksi jokin muukin lopputulos olisi voinut olla mahdollinen
Kontrolli Kuvitellaan, että sattumaan voidaan jotenkin vaikuttaa. Esim. lottonumerot halutaan valita itse. Positiiviset tapahtumat Mikäli muut tekijät pysyvät samoina positiivinen tapahtuma nähdään todennäköisempänä
Fraktiilit 5 % 50 % 95 % 1. Matin Luther Kingin ikä kuollessa 2. Niilin pituus 3. OPECin jäsenmaiden määrä 4. Vanhan testamentin kirjojen määrä 5. Kuun halkaisija 6. Tyhjän Boeing 747:n paino 7. Wolfgang Amadeus Mozartin syntymävuosi 8. Aasian norsun tiineysaika päivissä 9. Matka Lontoosta Tokioon linnuntietä 10. Syvimmän merenkohdan syvyys
1. 39 vuotta 2. 6 738 km 3.13 maata 4. 39 kirjaa 5. 3 476 km 6. 176 900 kg 7. Vuonna 1756 8. 645 päivää 9. 9 590 km 10. 11 033 m Vastaukset
ASIANTUNTIJA-ARVIOIDEN PERIAATTEITA Asiantuntijuus Rationaalinen konsensus
Asiantuntijuus NUREG -1150: Asiantuntija on henkilö jolla on kolleegoiden ja tutkimuksen tilaajien tunnustamaa erikoisosaamista, koulutusta ja kokemusta tarkasteltavasta asiasta An expert is a person who has special skills, training and experience in the subject area and is recognized by his/her peers or those conducting the study asiantuntijoiden kokemus tulisi olla osoitettu - julkaisuilla - konsultointikokemuksella - tutkimuksella ja sen johtamisella
Asiantuntijuus (jatkoa) asiantuntijoiden tulisi edustaa laajaa kokemusta, joka on hankittu - yliopistoissa - konsulttifirmoissa - tutkimuslaitoksissa - teollisuudess
Asiantuntijuus (jatkoa) asiantuntijoiden tulisi tuntea aihealueen state of the art asiantuntijoilla tulisi olla laaja ja monipuolinen näkemys aiheesta asiantuntijoiden tulisi olla halukkaita antamaan asinatuntemuksensa käyttöön ja hyväksyä asuantuntijaarvioinnin prosessi asiantuntija-arvioprosessissa tulisi olla mukana mahdollisimman laaja joukko erilaisia näkemyksiä ja erilaisia asiantuntijoita
Rationaalinen konsensus yleensä asiantuntijoita on useita asiantuntija-arviointiprosessi pyrkii konsensukseen RATIONAALINEN KONSENSUS: - toistettavuus - jäljitettävyys - empiirinen kontrolli - puolueettomuus - tasapuolisuus
Rationaalinen konsensus (jatkoa) TOISTETTAVUUS: mahdollisuus toistaa ja tarkistaa kaikki laskelmat laskentamallien tulisi olla täydellisesti määriteltyjä toistettavuus on tieteellisen menetelmän keskeinen vaatimus
Rationaalinen konsensus (jatkoa).) JÄLJITETTÄVYYS: asiantuntijoiden arvioiden (ja subjektiivisten todennäköisyyksien) taustan ja lähteiden tulisi olla tunnistettavissa päätöksentekijän pitää pystyä jäljittämään kunkin arvion tekijä ja hänen työpaikkansa tieteellisen menetelmän keskeinen vaatimus
Rationaalinen konsensus (jatkoa) EMPIIRINEN KONTROLLI arvioiden tulisi voida asettaa empiirisesti testattavaksi ainakin periaatteessa tai hypoteettisesti arvioit tulisi voida falsifioida periaatteessa (l. arvioiden tulisi olla sellaisia, että ne voidaan periaatteessa osoittaa vääriksi) tieteellisen menetelmän keskeinen vaatimus
Rationaalinen konsensus (jatkoa) PUOLUEETTOMUUS arvioiden yhdistämismenetelmän tulisi rohkaista asiantuntijoita ilmaisemaan todelliset mielipiteensä - jotkut menetelmät voivat kannustaa asiantuntijoita esittämään keskenään samanlaisia arvioita prosessin tulisi estää arvioilla pelaamisen mahdollisuus arvoasetelmien vaikutus tuloksiin tulisi estää
Rationaalinen konsensus (jatkoa) TASAPUOLISUUS kaikkia asiantuntiojoita ja heidän arvioitaan tulisi kohdella samojen periaatteiden mukaan (ennen mahdollisia empiirisiä havaintoja) monesti arvioiden yhdistämismenetelmissä painotetaan asiantuntijoita eri tavalla, mikäli todetaan esim. selvästi harhaisia arvioita, tai jos asiantuntijat itse kykenevät ilmaisemaan arvioidensa virheet
MALLEJA JA LÄHESTYMISTAPOJA DELPHI-menetelmä - ryhmätyömenetelmä - useita eri versioita muita työryöhmätekniikoita NUREG-1150 menetelmä - eräs monipuolisimmista menelemistä - arvioiden yhdistäminen perustuu jakaumien suoriin sekoituksiin
MALLEJA JA LÄHESTYMISTAPOJA (jatkoa) parittaisvertailut haastattelutekniikkana (Bradley-Terry-malli, Bayesilainen parittaisvertailu) suorat arviot na Bayesilainen yhdistäminen (additiivinen/multiplikatiivinen virhemalli, Mosleh & Apostolakis) VTT-menetelmä - yksinkertaistettu NUREG-1150 menetelmä - Bayesilainen arvioiden yhdistäminen - monenlaiset elisitointitekniikat periaatteessa mahdollisia
NUREG-1150-menetelmä 1. Aiheiden identifiointi ja valinta Aiheet joiden arvioista on hyötyä Riittävää dataa tai malleja ei käytettävissä 2. Asiantuntijoiden identifiointi ja valinta Substanssiasiantuntijat edustavat alan huippuosaamista riippumattomia laaja-alaisuus; mahdolliset eriävät mielipiteet edustettuna Normatiiviset asiantuntijat
NUREG-1150-menetelmä 3. Aiheista keskustelu ja muuttujien tarkempi määrittely - yksikäsitteinen muuttujien määrittely 4. Asiantuntijoiden koulutus Käsitellään todennäköisyyskäsitteitä, arvioiden antamista, harhoja ym. 5. Arvioiden antamiseen valmistautuminen Esim. kirjallisuuskatsauksia, analyyseja, simulointeja
NUREG-1150-menetelmä 6. Arvioiden antaminen Asiantuntijoiden haastattelu, ajatustapojen dokumentointi ja validointi 7. Yhdistäminen ja erimielisyyksien ratkaisu Asiantuntijoiden arviot yhdistetään Erimielisyyksien tarkempi tarkastelu asioiden huomioimatta jättäminen virhearvioinnit oikeasti eriävät näkemykset 8. Dokumentointi ja kommunikaatio