Asiantuntija-arvioiden tarve

Transkriptio

1 Asiantuntija-arvioiden tarve Asiantuntija-arviot hyödyllisiä epävarmuuksien arvioinnissa kun riittävää dataa tai hyviä malleja ei ole käytettävissä tai niiden käyttö liian kallista tai aikaa vievää

2 Arvioista Ihmiset tekevät arvioita päivittäin Uskon että tänään sataa. En usko, että demokraatit voittavat USA:n seuraavat presidentinvaalit. Muodollisen arviointiprosessin hyödyt Eksplisiittinen Systemaattinen Epävarmuudet kuvataan todennäköisyyksillä Arvioiden harhat pyritään poistamaan => Tarkemmat ja luotettavammat arviot

3 Osapuolet Tilaaja, päätöksentekijä Käyttää tuloksia omiin tarpeisiinsa Normatiiviset asiantuntijat Todennäköisyyslaskennan, tilastotieteen, kognitiivisen psykologian ja päätösanalyysin tuntijoita Johtavat asiantuntija-arvioprosessia Substanssiasiantuntijat Tuntevat tarkasteltavan aihepiirin Analysoivat ongelman, arvioivat tarkasteltavien muuttujien arvot ja niiden epävarmuudet

4 Todennäköisyystulkinnat ja -jakaumat

5 Satunnaisilmiöt ja toistokokeet Satunnaisilmiö on ilmiö, jonka tuloksen määrää sattuma. esim. nopanheitto, rahan heitto, kortin vetäminen pakasta Koe on tapahtumasarja, joka tuottaa käsiteltävää aineistoa. Kun koetta toistetaan samoissa olosuhteissa, puhutaan toistokokeesta. Jos tulosmahdollisuuksia vain kaksi, toistokoe on Bernoullin koe

6 Tapahtuman todennäköisyys Mahdottoman tapahtuman todennäköisyys on nolla. Varman tapahtuman todennäköisyys on yksi. Tapahtuman A todennäköisyys saa siis arvoja väliltä 0 P(A) 1. A:n vastatapahtuman todennäköisyys P( A ei tapahdu ) = 1 - P( A tapahtuu ).

7 Yhdistettyjen tapahtumien todennäköisyydet: Yhteenlaskusääntö Todennäköisyys, että A tai B tapahtuu on: P(A tai B) = P(A) + P(B) - P(A ja B) Esimerkki:Tehtaan valmistamissa tuotteissa havaittiin valmistusvikoja 2 %:ssa ja värivikoja 4 %:ssa tuotteista. 1%:ssa tuotteista esiintyi sekä valmistus- että värivikoja. Millä todennäköisyydellä satunnaisesti valitussa tuotteessa on jompikumpi tai molemmat vioista? P(A tai B) = 0,02 + 0,04 0,01 = 0,05

8 Yhdistettyjen tapahtumien todennäköisyydet: Yhteenlaskusääntö Jos tapahtumat A ja B ovat toisensa poissulkevia P(A ja B) = 0. Tällöin P(A tai B) = P(A) + P(B) Esimerkki: Mikä on todennäköisyys, että heitettäessä yhtä tikkaa saadaan tulokseksi 9 tai 10? P(9 tai 10) = P(9) + P(10)

9 Yhdistettyjen tapahtumien todennäköisyydet: Ehdollinen todennäköisyys Tapahtuman A todennäköisyys, kun tapahtuman B tiedetään esiintyneen sitä ennen on A:n ehdollinen todennäköisyys: P ( A B) = P( A& B) P( B)

10 Yhdistettyjen tapahtumien todennäköisyydet: Ehdollinen todennäköisyys Esimerkki: Korttipakasta nostetaan kortti, joka osoittautuu kuvakortiksi. Millä todennäköisyydellä nostettu kortti on kuningas? P( kuningas & kuvakortti) 4 / 52 4 P( kuningas kuvakortti) = = = = P( kuvakortti) 12 /

11 Yhdistettyjen tapahtumien todennäköisyydet: Kertolaskusääntö Ratkaisemalla P(A ja B) ehdollisen todennäköisyyden kaavasta saadaan P( A & B) = P( B) P( A B) Jos P(A B) = P(A), ei ehto B vaikuta mitenkään tapahtuman A todennäköisyyteen. Tällöin P( A & B) = P( B) P( A)

12 Todennäköisyyden tulkinnat Klassinen tulkinta Todennäköisyys on suotuisten tapausten lukumäärän suhde kaikkien mahdolliset tapausten lukumäärään. Soveltuu ilmiöihin, joissa kaikkien alkeistapausten todennäköisyys on sama Ongelmia syntyy, kun symmetrisiä vaihtoehtoja ei ole, esim. toispuoleisesti painotettu raha Tulkinnan mukaan ei voida analysoida esim. seuraavantyyppisiä lauseita: Suhteellisuusteoria on todennäköisesti tosi. Todennäköisyys, että umpimähkään valittu suomalainen on vasenkätinen, on 0,12.

13 Todennäköisyyden tulkinnat Klassinen tulkinta Esimerkki, jossa klassista todennäköisyystulkintaa voidaan soveltaa: Maljassa on 3 valkoista, 5 keltaista ja 4 sinistä palloa, jotka eroavat toisistaan vain värinsä puolesta. Jokaisen pallon esiintymistodennäköisyys on siis 1/12. Millä todennäköisyydellä maljasta satunnaisesti nostettu pallo on valkoinen? Suotuisia alkeistapahtumia on 3. Tällöin P(valkoinen) = 3/12 = 1/4. valkoinen tai sininen? Suotuisia alkeistapahtumia on = 7 ja P(valkoinen tai sininen) = 7/12. ei ole keltainen? P(ei keltainen) = 1 P(keltainen) = 1 5/12 = 7/12.

14 Todennäköisyyden tulkinnat Frekvenssitulkinta Aristoteles: Todennäköistä on se, mikä tavallisesti tapahtuu. Tarkastellaan tapahtuman A suhteellista frekvenssiä pitkissä koesarjoissa. P(A) on luku, jota A:n tuottaneiden kokeiden lukumäärän suhde suoritettujen kokeiden lukumäärään lähestyy toistojen määrän kasvaessa. Kutsutaan myös todennäköisyyden tilastolliseksi, empiiriseksi tai objektiiviseksi tulkinnaksi.

15 Todennäköisyyden tulkinnat Frekvenssitulkinta Sulkee pois monia todennäköisyyden käsitteen luonnollisia käyttötapoja Esim. seuraavat lauseet ovat tulkinnan mukaan mielettömiä: Todennäköisesti en ehdi päivälliselle. On erittäin epätodennäköistä, että Marsissa on elämää. Todennäköisyys saada ykkönen seuraavassa heitossa tällä nopalla on 1/6.

16 Todennäköisyyden tulkinnat Propensiteettitulkinta Todennäköisyys on jonkin koejärjestelyn taipumus tuottaa koesarjoja, joissa tapahtuman suhteellinen frekvenssi on tietyn suuruinen. Ongelmana yksittäisten tapahtumien todennäköisyyksien käsittely.

17 Todennäköisyyden tulkinnat Looginen tulkinta Todennäköisyys ilmaisee loogisen suhteen kahden lauseen, hypoteesin ja evidenssin välillä. Todennäköisyys on uskomuksen aste hypoteesin totuuteen evidenssin nojalla

18 Todennäköisyyden tulkinnat Subjektiivinen tulkinta (1/3) Kaikkia epävarmuuksia ei ole mielekästä kuvata klassisen tai frekvenssitodennäköisyystulkinnan avulla, esim: Millä todennäköisyydellä Saimaan norppa on kuollut sukupuuttoon vuoteen 2020 mennessä? Millä todennäköisyydellä tapahtuu suuri ydinvoimalaonnettomuus Suomessa seuraavan kymmenen vuoden sisällä? Toistokoe? Suotuisten tapahtumien osuus?

19 Todennäköisyyden tulkinnat Subjektiivinen tulkinta (2/3) Tapahtuma on jo sattunut, mutta tuloksesta ei olla varmoja, esim.: 1. Kolikkoa on heitetty, mutta tulosta ei ole vielä katsottu. Millä todennäköisyydellä tuli kruunu? 2. Millä todennäköisyydellä TPS voitti Jokerit jääkiekkojoukkueiden ensimmäisessä SM-liigaottelussa vuonna 1998? 3. Millä todennäköisyydellä Pariisin asukasluku oli suurempi kuin Lontoon ? Tapahtumat eivät enää satunnaisia Jos oikeita vastauksia ei tiedetä, arviot ovat epävarmoja

20 Todennäköisyyden tulkinnat Subjektiivinen tulkinta (3/3) Ilmaisee havaitsijan epävarmuutta tai käsitystä tietyn tapahtuman tuloksesta Havaitsijasta riippuvainen Saatavilla olevasta tiedosta riippuvainen subj. tn muuttuu, kun saadaan uutta tietoa

21 Tavallisimmat todennäköisyysjakaumat Normaalijakauma Esimerkki: Suomalaisten poikalasten syntymäpituus noudattaa normaalijakaumaa keskiarvona 52,0 cm ja keskihajontana 3,5 cm Normaalijakauman tiheysfunktion kuvaaja

22 Tavallisimmat todennäköisyysjakaumat Normaalijakauma Kertymäfunktion kuvaajasta nähdään, että syntymäpituuden mediaani on sama kuin keskiarvo, eli 52 cm. Fraktiilit kertovat, että 10 % poikalapsista on syntyessään alle 47,5 cm pitkiä ja 10 % yli 56,5 cm pitkiä. 100 % N orm aalijakaum an kertym äfunktion kuvaaja 90 % 90 % 80 % 70 % 60 % 50 % 50 % 40 % 30 % 20 % 10 % 0 % 10 %

23 Tavallisimmat todennäköisyysjakaumat Tasajakauma Esimerkki: Tarkastellaan 15 m pitkää kaapelia, jossa todetaan yksi vika. Tasajakauman tiheysfunktion kuvaaja 1/

24 Tavallisimmat todennäköisyysjakaumat Tasajakauma Kertymäfunktion kuvaajaan piirretyistä fraktiileista nähdään, että vika löytyy 25 %:n todennäköisyydellä ensimmäisen 3,8 m:n matkalta ja 50 %:n todennäköisyydellä ennen 7,5 metrin kohtaa. Todennäköisyydellä 25 % kaapelia joudutaan tutkimaan yli 11,2 metrin matkalta ennen kuin vika löytyy. Tasajakauman kertymäfunktion kuvaaja % % %

25 Tavallisimmat todennäköisyysjakaumat Eksponentiaalijakauma Esimerkki: Satunnaisessa liikennevirrassa ajoneuvojen aikavälit noudattavat eksponentiaalijakaumaa. Liikennemäärä on 800 ajon/h. Eksponentiaalijakauman tiheysfunktion kuvaaja

26 Tavallisimmat todennäköisyysjakaumat Eksponentiaalijakauma Kertymäfunktion kuvaajaan piirretystä mediaanista nähdään, että lähes puolella ajoneuvoista aikaväli edelliseen ajoneuvoon on alle 3 sekuntia. 20 % ajoneuvoista ajaa alle sekunnin ja 80 % alle 7,2 sekunnin päässä edellä ajavasta ajoneuvosta. Eksponentiaalijakauman kertymäfunktion kuvaaja % % %

27 Arvioiden antaminen 1. Muuttujan X minimija maksimipisteet 2. Mediaani f 50 : Asiantuntijan mielestä X < f 50 on yhtä todennäköinen kuin X > f Fraktiileja f 5, f 25, f 75, f kertymätodennäköisyys Fraktiilit ja sovitettu kertymäfunktio 1 0,8 0,6 0,4 0, muuttujan arvo esim. f 5 : P(X<f 5 ) = 0,05; X < f 5 yhtä varma kuin, että 20 arvan joukosta nostetaan määrätty arpalippu

28 Muuttujien dekomponointi Usein alkuperäinen ongelma voidaan jakaa osiin ja arvioida niitä näitä yleensä helpompi arvioida arviot yhdistetään todennäköisyyslaskun sääntöjä käyttäen => Saadaan parempi arvio alkuperäisestä ongelmasta

29 Esimerkki dekomponoinnista Alkuperäinen kysymys: Millä todennäköisyydellä osakkeen X arvo nousee huomenna? p 1-p X nousee X laskee Tehtävänä arvioida p:n suuruus

30 Esimerkki dekomponoinnista (2) Jaetaan alkuperäinen kysymys kahteen tapaukseen: Hex-indeksi nousee Hex-indeksi laskee p H Hex nousee p u X nousee 1-p u X laskee 1-p H Hex laskee Arvioidaan p H, p u, p d p d 1-p d X nousee X laskee

31 Esimerkki dekomponoinnista (3) Alkuperäisen kysymyksen todennäköisyys p saadaan seuraavalla laskutoimituksella: p = = = P( X nousee) P( Hex nousee) P( X nousee Hex nousee) + P( Hex laskee) P( X nousee Hex laskee) p H p u + (1 p H ) p d

32 Heuristiikat ja harhat

33 Heuristiikka = Nyrkkisääntö, jonka avulla ihminen arvioi monimutkaisten epävarmojen tapahtumien todennäköisyyttä Heuristiikat monesti hyödyllisiä, mutta voivat myös johtaa systemaattiseen virhearviointiin eli harhoihin, joita seuraavassa esitellään

34 Linda on 31-vuotias, naimaton, sanavalmis ja älykäs nainen. Opiskeluaikoinaan hän oli kiinnostunut syrjinnästä ja sosiaalisesta tasaarvosta sekä osallistui myös ydinvoiman vastaisiin mielenosoituksiin. Kumpi seuraavista vaihtoehdoista on mielestäsi todennäköisempi: a) Linda on pankkivirkailija. b) Linda on pankkivirkailija ja toimii aktiivisesti feministisessä kansalaisjärjestössä.

35 Psykologiryhmä on haastatellut 30 insinööriä ja 70 asianajajaa ja tehnyt kaikista heistä lyhyen kuvauksen. Millä todennäköisyydellä henkilö on insinööri jos a) Hänet valitaan satunnaisesti koko 100 haastatellun joukosta. b) Hänen kuvauksensa on seuraava: "Hän on 30-vuotias lapseton mies. Hän on omalla alallaan kyvykäs ja erittäin motivoitunut. Hänen kollegansa arvostavat häntä." c) Hänen kuvauksensa on seuraava: "Hän on 45-vuotias mies, jolla on neljä lasta. Hän on yleisesti ottaen konservatiivinen, huolellinen ja kunnianhimoinen. Hän ei ole kiinnostunut politiikasta tai sosiaalisista asioista ja viettää vapaa-aikaansa monien harrastustensa parissa, joita ovat mm. purjehtiminen ja matemaattisten "pähkinöiden ratkaiseminen.

36 Kahdeksasluokkalaisten keskimääräinen älykkyysosamäärä tietyssä kaupungissa on 100. Oppilaiden joukosta on valittu 50 lapsen otos, jonka älykkyyttä tutkitaan. Ensimmäisen testattavan oppilaan älykkyysosamäärä on 150. Minkä oletat olevan koko otoksen keskimääräinen älykkyysosamäärä?

37 Edustavuusheuristiikka (1/3) Ajatellaan, että jos x edustaa hyvin joukkoa A, niin todennäköisyys, että x kuuluu A:han on suuri. Usein unohdetaan eri joukkojen suhteelliset frekvenssit eli yleisyydet. Esim. ammattijalkapalloilijoita vähemmän kuin hoitajia

38 Edustavuusheuristiikka (2/3) Kahden tapahtuman leikkaus ei voi olla todennäköisempi kuin toinen tapahtumista yksinään Leikkaus A B

39 Edustavuusheuristiikka (3/3) Otoskoko täytyy huomioida Pienemmässä otoksessa sattuu helpommin keskimääräisestä poikkeavia tapahtumia Satunnaiset ilmiöt eivät ole itseään korjaavia Esim. kumpi todennäköisempi: HTTHTH vai HHHTTT

40 Valitse kustakin parista se, jonka arvelet olevan yleisempi kuolinsyy USA:ssa: Diabetes / Murha Pyörremyrsky / Salamanisku Auto-onnettomuudet / Mahasyöpä

41 Vertaa kahta eri rakennetta A ja B, jotka on esitetty ohessa. Polku on sellainen viiva, joka yhdistää merkin X ylärivillä merkkiin X alarivillä kulkien kullakin rivillä täsmälleen yhden X-merkin kautta. Toisin sanoen rakenteessa A polkuun kuuluu kolme X:ää ja B:ssä yhdeksän X:ää (yksi joka riviltä). Kuvaan on piirretty yhdet mahdolliset polut. Kummassa rakenteessa on enemmän mahdollisia polkuja? A: X X X X X X X X X X X X X X X X X X X X X X X X B: X X X X X X X X X X X X X X X X X X

42 Saavutettavuusheuristiikka Helposti muistettavat ja miellettävät asiat vaikuttavat todennäköisemmiltä Harhaa synnyttää mm. sensaatioarvo, asioiden kuvitteleminen sekä se, miten elävästi jokin asia on esitetty Esim. ilmailusta jäävät mieleen onnettomuudet, eivät onnistuneet lennot

43 Paperi taitetaan kahtia. Sitten se taitetaan uudestaan kahtia ja taas uudestaan. Kuinka paksu se on 100 taitoksen jälkeen? Anna pikainen arvio seuraavalle tulolle (laskematta sitä oikeasti) =

44 Kaksi uurnaa on täytetty miljoonilla pokerin pelimerkeillä. Toisessa uurnassa on 70 % punaisia ja 30 % sinisiä pelimerkkejä. Toisessa puolestaan on 70 % sinisiä ja 30 % punaisia pelimerkkejä. Toisesta uurnasta nostetaan kaksitoista pelimerkkiä, joista kahdeksan on punaista ja neljä on sinistä. Mikä on todennäköisyys, että pelimerkit nostettiin uurnasta, jossa oli 70 % punaisia merkkejä?

45 Ankkuroituminen Ihminen arvioi todennäköisyyksiä tai esiintymistiheyksiä jonkin alkuarvon perusteella Yleensä alkuarvoa ei muuteta tarpeeksi ja arvio jää liian pieneksi Esim. Arvioi vuotuinen kuolleisuus, kun liikenneonnettomuuksissa kuolee vuosittain 400 ihmistä.

46 Absintti on a) likööri b) jalokivi Kuinka varma olet vastauksestasi

47 Ajattele seuraavaa historiallista tapahtumasarjaa: Supervalta A:n läheisen valtion hallitus alkoi laajentaa kaupankäyntiään supervalta B:n kanssa käytyään keskusteluja puolue-järjestelmästään. Estääkseen nämä muutokset hallinnossa ja kauppasuhteissa supervalta A lähetti joukkonsa maahan ja palautti vanhan hallituksen valtaan. Onko supervalta A a) Neuvostoliitto vain b) USA? Kuinka varma olet vastauksestasi? En ollenkaan varma Täysin varma

48 Yliluottamus Ihmiset pitävät omia arvioitaan varmempina kuin ne todellisuudessa ovat Täysin varmoista ihmisistä vain noin 80 % on oikeassa Tietomäärä lisää luottamusta vaikka ei välttämättä paranna arviota

49 Tutkimuksessa, johon osallistui 250 potilasta saatiin oheiset tulokset aivokasvaimen ja huimauksen esiintymisestä. a) Mitkä taulukon solut tarvitaan, kun halutaan tutkia, onko huimauksella yhteys aivokasvaimeen? b) Voidaanko havaintoaineiston perusteella sanoa, että huimauksella olisi yhteys aivokasvaimeen? HUIMAUS AIVOKASVAIN on ei on ei 40 10

50 Korrelaatio Kuviteltu korrelaatio = Kuvitellaan, että asiat korreloivat, vaikka oikeasti ne eivät korreloi. Stereotypiat ja asioiden mieltäminen yhteenkuuluviksi vaikuttavat asiaan. Näkymätön korrelaatio = Korrelaatiota ei huomata, vaikka sitä olisikin

51 Kumpi on mielestäsi todennäköisempää a) Isossa-Britanniassa tullaan säännöstelemään yksityisten kuluttajien energiankäyttöä, jos oletetaan, että talojen lämmittämiseen tullaan käyttämään nykyistä paljon enemmän aurinkoenergiaa. b) Isossa-Britanniassa tullaan säännöstelemään yksityisten kuluttajien energiankäyttöä, jos oletetaan, että talojen lämmittämiseen ei tulla käyttämään nykyistä enemmän aurinkoenergiaa.

52 Syy-seuraussuhde Vaikka kaksi asiaa korreloisivat, niin se ei tarkoita, että toinen olisi seurausta toisesta. Muitakin selittäjiä voi olla. Usein ajatellaan, että syystä voidaan päätellä seuraus, mutta seurauksesta ei syytä

53 Mikä on todennäköisyys, että voitat pelissä, jossa sinun tulee arvata kolikon heiton tulos (kruunu / klaava) oikein viidessä peräkkäisessä heitossa? Millä todennäköisyydellä voitat pelissä, jossa sinun tulee arvata oikein ainakin yksi kolikon heiton tulos (kruunu / klaava) viidestä?

54 Yhdistetyt tapahtumat Leikkaus = A ja B Unioni = A tai B Leikkauksen todennäköisyys usein yliarvioidaan ja unionin aliarvioidaan A B

55 Jälkiviisaus Jälkikäteen ihminen kuvittelee ennustaneensa tapahtuman ( mitä minä sanoin ) Harhaa voi välttää ajattelemalla, miksi jokin muukin lopputulos olisi voinut olla mahdollinen

56 Kontrolli Kuvitellaan, että sattumaan voidaan jotenkin vaikuttaa. Esim. lottonumerot halutaan valita itse. Positiiviset tapahtumat Mikäli muut tekijät pysyvät samoina positiivinen tapahtuma nähdään todennäköisempänä

57 Fraktiilit 5 % 50 % 95 % 1. Matin Luther Kingin ikä kuollessa 2. Niilin pituus 3. OPECin jäsenmaiden määrä 4. Vanhan testamentin kirjojen määrä 5. Kuun halkaisija 6. Tyhjän Boeing 747:n paino 7. Wolfgang Amadeus Mozartin syntymävuosi 8. Aasian norsun tiineysaika päivissä 9. Matka Lontoosta Tokioon linnuntietä 10. Syvimmän merenkohdan syvyys

58 1. 39 vuotta km 3.13 maata kirjaa km kg 7. Vuonna päivää km m Vastaukset

59 ASIANTUNTIJA-ARVIOIDEN PERIAATTEITA Asiantuntijuus Rationaalinen konsensus

60 Asiantuntijuus NUREG -1150: Asiantuntija on henkilö jolla on kolleegoiden ja tutkimuksen tilaajien tunnustamaa erikoisosaamista, koulutusta ja kokemusta tarkasteltavasta asiasta An expert is a person who has special skills, training and experience in the subject area and is recognized by his/her peers or those conducting the study asiantuntijoiden kokemus tulisi olla osoitettu - julkaisuilla - konsultointikokemuksella - tutkimuksella ja sen johtamisella

61 Asiantuntijuus (jatkoa) asiantuntijoiden tulisi edustaa laajaa kokemusta, joka on hankittu - yliopistoissa - konsulttifirmoissa - tutkimuslaitoksissa - teollisuudess

62 Asiantuntijuus (jatkoa) asiantuntijoiden tulisi tuntea aihealueen state of the art asiantuntijoilla tulisi olla laaja ja monipuolinen näkemys aiheesta asiantuntijoiden tulisi olla halukkaita antamaan asinatuntemuksensa käyttöön ja hyväksyä asuantuntijaarvioinnin prosessi asiantuntija-arvioprosessissa tulisi olla mukana mahdollisimman laaja joukko erilaisia näkemyksiä ja erilaisia asiantuntijoita

63 Rationaalinen konsensus yleensä asiantuntijoita on useita asiantuntija-arviointiprosessi pyrkii konsensukseen RATIONAALINEN KONSENSUS: - toistettavuus - jäljitettävyys - empiirinen kontrolli - puolueettomuus - tasapuolisuus

64 Rationaalinen konsensus (jatkoa) TOISTETTAVUUS: mahdollisuus toistaa ja tarkistaa kaikki laskelmat laskentamallien tulisi olla täydellisesti määriteltyjä toistettavuus on tieteellisen menetelmän keskeinen vaatimus

65 Rationaalinen konsensus (jatkoa).) JÄLJITETTÄVYYS: asiantuntijoiden arvioiden (ja subjektiivisten todennäköisyyksien) taustan ja lähteiden tulisi olla tunnistettavissa päätöksentekijän pitää pystyä jäljittämään kunkin arvion tekijä ja hänen työpaikkansa tieteellisen menetelmän keskeinen vaatimus

66 Rationaalinen konsensus (jatkoa) EMPIIRINEN KONTROLLI arvioiden tulisi voida asettaa empiirisesti testattavaksi ainakin periaatteessa tai hypoteettisesti arvioit tulisi voida falsifioida periaatteessa (l. arvioiden tulisi olla sellaisia, että ne voidaan periaatteessa osoittaa vääriksi) tieteellisen menetelmän keskeinen vaatimus

67 Rationaalinen konsensus (jatkoa) PUOLUEETTOMUUS arvioiden yhdistämismenetelmän tulisi rohkaista asiantuntijoita ilmaisemaan todelliset mielipiteensä - jotkut menetelmät voivat kannustaa asiantuntijoita esittämään keskenään samanlaisia arvioita prosessin tulisi estää arvioilla pelaamisen mahdollisuus arvoasetelmien vaikutus tuloksiin tulisi estää

68 Rationaalinen konsensus (jatkoa) TASAPUOLISUUS kaikkia asiantuntiojoita ja heidän arvioitaan tulisi kohdella samojen periaatteiden mukaan (ennen mahdollisia empiirisiä havaintoja) monesti arvioiden yhdistämismenetelmissä painotetaan asiantuntijoita eri tavalla, mikäli todetaan esim. selvästi harhaisia arvioita, tai jos asiantuntijat itse kykenevät ilmaisemaan arvioidensa virheet

69 MALLEJA JA LÄHESTYMISTAPOJA DELPHI-menetelmä - ryhmätyömenetelmä - useita eri versioita muita työryöhmätekniikoita NUREG-1150 menetelmä - eräs monipuolisimmista menelemistä - arvioiden yhdistäminen perustuu jakaumien suoriin sekoituksiin

70 MALLEJA JA LÄHESTYMISTAPOJA (jatkoa) parittaisvertailut haastattelutekniikkana (Bradley-Terry-malli, Bayesilainen parittaisvertailu) suorat arviot na Bayesilainen yhdistäminen (additiivinen/multiplikatiivinen virhemalli, Mosleh & Apostolakis) VTT-menetelmä - yksinkertaistettu NUREG-1150 menetelmä - Bayesilainen arvioiden yhdistäminen - monenlaiset elisitointitekniikat periaatteessa mahdollisia

71 NUREG-1150-menetelmä 1. Aiheiden identifiointi ja valinta Aiheet joiden arvioista on hyötyä Riittävää dataa tai malleja ei käytettävissä 2. Asiantuntijoiden identifiointi ja valinta Substanssiasiantuntijat edustavat alan huippuosaamista riippumattomia laaja-alaisuus; mahdolliset eriävät mielipiteet edustettuna Normatiiviset asiantuntijat

72 NUREG-1150-menetelmä 3. Aiheista keskustelu ja muuttujien tarkempi määrittely - yksikäsitteinen muuttujien määrittely 4. Asiantuntijoiden koulutus Käsitellään todennäköisyyskäsitteitä, arvioiden antamista, harhoja ym. 5. Arvioiden antamiseen valmistautuminen Esim. kirjallisuuskatsauksia, analyyseja, simulointeja

73 NUREG-1150-menetelmä 6. Arvioiden antaminen Asiantuntijoiden haastattelu, ajatustapojen dokumentointi ja validointi 7. Yhdistäminen ja erimielisyyksien ratkaisu Asiantuntijoiden arviot yhdistetään Erimielisyyksien tarkempi tarkastelu asioiden huomioimatta jättäminen virhearvioinnit oikeasti eriävät näkemykset 8. Dokumentointi ja kommunikaatio