ASIANTUNTIJA-ARVIOIDEN PERIAATTEITA Asiantuntijuus Rationaalinen konsensus
Asiantuntijuus NUREG -1150: Asiantuntija on henkilö jolla on kolleegoiden ja tutkimuksen tilaajien tunnustamaa erikoisosaamista, koulutusta ja kokemusta tarkasteltavasta asiasta An expert is a person who has special skills, training and experience in the subject area and is recognized by his/her peers or those conducting the study asiantuntijoiden kokemus tulisi olla osoitettu - julkaisuilla - konsultointikokemuksella - tutkimuksella ja sen johtamisella
Asiantuntijuus (jatkoa) asiantuntijoiden tulisi edustaa laajaa kokemusta, joka on hankittu - yliopistoissa - konsulttifirmoissa - tutkimuslaitoksissa - teollisuudess
Asiantuntijuus (jatkoa) asiantuntijoiden tulisi tuntea aihealueen state of the art asiantuntijoilla tulisi olla laaja ja monipuolinen näkemys aiheesta asiantuntijoiden tulisi olla halukkaita antamaan asinatuntemuksensa käyttöön ja hyväksyä asuantuntija-arvioinnin prosessi asiantuntija-arvioprosessissa tulisi olla mukana mahdollisimman laaja joukko erilaisia näkemyksiä ja erilaisia asiantuntijoita
Rationaalinen konsensus yleensä asiantuntijoita on useita asiantuntija-arviointiprosessi pyrkii konsensukseen RATIONAALINEN KONSENSUS: - toistettavuus - jäljitettävyys - empiirinen kontrolli - puolueettomuus - tasapuolisuus
Rationaalinen konsensus (jatkoa) TOISTETTAVUUS: mahdollisuus toistaa ja tarkistaa kaikki laskelmat laskentamallien tulisi olla täydellisesti määriteltyjä toistettavuus on tieteellisen menetelmän keskeinen vaatimus
Rationaalinen konsensus (jatkoa).) JÄLJITETTÄVYYS: asiantuntijoiden arvioiden (ja subjektiivisten todennäköisyyksien) taustan ja lähteiden tulisi olla tunnistettavissa päätöksentekijän pitää pystyä jäljittämään kunkin arvion tekijä ja hänen työpaikkansa tieteellisen menetelmän keskeinen vaatimus
Rationaalinen konsensus (jatkoa) EMPIIRINEN KONTROLLI arvioiden tulisi voida asettaa empiirisesti testattavaksi ainakin periaatteessa tai hypoteettisesti arvioit tulisi voida falsifioida periaatteessa (l. arvioiden tulisi olla sellaisia, että ne voidaan periaatteessa osoittaa vääriksi) tieteellisen menetelmän keskeinen vaatimus
Rationaalinen konsensus (jatkoa) PUOLUEETTOMUUS arvioiden yhdistämismenetelmän tulisi rohkaista asiantuntijoita ilmaisemaan todelliset mielipiteensä - jotkut menetelmät voivat kannustaa asiantuntijoita esittämään keskenään samanlaisia arvioita prosessin tulisi estää arvioilla pelaamisen mahdollisuus arvoasetelmien vaikutus tuloksiin tulisi estää
Rationaalinen konsensus (jatkoa) TASAPUOLISUUS kaikkia asiantuntiojoita ja heidän arvioitaan tulisi kohdella samojen periaatteiden mukaan (ennen mahdollisia empiirisiä havaintoja) monesti arvioiden yhdistämismenetelmissä painotetaan asiantuntijoita eri tavalla, mikäli todetaan esim. selvästi harhaisia arvioita, tai jos asiantuntijat itse kykenevät ilmaisemaan arvioidensa virheet
MALLEJA JA LÄHESTYMISTAPOJA DELPHI-menetelmä - ryhmätyömenetelmä - useita eri versioita muita työryöhmätekniikoita NUREG-1150 menetelmä - eräs monipuolisimmista menelemistä - arvioiden yhdistäminen perustuu jakaumien suoriin sekoituksiin
MALLEJA JA LÄHESTYMISTAPOJA (jatkoa) parittaisvertailut haastattelutekniikkana (Bradley-Terry-malli, Bayesilainen parittaisvertailu) suorat arviot na Bayesilainen yhdistäminen (additiivinen/multiplikatiivinen virhemalli, Mosleh & Apostolakis) VTT-menetelmä - yksinkertaistettu NUREG-1150 menetelmä - Bayesilainen arvioiden yhdistäminen - monenlaiset elisitointitekniikat periaatteessa mahdollisia
MALLEJA JA LÄHESTYMISTAPOJA (jatkoa) KEEJAM (JRC Ispra); tietämystekniikkaan perustuva menetelmä GRS:n menetelmä; perustuu konsensusdekompositioon ja tietokonemallien käyttöön monet insinööritoimistot ovat kehittäneet omia lähestymistapojaan (esim. NNC:n menetelmä; perustuu laadunvarmennuksen systematiikkaan)