Hypermedian jatkoopintoseminaari. Delfoi-menetelmä

Transkriptio

1 Hypermedian jatkoopintoseminaari Delfoi-menetelmä Haataja, Marjo 1 Delfoi antiikin ajalta Tarinan mukaan maan jumalatar Gaia asui kauan sitten Delfoissa Kreikassa lohikäärme Pythoksen suojelemana. Zeuksen poika Apollo tappoi Pythoksen ja teki itsestään valtiaan. Hänestä tuli kuuluisa kaikkialla Kreikassa kauneutensa ja harvinaisen tulevaisuuden ennalta näkemisen kykynsä ansiosta. Apollon itselleen valitsema asuinsija sijaitsi noin 170 km luoteeseen Ateenasta, Parnassos-vuoren rinteellä, josta oli näkymä Korintin lahdelle. Delfoista kehittyi legendan ansiosta yksi antiikin Kreikan rikkaimpia ja vaikutusvaltaisimpia paikkoja. Ihminen, joka halusi kysyä Delfoin oraakkelilta neuvoa, olipa hän tavallinen kansalainen henkilökohtaisine ongelmineen tai sodan aloittamista harkitseva ruhtinas, toi mukanaan runsaat lahjat. Apollon ennustuksia välittivät Pythiaat, transsitilassa sekavia puhuvat nuoret naiset, joita papit tulkitsivat oraakkelin ennustuksina. Jokainen, joka on käynyt Delfoissa, ymmärtää, että niissä maisemissa herää helposti elämää suurempia ajatuksia. Oraakkelit olivat pappien ovelaa vallankäyttöä ja varainkeruuta. Periaatteessa oraakkeli-instituutio toimi aivan samalla tavalla kuin nykyaikainen ennustaminen. Käytetään metodeja ja malleja, joita ymmärtävät vain harvat asiaan vihkiytyneet. Ja ennusteista otetaan hyvä hinta. Nykyajan pappeja kutsutaan yleensä ekonomisteiksi. (Mannermaa 1991, ss ) 2 11

2 Delfoi-menetelmä Kvalitatiivinen, asiantuntijoiden näkemykseen perustuva kyselytutkimus Suunnittelu ja päätöksenteko Teknologisen & yhteiskunnallisen kehityksen ennakointi Toimintaympäristön muutokset Vaihtoehtojen löytäminen Käyttökelpoisuus: Tarkasteltava ajanjakso on pitkä Aikasarjatietoa ei ole saatavilla Korkea epävarmuus Kehitettiin 1950-luvulla An experimental application of the delphi method to the use of experts Dalkey, N. & Helmer, O. The RAND Corporation, Santa Monica, California 3 Delfoin asiantuntijat Kuka on asiantuntija? Yritysten edustajia (toimittajat, asiakkaat) Konsultit Akateemisen yhteisön edustajat Ominaisuuksia (tva 2005): kiinnostunut ja halukas erilaisia näkökulmia omaava tulevaisuusorientoitunut argumentoiva Yhteistä kaikilla osallistujille: tutkittavan kentän tai sen osan asiantuntijoita 4 12

3 Delfoi-menetelmän kulku prosessinäkökulmasta 1/4 1. Delfoi-tutkimuksen tekevän ryhmän kokoaminen ja aiheen määrittely 2. Asiantuntijapaneelien (-ryhmien) valinta Paneeleita voi olla useampiakin n asiantuntijaa kultakin tutkittavalta aihealueelta (Mäkinen & Nokelainen 2003) (tva 2005) tuhansia jäseniä? 5 Delfoi-menetelmän kulku prosessinäkökulmasta 2/4 3. Ensimmäisen kierroksen kyselykaavakkeen laadinta aihealueet ja niiden esittely (joihin on tarkoitus ottaa kantaa) testaus ymmärrettävyys käytetty terminologia 4. Kyselyn lähettäminen asiantuntijoiden muodostamille paneeleille 6 13

4 Delfoi-menetelmän kulku prosessinäkökulmasta 3/4 5. Asiantuntijoiden antamien vastausten analysointi - tarkempi rajattu joukko analysoitavia kohteita tai kohde 6. Toisen kierroksen kyselykaavakkeen laadinta 7. Toisen kierroksen kyselykaavakkeiden lähettäminen 7 Delfoi-menetelmän kulku prosessinäkökulmasta 4/4 8. Toisen kierroksen vastausten analysointi prosessin vaiheet 5-7 voidaan toistaa konsensus pysyvät, muuttumattomat erimielisyydet saadaan selville 9. Tulosten raportointi 8 14

5 Delfoi-menetelmällä tarkasteltavan asiantilan arvioiden konvergoituminen Tarkasteltava asiantila (Lähde: Mäkinen & Nokelainen 2003) Arvioiden vaihtelu Kyselyn kierrosten lukumäärä 9 Muunnokset Asiantuntijat kommentoivat toistensa ennusteita tai niiden perusteita Prosessi toistetaan vain kaksi kertaa Asiantuntijat valitaan vain tietyltä aihealueelta Kyselyyn otetaan vain tietyntyyppisiä edustajia Oleellista: Asiantuntijoiden arvioiden iteratiivinen kerääminen ja perusta subjektiivisissa mielipiteissä 10 15

6 Delfoin heikkouksia Tieteellinen? Epätieteellinen? Tavoitteena saavuttaa konsensus Asiantuntijavalinnan vaikutus lopputulokseen asiantuntijavalinnan epämääräisyys & homogeenisuus samalta alalta samankaltainen puolueellisuus tai rajoittuneisuus Vastaajia pitää motivoida Kyselylomakkeen puutteet sanojen merkitys, pituus Aiheeseen johdattelu Asiantuntijoiden optimistisuus/pessimistisyys (aikajänne) Tapahtumien haluttavuus ja todennäköisyys ovat kaksi eri asiaa Häiritseviä tai tukevia ristiin kytkentöjä ei oteta huomioon Voivat vaikuttaa merkittävästi tulevaisuuden kehityskulkuihin 11 Delfoin hyötyjä Asiantuntijat eri puolilta maailmaa Jos ei ole analyyttisia tekniikoita käytössä Kollektiivisten subjektiivisten arvioiden hyödyllisyys Ongelman laajuus, kompleksisuus tai tieteidenvälisyys Korkea auktoriteetti tai muuten voimakas persoona ei pääse dominoimaan keskustelua Anonymiteetti ei mielipiteen lausumisen vaikeuksia ei leimautumisen vaaraa Argumenttien iteraatio perusteluiden sisällyttäminen palautteeseen antaa jokaiselle osallistujalle erilaisia ja uusia näkökulmia Menetelmässä otetaan kantaa rajattuun aineistoon 12 16

7 Artikkeleita 1. Dalkey, N. & Helmer, O An Experimental Application of the Delphi Method to the Use of Experts. The RAND Corporation, Santa Monica, California 2. Van De Ven, A.H. & Delbecq, A.L The Effectiveness of Nominal, Delphi, and Interacting Group Decision Making Processes. The Academy of Management Journal. Vol. 17(4), pp Preble, J.F The selection of Delphi Panels for Strategic Planning Purposes. Strategic Management Journal. Vol. 5(2), pp Czinkota, M.R. & Ronkainen, I.A International Business and Trade in the Next Decade: Report from a Delphi Study. Journal of International Business Studies. Vol. 28(4), pp Delfoi-tutkimukset Tutkimusten (3 artikkelin) esittely lyhyesti 14 17

8 RAND-Corporation RAND-Corporation Vuonna 1953 Menetelmä esitellään Strategista tietoa sodankäyntiin U.S vs. S.U Pommien määrän ennustus Myös kritiikkiä ja pohdintaa menetelmästä 5 kierrosta + 5. kierroksen korjattu vastaus 4 taloustieteilijää, systeemianalyytikko, sähköinsinööri, fyysisten vaurioiden analyytikko 15 Vertailu: NGT, Delfoi ja Kokousja ideointitekniikat 1/3 Tehokkaiden menetelmien löytäminen ongelmanratkaisuun (hallinnollinen) Erilaiset taustat ja näkökulmat Vertaileva tutkimus NGT:n vaiheet 1. Omaa hiljaista pohdintaa, kirjoittaminen, ideoiden tuottaminen 2. Kukin esittelee yhden ideansa 3. Keskustelua, selvennyksiä ja täsmennyksiä 4. Suljettu äänestys 16 18

9 Vertailu: NGT, Delfoi ja Kokous- ja ideointitekniikat 2/3 Kritiikkiä: Delfoi ollut huonoin metodi Syitä: valittu epäpäteviä asiantuntijoita, kokeellisten tulosten manipulointi Tutkimuskysymys: Kuinka määritellään työnkuva osa-aikaisille opiskelijaasuntoloiden valvojille? Kriteerit Ideoiden määrä Havaittavissa oleva ryhmätyytyväisyys 17 Vertailu: NGT, Delfoi ja Kokous- ja ideointitekniikat 3/3 Hypoteesit NGT on tehokkaampi kuin Delfoi ja kokous- ja ideointitekniikat Delfoi on tehokkaampi kuin kokous- ja ideointitekniikat Otos: 420 osallistujaa, 60 itsenäistä paneelia. 20 erilaista paneelia per menetelmä 7 panelistia per paneeli Tulos: NGT ja Delfoi yhtä hyödyllisiä ja tehokkaita Suositukset NGT silloin, kun ihmiset saadaan helposti kasaan, dataa saatava nopeasti Delfoi silloin, kun ihmiset eri puolilla maailmaa, ei vaadita nopeaa toimintaa datan saamisessa 18 19

10 Delfoi-panelistien valinta 1/3 Yrityksen sisäinen vai yritysten välinen paneeli? Eroavatko ne toisistaan? Tuottavatko erilaiset paneelit samanlaisia tuloksia? sosio-poliittisten liiketoimintaympäristöjen tulevaisuuden ennustaminen Artikkelin alussa johdatus aiheeseen: Delfoi 30 v. Sovellettu sekä voittoa tavoitteleviin että voittoa tavoittelemattomiin yrityksiin Huolestunut Delfoi-tutkimusten laadusta Kritiikkiä ja tieteellistä keskustelua (vastaan:sackman, puolesta: Linstone & Turoff.) Linstone&Turoff: to develop proper guidelines for its use, we can and should subject Delphi to systematic study and evaluation in the same way as has been the case with other techniques of analysis and communication. Much still needs to be learned. 19 Delfoi-panelistien valinta 2/3 Pohdintaa ja perusteluja yritysten sisäisille ja yritysten välisille paneeleille Henkivakuutusyhtiöt kypsä ja vakaa toimiala kohtaa paljon sosio-poliittisia muutoksia ympäristössä 15 jäsentä yritysten välisessä paneelissa 15 jäsentä yritysten sisäisessä paneelissa Samat tittelit ja roolit 27 tapauskuvausta, joihin vastataan (Perustui Flemingin 1978 tekemään tutkimukseen, jossa 56 tapahtumaa)

11 Delfoi-panelistien valinta 3/3 Kyselijöiltä kysyttiin palautetta myös Delfoi-menetelmästä Delfoi mahdollistaa oppimisen Palauteprosessin tärkeys 2 tuntia kyselylomakkeen täyttämiseen osallistuisivat jatkossakin Pohdintaa Delfoin rajoituksista Tutkimuksen tulos: Molemmat paneelit tuottavat saman tuloksen Suositellaan yrityksen sisäisen paneelin käyttämistä 21 Tehtävä (keskustelua 3-4 hengen ryhmissä) Sackman (RAND-Corporation) on esittänyt mm. seuraavaa kritiikkiä Delfoista (Mannermaa 1991, s. 161 suora lainaus): Asiantuntijoiden valintaa ei ole kuvattu Tutkimusongelmat ovat epäselvästi formuloituja Kyselylomakkeen väitteet ovat epämääräisiä niihin ei voi vastata objektiivisesti Tulosten tilastollista merkitsevyyttä ei koskaan esitetä, ei käytetä esimerkiksi varianssianalyysiä eikä pohdita validisuutta eikä reliabiliteettia Ei pyritä luonnolliseen vaan ohjattuun konsensukseen Delfoi on suorittajien ja toimeksiantajien keino vapautua omasta vastuusta Mikä tahansa Gallup-tutkimus on tieteellisesti pätevämpi kuin Delfoi-menetelmä. Millaisia ajatuksia kritiikki sinussa herättää?

12 Tärkeää (enemmän tai vähemmän) Kyselytutkimuksen suorittaminen ja sen haasteet sinänsä eivät ole tietyn menetelmän ominaisuuksia kuten Delfoin Kuinka vertailla: kvalitatiivinen ja kvalitatiivinen? Onko tarkoituksenmukaista? Odotukset: yksityiskohtainen data vai laajempi, yleinen arvio Käyttää tilanteissa, joissa muiden menetelmien käyttö on jostakin syystä hankalaa tai mahdotonta Mannermaa 1991, s Lähteet 1. Czinkota, M.R. & Ronkainen, I.A International Business and Trade in the Next Decade: Report from a Delphi Study. Journal of International Business Studies. Vol. 28(4), pp Dalkey, N. & Helmer, O An Experimental Application of the Delphi Method to the Use of Experts. The RAND Corporation, Santa Monica, California 3. Mannermaa, M Tulevaisuuden hallinta skenaariot strategiatyöskentelyssä. Porvoo, WSOY, 227 s. 4. Mäkinen, S. & Nokelainen, T Teknologioiden analysointi. Oppimateriaali 2/2003. Tampereen teknillinen yliopisto, tuotantotalouden osasto. 168 s. 5. Preble, J.F The selection of Delphi Panels for Strategic Planning Purposes. Strategic Management Journal. Vol. 5(2), pp Tulevaisuudentutkimuksen Verkostoakatemia, tva. [ 7. Van De Ven, A.H. & Delbecq, A.L The Effectiveness of Nominal, Delphi, and Interacting Group Decision Making Processes. The Academy of Management Journal. Vol. 17(4), pp