Asiantuntijoiden mielipiteiden stabiliuden mittaus tulevaisuustutkimuksessa

Transkriptio

1 Asiantuntijoiden mielipiteiden stabiliuden mittaaminen Asiantuntijoiden stabiliutta koskeva kirjoitus julkaistiin työministeriön internetsivuilla. Sen lähdeviite on: Metsämuuronen, J. 1997: Asiantuntijoiden mielipiteiden stabiliuden mittaus tulevaisuustutkimuksessa. Työelämän muutosten ja koulutustarpeiden ennakoinnin menetelmät käytäntöineen. Työministeriön Internetjulkaisu. Asiantuntijoiden mielipiteiden stabiliuden mittaus tulevaisuustutkimuksessa Tässä artikkelissa verrataan kahta tapaa arvioida asiantuntijoiden mielipiteiden pysyvyyttä eli stabiliteettia, kun samat asiantuntijat ovat numeerisesti arvottaneet tulevaisuuden attribuutteja kahteen kertaan. Korrelaatiokerrointa verrataan stabiliteettikertoimeen. Tietyissä erikoistilanteissa stabiliteettikerroin antaa oleellisesti luotettavampaa tietoa kuin perinteinen testi-uusintatesti-korrelaatio. Artikkelissa pohditaan myös stabiliteettikertoimen käyttöä heikkojen signaalien analysoinnissa. Asiasanat: Menetelmäkuvaus, Testi-uusintatesti-menetelmä, Korrelaatio, Stabiliteetti, Reliabiliteetti, Likert-asteikko Ilmiön stabilius ja testiuusintatestimittaus Tavallisin tapa arvioida ilmiön (esimerkiksi arvojen, motiivien, mielipiteiden tai mielenkiinnon) pysyvyyttä eli stabiliteettia on käyttää testi-uusinta -menetelmää. Ilmiötä on mitattu aluksi esimerkiksi viisi- tai kuusiportaisella Likert-asteikolla (täysin samaa mieltä - täysin eri mieltä -skaalalla). Tietyn ajan (esimerkiksi puolen vuoden tai vuoden) kuluttua mitataan samoilta henkilöiltä samalla mittarilla asiaa uudelleen. Mittausten välille lasketaan perinteisesti korrelaatiokerroin, joka kertoo vastausten stabiliteetin. Joskus testi-uusinta-menetelmää käytetään mittauksen luotettavuuden eli reliabiliteeetin laskemiseksi (Anastasi 1988, 116; Asher 1976, 93; Cronbach 1951, 298; Crocker & Algina 1986, ; DeVillis 1991, 37; Zarrella & Schuerger 1990, 1067). Kuitenkin luotettavammat tavat laskea varsinaisesti mittarin tai mittauksen reliabiliteetti perustuvat sisäisen konsistenssin laskemiseen (Spearman 1910, Brown 1910, Cronbach 1951, Tarkkonen 1987, Bollen 1989). Testi-uusintatesti-korrelaatio antaa tietoa ilmiön tai mittauksen stabiliteetista erityisesti silloin, kun aikaintervalli on pitempi kuin kaksi viikkoa (Nunnally 1978, ; Tarkkonen 1987, 25). Stabiliteettia voidaan kuitenkin myös pitää ainakin jossain määrin luotettavuuden indikaattorina. Mikäli nimittäin mielipiteet tai arvostukset muuttuvat päivästä ja viikosta toiseen, ei ole mahdollista saada luotettavaa tietoa ilmiöstä yhden mittauksen perusteella, vaikka sisäinen konsistenssi mittauksessa olisikin korkea. Toisaalta, mikäli mielipiteet ovat kohtuullisen pysyviä, se heijastaa ilmiön suurta ennustettavuutta. Alhainen stabilius puhuu puolestaan heikosta ennustettavuudesta. Onneksi ihmistieteissä useimmiten tutkitut ilmiöt (kuten arvot, motiivit ja mielipiteet) ovat suhteellisen pysyviä (Shaw & Wright 1967, 9; Nunnally 1978, 235). Zarrella ja Schuerger esimerkiksi analysoivat 62 itsenäistä ammatilliseen 73

2 mielenkiintoon liittyvää tutkimusta ja havaitsivat, että keskimääräinen stabiliteetti vaihteli välillä (Zarrella & Schuerger 1990, 1069). Metsämuurosen aineistossa motiivien stabilius vaihteli välillä (Metsämuuronen 1995, ). Nunnallyn mukaan kohtuullisen pitkällä (noin puolen vuoden) aikavälillä todetut erot mitatuissa ilmiössä johtuvat ihmisten systemaattisesta muuttumisesta (Nunnally 1978, ). Stabiliteetin mittaaminen korrelaatiolla Stabiliteetin mittaaminen tapahtuu siis perinteisesti testin ja uusintatestin välisellä korrelaatiokertoimella. Korkea korrelaatio indikoi korkeaa stabiliteettia ja päinvastoin. Korrelaatiokertoimen laskemisessa käytetään useimmiten Pearsonin kaavaa (1) (Crocker & Algina 1986, 32-33, 115; Anastasi 1988, 113): (xi - x)(yi - y) rry= (1) N(Sx)(Sy) Joissain tilasto-ohjelmistoissa käytetään saman kaavan toista muotoa (2), jossa nimittäjä on hieman erilainen (Mustonen 1992, 374): Sxy (xi - x)(yi - y) rry= = (2), (n-1)(sx)(sy) SxSy missä Sxy viittaa muuttujien x ja y kovarianssiin, Sx ja Sy viittaavat muuttujien x ja y hajontaan, xi ja yi viittaavat yksittäisiin havaintoihin ja x ja y viittaavat kyseisten muuttujien keskiarvoihin. On hieman triviaalia esittää tällaisia peruslaskukaavoja, jotka kuuluvat alkeisoppikirjoihin. Esitän ne kuitenkin siitä syystä, että kaavoista näkee helposti erään korrelaatiokertoimen hankaluuden. Mikäli nimittäin muuttujien keskipoikkeama (matemaattisesti xi - x ja yi - y) on pieni, se johtaa nollakorrelaatioon. Esimerkiksi tilanteessa, jossa lähes kaikki asiantuntijat ovat olleet yksimielisiä jonkin tulevaisuuden attribuutin suhteen molemmissa mittauksissa, tulee korrelaatioksi nolla, vaikka todellisuudessa yhteys kahden mittauksen välillä on täydellinen eli korrelaation pitäisi olla lähellä ykköstä. Kuvatussa tilanteessa samanlainen ongelma syntyy järjestyskorrelaatiokertoimen (Kendallin tau) laskemisessa: koska järjestykset eivät muutu, tau redusoituu nollaksi (Kendall & Gibbons 1990, 4; Thorndike 1978, 90). Onko mitään tapaa saada tässä erikoistilanteessa selville todellinen asiantuntijoiden mielipiteiden stabiliteetti? Olen kehittänyt vastaavanlaista tilannetta varten ns. stabiliteettikertoimen, joka perustuu Markovin ketjujen, siirtymätodennäköisyyksien ja ehdollisten todennäköisyyksien teoriaan (Metsämuuronen 1995). Markovin ketjut ja ehdollinen todennäköisyys Stabiliteettikertoimen (Sbxy) perustelemista varten tarvitaan hieman tietoa Markovin ketjuista ja ehdollisesta todennäköisyydestä (Cox & Miller 1965, DeGroot 1986). Markovin ketjuja on käytetty ymmärtämään prosesseja ja niissä olevia ti- 74

3 loja. Kysymys Markovin ketjujen kannalta kuuluu: mikä on todennäköisyys siirtyä tilasta (0) tilaan (1). Asiantuntijamielipiteen stabiliuteen soveltaen kysytään: mikä on todennäköisyys sille, että kun alunperin asiantuntija oli samaa mieltä, hän onkin toisella kerralla eri mieltä tai päin vastoin. Markovin ketjujen teoriassa oletuksena on, että seuraavan tilan todennäköisyys ei riipu historiasta, sillä on sama mitä reittiä nykyiseen tilaan on tultu. Nykyinen tila riippuu vain edellisestä tilasta. Jos yksinkertaistamme alkuperäistä viisiportaista Likert-asteikkoa siten, että ajattelemme olevan vain kolme tilaa: eri mieltä (tila [0]), samaa mieltä (tila [1]) ja epävarma (tila [e]), voimme yksinkertaisesti demonstroida asiantuntijamielipiteet kolmitilaisena Markovin ketjuna: loppumittaus tila(0) tila(1) tila(e) yhteensä alku- tila (0) a 00 a 01 a 0e Summa a 0j mittaus tila (1) a 10 a 11 a 1e Summa a 1j tila (e) a e0 a e1 a ee Summa a ej Summa aij missä a00 viittaa niiden henkilöiden lukumäärään, jotka pysyivät tilassa (0), toisin sanoen vastaajat olivat eri mieltä kuin väite molemmissa mittauksissa. Mielipide pysyi tällöin stabiilina. a01 viittaa niiden henkilöiden lukumäärään, jotka siirtyivät tilasta (0) tilaan (1) eli jotka olivat ensimmäisellä kerralla eri mieltä väitteestä, mutta toisella kerralla samaa mieltä. Mielipide ei siis ollut stabiili. a0e viittaa niiden henkilöiden lukumäärään, jotka siirtyivät tilasta (0) tilaan (e) eli niihin henkilöihin, jotka ensimmäisellä kerralla olivat eri mieltä väitteestä, mutta toisella kerralla olivat epävarmoja. Tällöinkin mielipide oli epästabiili. a0j viittaa kaikkien niiden henkilöiden lukumäärään, jotka olivat ensimmäisellä kerralla eri mieltä kuin väite. Muiden indikaattoreiden tulkinta on vastaavanlainen. Viimeinen aij viittaa kaikkien vastaajien määrään. Perinteisesti siirtymätodennäköisyydet lasketaan Markovin hengessä siten, että P(a0j)=1, P(a1j)=1 ja P(aej)=1, eli rivien todennäköisyydet tulevat 1:ksi. Emme kuitenkaan ole ensisijaisesti kiinnostuneita siirtymätodennäköisyyksistä Markovin hengessä, vaan haluaisimme tietää pysymistodennäköisyyden. Tässä mielessä kiintoisia ovat diagonaalilla sijaitsevat indikaattorit a00, a11 ja aee, jotka kertovat samanmielisinä pysyneiden henkilöiden lukumäärän. Kuinka päästään laskemaan mielipiteen stabiliuden todennäköisyys? Todennäköisyys pysyä tilassa (0) ehdolla, että oli tilassa (0) ensimmäisessä mittauksessa, on yksinkertaista laskea ehdollisen todennäköisyyden kaavan (3) avulla (esim. DeGroot 1986, 57): P(A ehdolla B) = P(A ja B) * P(B) (3) Nyt P(A ehdolla B) on A:n todennäköisyys ehdolla B, P(A ja B) on A ja B joukkojen leikkauksen todennäköisyys ja P(B) on tilan todennäköisyys ensimmäisessä mittauksessa. Näin ollen todennäköisyys pysyä tilassa (0) ehdolla, että oli tilassa (0), saadaan laskettua seuraavasti: 75

4 a00 a0j a00 P(tila[0] ehdolla tila [0]) = * = a0j aij aij Vastaavasti todennäköisyys pysyä tilassa (1) ehdolla, että oli tilassa (1) lasketaan: a11 a1j a11 P(tila[1] ehdolla tila [1]) = * = a1i aij aij Edelleen todennäköisyys pysyä tilassa (e) ehdolla, että oli tilassa (e) saadaan: a11 aej aee P(tila[e] ehdolla tila [e]) = * = aej aij aij Kokonaistodennäköisyyden lain perusteella todennäköisyys pysyä samassa tilassa voidaan laskea seuraavasti: a00 a11 aee a00 + a11 + aee Sbxy = + + = aij aij aij aij Stabiliuden todennäköisyyden logiikka on siis läpinäkyvä, ellei peräti itsestään selväkin: jos haluamme tietää mielipiteiden stabiliteetin, laskemme yhteen kaikki ne tapaukset, jossa asiantuntijat ovat olleet yhtämieltä kahden eri mittauksen välillä. Saadun summan jaamme kaikkien havaintojen lukumäärällä. Näin saamme stabiliuden todennäköisyyden. Tulos saattaa vaikuttaa liian yksinkertaiselta, mutta teoria tuloksen takana ei suinkaan ole yksinkertainen. Stabiliteetin laskeminen kahdella eri tavalla Seuraavassa on simuloitu stabiliteetin laskemista keksityn aineiston avulla (taulukko 1). Oletetaan, että meillä on mitattu 32 asiantun- tijan mielipiteitä siitä, kuinka merkityksellisenä he pitävät erilaisia tulevaisuuden attribuutteja. Asiantuntijat ovat arvottaneet erilaisia tulevaisuuden attribuutteja viisiportaisella Likertasteikolla kaksi kertaa. Mukana on kolme erilaista muuttujaa. Muuttuja 1 on sellainen, josta kaikki asiantuntijat ovat olleet molemmilla mittauskerroilla hyvin yksimielisiä. Näin ollen keskipoikkeama redusoituu lähelle nollaa, mistä johtuen myös korrelaatiokerroin lähestyy nollaa. Muuttujan 2 suhteen eri asiantuntijat olivat melko erimielisiä (varianssi kohtuullisen suuri), mutta pysyivät itse kohtuullisen samanmielisinä molemmilla mittauskerroilla. Näin ollen korrelaatio kahden mittauskerran välillä on kohtuullinen. Muuttuja 3 edustaa muuttujia, joiden suhteen asiantuntijat olivat toisiinsa verrattuna voimakkaasti erimielisiä (varianssi suuri), mutta olivat itse melko samanmieli- 76

5 siä molemmilla mittauskerroilla. Korrelaatio mittauskertojen välillä nousee korkeaksi. Taulukoissa 1 ja 2 on kuvattu mainittujen 32 asiantuntijan simuloidut tulokset, viisiportainen Markovin ketju sekä korrelaatio- ja stabiliteettikertoimet. Taulukossa muuttujan nimessä x viittaa ensimmäiseen mittaukseen ja y jälkimmäiseen mittaukseen. Taulukko 1. Simuloitu asiantuntija mielipide kolmesta tulevaisuuden attribuutista NO x1 y1 x2 y2 x3 y Taulukko 2. Korrelaatio ja stabiliteetti viisiportaisessa Likert-mittauksessa 77

6 Korrelaatiot S x1=0.907 S x2=1.442 S x3= S y1=0.902 S y2=1.076 S y3=1.510 r xy1= = (x i - x)(y i - y)=1.125 (x i - x)(y i - y)= (x i - x)(y i - y)= *0.907*0.902 N=32 N=32 N= r xy2= = *1.442* rxy3= = *1.492*1.510 Stabiliteetti Muuttujan 1 Markovin ketju: Tila II mittauksessa (1) (2) (3) (4) (5) Yht Tila I (1) a11=0 a12=0 a13=0 a14=0 a15=1 a1j=1 mittauk- (2) a21=0 a22=0 a23=0 a24=1 a25=0 a2j=1 sessa (3) a31=0 a32=0 a33=0 a34=0 a35=0 a3j=0 (4) a41=1 a42=0 a43=1 a44=3 a45=6 a4j=6 (5) a51=0 a52=0 a53=2 a54=7 a55=15 a5j=24 aij=32 Pysyvyyden todennäköisyydet: Sbxy1= = = Sbxy2= = = Sbxy3= = = Havaitaan, että muuttujan 1 tilanteessa stabiliteettikerroin antoi oleellisesti erilaisen tuloksen kuin korrelaatiokerroin. Stabiliteetin suhteen korrelaatiokerroin (rxy= 0.04) antaa oleellisesti harhaisempaa informaatiota tilanteessa, jossa varianssi on mittausten sisällä pieni. Sen sijaan stabiliteettikerroin (Sbxy= 0.56) kertoo tarkalleen niiden henkilöiden suhteellisen lukumäärän, jotka pysyivät samanmielisinä mittausten välillä. Muuttujien 2 ja 3 osalta stabiliteettikerroin antaa pienemmän arvon kuin korrelaatiokerroin. Tältä osin korrelaatiokerroin siis yli- 78

7 arvioi stabiliteetin. Tämä johtuu osittain siitä, että matemaattinen menettely ei kykene havaitsemaan systemaattista muutosta mittausten välillä. Mikäli mittausten välillä tapahtuu systemaattinen arvojen kasvu tai väheneminen, korrelaatio voi olla täydellinen (1), vaikka todellinen stabiliteetti olisikin nolla. Korjaus sattumalta tulleen erimielisyyden vuoksi Vastaaminen Likert-asteikollisiin kysymyksiin ei ole aina helppoa. Yleensä helppoa on päättää se, onko väitteestä samaa mieltä vai eri mieltä. Sen sijaan se, onko väitteestä täysin samaa mieltä (5) vai melkein samaa mieltä (4) saattaakin jo olla sattuman kauppaa. Joskus olisi houkuttelevaa laittaa vastaus 5:n ja 4:n puoliväliin, mutta sellaista vaihtoehtoa ei ole annettu. Tämä ongelma ei poistu laajentamalla Likert-skaalaa. Tällaisissa tapauksissa voi käydä niin, että vastaajan mielipide on mittausten välillä pysynyt stabiilina, mutta sattumalta hän vastaakin eri tavoilla mittauksissa. Jotta emme tekisi virheellistä johtopäätöstä stabiliuden suhteen, voi olla joskus viisasta korjata tulosta sattumalta tulleen erimielisyyden varalta. Itse asiassa samantyyppistä ideaa käytettiin jo 1950-luvulla, kun kehiteltiin kahden eri arvioijan yhtenevyyden mittoja (Schutz 1952, Bennet ym. 1954, Cartwright 1956, Scott 1955). Tämän alueen tunnetuin mitta on Cohenin Kappa (Cohen 1968). Suomessa tämän tutkimusalueen varhaisia soveltajia ja kehittäjiä olivat Erkki Komulainen (mm ja 1974) ja Kai Karma (1972). Kahden eri arvioijan yhtenevyyden teoreettinen ongelma on se, että kaksi eri arvioijaa saattoivat antaa sattumalta saman arvion. Tällaista varten kehitettiin erilaisia korjauskertoimia. Sattumakorjatun yksimielisyyskertoimen idea oli se, että haluttiin minimoida sattumalta syntyneen yksimielisyyden aiheuttama harha (Cohen 1960, 38). Saman henkilön arvioita analysoitaessa ongelmallista on se, että vastaaja voi sattumalta antaa eri arvon kahdella eri mittauskerralla. Eräs tosin varsin karkea tapa ratkaista sattumalta tullut erimielisyys on redusoida Likert-asteikkoa. Redusoinnin perustana on ajatus siitä, että käytännössä arvot 4 ja 5 (samanmielisyys) edustavat samaa tilaa, samoin arvot 1 ja 2 (erimielisyys). Varsinaista muutosta mielipiteessä edustaa se, että vastaaja muuttuu epävarmasta tai erimielisestä (1, 2 ja 3) samanmieliseksi (4 tai 5) ja epävarmasta tai samanmielisestä (3, 4 tai 5) erimieliseksi (1 tai 2). Viisiportaisen Likert-skaalan redusointi tarkoittaa käytännössä sitä, että aina kun vastaaja on vastannut 1 tai 2 hän saa arvon 1 (eri mieltä), epätietoisuutta osoittava arvo 3 saa arvon 2 ja saman mielisyyttä osoittavat arvot 4 ja 5 saavat arvon 3. Tämän kaltainen korjauskerroin ei ole tarkka, mutta se antaa stabiliteetille ylärajan. Skaalan redusointi tulee hankalammaksi, kun Likert-skaala on laajempi kuin 6- portainen. Nimittäin 7 portaisessa Likertasteikossa ei ole aivan yhtä selvää, mitkä olisivat todennäköisimmät yhdistettävät arvot. Tällaisia tapauksia varten voisi olla hyvä kehittää tarkempia korjauskertoimia. Kun nyt skaalan kaventamisen jälkeen analysoidaan uudelleen taulukossa 1 olleet muuttujat, saadaan taulukossa 3 olevat tulokset. Huomion arvoista on se, että stabiliteettikertoimen arvot ovat korkeampia kuin korrelaatiokertoimen arvot. Muuttujan 1 (jossa kaikki olivat hyvin yksimielisiä) suhteen ero stabiliteetti- ja korrelaatiokertoimen välillä on huomattava. Korrelaatiokerroin (r= ) aliestimoi selvästi vastaajien stabiliteettia, mutta stabiliteettikerroin antaa tarkan todennäköisyyden vastauksien yhtenevyydelle (Sb=0.812). 79

8 Taulukko 3. Korrelaatio ja stabiliteetti kolmiportaisessa Likert-mittauksessa Muuttujan 1 Markovin ketju: Tila II mittauksessa (1) (2) (3) Yht. Tila I (1) a11=0 a12=0 a13=2 a1j=2 mittauk- (2) a21=0 a22=0 a23=0 a2j=0 sessa (3) a31=1 a32=3 a33=26 a3j=30 aij=32 Stabiliteetit ja korrelaatiot: Sb xy1= = = r xy1= = *0.492* Sb xy2= = = r xy2= = *1.878* Sb xy3= = = rxy3= = *0.798*0.803 Pohdintaa ja sovellusmahdollisuuksia Tässä esityksessä on vertailtu keskenään kahta tapaa laskea asiantuntijoiden mielipiteiden pysyvyyttä, kun mielipiteitä on kartoitettu Likertmittarilla testi-uusintatesti-menetelmällä. Perinteinen tapa laskea stabilius on käyttää testien välistä korrelaatiokerrointa. Perinteiseen korrelaatiokertoimeen on verrattu stabiliteettikerrointa, joka perustuu ehdollisen todennäköisyyden avulla laskettuun todennäköisyysmittaan. Stabiliteettikerroin kertoo täsmälleen asiantuntijoiden todennäköisyyden pysyä mielipiteiltään stabiileina. Taulukossa 4 on verrattu toisiinsa korrelaatiokertoimen (rxy) ja stabiliteettikertoimen (Sbxy) ominaisuuksia. Molemmat pysyvyyden mitat mittaavat samaa asiaa: kahden muuttujan välisen yhteyden astetta. Koska stabiliteettikerroin on todennäköisyysmitta, kertoimen arvot voivat vaihdella välillä 0-1. Asiantuntijamielipiteiden kannalta katsottuna stabiliteettikertoimen arvo 0 vastaa erityistapauksessa negatiivista korrelaatiota. Jos nimittäin kaikki asiantuntijat muuttavat mielipiteensä samanmielisyydestä (4 tai 5) erimielisyydeksi (1 ja 2) ja erimielisyydestä samanmielisyydeksi (eikä epävarmoja ole), ei diagonaalille tule yhtään alkiota, joten stabiliteetin arvo on 0. Tällöin korrelaatiokerroin saa arvon

9 Taulukko 4. Korrelaatiokertoimen ja stabiliteettikertoimen vertailu Ominaisuus Korrelaatiokerroin Stabiliteettikerroin Kaava S x y (x i - x)(y i - y) r ry = = S xs y (n-1)(s x)(s y) a ij, i=j Sb xy = a ij Vaihteluväli -1 < r ry < 1 0 < Sb xy < 1 Ensisijainen käyttö - arvoissa suuri vaihtelu - välimatka- tai suhdeasteikko - asteikon kaventaminen ei suotavaa tai ei mahdollista - arvoissa joko suuri tai pieni vaihtelu - luokittelu-, järjestys- tai välimatkaasteikko -asteikon kaventaminen on suotavaa / mahdollista On huomattava, että mikäli kaikkien asiantuntijoiden arvot molemmissa mittauksissa ovat täsmälleen samat, teoriassa korrelaatiokertoimen pitäisi olla 1. Tällaisessa tilanteessa stabiliteettikertoimen arvo todella on 1, mutta korrelaatiokertoimen arvo ei välttämättä ole. Voidaan sanoa, että korrelaatiokerroin antaa luotettavaa tietoa silloin, kun muuttujan varianssi on suuri. Tilanteessa, missä muutokset kahden mittauksen välillä ovat pieniä ja muuttujilla on pieni varianssi, stabiliteettikerroin antaa luotettavampaa tietoa asiantuntijoiden mielipiteiden pysyvyydestä kuin korrelaatiokerroin. Asiantuntijamenettelyihin perustuvassa tulevaisuustutkimuksessa on ilmeisen harvoin pohdittu asiantuntijoiden mielipiteiden pysyvyyttä eli stabiliteettia. Ilmeisesti mielipiteen on oletettu pysyvän stabiilina. Ongelma on se, että mikäli asiantuntijoiden mielipiteet tai arvotukset muuttuvat - ehkä peräti päinvastaisiksi - viikoittain tai kuukausittain, ei saatuun tulokseen voi luottaa; tulos on siis sattumaa. Delfi-tekniikassa stabiliteetin ongelman ratkaisu on sisään rakennettuna itse tutkimusprosessiin: asiantuntijoilla on oikeus muuttaa mielipidettään iteraatiokierroksien kuluessa. Ongelma tulee vastaan kuitenkin pidemmällä aikajänteellä. Nimittäin sen lisäksi, että asiantuntijoiden mielipiteet tulevaisuuden attribuuteista voivat muuttua, myös attribuutit muuttuvat, mikä väistämättä johtaa asiantuntijoiden mielipiteiden uudelleen arviointiin. Yksinkertaisella testi-uusintatesti-menettelyyn perustuvalla mittauksella on mahdollista laskea asiantuntijoiden mielipiteiden pysyvyys. Eräs mielenkiintoinen stabiliteettikertoimen sovellusalue saattaa olla ns. hiljaisten signaalien havaitseminen. Hiljaisia signaaleita on kahdenlaisia: uuden trendin noususignaali sekä toisaalta vanhan trendin laskusignaali. Heikkojen signaalien hankaluus on siinä, että jos kaikki huomaisivat nämä signaalit, ne eivät enää olisikaan heikkoja vaan vahvoja signaaleja. Näin ollen kun asiantuntijat laitetaan arvottamaan erilaisia tulevaisuuden attribuutteja, heikko signaali saa vain vähäisen painoarvon, sillä vain harvat asiantuntijat pitävät sitä todellisena signaalina. Mikäli samat asiantuntijat arvottavat tulevaisuuden attribuutteja uudelleen tietyn ajan kuluttua (esimerkiksi puolen vuoden tai vuoden), ja ilmenee, että toisessa mittauksessa suurempi joukko asiantuntijoita pitää kyseistä attribuuttia merkityksellisenä, on ilmeisesti löytynyt todellinen heikko signaali. Toisessa mittauksessa attribuutti ei enää ole heikko signaali, mutta se oli sitä vielä ensimmäisessä mittauksessa. Miten tämän heikon signaalin voisi kuvata matemaattisesti? Eräs mahdollisuus on kuvata heikkoja signaaleita edellä esitellyn Markovin ketjun ja siirtymätodennäköisyyden avulla. Kun edellä laskimme stabiliteetin arvon Markovin ketjun lävistäjäal- 81

10 kioiden summan avulla, voidaan heikkoja signaaleita löytää saman ketjun ylä- ja alakolmanneksista. Markovin ketjun yläkolmannekseen sijoittuvat ne asiantuntijat, jotka ensimmäisessä mittauksessa olivat eri mieltä, mutta jälkimmäisessä mittauksessa samaa mieltä väitteestä. Yläkolmannekseen sijoittuvien asiantuntijoiden lukumäärä kertoo siis sen, kuinka monta asiantuntijaa vaihtoi mielipidettään positiiviseen suuntaan koskien kyseisen tulevaisuuden attribuutin mahdollista merkitystä tulevaisuudessa. Alakolmannekseen puolestaan sijoittuvat ne asiantuntijat, joiden mielestä attribuutti menettää merkitystään. Esitetyssä tapauksessa heikon signaalin matemaattinen arvo perustuu ajatukseen siirtymätodennäköisyyksistä: mikä on todennäköisyys, että asiantuntija siirtyy tilasta (ei merkitystä) tilaan (on merkitystä) tai päinvastoin. Kun stabiliteettikerroin lasketaan Markovin ketjun lävistäjäalkioiden todennäköisyyksinä, lasketaan heikon signaalin todennäköisyys yläkolmanneksen solujen todennäköisyyksinä (nousevan trendin todennäköisyys) tai alakolmanneksen solujen todennäköisyyksinä (laskevan trendin todennäköisyys). Lopuksi Eräs oleellinen rajoitus stabiliteettikertoimen laskemisessa on se, että aineiston täytyy olla kerätty samoilta henkilöiltä kahdella mittauskerralla. Useinkaan asiantuntijamenettelyissä ei saada kokoon täsmälleen samaa joukkoa kahta kertaa. Toisaalta mikäli asiantuntijajoukko on ollut riittävän laaja, stabiliteetin laskemiseksi riittää se, että vain osa joukosta on samoja henkilöitä. Asiantuntijoiden identifiointi on joka tapauksessa oleellista stabiliteetin laskemiseksi. Tämä ei kuitenkaan liene ongelma, sillä vaikka käytettäisiinkin anonymiteetille perustuvia menetelmiä (kuten Delfi-tekniikkaa), tutkija itse tietää asiantuntijoiden vastaukset. LÄHTEET: Anastasi A Psychological Testing. 6th edition. New York: The MacMillan Company. Asher WJ Educational Research and Evaluation Methods. Boston:Little, Brown and Company. Bennett EM & Alpert R & Goldstein AC Communications Through Limited Response Questioning. Public Opinion Quarterly 18, pp Bollen KA Structural Equations with Latent Variables. New York: A Wiley-Interscience Publication. Brown W Some experimental results in the correlation of mental abilities. Brit. J. Psychol. 3. pp Cartwright DS A Rapid Non-Parametric Estimate of Multi-Judge Reliability. Psychometrica 21, pp Cohen JA A Coefficient of Agreement for Nominal Scales. Education and Psychological Measurement 20, pp Cohen JA Weighted kappa: Nominal Scale Agreement with Provision for Scaled Disagreement or partial Credit. Psychological Bulletin 70, pp Cox DR & Miller HD The Theory of Stochastic Processes. London: Methuen. Crocker L & Algina J Introduction to Classical & Modern Test Theory. New York: Holt, Rinehart and Winston. Cronbach LJ Coefficient alpha and the Internal Structure of Tests. Psychometrica 16(3) Sept. pp DeGroot MH Probability and Statistics. 2nd edition. Reading, Mass.: Addison-Wesley Publishing Company. 82

11 DeVellis RS Scale development. Theory and Applications. Applied Social Research Method Series Vol 26. Newbury Park: Sage Publications. Karma K Investigations into the Instructional Process. V. Experiences with the Bellack Classification System. Research Bulletin. Institute of Education, University of Helsinki, N:o 30. Kendall M & Gibbons JD Rank Correlation Methods. 5th edition. A Charles Griffin Title. London: Edward Arnold. A Division of Hodder & Stoughton. Komulainen E Investigations into the Instructional Process. II. Objectivity of Coding in a Modified Flanders Interaction Analysis. Research Bulletin. Institute of Education, University of Helsinki, N:o 27. Komulainen E Sattumakorjattujen yksimielisyyskertoimien käytöstä luokitteluun perustuvan tutkimusaineiston yhteydessä. Helsingin yliopiston kasvatustieteen laitos. Tutkimuksia N:o 33. Metsämuuronen J Harrastukset ja omaehtoinen oppiminen: sitoutuminen, motivaatio ja coping. Teoreettinen tausta, rakenneanalyysi ja sitoutuminen. Helsingin yliopiston opettajankoulutuslaitos, Tutkimuksia 146. Vantaa: Tummavuoren kirjapaino. Mustonen S SURVO, An Integrated Environment for Statistical Computing and Related Areas. Helsinki, Finland: Helsinki University Printing House. Nunnally JC Psychometric Theory. 2nd edition. New York: McGraw Hill Book Company. Schutz WC Ambiquity and Content Analysis. Psychological Review 59, pp Scott WA Reliability of Content Analysis: The Case of Nominal Scale Coding. Public Opinion Quarterly 19, pp Shaw ME & Wright JM Scales for the measurement of attitudes. New York: McGraw-Hill Book Company. Spearman C Correlation calculated with faulty data. Brit. J. Psychol. 3, pp Tarkkonen L On Reliability of Composite Scales. An Essay on the Properties of the Coefficients of Reliability - An Unified Approach. Tilastotieteellisiä tutkimuksia 7. Helsinki: Finnish Statistical Society. Zarrella KL & Schuerger JM Temporal Stability of Occupational Interest Inventories. Psychological Reports 66. pp