1 Metropolia ammattikorkeakoulu Liiketalouden yksikkö Pertti Vilpas Ohjeita kvantitatiiviseen tutkimukseen Osa 1 Sisältö: 1. Kvantitatiivisen tutkimuksen perusteita.2 2. Määrällisen tutkimusprosessin vaiheet..3 3. Kyselylomakkeen laatiminen ja tutkimusaineiston keruu.5 4. Aineiston keruu ja otanta...8 5. Tutkimuksen validiteetti ja reliabiliteetti.11 Yhteystiedot: Pertti Vilpas pertti.vilpas@metropolia.fi
2 1. KVANTITATIIVISEN TUTKIMUKSEN PERUSTEITA Tutkimuksen aineiston keräämisessä voidaan käyttää joko laadullista tai määrällistä tutkimusmenetelmää. Tutkimusmenetelmiä voidaan myös yhdistää, ja ne voivat täydentää toisiaan, mutta pääpaino on selkeästi aina toisella näistä menetelmistä. Kvalitatiivista eli laadullista menetelmää käyttävässä tutkimuksessa voidaan selvittää esimerkiksi, kuinka johonkin tapahtumaan tai prosessiin osallistuva henkilö mieltää tehtävän sisäisen rakenteen tai toiminnan. Laadullista analyysiä kannattaakin usein tehdä kohteesta, joka on toistaiseksi niin epäselvä, että siitä ei vielä ole mielekästä tehdä määrällistä analyysiä. Laadullista menetelmää käytettäessä ei tehdä haastattelukysymyksiä, jotka edellyttävät vastaajan valitsevan annetuista vastausvaihtoehdoista, vaan vastaajien annetaan jäsentää vastauksiaan omaehtoisesti. Tutkijan tehtävänä on sitten koota näin saadusta laadullisesta datasta yhtenäinen selitys kohteesta. Kvantitatiivista eli määrällistä menetelmää käyttävä tutkimus kuvaa ja tulkitsee ilmiöitä mittausmenetelmillä, jotka keräävät numeerisia tutkimusaineistoja. Kvantitatiivinen tutkimus edellyttää tutkittavan ilmiön (esim. asiakastyytyväisyys) tekijöiden, parametrien tai muuttujien tuntemista. Ei voida suorittaa mittauksia, jos ei tiedetä mitä mitataan. Tutkittava ilmiö muutetaan muuttujiksi, joita käsitellään määrällisessä tutkimuksessa tilastollisin menetelmin. Jos aineisto kerätään kyselylomakkeen avulla, lomake sisältää pääasiassa ns. suljettuja eli strukturoituja kysymyksiä. Määrällinen tutkimus perustuu siis mittaamiseen, jonka tuloksena syntyy lukuarvoja sisältävä havaintoaineisto, jota analysoidaan tilastollisin analyysimenetelmin. Kvantitatiivinen tutkimus perustuu positivismiin, jossa korostetaan tiedon perusteluja, luotettavuutta, objektiivisuutta ja yleistettävyyttä. Tilastotiede pyrkii tiivistämään ja selittämään numeroaineistoa käyttäen tilastollisia tunnuslukuja. Samoin muuttujien välisten riippuvuuksien etsiminen, ilmiöiden selittäminen ja kehityksen ennustaminen voivat olla analyysin tavoitteita. Raakatilastot sisältävät liian paljon lukuja, jotta niiden perusteella pystyisi tekemään päätelmiä tutkimuksen kohteena olevan ilmiön piirteistä. Nykyisin aineistot analysoidaan atk-ohjelmien (SPSS. SAS, Excel jne.) avulla. Jotta tutkimuksessa saatuja tuloksia voidaan pitää luotettavina, on tutkimusaineiston oltava riittävän suuri ja edustava. Kvalitatiiviset ja kvantitatiiviset tutkimusmenetelmät voivat myös täydentää toisiaan. Laadullista tutkimusta voidaan lisäksi käyttää määrällisen tutkimuksen esikokeena testaamaan aiottujen mitattavien seikkojen tarkoituksenmukaisuutta ja mielekkyyttä ja sillä voidaan testata esimerkiksi kyselylomakkeen keskeisistä käsitteistä. Laadullinen tutkimus laajentaa ja syventää kvantitatiivisen analyysin numeerisia tuloksia esimerkiksi haastatteluaineistojen avulla.
3 2. MÄÄRÄLLISEN TUTKIMUSPROSESSIN VAIHEET Tutkimusprosessi voidaan määrällisessä tutkimuksessa vaiheistaa seuraavasti: 1. Tutkimusongelman ja siitä johdettujen alaongelmien, tutkimuskysymysten määrittäminen 2. Kohdejoukon määrittely ja tiedonkeruulomakkeen laadinta 3. Mahdollisen otantamenetelmän valinta ja aineiston keruu 4. Aineiston tilastollinen käsittely 5. Raportointi ja johtopäätösten tekeminen Seuraavassa kaaviossa on tarkempi kuvaus prosessista. Karjalainen - Tilastolliset menetelmät
4 Kvantitatiiviseen tutkimuksen pohjalla on lähes aina teoreettista, tutkittua tietoa ilmiöstä. Tutkija soveltaa omassa tutkimuksessaan tätä teoriaa käytäntöön ja haluaa ratkaista ilmiöön liittyvän tutkimusongelman. Tutkimusongelman ja tutkimuskysymyksien muotoilu antaa viitteitä siitä, millaista tietoa tutkimuksessa halutaan saada. Esimerkki Opinnäytetyö: Yritys ABC:n asiakastyytyväisyystutkimus Tämän opinnäytetyön tarkoituksena oli löytää yritys ABC:n toimipisteen korjaamon edustamien automerkkien asiakastyytyväisyysjärjestelmistä yhteiset asiakastyytyväisyyttä heikentävät tekijät. Tavoitteena oli löytää edustettujen merkkien asiakastyytyväisyysjärjestelmistä muutama tärkeä yhteinen tekijä, jotka vaikuttavat kielteisesti korjaamon asiakastyytyväisyyteen ja esittää näihin parannuskeinoja. Tutkimuksen teoriaosuudessa esitellään toimeksiannon antanut yritys, asiakastyytyväisyyden ja palvelun käsitteet sekä kaikki tutkimuksessa käytetyt asiakastyytyväisyysjärjestelmät. Varsinainen empiirinen tutkimus tehtiin loppuvuodesta XXXX. Tutkimuksen aineistona olivat huollon edustamien automerkkien asiakastyytyväisyysjärjestelmät sekä huollon oman asiakastyytyväisyyskyselyn vapaat palautteet. Saatujen tulosten perusteella voidaan todeta, että varsinkin odotusaikaan, autojen siisteyteen ja kustannusarvioon liittyvillä parannuksilla asiakastyytyväisyyttä voidaan edelleen kohentaa, vaikka se on jo hyvällä tasolla. Asiakastyytyväisyys - teoreettisesta viitekehyksestä Eräs asiakastyytyväisyyteen liittyvä malli on diskonfirmaatiomalli, joka tarkoittaa ostoa edeltävien odotusten ja oston jälkeisten kokemusten suhdetta. Diskonfirmaatio syntyy, kun odotukset ja kokemukset poikkeavat toisistaan (Heikkinen, 2003). Mallin avulla odotukset ja kokemukset voidaan jakaa kolmeen luokkaan: 1. Aliodotustilanne = myönteinen kokemus, jonka seurauksena asiakassuhde vahvistuu 2. Tasapainotilanne = odotusten vastaavuus, jolloin asiakkaan odotukset ja kokemukset kohtaavat täydellisesti. Asiakas on luultavasti edelleen halukas jatkamaan osaltaan asiakassuhdetta. 3. Yliodotustilanne = kielteinen kokemus, jolloin asiakas ei enää mahdollisesti ole halukas jatkamaan asiakassuhdetta. Asiakkaalla on tällöin ollut liian suuret odotukset verrattuna kokemuksiin. Hypoteesilla tarkoitetaan ennakoitua ratkaisua tai selitystä tutkittavaan ongelmaan. Ne muodostuvat teorian ja aikaisempien tutkimusten pohjalta. Kerätyn tutkimusaineiston pohjalta voidaan tutkia, pitävätkö hypoteesit paikkaansa. Teoriasta johdettua hypoteesia voidaan testata oman tutkimusaineiston valossa.
5 Kvantitatiivisen tutkimuksen peruskäsitteitä Seuraavassa taulukossa on lueteltu kvantitatiivisen, tilastollisen tutkimuksen tärkeimpiä peruskäsitteitä. Käsite Perusjoukko => Tutkimuksen kohdejoukko Tilastoyksikkö => Havaintoyksikkö eli alkio Tilastollinen muuttuja => Ominaisuudet, joita tutkitaan Kokonaistutkimus => Tutkitaan kaikki tilastoyksiköt Otantatutkimus => Tutkitaan edustava otos perusjoukosta Esimerkki Yrityksen asiakkaat, Metropolian opiskelijat, Palvelun käyttäjät, nuoret aikuiset, yrityksen työntekijät, kaikki suomalaiset Yksi asiakas, yksi opiskelija, yksi suomalainen Ikä, sukupuoli, ammatti, palkka, mielipide, asenne Yrityksen työntekijöiden ilmapiiritutkimus Yrityksen asiakastutkimus, opiskelijoiden asennetutkimus, puolueiden kannatus 3. KYSELYLOMAKKEEN LAATIMINEN JA TUTKIMUSAINEISTON KERUU Määrällisen aineiston kyselylomakkeessa käytetään lähinnä ns. suljettuja kysymyksiä, joihin vastataan strukturoidun, annetun asteikon mukaisesti. Myös ns. avoimia kysymyksiä sisältyy yleensä aineiston keruuseen, näihin annetaan kyselylomakkeessa vastaustilaa. Tutkimuslomake perustuu tutkimusongelman ja siitä johdettujen alaongelmien määrityksiin ja siten lomakkeen pohjana ovat tutkimuksen teoreettisen viitekehyksen keskeiset käsitteet. Määrällinen menetelmä keskittyy tutkimusyksiöiden eri muuttujien saamien arvojen välisten erojen kuvailuun ja selittämiseen. Tutkija pyrkii etsimään tilastollisia säännönmukaisuuksia, jotka selittävät muuttujien arvojen liittymistä toisiinsa. Kysymysten toimivuutta voidaan arvioida mm. seuraavien seikkojen perusteella: 1. Vastaajat ymmärtävät kysymykset oikein 2. Vastaajilla on kysymysten edellyttämä tieto 3. Kysymykset ovat yksiselitteisiä
6 Määrälliseen tutkimukseen liittyvät asiat eivät aina taivu helposti numeerisesti mitattaviksi. Vaikka mittaaminen näennäisesti sujuisikin, niin mittaamisen luotettavuus ja tarkkuus voidaan asettaa kyseenalaiseksi. Mitattava ominaisuus on operationalisoitava, eli se on saatava mitattavaan muotoon. Operationaalinen määritelmä tuo siis esiin, miten käsite on empiirisesti mitattavissa. Esimerkki > työtyytyväisyyden mittaaminen Työtyytyväisyys sisältää monenlaisia aspekteja: tyytyväisyys palkkaan, tyytyväisyys yrityksen johtoon, tyytyväisyys työn sisältöön, tyytyväisyys työympäristöön, tyytyväisyys työtovereihin. Työntekijöille esitettyjen kysymysten lisäksi työtyytyväisyyttä voidaan arvioida erilaisia indikaattoreiden avulla (mm. sairaus poissaolo, työsuhteen kesto jne.) Taustamuuttujat ovat myös määritettävä (sukupuoli, koulutus, ikä, ). Perusjoukko on usein jaettava ositteisiin eli kiintiöihin taustamuuttujien perusteella ja otoksessa on oltava riittävä edustus jokaisesta ositteesta. Tutkijalla pitäisi olla myös jokin ennakkokäsitys taustamuuttujista, jotka saattavat vaikuttaa muuttujan jakaumaan (esim. ikä saattaa vaikuttaa vastaajan mielipiteeseen ) Kyselylomakkeen testaus Lomake on testattava ennen aineiston keruuta. Lomakkeen huolellinen suunnittelu ja testaaminen muutamien testivastaajien avulla vaikuttavat ratkaisevasti tutkimuksen onnistumiseen. Mittaaminen ja mitta-asteikot Mittaaminen tarkoittaa toimenpidettä, jolla tilastoyksikköön liitetään jotain sen ominaisuutta kuvaava luku tai symboli. Tilastollinen muuttuja voi olla jatkuva (pituus, paino, rahamäärä jne.) tai epäjatkuva eli diskreetti (sukupuoli, koulutus jne.). Mitta-asteikot ovat: Luokittelu- eli nominaaliasteikko, tällöin yksiköt pelkästään luokitellaan tiettyihin ennalta määrättyihin luokkiin. Luokkien järjestyksellä ei ole merkitystä. Siviilisääty > naimisissa/naimaton/eronnut/ avoliitossa Järjestys-eli ordinaaliasteikko, tällöin luokittelun lisäksi luokat voidaan järjestää mitattavan ominaisuuden mukaan järjestykseen. Peruslaskutoimituksia ei voida suorittaa. Täysin eri mieltä/jokseenkin eri mieltä/jokseenkin samaa mieltä/täysin samaa mieltä Välimatka- intervalliasteikko, tällöin muuttujan arvojen lisäykset voidaan laskea, ts. erotus on siis määritelty. Asteikolla ei ole yksikäsitteisesti määriteltyä nollakohtaa, vaan se voidaan valita. Palvelu on ystävällistä 4 3 2 1 Epäystävällistä Suhdeasteikko, tällöin asteikko täyttää välimatka-asteikon vaatimukset, mutta lisäksi asteikolla on absoluuttinen, yksikäsitteinen, nollakohta. Kuukausipalkka
7 Käytetyt kysymystyypit Suljetuissa kysymyksissä on valmis rakenne ja rajatut vastausvaihtoehdot. Myös avoimia kysymyksiä voi käyttää harkinnan mukaan. Hyvä suljettu kysymys Vastaajille löytyy sopiva vaihtoehto, mielipide/asennekysymyksissä on harkittava vastausvaihtoehtoa 3= En osaa sanoa Vastausvaihtoehdot ovat toistensa poissulkevia Valittavien vaihtoehtojen lukumäärä on ilmoitettu selvästi => "valitse vain yksi/tärkein jne." Valmis luokittelu Käytettävä harkitusti => ikäluokittelu => saatetaan saada melkein tyhjiä luokkia jos vastaajien välillä ei ole suurta hajontaa Mielipide- ja asennekysymykset Mielipidekysymyksissä käytetään asteikkoa, jonka ääripäät edustavat eriäviä mielipiteitä. Käytössä voi olla neljä, viisi tai seitsemänportainen asteikko. LIKERT-asteikko => "Autohuollon palvelu oli asiantuntevaa" 5=Täysin samaa mieltä 4=Samaa mieltä 3=En osaa sanoa 2= Eri mieltä 1=Täysin eri mieltä Tai 4=Täysin samaa mieltä 3=Samaa mieltä 2= Eri mieltä 1=Täysin eri mieltä 9 = En osaa sanoa Stapelin asteikko => "Autohuollon palvelu oli asiantuntevaa" -2-1 0 +1 +2 Semanttisessa differentiaaliasteikossa käytetään vastakkaisia adjektiiveja. OSGOOD-asteikko => Autohuollon palvelu oli Ystävällistä 5 4 3 2 1 Epäystävällistä Asiantuntevaa 5 4 3 2 1 Asiantuntematonta Huom,! Asteikot rakentuvat siten, että jokaisen portaan etäisyys on yhtä pitkä.
8 4. AINEISTON KERUU JA OTANTA Jos valmista tilastoaineistoa ei ole käytettävissä, on tilanteen mukaan harkittava, hankintaanko tarvittavat havainnot koko perusjoukosta vai tehdäänkö otantatutkimus. Kokonaistutkimus on usein hidas, hankala ja kallis toteuttaa, mutta tulokset ovat vastaavasti yleensä luotettavia ja tarkkoja. Otos on perusjoukon osa, joka on valittu siten, että jokaisella perusjoukon alkiolla on sama mahdollisuus (todennäköisyys) tulla otokseen. Otoksesta saadut tutkimustulokset yleistetään koskemaan koko perusjoukkoa. Otantatutkimus voidaan tehdä mm. seuraavista syistä: Perusjoukko on suuri Resurssien puute Perusjoukon tilastoyksiköitä ei tarkkaan tunneta Otannan suunnittelussa on otettava huomioon tarvittavan tiedon laatu ja tarkkuusvaatimus. Otoksen koon kasvaessa yleensä myös tulokset tarkentuvat. Perusjoukon yksiköistä pitäisi löytää luettelo tai rekisteri, johon otanta voitaisiin perustaa. Myös perusjoukon rakenne olisi hyvä tuntea, jotta voitaisiin todeta otoksen ja perusjoukon vastaavuus. Perusjoukosta otettu otos on näyte, jos otosta ei ole valittu otantamenetelmien mukaisesti. Joissakin tapauksissa satunnaisotoksen saaminen perusjoukosta on mahdotonta ja havaintoyksiköiden satunnainen valinta otokseen perusjoukosta on mahdotonta. Tällöin tutkijan on tyydyttävä harkinnanvaraiseen näytteeseen. Otantamenetelmiä Kvantti, Kananen, 2011 Kun perusjoukosta on käytettävissä luettelo tai rekisteri voidaan käyttää todennäköisyyteen perustuvia otantamenetelmiä. Tällöin jokaisellla perusjoukon alkiolla on sama todennäköisyys tulla valituksi otokseen. 1. Yksinkertainen satunnaisotanta Arvotaan perusjoukosta satunnaisesti mukaan tulevat alkiot käyttämällä esim. satunnaislukuja (RND, RAN). 2. Systemaattinen otanta Perusjoukossa N tilastoyksikköä ja otoksen koko on n yksikköä. Lasketaan poimintaväli k= (N/n) ja poimitaan satunnaisesti ensimmäisen yksikkö ja sen jälkeen joka k.s alkio
9 3. Ositettu otanta Perusjoukko jaetaan jonkin tunnetun ominaisuuden perusteella mahdollisimman homogeenisiin ryhmiin eli ositteisiin ja kuhunkin ositteeseen sovelletaan satunnaisotantaa. Yksiköiden määrä kustakin ositteesta voidaan valita joko tasaisella tai suhtellisella kiintiöllä: tasainen kiintiöinti; jokaisesta ositteesta otetaan yhtä monta alkiota suhteellinen kiintiöinti; ositteisiin valitaan alkioita samassa suhteessa kuin niitä on perusjoukossa. 4. Ryväsotanta Menetelmää käytetään yleensä suuria haastattelututkimuksia tehtäessä. Kaksivaiheisessa ryväsotannassa valitaan ensin ryväkset satunnaisesti ja sen jälkeen valituista ryväksistä valitaan otantaan tulevat yksiköt satunnaisesti. Esimerkki Perusjoukko > Tradenomiopiskelijat Suomessa Ryväs > Otos Suomen ammattikorkeakouluista Otos > Satunnaisesti poimittu joukko valituista ammattikorkeakouluista Otoskoko Yleisääntönä pidetään vähintään 30 yksikön otosta määrällisessä tutkimuksessa. Koko riippuu oleellisesti tutkimuksen tyypistä. Esimerkiksi mielipidetutkimuksissa, joissa kartoitetaan poliittisten puolueiden kannatusta, otoksen suuruus tulisi olla 1000 suuruusluokkaa, kun taas lääketieteellisessä kokeessa otoksen koko voi olla muutamia kymmeniä. Tilastolliset analyysit vaativat myös riittävän suuren tutkimusaineiston. Esimerkki (ristintaulukko) Jos otoskoko on vain 50 yksikköä, tulee yhteen soluun keskimäärin vain noin viisi havaintoarvoa, joka on liian pieni määrä luotettaviin tilastollisiin johtopäätöksiin.
10 Otoksen kokoon vaikuttavat mm. seuraavat tekijät: 1. Perusjoukon heterogeenisyys => hajonta => mitä suurempi hajonta sen suurempi otos vaaditaan 2. Odotettavissa oleva kato eli poistuma => Vastausprosentti on harvoin 100 %, palauttamattomien lomakkeiden lisäksi voidaan osa palautetuista joutua hylkäämään puutteellisten vastausten vuoksi. 3) Tutkittavien tapausten suhteellinen osuus => usein perusjoukko on jaettava ositteisiin tietyn ominaisuuden perusteella (esim. sukupuoli) => otoksessa on oltava riittävä edustus jokaisesta ositteesta. Otoksen optimikoon määrittämiseksi on erilaisia laskukaavoja, mutta seuraavassa viitteellisiä otoskokoja: 1. Yleensä aina vähintään 50 tilastoyksikköä 2. Vähintään 100, jos kohderyhmä on suppea ja tuloksia tarkastellaan kokonaistasolla 3. 150-300, jos perusjoukossa on ryhmiä, joiden väliseen vertailuun tutkimus keskittyy (ryhmissä tulisi olla ainakin 30 henkilöä) 4. vähintään 500-1000 valtakunnallisissa kuluttajatutkimuksissa 5. Jos otoskooksi on tulossa yli puolet perusjoukosta, on syytä harkita kokonaistutkimusta Aineiston keruu Aineiston keruu voidaan toteuttaa eri tavoilla. Tyypillisiä menetelmiä on mainittu ao. taulukossa. Haastattelu Perinteinen Verkkokysely lomakekysely (posti, paperi) Vastausprosentti Korkea Melko alhainen Alhainen Vastausten saannin nopeus Nopea Hidas Nopea Pitkän kyselylomakkeen käyttö Sopii Melko huonosti Huonosti, kato lisääntyy Aineiston keruussa täytyy taata vastaajan säilyminen anonyymina. Verkkokysely tai postitse tehtävä lomakekysely sopii suurehkolle ja hajallaan olevalle perusjoukolle. Kun kyseessä on rajattu joukko (esim. yrityksen työtekijät) voidaan kirjallinen lomakekysely toteuttaa paikanpäällä. Myös puhelin- ym. haastattelut sopivat rajatulle perusjoukolle. Katoa voidaan pienentää mm. hyvän saatekirjeen avulla, antamalla riittävän lyhyt vastausaika, valmis vastauskuori on kirjeen mukana, vastaaja saa palkinnon jne.
11 5. TUTKIMUKSEN VALIDITEETTI JA RELIABILITEETTI Tutkimuksellisen opinnäytetyön laatua ka luotettavuutta arvioidaan reliabiliteetin ja validiteetin avulla. Varsinkin määrällisiä tutkimusmenetelmiä käytettäessä reliabiliteetti on keskeinen tutkimuksen arvon mittari. Reliabiliteetti Reliabiliteetti tarkoittaa tutkimuksessa käytetyn menetelmän pysyvyyttä. Tutkimuksen reliabiliteetti on sitä parempi, mitä todennäköisimmin samalla tavalla kerätty ja samalla tavalla analysoitu uusi data antaisi nyt saadut tulokset. Saadut tulokset eivät johdu sattumasta. Otoskoko ja otantamenetelmä vaikuttavat tulosten pysyvyyteen. luotettavuuteen. Tulokset ovat hyvin sattumanvaraisia, jos otoskoko on hyvin pieni tai kato on suuri. Mikäli otos on vino, se ei anna tietoa koko perusjoukosta vaan jokin tietty ryhmä on yliedustettuna. Peittovirhe syntyy jos perusjoukon rekisteri tai luettelo ei ole ajan tasalla. Tutkimuksessa on sattua virheitä myös tietoja käsiteltäessä ja analysoitaessa. Nykyiset tilasto-ohjelmat antavat sivukaupalla tulosteita. Tutkijan tehtävä onkin käyttää vain omaan tutkimukseen sopivia tilastollisia menetelmiä. Validiteetti Mittari on validi jos se mittaa sitä, mitä sen pitääkin mitata. Validiteetin avulla ilmaistaan, mitataanko ja tarkastellaanko sitä ilmiötä, jota sanottiin mitattavan. Validiteettia voidaan tarkastella sisäisenä ja ulkoisena validiteettina. Sisäisen validiteetin voi vielä jaotella esimerkiksi käsitevaliditeettiin ja menetelmän validiteettiin. Tutkimus on sisäisesti pätevä (validi), kun tutkimustulokset osoitetaan olevan perustellusti kyseisen tutkimusprosessin tulos. Arviointi kohdistuu tutkimuksessa valittuun teoreettiseen viitekehykseen, määriteltyihin käsitteisiin, aineiston keräämisen tapaan, aineiston keräämisessä käytettyihin kysymyksiin, tutkimiseen, tulkintaan, päättelyyn ja tuloksiin. Sisäisesti validi tutkimus siten vastaa aina tutkimusongelmaan, tutkimuskysymyksiin ja tutkimuksessa on tehty kaikki, mitä on luvattukin tehdä. Ulkoinen validiteetti puolestaan mittaa saatujen tulosten yleistettävyyttä. Ulkoinen validiteetti mittaa, missä määrin työssä saatuja tuloksia voitaisiin yleistää koskemaan muita, nyt tutkitun kohteen kaltaisia kohteita. Yleensä minkä tahansa tiedon tai tuotteen tuottamiseen keskittyvää tutkimusta pidetään hyödyllisempänä jos saatuja tuloksia voidaan soveltaa laajemminkin.