OHJ-7600 Ihminen ja tekniikka -seminaari, 4 op Käyttäjäkokemuksen kvantitatiivinen analyysi
Seminaarin rakenne Luento 1 Johdanto seminaariin. Kvantitatiivinen ja kvalitatiivinen tutkimus Yleistä tilastoista ja tilastotieteestä: mihin tilastollisia menetelmiä tarvitaan? mitta-asteikot käsitteistö Tutkimuksen suunnittelu: tutkimusprosessin vaiheet ongelman operationalisointi tutkimushypoteesit otos, datan keruu, reliabiliteetti kysymysten asettelu käyttäjäkokemuksen tutkimuksessa
Luento 2 SPSS-ohjelmaan tutustuminen ja aineiston syöttäminen Kuvailevat tilastolliset menetelmät Käytetyimmät tilastolliset menetelmät käyttäjäkokemuksen tutkimuksessa: non-parametriset: Ristiintaulukointi khi2-testi Menetelmien käyttö SPSS-ohjelmassa
Luento 3 Käytetyimmät tilastolliset menetelmät käyttäjäkokemuksen tutkimuksessa: T-testit Varianssianalyysi Menetelmien käyttö SPSS-ohjelmassa Luento 4 Käytetyimmät tilastolliset menetelmät käyttäjäkokemuksen tutkimuksessa: Korrelaatio Faktorianalyysi Tilastollisten tulosten tulkinta ja johtopäätökset Menetelmien käyttö SPSS-ohjelmassa
Luento 5 Kerätyn aineiston muokkaaminen kerätyn aineiston laadun arviointi normaalijakaumatesti aineistonmuutokset transformaatio summamuuttujat, uudet muuttujat Menetelmien käyttö SPSS-ohjelmassa Käytön opastusta
Luento 6 Tulosten esittäminen kuvaajat, taulukot raportti Menetelmien käyttö SPSS-ohjelmassa Luennot 7 & 8 Harjoitustöiden esittely
Mihin tarvitaan tilastollisia menetelmiä? Ilmiön kuvaus numeerisen tiedon pohjalta (Tilastolliset vuosikirjat, Tilastokatsauksia, kuvaajat, taulukot) tiivis tulkinta ja ennusteiden tekeminen Päätöksenteon tuki Riskien pienentäminen Sattuma vai ilmiö Count Q3: sukupuoli? Total Nainen Mies haluan käyttää uusimpia m-puh.malleja? täysin eri jokseenkin jokseenkin täysin samaa mieltä eri mieltä samaa mieltä mieltä ei tiedä Total 296 281 159 37 1 774 256 329 199 84 1 869 552 610 358 121 2 1643
Kvantitatiivinen ja kvalitatiivinen tutkimus Kvantti Yleistettävyys Toistettavuus Erojen merkitsevyyden arviointi Usein: selittäminen, syyseuraus-suhde Mikä? Missä? Paljonko? Kuinka usein? Numeerisesti suuri, edustava otos Heikkous: syiden selvittäminen, tutkijan tulkinta, löydetään sitä mitä tiedettiin hakea Kvali Ymmärtäminen Kuvaaminen Hiljaiset viestit Miksi? Miten? Millainen? Suppea, harkinnanvaraisesti koottu näyte Toisiaan täydentävät: Ideaalissa tilanteessa syklimäisesti molempia
Datankeruu Kvantitatiivinen Lomakekyselyt, surveyt www-kyselyt Strukturoidut haastattelut Systemaattinen havainnointi Kokeelliset tutkimukset Kvalitatiivinen Henkilökohtaiset haastattelut Ryhmähaastattelut Osallistuva havainnointi Eläytymismenetelmä Valmiit aineistot ja dokumentit
Keruumenetelmien vertailua ominaisuus henkilökohtainen haastattelu puhelinhaastattelu postikysely www-kysely vastausprosentti yleensä korkea yleensä korkea usein alhainen riippuu kohteesta haastattelijan tarve suuri selvästi pienempi kuin henkilökoht. ei tarvita ei tarvita haastattelijan vaikutus suuri pieni vältetään vältetään vastausten saannin nopeus melko nopea nopea hidas (karhukirjeet) nopea pitkän kyselylomakkeen käyttömahdollisuus hyvä melko huono (max15-20 min) hyvä, mutta kato lisääntyy lomakkeen pituuden kasvaessa hyvä, mutta kato lisääntyy kysymysten määrän lisääntyessä arkaluontoisten kysymysten mahdollisuus huono huono hyvä hyvä avointen kysymysten mahdollisuus hyvä melko hyvä huono (jätetään usein vastaamatta) jätetään helposti vastaamatta vastausten tarkkuus hyvä hyvä kyseenalainen kyseenalainen väärinkäsitysmahdollisuus pieni melko pieni suuri suuri mahdollisuus tietää kuka on vastannut kyllä kyllä ei ei Oheismateriaalin käyttömahdollisuus hyvä ei ole hyvä hyvä lisähavaintojen tekomahdollisuus hyvä melko hyvä ei ole ei ole Tarja Heikkilä: Tilastollinen tutkimus. Edita 2001
Mitä tutkimuksella arvioidaan? Mittaaminen Observointi, tutkijan havainnot Vastaajan antama täsmälliset tosiasiatiedot Arvionvaraiset tosiasiakysymykset (miten usein, milloin viimeksi, alkoholin kulutus) Vastaajan suorittama itsearviointi, mielipiteet
Kysymykset Kysymyksen muoto lomakkeessa Avoin kysymys Suljettu kysymys Skaalattu kysymys Ei vastausohjetta Lisätietoja pyytävä, syventävä Yksinkertaistava kaksiarvoinen kysymys Vaihtoehdot luetteleva suljettu kysymys Tutkijan skaalaama ilman tulkintaa Skaalattu, jossa Vaihtoehdot tulkittu verbaalisesti
Hyvä kysymys Kysyy vain yhtä asiaa Tuleeko talouteenne Aamulehti tai Hesari? On tarpeellinen ja hyödyllinen Käyttää selkeää ymmärrettävää kieltä On kohteliaasti esitetty Ei ole johdatteleva Ei ole liian pitkä tai monimutkainen (varsinkin puhelimessa) Sisältää tarvittaessa tyylikeinoja (lihavointi, alleviivaus) olennaisen korostamiseksi Ei sisällä kaksoisnegatiivia ( En usko, että internet ei ole hyödyllinen ) Ei ole anonymiteettiä uhkaava
Sosiaalisesti suotavat vastaukset Ylikorostetaan sosiaalisesti arvostettuja piirteitä/toimintaa ja vähätellään sosiaalisesti eitoivottuja Halu antaa itsestä positiivinen kuva (ehkä myös itselle) Arkaluontoiset kysymykset Virhelähteen ehkäisy: Luottamuksellisuus, rehellisyyden korostaminen, anonyymisyys, miten luulette muiden suhtautuvan tähän (tai tyypillisesti), hankalien kysymysten peittäminen helppojen keskelle ja kyselyn loppupuolelle
Skaalatut kysymykset Likert Asenteiden mittaamiseen Järjestää vastaajat samanmielisyyden määrän mukaan 1= täysin samaa mieltä 2= jokseenkin samaa mieltä 3= ei samaa muttei eri mieltäkään 4= jokseenkin eri mieltä 5= täysin eri mieltä 6= ei osaa sanoa - Tulkitaan yleensä välimatka-asteikolliseksi (erot yhtä suuret): keskiarvo, mediaani -> t-testit, faktorianalyysi - Jos halutaan pakottaa mielipide, jää keskimmäinen arvo pois - Samanlainen asteikko useassa kysymyksessä helpottaa vastaamista ja nopeuttaa tutkimusta
Esim. Likertin liukuhihnakäytöstä Kertokaa kuinka samaa mieltä olette väittämän kanssa asteikolla 1-4, 1= täysin eri mieltä, 2= hieman eri mieltä, 3= jokseenkin samaa mieltä, 4=täysin samaa mieltä. Internetin käyttö on vaikeaa. Internet pelottaa minua. Yhteiskunnan pitäisi taata kaikille internet-koulutus. Internet ei tarjoa minulle mitään kiinnostavaa. Yleisiä kaikille avoimia internet-päätteitä on riittävästi saatavilla esim. kirjastoissa. Epäilen että internetistä on enemmän haittaa kuin hyötyä.
Osgoodin semanttinen differentiaali Asenteiden ja käsitysten mittaaminen Annetaan merkityksiä joihin vastaaja reagoi Luodaan vastakohtaparit, jotka sijoitetaan asteikon ääripäihinm asteikko esim. 1-5, 1-7 tai 1-9. Arvioivat adjektiivit (hyvä-paha) Voimakkuutta osoittavat adjektiivit (vahva-heikko) Toimintaa osoittavat adjektiivit (aktiivinen-passiivinen) Esim. Tehokas 1 2 3 4 5 6 7 Tehoton Kaunis 1 2 3 4 5 6 7 Ruma Helppo 1 2 3 4 5 6 7 Vaikea
Kysymysten pohdinta jatkuu Saman kysymyksen voi usein tehdä eri tavoin mieti miten haluat esittää tulokset. Mieti myös datan syöttövaihetta: miten tiedot saa helpoimmin ja nopeimmin (vähiten virheitä) syötettyä SPSS:ään. Joskus kannattaa etukäteen luokitella vastausvaihtoehdot (ammatti), joskus ei (ikä). Jälkikäteen luokittelua ei enää voi purkaa. Kohdistetut kysymykset: kaikkea ei tarvitse kysyä kaikilta. Esim. Internetkysymykset kohdistetaan vain niille, joilla on kokemusta sen käytöstä -> Synnyttää hyppyjä lomakkeeseen, ole tarkkana!! Kysymyksissä tulee olla looginen järjestys: ennen TV-ohjelmakysymyksiä tulisi kysyä onko vastaajalla tv ja jos niin millainen ja minkä verran katsoo. Saatekirje on ratkaisevan tärkeä vastaajan motivaation kannalta! Sen tulee olla kohtelias, vakuuttava ja sopivan tiivis. Haastattelussa vastaavat asiat kerrotaan suullisesti.
Kvantissa kysymysrungon suunnittelu on kaikkein tärkein vaihe! Yleensä tarkennuksiin ja täydennyksiin ei ole mahdollisuutta, kun kone käynnistyy se on vietävä loppuun Kysymykset on esitettävä kaikille vastaajille samassa muodossa Tee pilotteja ei-ammattilaisilla toimivuuden testaamiseksi Huonosti toimiva runko syö aikaa ja resursseja, voi johtaa keskeytyksiinkin Tarkista kaikki hyppypolut! Huono kysymysrunko voi tuottaa vain mittausvirhettä ja sattumaa
Hengähdys? vielä käsitteistöä, otantaa ja tutkimusprosessin kuvausta jäljellä! Kirjallisuus: Lauri Nummenmaa: Käyttäytymistieteiden tilastolliset menetelmät Tarja Heikkilä: Tilastollinen tutkimus Holopainen,Tenhunen,Vuorinen: Tutkimusaineiston analysointi ja SPSS
Mitta-asteikot Tärkeitä myöhempien testien käytön kannalta! Luokittelu- eli laatuero- eli nominaaliasteikko (nominal) Kvalitatiiviset erot (samanlainen/erilainen) EI SAA käyttää numeerisena muuttujana vaikka SPSS mahdollistaa sen Niukasti testimenetelmiä Järjestys- eli ordinaaliasteikko (ordinal) Toisensa pois sulkevat kategoriat (pituusjärjestys) Välimatka- eli intervalliasteikko (scale) Yhteenlaskuominaisuus, keskiarvo ->testit Suhdeasteikko (scale) Kaikki laskutoimitukset sallittuja
Käsitteet Muuttuja: mikä tahansa mitattava ominaisuus tai suure, jossa esiintyy vaihtelua (ikä, sukupuoli, paino, suoriutuminen) Riippuva muuttuja (selitettävä, tulosmuuttuja, vastemuuttuja, response variable) Riippumaton muuttuja (selittävä, ennustemuuttuja) Reliabiliteetti: mittarin luotettavuus, kyky tuottaa eisattumanvaraisia tuloksia (toistettaessa saadaan sama tulos). Ulkoinen reliabiliteetti: tulokset toistettavissa myös muissa tutkimuksissa ja tilanteissa Validiteetti: mittauksen oikeellisuus. Mitataanko todella sitä mitä on haluttu? Vastaavatko mittaukset teoriaosassa esitettyjä käsitteitä? Tulkitsevatko myös muut tutkijat tulokset samoin? Frekvenssi: havaintojen lukumäärä
käsitteistöä Tutkimusongelma: usein kysymyksen muotoon puettu asia, johon tutkimuksella pyritään saamaan ratkaisu -> ohjaa menetelmien valintaa Aineisto, havaintoaineisto, tutkimusaineisto: Empiiristä tutkimusta varten hankitut käsittelemättömät tiedot. Myös havaintomatriisi (vaakarivi edustaa yhtä tilastoyksikköä, pystyrivit ovat muuttujia) Älä tallenna yhden vastaajan tietoja usealle riville tai samalle riville usean vastaajan tietoja! Objektiivisuus: puolueettomuus, tutkijan oman vaikutuksen minimoiminen, muiden datan kerääjien huolellinen kouluttaminen ja ohjeistaminen
Otantatutkimukset Kokonaistutkimuksessa tutkitaan populaation jokainen jäsen Otantatutkimukseen päädytään, jos perusjoukko on hyvin suuri Populaation tutkiminen tulisi liian kalliiksi Tiedot halutaan nopeasti Tutkiminen on monimutkaista Ei-otantavirheet saadaan pienenemään Otos on edustava pienoiskuva perusjoukosta Samoja ominaisuuksia samassa suhteessa
Otanta Otantamenetelmät Todennäköisyyteen perustuvat Harkintaan perustuvat Yksinkertainen satunnaisotanta Systemaattinen otanta Ositettu otanta Ryväsotanta Harkinnanvarainen otanta Kiintiöotanta
Otoskoko Otoskoon valinnassa usein edessä kompromissi aikataulun, tarkkuuden ja kustannusten välillä. Koon on oltava sitä suurempi mitä heterogeenisempi populaatio (suurempi hajonta) Karkeiden erojen selvittämiseen riittää pieni aineisto, yksityiskohtaisuuteen vaaditaan suurempi koko. Jos aineisto jaetaan ryhmiin, tulee kaikkien otosten olla riittäviä. Mitä varmempia halutaan olla, sitä suurempi otoksen on oltava. 99%:n taso vaatii suuremman otoksen kuin 95%:n varmuustaso. Mitä pienempi virhemarginaali on tavoitteena, sitä suurempi otos. Usein vasta analyysivaiheessa todetaan että esim. ristiintaulukoitaessa jokin solu jää liian pieneksi, jolloin tulosten yleistettävyys kärsii. Käytännössä alle 50 hengen aineistosta ei enää saa kovin luotettavia tuloksia, varsinkaan jos ilmiötä vielä tarkastellaan alaryhmien kautta. Riittävä otoskoko on haaste käyttötutkimuksessa!! (kvalitatiivisen tutkimuksen pitkä perinne)
Otoksen koko ja tulosten merkitsevyys Mitä suurempi otos on, sitä enemmän se todennäköisesti muistuttaa populaatiota. Suurten otosten perusteella voidaan tehdä tarkempia populaatiota koskevia päätelmiä. Mitä pienempi otos on, sitä todennäköisemmin siinä havaittuihin ilmiöihin vaikuttaa otantavirhe. Pienissä aineistoissa havaitun efektin (esim. keskiarvojen ero) on oltava huomattavan suuri, jotta se ei hukkuisi otantavirheeseen.
Esimerkkejä otoksen koosta <15 esitutkimus jossa testataan alustavasti jonkin menetelmän tai asetelman toimivuutta 15-100: kokeellinen tutkimus, jossa mitataan jotain sellaista ominaisuutta, joka on melko voimakkaasti biologisesti määräytynyt (tarkkaavaisuus) 100-300: erilaisten hoitomuotojen tehokkuus suomalaisten masennuksen hoidossa 300-1000: kyselytutkimus, jossa selvitetään eri ammateissa toimivien suomalaisten aikuisten kokemuksia työssä jaksamisesta >1000: suuri kansainvälinen vertailututkimus erilaisten terveysongelmie yleisyydestä Lauri Nummenmaa: Käyttäytymistieteiden tilastolliset menetelmät
Kokonaisvirhe Tutkimuksen virhelähteet Otantavirhe Muu kuin otantavirhe Vastaamiseen liittyvä virhe Vastaamattomuudesta johtuva virhe Tavoittamattomuudesta johtuva virhe Vastaajasta johtuva virhe Haastattelijasta johtuva virhe Tutkijasta johtuva virhe
Tutkimusprosessin vaiheet Tutkimusongelma -> tutkimussuunnitelma Mitä tutkitaan ja miksi Mitä aineistoa käytetään ja miten tiedot hankitaan Miten tiedot käsitellään ja miten tutkimustulokset raportoidaan Aikataulutus ja budjetointi Tutkimusasetelma koostuu kolmesta elementistä: tutkimusongelmasta, aineistosta ja menetelmä/istä. Tutkimusongelman rajaaminen ja paloittelu pienempiin osiin, alaongelmiin, jotka puetaan yhden tai useamman kysymyksen muotoon ja joihin esitetään vastaukset raportin eri luvuissa. Tyypillisiä paloiteltuja tutkimusongelmia: Käyttäjät ja XX:n mobiilipalvelut: Kuinka tyytyväisiä XX:n asiakkaat ovat uuteen mobiilipalveluun? Kuinka paljon he ovat valmiita maksamaan siitä? Vaikuttaako uutisnälkä halukkuuteen käyttää mobiilipalveluita? Osaongelmat voidaan rakentaa väittämien muotoon, jolloin niitä sanotaan tutkimushypoteeseiksi.
Tutkimusprosessi jatkuu.. Lomakkeen laadinta (tai koeasetelman suunnittelu) Pilotti (ei aina) Aihealueen haltuunotto, kysymysten sisällön ja muodon täsmentäminen 5-10 henkeä, erilaisia ihmisiä Aineiston kerääminen Tietojen käsittely ja analysointi Raportointi
Operationalisointi Kvantitatiivinen tutkimus edellyttää käsitteiden määrittelemistä sellaisiksi analyyttisiksi käsitteiksi, joita voidaan mitata. Monet käsitteet ovat hyvin abstrakteja. Mitä on onnellisuus? Miten sitä voi mitata? Mitä on helppokäyttöisyys, mihin konkreettisiin osatekijöihin se jakaantuu? 1. Käsitteen yleinen hahmottaminen ja määrittäminen 2. Käsitteen osa-alueiden määritteleminen 3. Siirtyminen teoreettisesta kielestä konkreettiseen arkikieleen ja indikaattoreihin 4. Operationalisoinnin tarkka kuvaaminen (Alkula) Tutkija on osoitettava mitä käsite hänen tutkimuksessaan tarkoittaa! Tarkista tutkimusongelmasi (ja hypoteesit) ja pidä huoli että niiden ja lomakekysymystesi välillä on selvä yhteys. Esim. Onnellinen määritellään tässä tutkimuksessa siten, että vastaaja saa vähintään 15p onnellisuusinventorista.
Tutkimushypoteesit Hypoteesi on tulosta koskevat ennakko-oletus Hypoteesin testaaminen on menetelmä, jonka avulla arvioidaan kuinka luotettavia koko populaatiota koskevia päätelmiä voidaan tehdä otoksen avulla Nollahypoteesi (H 0 ): aineiston ilmiö EI esiinny populaatiossa ( mitään ei tapahdu ) Vaihtoehtoinen hypoteesi (H 1 ) olettaa, että aineiston ilmiö esiintyy myös populaatiossa Tilastollisella testillä ratkaistaan kumpi hypoteesi jää voimaan (vain toinen) P-arvot (havaitut merkitsevyystasot) P-arvojen avulla arvio hypoteesien paikkansapitävyydestä numeerisessa muodossa (tietyllä todennäköisyydellä). Vaihtelevat välillä 0-1. Ilmoittavat kuinka suurella todennäköisyydellä vaihtoehtoinen hypoteesi on väärä. Mitä lähempänä arvo on ykköstä,sitä suuremmalla todennäköisyydellä nollahypoteesi on oikea. Jos p-arvo on lähellä nollaa, vaihtoehtoinen hypoteesi on asetettu oikein.
Hypoteesien testaaminen (kuvitteellinen esimerkki) Tutkija olettaa miesten pitävän viihdetekniikasta enemmän kuin naisten. Tutkimushypoteesit: (H 0 ):Miehet ja naiset eivät eroa toisistaan viihdetekniikasta pitämisen suhteen. (H 1 ):Miehet ja naiset eroavat toisistaan viihdetekniikan pitämisen suhteen. Otokseen valitaan 20 miestä ja 20 naista. Kaikki arvioivat viihdetekniikan kiinnostavuutta ja miellyttävyyttä asteikollisin kysymyksin. Saatujen tulosten keskiarvoja verrataan toisiinsa. SPSS:n mukaan p-arvoksi tulee.23. Eli 23 % todennäköisyydellä H 1 on väärä, 77 %:n todennäköisyydellä oikea. Tämä ei kuitenkaan riitä H 1 :n hyväksymiseksi! Ns. kriittiset p-arvot: p=.05 (tilastollisesti melkein merkitsevä) p=.01 (tilastollisesti merkitsevä) p=.001 (tilastollisesti erittäin merkitsevä) yleensä.01:tä pienemmät arvot ilmoitetaan p<.01» Huom! SPSS esittää erittäin pienet arvot potensseina: 1.23E-04 (=1.23* 10-4 eli 0.000123)
Haastattelun/surveyn eteneminen Anna vastaajalle mahdollisimman realistinen kuva aikataulusta Kerro mihin tarkoitukseen tulokset tulevat, ihmiset arvostavat jos kokevat vastauksistaan olevan hyötyä esim. tuotekehittelyssä tai palveluiden parantamisessa. Kyselylomakkeen tulee olla HOUKUTTELEVA, ellet tarjoa motivaattoriksi palkkiota tai arvontaa. Aloita haastattelu keveämmillä, vastaajalle helpoilla kysymyksillä. Samoin haastattelu on syytä lopettaa johonkin helppoon tai miellyttävään teemaan. Jos mahdollista sijoita samaa asteikkoa käyttävät kysymykset peräkkäin/lähekkäin. Samaa teemaa koskevat kysymykset on hyvä sijoittaa yhteen (jopa otsikolla). Kirjoitettujen vastausohjeiden tulee olla erittäin selkeät ja yksiselitteiset ja lomakkeen siisti ja vakuuttava. Tärkeistä aiheista on syytä käyttää kontrollikysymyksiä (ei kuitenkaan liian monta)