IHTE-1100 Kaper s2008 Luento 3: Harjoitustyöohje, Käyttäjätiedon kerääminen

Transkriptio

1 IHTE-1100 Kaper s2008 Luento 3: Harjoitustyöohje, Käyttäjätiedon kerääminen

2 Luento 3: Käyttäjätiedon kerääminen: haastattelut ja kyselyt Käydään läpi harjoitustyöohje Kerrataan vielä hiukan UCD-prosessia Käyttäjätiedon kerääminen - Tutustutaan haastatteluun ja kyselyyn tutkimusmenetelminä - Pohditaan, Millainen on hyvä kysymys Minkälaisia kysymyksiä tarvitaan

3 Harjoitustyöohje (Aleksi)

4 Tutkijan etiikasta käytettävyystutkimuksessa Huom. tutkija voi olla myös suunnittelija jne. Käyttäjien henkilöllisyyttä ei saa paljastaa (ilman erillistä lupaa) missään tutkimuksen vaiheessa, tai sen jälkeenkään Käyttäjille kerrotaan, mitä tietoa heistä kerätään ja mihin tarkoitukseen, kuka tietoa tulee käsittelemään (esim. harjoitustyöryhmä X ) Kuvaukseen ja henkilökohtaisten tietojen keräämiseen pyydetään kirjallinen lupa - Jos kuvaa aiotaan käyttää esim. julkaisussa, on siihen pyydettävä lupa erikseen Alaikäisiltä käyttäjiltä tarvitaan vanhempien kirjallinen lupa osallistua tutkimukseen Tutkimuksen analyysissä ja raportoinnissa on pyrittävä objektiivisuuteen ja kattavuuteen - Ei saa poimia vain sopivia tai helppoja tuloksia - Tavoitteena tutkimuskysymyksiin vastaaminen (vaikka vastoin omia ennakko-oletuksia ts. hypoteeseja)

5 Lyhyt kertaus käyttäjäkeskeisen suunnittelun periaatteisiin ja prosessiin UCD = User-Centered Design

6 Käyttäjäkeskeinen projekti vs perinteinen projekti Perinteinen prosessi teknologiakeskeinen Esitutkimus Määrittely Tehdään tilaajan kanssa teknologia Aikainen + jatkuva yhteys käyttäjiin Käyttäjäkeskeinen prosessi ihmiskeskeinen Millainen tuote tarvitaan? Esitutkimus Määrittely Käyttäjä mukaan prosessiin Käyttäjätestaus Suunnittelu Käyttäjä mukaan prosessiin Suunnittelu teknologia Toteutus Toteutus Testaus Käyttäjätestaus Testaus

7 Käyttäjäkeskeisen suunnittelun periaatteet 1. Käyttäjät aktiivisesti mukana; ymmärrys käyttäjistä ja tehtävien asettamista vaatimuksista 2. Tarkoituksenmukainen tehtävänjako käyttäjien ja teknologian välillä 3. Suunnitteluratkaisujen iterointi 4. Poikkitieteellinen eli monialainen suunnittelu [ISO13407]

8 Käyttäjäkeskeinen suunnitteluprosessi UCD= User-Centered Design Tunnista tarve käyttäjäkeskeiselle suunnittelulle Ymmärrä ja määrittele käyttökonteksti [ISO 13407] Evaluoi suunnitteluratkaisut vaatimuksia vasten Järjestelmä täyttää määritellyt käyttäjän ja organisaation vaatimukset Määrittele käyttäjän ja organisaation vaatimukset Tuota suunnitteluratkaisuja

9 Tuotekehitysprosessin ja käyttäjäkeskeisen suunnittelun integrointi: Aikainen painopiste Esitutkimus Määrittely } Tunnista tarve käyttäjäkeskeiselle suunnittelulle Ymmärrä ja määrittele käyttökonteksti [ISO 13407] Suunnittelu Toteutus Evaluoi suunnitteluratkaisut vaatimuksia vasten Järjestelmä täyttää määritellyt käyttäjän ja organisaation vaatimukset Määrittele käyttäjän ja organisaation vaatimukset Integrointi Testaus Tuota suunnitteluratkaisuja Käyttöönotto & ylläpito

10 Kaksi Kaper-luentoa takana: Missä olemme UCD-prosessissa? Luennolla 2 käytiin läpi Normanin suunnitteluperiatteet: 1. Loogiset kytkennät 2. Käsitteellinen malli 3. Näkyvyys 4. Palaute 5. Virheiden käsittely Tällä luennolla (Luento 3) palataan prosessin alkuun eli konteksti- ja käyttäjätiedon keräämiseen

11 Käyttäjätiedon kerääminen

12 Käyttäjätiedon kerääminen Ohjelmiston määrittelyvaiheessa tehdyt virheet ja määrittelyyn jääneet puutteet tulevat myöhemmissä vaiheissa paljastuessaan erittäin kalliiksi. Käytännön määrittelytyössä on erittäin vaikeaa saada esille kaikkien käyttäjätahojen todelliset tarpeet. (Haikala & Märijärvi 2000)

13 Miksi käyttäjätietoa kerätään? Käyttäjätieto toimii perustana tuotteen suunnittelulle Virheet käyttäjän tarpeiden (väärin) ymmärtämisessä tulevat kalliiksi Tarvitaan palautetta - olemassa olevista tuotteista - tuotetusta (uudesta) tuotteesta Selvitetään mielipiteitä ja näkemyksiä Tehdään käyttäjätutkimusta esim. markkinoinnin näkökulmasta

14 Miksi käyttäjätietoa kerätään? Pyritään ymmärtämään käyttäjää ja hänen todellisia tarpeitaan Pyritään saamaan luotettavaa tietoa siitä, - mitä käyttäjät tekevät käyttökonteksteissa? - mitä käyttäjät pitävät tärkeänä? - miksi asiat tehdään juuri niin kuin tehdään? - mihin toiminnalla pyritään eli mikä on toiminnan tai työn ensisijainen tavoite? - millainen tehtävien rakenne on?

15 Kontekstitiedon kerääminen Fyysinen ympäristö valaistus, tilan käyttö, lämpötila, jne. Sosiaalinen ympäristö keitä muita osallistuu tuotteen käyttöön tai näkevät sen käytön Tehtäväkonteksti mitä muuta käyttäjä on tekemässä kun hän käyttää kehitettävää järjestelmää, mihin muihin tehtäviin käyttö liittyy Tekninen ympäristö mitä teknisiä mahdollisuuksia ja rajoitteita on, esim. tietoliikenneverkot, printtaus, muut koneet ja sovellukset Erityisen kriittistä mobiilikonteksteissa! - koska ne ovat niin muuttuvia ja monipuolisia Kontekstin riittävä ymmärtäminen vaatii yleensä menemistä ko. ympäristöön - Myös haastatteluilla voidaan saada kerättyä osa kontekstitiedosta ei kuitenkaan kaikkea

16 Käyttäjätiedon kerääminen suoraan käyttäjältä vs. välillisesti Suoraan käyttäjiltä Käyttäjän omat käsitteet ja terminologia tulevat tutuiksi Saadaan ymmärrystä todellisista tarpeista ja käyttötilanteista Suunnittelija oppii tuntemaan ja arvostamaan käyttäjää KESKEINEN UCD:ssa! Välillisesti, esim. dokumenteista, myynnistä, yrityksen sisäisiltä asiantuntijoilta Tieto voi olla väärää (oletuksia) tai vanhentunutta Tieto voi muuttua matkalla Käyttäjä jää etäiseksi

17 Käyttäjätiedon kerääminen on vaativaa Pelkästään käyttäjien tai asiakkaan mukanaolo suunnitteluprosessissa ei takaa, että vaatimukset olisi ymmärretty oikein Huom! Asiakkaan (esim. yrityksen tietotekniikasta vastaavat ostajat) edustajat edustavat itseään eivät koko käyttäjäkuntaa Ihmisten on vaikeaa kuvailla tekemäänsä työtä/tehtävää ja kertoa siitä todenmukaisesti Haasteellista on käyttäjän kokemusten (esim. turhautuminen, positiiviset yllätykset) ymmärtäminen - Vaatii yleensä käyttäjien tarkkailua Lisäksi suunnitelman iterointi prototyyppien avulla on tärkeää!

18 Käytettävyystutkimus vs. tieteellinen tutkimus Tutkittaessa käyttäjiä ja käytettävyyttä tuotekehityksessä ei yleensä ole tarvetta päästä tulosten tarkkuudessa tieteellisen tutkimuksen tasolle - Käyttäjäkeskeinen tuotekehitys Per 4-5 (IHTE-3100) Käytettävyystutkimuksessa ei aina tarvita tilastollista pätevyyttä - Jos tavoitteena on esim. parantaa tuotetta, saattaa ongelmakohtien löytäminen ja ratkaisuvaihtoehtojen esittäminen riittää Taustalla pitää silti aina olla käyttäjiltä saatu todellinen tieto, eivät tutkijoiden/suunnittelijoiden omat mielipiteet ja MUTU (= MUsta TUntuu )

19 Tiedon tyyppi Laadullinen tieto (kvalitatiivinen) Määrällinen tieto (kvantitatiivinen) uusina toimintoina toivottiin mahdollisuutta kopioida teksti suoraan dokumentista toiseen ilman välitallennusta. Muita ehdotuksia olivat värien personointimahdollisuus a b c Kuinka paljon? Kuinka usein? Mikä arvosana? Miten? Miksi? Koska? Mikä ratkaisu?

20 Tiedon tyyppi Laadullista tietoa suositaan - Projektin alkuvaiheessa tarpeiden kartoituksessa - Suunnitelman hahmotteluvaiheessa (suunta, näkökanta) - Valitun suunnitelman vahvistamisessa - Monimutkaisten toimintasarjojen ymmärtämisessä Määrällistä tietoa tarvitaan - Yhteenvetoja ja vertailuja varten - Tavoitteiden määrällistä todentamista varten - Yrityksen johdon vakuuttamiseksi - Tieteellistä todentamista varten

21 Tiedon tyyppi Laadullista tietoa tuottavat esim. - Haastattelut - Oikeassa toimintaympäristössä (käyttökontekstissa) tarkkailu Laadullisen tiedon keräys ei ole yksiselitteisesti vain tiedon keräystä - Keräykseen sekoittuu aineiston käsittelyä ja asteittaista analyysiakin

22 Miten käyttäjätietoa kerätään? Haastatteluilla - Kysymykset esittää aina haastattelija - Oleellista vuorovaikutus - Yksilö- tai ryhmähaastatteluilla (focus groups) Kyselyillä - Kysymykset esitetään lomakkeella (paperi tai sähköinen) - Ei suoraa vuorovaikutusta kyselyn tekijän kanssa Observoimalla eli tarkkailemalla käyttäjää - Yleensä luonnollisessa työympäristössä, normaalien työtehtävien suorittamisen aikana Yhdistämällä haastattelu ja tarkkailu: Contextual Inquiry Käyttäjäskenaarioiden avulla Kaikki em. menetelmät tukevat käyttäjäkeskeisyyttä

23 UCD:n menetelmiä: 6. luennolla menetelmistä puhutaan lisää Myös Kame (IHTE-3200) kurssi (Per 1-2)!

24 Käyttäjätutkimuksen kulku 1. Tutkimuskysymysten muotoilu - Esim. Miten käyttäjät haluaisivat äänestää mobiililaitteellaan?, Mitä rajoitteita käyttötilanne asettaa mobiiliäänestämiselle? 2. Tiedonkeruumenetelmän valinta 3. Käyttäjien valinta ja rekrytointi - Etsiminen ja (haastatteluissa) ajan sopiminen - Huom! Tämä voi olla työlästä jos käyttäjäryhmä on hyvin erityinen (ei tuttu tai vaikeasti saatavilla) 4. Tiedon keruu valitulla menetelmällä 5. Tiedon analyysi - Löydösten priorisointi, ryhmittely, yhdistely ja/tai tilastollinen analyysi - Johtopäätösten tekeminen, esim. suunnittelua varten 6. Raportointi

25 Tiedonkeruumenetelmän valinta Tutkimuskysymys Millaista tietoa tarvitaan? - Kvalitatiivinen vs. kvantitatiivinen Aikataulu Kuinka nopeasti tietoa tarvitaan? - Fokusryhmä nopein, kysely hitain, haastattelut tältä väliltä Budjetti - Kysely halvin, muttei välttämättä tuota tarvittavaa tietoa eikä enää jälkeenpäin tarkennettavissa - Observointi eli tarkkailu on kallista, mutta tuottaa paljon hiljaistakin tietoa - Haastattelut tältä väliltä

26 Haastattelu ja kysely Selvittävät käyttäjän asenteita, odotuksia ja kokemuksia - Hyödyllinen erityisesti tarpeiden kartoituksessa - Ei siis (yleensä) kysytä käyttöliittymästä Haastattelu toteutetaan suullisesti - Etsitään kvalitatiivista tietoa - Naamatusten (suositeltavaa) tai puhelimitse Kysely toteutetaan kirjallisesti - Etsitään useimmiten kvantitatiivista tietoa Joissain haastattelutyypeissä voidaan käyttää lisänä myös kyselylomaketta - Tällöinkin kysymykset esittää haastattelija!

27 Haasteita: Kysymysten suunnittelu Miten saadaan vastaukseksi juuri se tieto jota tarvitaan? - > Ensin määritellään tutkimuskysymykset! Miten suunnitellaan kysymyksiä, joihin saadut vastukset on helppo analysoida Miten laatia yksiselitteisiä kysymyksiä? - Erityisesti tämä tulee esille kyselyissä ja niissä haastatteluissa, joissa haastattelijalla ei ole mahdollisuutta tarkentaa kysymyksiä Ei saa johdatella

28 Haasteita: Otos käyttäjistä Miten löydetään kattava otos kohderyhmästä, jolta tietoa kerätään - Ketä tulisi haastatella tai keille tulisi antaa kyselylomake, jotta otos olisi kattava ja tulos luotettava? - Esimerkki: Keitä ovat TTY:n julkisten WWW-sivujen käyttäjät? Mistä heidät löytää haastattelua varten? Yleensä voidaan aloittaa 4-6 käyttäjän edustajalla per kohderyhmä

29 Haasteita: Vastausten ja tulkinnan luotettavuus Käyttäjätiedon kerääminen ei sinällään takaa, että käyttäjää olisi ymmärretty oikein Käyttäjien vastauksiin on suhtauduttava varauksella: - Taipuvaisuus antaa oikeita vastauksia eli sosiaalisesti hyväksyttäviä vastauksia - Käyttäjät eivät aina ole toimineet niin kuin luulevat tai tiedä juuri sitä mitä väittävät tietävänsä Tämän vuoksi: - Haastatellaan useita käyttäjiä - Esitetään tarkentavia kysymyksiä - Jos mahdollista, mennään käyttökontekstiin, jossa käyttäjä voi antaa konkreettisia esimerkkejä toiminnastaan

30 Tarpeet (niiden ilmaisu) ovat usein moniselitteisiä tai epätäsmällisiä Haluaisin nähdä suuren kasvun tilausten tuottavuudessa Tarvitsen helpomman keinon varaston tilanteen ymmärtämiseen

31 Todelliset tarpeet On tärkeää tunnistaa käyttäjien ja muiden sidosryhmien todelliset tarpeet - Sidosryhmät: esim. muut työntekijät, myynti, huolto, kaverit, etc. kaikki, joilla on jokin intressi tuotteen käyttöön - Tässä kurssissa keskitymme käyttäjiin! Tarve peilaa jotakin ongelmaa (tai mahdollisuutta) joka - voi olla liiketoiminnallinen, toiminnallinen, henkilökohtainen tai kokemuksellinen - on voitava nimetä jotta voitaisiin oikeuttaa uuden järjestelmän/tuotteen harkinta, hankkiminen tai käyttö

32 Todelliset tarpeet? Tarvitsen tilausjärjestelmän, jossa on graafinen käyttöliittymä Todellinen tarve: Jos en kasvata osaston tuottavuutta, en saa bonuksia tänä vuonna Järjestelmän vaatimus: Tilausten käsittelyajan on vähennyttävä 50%

33 Todelliset tarpeet? Haluaisin kulkupelin, jossa on ABS Todellinen tarve: Minun on pystyttävä pysäyttämään ajoneuvo nopeasti ilman luisuunlähtöä. Järjestelmän vaatimus: Tietokone kontrolloi jokaista ajoneuvon pyörää erikseen

34 Mitä? -> Miten? Mitä tarvitsen? Järjestelmä voisi tehdä.

35 What? -> how? Mitä tarvitsen? Järjestelmä voisi tehdä. Käyttäjätarvekartoituksessa olisi ensin löydettävä vastaus Mitä kysymykseen (eli ymmärtää tarve), vasta sen jälkeen alkaa luoda ratkaisuja mahdollisesti yhdessä käyttäjän kanssa.

36 Haastattelut

37 Haastattelu Haastattelu on tutkijan ohjaama, jollain tasolla ennalta suunniteltu keskustelu Haastattelija kerää tietoa usealta haastateltavalta ja sen jälkeen analysoi tiedon Haastattelun tuottamaa laadullista tietoa voidaan parhaiten hyödyntää prosessin alkuvaiheessa - Kuitenkin haastattelua voidaan hyvin käyttää prosessin muissakin vaiheissa ja usein käytetäänkin lisänä

38 Haastattelut Suunnitteluvaiheessa tarvitaan tietoa käyttäjätarpeista ja käyttäjävaatimuksista Evaluointivaiheessa arvioidaan suunnitteluratkaisuja Kummassakin vaiheessa haastattelu muiden menetelmien tukena - IHTE-3200: Käytettävyystutkimuksen menetelmät (Per 1-2)

39 Haastattelun suunnittelu Haastattelu on tutkijan ohjaama, ennalta suunniteltu vuorovaikutustilanne Tutkimuskysymykset täytyy määritellä Strukturoitu, puolistrukturoitu, vapaamuotoinen, yksilö-, ryhmähaastattelu Otos - Keitä haastatellaan, miten tavoitetaan Aikataulu Haastattelukysymysten laatiminen Vastausten analysointi

40 Haastatteluun valmistautuminen Perehdy aiheeseen ja hanki tarvittavat taustatiedot Mieti roolijako ja tehtävät (jos useampi haastattelija) Suunnittele ja jaksota kysymykset yleisestä yksityiseen - Haastattelumuodosta ja tarkoituksesta riippuu, kuinka tarkasti kysymykset laaditaan etukäteen Sovi sopiva aika ja paikka haastattelulle Valitse muistiinpanovälineet: - Lehtiö ja kynä/läppäri Huom. haastattelijan voi olla vaikeaa kirjoittaa samaan aikaan läppärille kun kysyy kysymyksiä (ja kuuntelee vastaukset) - Nauhuri - Kamera, videokamera?

41 Haastattelutiedon analysointi Muistiinpanojen ja nauhoitusten purkaminen vie aikaa Aineiston ryhmittely tutkimusaiheiden (kysymysten) mukaan Aineistoa voi käydä läpi useampi tutkija; ensin erikseen, sitten yhdessä Aineistolainaukset elävöittävät raporttia - Esim. Käyttäjä 3 totesi En mitenkään onnistunut ostamaan lippua tällä mobiilipalvelulla, joten luovutin

42 Haastattelun arviointia Soveltuu hyvin käyttäjätarpeiden ja vaatimusten tutkimiseen Saadaan monipuolista tietoa Ei tarvita täsmällistä etukäteissuunnittelua, vaan kokenut haastattelija voi ohjata tilannetta - Kokemattoman kannattaa suunnitella pääkysymykset tarkasti! Vaatii kenttätyötä -> resursseja Analyysi ja raportointi voi olla aikaa vievää

43 Haastattelu Haastattelun etuja - Saadaan tietoa laajemmin ja syvällisemmin kuin kyselyllä - Haastattelija voi ohjata keskustelua - Kyselyä syvällisempi Toteuttaminen vaatii yleensä enemmän resursseja kuin kyselyn Ei voida pääsääntöisesti toteuttaa yhtä laajalle kohderyhmälle kuin kyselyä

44 Haastattelumuodot ja -tyypit Vapaa Puoli-strukturoitu Strukturoitu Yksilö Ryhmä

45 Vapaamuotoinen haastattelu Vapaa Puoli-strukturoitu Strukturoitu Yksilö Ryhmä Etenee ennalta määrättyjen aiheiden ympärillä vapaasti Kysymyksiä ei välttämättä suunnitella lainkaan etukäteen, ainoastaan aihe(et) päätetään Haastattelun onnistunut läpivieminen vaatii kokemusta haastattelijalta Saatu tieto on monesti perusteellista ja syvällistä, mutta vertailukelpoisuudessa voi olla ongelmia

46 Puolistrukturoitu haastattelu Vapaa Puoli-strukturoitu Strukturoitu Yksilö Ryhmä Haastattelijalla jo yksityiskohtaisemmin selvillä, mistä hän haluaa tietoa Jätetään mahdollisuus tutkia haastattelun aikana ilmenneitä asioita lisäkysymysten avulla Helpompi haastattelijan kannalta kuin vapaamuotoinen haastattelu Joustavampi kuin strukturoitu haastattelu Käytetään myös termiä teemahaastattelu Tyypillisin kolmesta haastattelun muodosta!

47 Strukturoitu haastattelu Vapaa Puoli-strukturoitu Strukturoitu Yksilö Ryhmä Etenee ennalta suunniteltua rataa - Kysymykset ja niiden järjestys suunniteltu tarkkaan etukäteen - Pohjana voi olla esim. kyselylomake, jota haastattelija käy kohtakohdalta läpi ja merkitsee siihen vastaukset - Haastattelija kysyy kaikilta haastateltavilta samat kysymykset samassa järjestyksessä - Suunnitelmaa noudatetaan täsmällisesti Vain vähän (jos lainkaan) variointimahdollisuuksia - Kysymyksiä ei muokkailla haastattelun aikana - Ei esitetä tarkentavia/lisäkysymyksiä

48 Strukturoitu haastattelu Vapaa Puoli-strukturoitu Strukturoitu Yksilö Ryhmä Soveltuu vain tilanteisiin joissa haastattelija tietää tarkalleen, millaista tietoa hän on etsimässä. Soveltuu mm. mielipidetutkimuksiin Aineiston pohjalta voidaan tehdä myös tilastoja Saadaan vertailukelpoisia tuloksia Haastattelijan kannalta helppo suorittaa

49 Haastattelutyypit Vapaa Puoli-strukturoitu Strukturoitu Yksilö Ryhmä Yksilöhaastattelu Ei muita henkilöitä vaikuttamassa vastauksiin suunta haastattelijan vastuulla Mahdollistaa syvällisen vuorovaikutuksen aiheiden ympäriltä Ryhmähaastattelu Keskustelua, kommentointia Dominoivat henkilöt enemmän esillä Innostuessaan ihmiset saattavat puhua päällekkäin Joistain aiheista voi olla vaikea puhua ryhmässä Jos keskustelua riittää, aikataulu saattaa venyä

50 Aineiston tallettaminen haastatteluista Menetelmä: Nauhuri Video Hyödyt: Kaikkea ei voi kirjata Käytettävissä missä tahansa Haastattelija voi keskittyä vuorovaikutukseen Mukaan myös sanaton viestintä Haitat: Aineiston käsittely vie aikaa Aineiston käsittely vie aikaa. Vuorovaikutustilanteen luonnollisuus saattaa kärsiä Kirjoitetut muistiinpanot Aineiston analysointia ja käsittelyä tehdään kirjauksen kanssa samanaikaisesti Haastattelun suunta selkeytyy Kuuntelu ja kirjoittaminen yhtäaikaisesti vaikeaa Kirjausta helpottavan koodauksen tekeminen saattaa olla työlästä ja rajoittavaa

51 Kyselyt

52 Kyselytutkimus Kysely suoritetaan lomakkeella - Paperilomake - Sähköinen lomake Kyselyllä kerätään (lähinnä) kvantitatiivista käyttäjätietoa - Avoimilla kysymyksillä myös kvalitatiivista, mutta näihin ei usein saada kattavia vastauksia Soveltuu parhaiten mielipidetutkimuksiin, gallupeihin yms. tutkittaessa esimerkiksi - markkinoilla olevia tuotteita, joita vastaajat ovat jo käyttäneet - vastaajien vakiintuneita toimintatapoja (jolloin käyttäjät osaavat vastata helpommin niihin liittyviin kysymyksiin)

53 Kyselyiden sijoittuminen tuotekehitysprojektissa Kyselyt soveltuvat periaatteessa joka vaiheeseen Prosessin vaiheesta riippuen voidaan kyselyjen avulla pyrkiä: - Profiloimaan käyttäjää (alkuvaiheessa) - Selvittämään käyttäjän mielipiteitä tai kokemuksia sovelluksesta (alku-keski-loppu) Suunnitteluvaiheessa tarvitaan tietoa teknologian käytöstä, asenteista ja tarpeista Evaluointivaiheessa arvioidaan suunnitteluratkaisuja eli käyttäjätyytyväisyyttä, myös käyttöönoton jälkeen

54 Kyselytutkimuksen perusperiaatteita Systemaattisuus - Huolellinen suunnittelu ja toteutus - Varmistetaan, että tutkittava asia katetaan riittävästi Edustavuus - Käsittää kattavasti koko populaation tai otos valittu edustavuutta silmällä pitäen Objektiivisuus - Tieto (data) on kiistatonta ja täsmällistä - Toisaalta ei helposti saada vastauksia miksi kysymyksiin Määrällisyys - Tulos ilmaistavissa numeerisessa muodossa

55 Kyselytutkimuksen suunnittelu Tutkimuskysymykset Otos - Keiltä halutaan vastaus, miten heidät tavoitetaan Paperi- vai internetkysely (sähköposti tai web) Aikataulu - Vastausaikaa täytyy jättää yleensä viikkoja (tai ainakin useita päiviä), riippuen otoksesta Lomakkeen laatiminen ja testaaminen Vastausten analysointi

56 Kyselyn suunnittelu Mieti aivan ensimmäiseksi, onko kysely projektin tarpeisiin oikea tutkimusmenetelmä? - Lähinnä kvantitatiivista tietoa - Voidaan suunnata laajallekin yleisölle - Soveltuu esim. mielipide tutkimuksiin, gallupeihin tai jo olemassa olevan tuotteen tutkimiseen - Voidaan käyttää myös käytettävyystutkimuksessa alku- ja loppukyselynä Mieti, mitä tietoja tarvitset ja mihin niitä haluat käyttää. - Kuinka suuri kattavuus tarvitaan? Keiltä kysytään? - Millaisilla kysymyksillä saadaan haluttu asia selville?

57 Kyselyn suunnittelu.. Kysymysten esittäminen ei ole haastattelun tavoin joustavaa - Ei ole mahdollisuutta tarkentaa - Kysymykset tulee suunnitella hyvin yksiselitteisiksi Oleellista on myös suunnitella kyselyn toteutus siten, että vastaaminen ja kyselyn palauttaminen on mahdollisimman todennäköistä - Kyselyn on oltava riittävän lyhyt - Palauttaminen tehtävä mahdollisimman helpoksi - Kyselyn rakenteen sekä itse kysymysten tulee olla selkeitä

58 Kyselyn suunnittelu.. Joka projektille tarvitaan oma kyselylomake Samasta aiheesta kannattaa laatia sekä avoimia että suljettuja kysymyksiä - Helpottaa eroavaisuuksien arviointia - Helpottaa validiuden arviointia Kyselyssä pyydetään henkilötietoja mahdollisimman vähän - Vain tutkimuksen kannalta todella oleelliset asiat - Ehdottoman tärkeää on säilyttää intimiteettisuoja Lyhyt, yksinkertaisen ja selkeän näköinen lomake

59 Kyselytutkimuksen laatiminen Taustakysymykset (esim. ikä, sukupuoli, tekniikan käyttö) Tutkimusaiheeseen liittyvät kysymykset Kysymystyypit - Monivalintakysymykset - Avoimet kysymykset Vastausvaihtoehdot - Toisensa poissulkevia - Asteikkoihin tarpeeksi vaihtoehtoja, esim. 1-7 (1=täysin eri mieltä 7=täysin samaa mieltä) Kannattaa ottaa mallia muista lomakkeista ja pilotoida (testata), jotta varmistutaan ymmärrettävästä kielestä

60 Vastausten analysointi Tulosten syöttäminen esim. taulukoihin paperilomaketutkimuksessa vie aikaa Kuvailevat tulokset saadaan nopeasti (internetkyselysovellusten avulla tai käsin laskien) - Vastaajista 70% käyttää sovellusta päivittäin Selittäviin tuloksiin voidaan käyttää analyysiohjelmia esim. SPSS (Statistical Program for Social Sciences) - Sovellusta päivittäin käyttävistä 85% piti x:ää tärkeänä tai erittäin tärkeänä ominaisuutena

61 Kyselyn arviointia Ei vaadi kenttätyötä Monta vastaajaa samalla vaivalla Tulokset analysoitavissa nopeasti Tuloksista saadaan helposti tilastollista tietoa Lomakkeen suunnittelu vaatii paneutumista ja hyvää aiheen tuntemusta ennakolta Ei varmuutta, vastataanko siihen, mitä kysytään Ei paljasta piileviä (latentteja) käyttötarpeita

62 Kyselytutkimuksen etuja Melko nopea suorittaa Otos voi olla suuri Hyvin suunnitellun kyselyn tulosten analysointi on melko nopeaa Voidaan toteuttaa pienilläkin resursseilla Tuloksista saadaan helposti statistista informaatiota Osa tuloksista voidaan analysoida automatisoidusti Tarjoaa mahdollisuuden intimiteettisuojaan

63 Kyselyyn liittyvät saatteet Kyselylomakkeen mukana on hyvä lähettää asianmukaiset saatteet - Selvitys, mistä tutkimuksesta on kysymys - Selvitys, mikä taho tutkimusta tekee - Selvitys, mihin vastaustietoja käytetään ja ketkä ne lukevat - Selvitys, mihin tuloksia käytetään ja ketkä ne näkevät - Selvitys, ettei vastaajan henkilöllisyyttä tulla ilmoittamaan tutkimuksen tai tulosten yhteydessä - eli huomioidaan peruseettiset tutkimuksen periaatteet

64 Haastattelut vs. kyselyt: Yhteenvetoa Haastattelut Tietoa myös niiltä ihmisiltä, jotka eivät pysty tai halua täyttää kyselyjä. Kannustaa ideoiden ja ehdotuksien tutkimiseen. Joustava. Suora vuorovaikutus. Mahdollistaa syvällisemmän tiedonhankinnan. Mahdollistaa molemminpuolisen selventämisen ja tarkentamisen Voidaan tehdä käyttöympäristössä. Miksi, miten, mitä? Kyselyt Helpompia hallita ja prosessoida. Voidaan kohdistaa suurempaan käyttäjäjoukkoon Ei varmuutta, että puhutaan samaa kieltä. Epätodennäköisemmin hävettävät vastaajaa. Nopeampia analysoida, suurin työ valmistelussa. Mitä, kuinka paljon?

65 Kysymysten laadinnasta

66 Kysymysten suunnittelu Miten saadaan vastaukseksi juuri se tieto jota tarvitaan? - > Ensin määritellään tutkimuskysymykset! Miten suunnitellaan kysymyksiä, joihin saadut vastukset on helppo analysoida Miten laatia yksiselitteisiä kysymyksiä? - Erityisesti tämä tulee esille kyselyissä ja niissä haastatteluissa, joissa haastattelijalla ei ole mahdollisuutta tarkentaa kysymyksiä Ei saa johdatella

67 Kysymysten laadinta Vältä johdattelevia ja helppoja kysymyksiä Piditkö tästä uudesta piirteestä? No joo oli se ihan kiva Mitä mieltä olet tästä uudesta piirteestä? Mua kyllä häiritsi se että..

68 Kysymysten laadinta Vältä johdattelevia ja helppoja kysymyksiä Käytitkö sitä? No joo. Mihin olet sitä toistaiseksi käyttänyt? Itse asiassa jäi aika vähälle se käyttäminen, koska

69 Kysymysten laadinta Testaa aina haastattelukysymykset tai kyselylomake muutamalla henkilöllä etukäteen - Ovatko kysymykset yksiselitteisiä? - Korjaa havaitut virheet ennen varsinaista tutkimusta Muista kysymysten muotoilussa: - Aina kun kysyt kysymyksen, rajaat kymmeniä vastauksia pois - Et ehkä koskaan saa tietää jotain tärkeää tietoa, jos et sitä osaa kysyä Kysy vain asioita, jotka todella haluat tietää - Onko vastauksilla todellista vaikutusta projektiisi?

70 Kysymykset 1. Tarkoitus 2. Muoto 3. Luonne Ensisijaiset Toissisijaiset Avoimet Puolistrukturoidut Strukturoidut Yleiset Aihekohtaiset

71 Kysymykset 1. Tarkoitus 2. Muoto 3. Luonne Ensisijaiset Toissisijaiset Avoimet Puolistrukturoidut Strukturoidut Yleiset Aihekohtaiset

72 Ensisijaiset kysymykset Tarkoituksena kerätä sitä tietoa, jota haastattelussa tai kyselyssä halutaan saada selville Voivat olla avoimia, strukturoituja, aihekohtaisia, yleisiä 1. Tarkoitus 2. Muoto 3.Luonne Ensisijaiset Toissijaiset Avoimet Puolistrukturoidut Strukturoidut Yleiset Aihekohtaiset

73 1. Tarkoitus 2. Muoto 3.Luonne Ensisijaiset Avoimet Yleiset Toissijaiset kysymykset Toissijaiset Puolistrukturoidut Strukturoidut Aihekohtaiset Toissijaisilla kysymyksillä kontrolloidaan haastattelutilannetta Tarkennuskysymyksillä kerätään lisätietoja haastateltavalta, tarkoituksena selventää tai tarkentaa haastateltavan vastausta Mitä mieltä olit tästä ohjelmasta? Mitä ominaisuuksia? Siinä oli hyviä ominaisuuksia.

74 1. Tarkoitus 2. Muoto 3.Luonne Ensisijaiset Avoimet Yleiset Toissijaiset kysymykset Toissijaiset Puolistrukturoidut Strukturoidut Aihekohtaiset Kaikukysymyksissä haastattelija toistaa haastateltavan vastauksen kysymyksenä odottaen lisätietoja ja tarkennusta. Mitä ominaisuuksia? Ryhmätyöskentelyn? Se mahdollisti ryhmätyöskentelyn.

75 1. Tarkoitus 2. Muoto 3.Luonne Ensisijaiset Avoimet Yleiset Toissijaiset kysymykset Toissijaiset Puolistrukturoidut Strukturoidut Aihekohtaiset Kaikukysymyksiä käytetään, kun haastateltavan vastaus on ristiriidassa aiemmin sanotun kanssa. Eilen sanoitte, että ohjelma mahdollistaa ryhmätyöskentelyn ja tänään sanoitte, että ette ole varma voiko ohjelmaa käyttää ryhmätyöskentelyyn. Onko siis ryhmätyöskentely mahdollista ohjelman avulla?

76 1. Tarkoitus 2. Muoto 3.Luonne Ensisijaiset Avoimet Yleiset Toissijaiset kysymykset Toissijaiset Puolistrukturoidut Strukturoidut Aihekohtaiset Yhteenvetokysymykset - Haastattelija vahvistaa haastateltavan aiemmin ilmaisemia asioita - Varmistetaan molemminpuolinen ymmärrys Suorat ja epäsuorat kysymykset - Käyttö riippuu siitä, halutaanko haastateltavan kertovan asioista omaehtoisesti

77 1. Tarkoitus 2. Muoto 3.Luonne Kysymysten luonteesta Ensisijaiset Toissijaiset Avoimet Puolistrukturoidut Yleiset Aihekohtaiset Strukturoidut Yleiset kysymykset - Tavoitteena selvittää käyttäjän tausta (ikä, sukupuoli,...) ja kokemus tutkittavasta asiasta - Kerättyä aineistoa käytetään tutkimuskohteesta kerätyn aineiston analysointiin Aiheeseen liittyvät kysymykset - Tavoitteena määrittää tutkimuskohdetta käyttäjän välityksellä

78 1. Tarkoitus 2. Muoto 3.Luonne Yleiset kysymykset Ensisijaiset Toissijaiset Avoimet Puolistrukturoidut Yleiset Aihekohtaiset Strukturoidut Antavat taustatietoa vastaajista Esimerkkejä - Ikä - Sukupuoli - Ammatti - Tekninen osaamistaso - Oletko käyttänyt tätä ohjelmistoa aiemmin? (kyllä/ei)

79 1. Tarkoitus 2. Muoto 3.Luonne Ensisijaiset Avoimet Yleiset Muoto: Avoimet kysymykset Toissijaiset Puolistrukturoidut Strukturoidut Aihekohtaiset Antavat vastaajalle mahdollisuuden esittää omia mielipiteitä, näkemyksiä ja ideoita - esim. Millaisia parannuksia ehdottaisit? Hitaita analysoida, mutta antavat usein arvokasta, yllättävääkin tietoa On kohteliasta antaa vastaajalle mahdollisuus myös joihinkin vapaasanaisiin vastauksiin

80 Avoimet kysymykset Kuinka hyvin tutkintosi sisältö vastaa nykyisessä työssäsi tarvitsemiasi taitoja?

81 Puolistrukturoidut kysymykset Täydennä lause: Suorittamani tutkinto antaa hyvät valmiudet suoriutua tehtävistä, joita nykyinen työni sisältää.

82 Strukturoidut kysymykset Ns. suljettuja kysymyksiä - Käyttäjällä rajallinen määrä vastausvaihtoehtoja - Arvostelut - Monivalinnat Vastausasteikko arvostelukysymyksille

83 Vastausasteikot Väittämää arvioitava numeerisella asteikolla: Matkapuhelimen ominaisuuksista sen paino on merkityksetön tärkeä EOS Vältettävä liian karkeaa asteikkoa (1 3), koska tällöin neutraalit vastaukset tulevat liian houkutteleviksi Vältettävä liian tarkkaa asteikkoa (1 9), koska tällöin sekä vastaaminen että tulkinta vaikeutuvat Sopivimpia ovat 5 tai 7 tasoa

84 Asteikoista Usein asennetutkimuksissa käytetään viisiportaista Likert-asteikkoa: - Esitettyyn väittämään vastataan valitsemalla paras vaihtoehdoista täysin samaa mieltä osittain samaa mieltä en osaa sanoa osittain eri mieltä täysin eri mieltä

85 Asteikoista Ihmisellä on taipumus valita asteikolla 1-5 kolmonen - Entä jos keskikohtaa ei ole, esim. asteikko 1-6? Asteikon voi suunnitella kohderyhmän mukaan - Koululaiset saattavat hahmottaa asteikon (4-10) paremmin Asteikko voi olla numeraalinen tai sanallinen kysyttävän asian mukaan - erinomainen hyvä tyydyttävä välttävä - heikko

86 Monivalintakysymykset Valitse yksi vaihtoehdoista Missä useimmiten käytät OINFOa? (valitse yksi) o kotona o TTY:n atk- tai työasemaluokissa o töissä o muualla

87 Yksinkertainen monivalinta Kolmiportainen asteikko kyllä, ei, en osaa sanoa on paljon käytetty monivalinnoissa Osaatko käyttää matkapuhelimesi puhelun siirtotoimintoa? Kyllä En En osaa sanoa

88 Monivalintakysymykset Valitse kaikki sopivat vaihtoehdot Mitä OINFOn toimintoja olet käyttänyt? (merkitse kaikki toiminnot joita joskus olet käyttänyt): opintorekisteriote kurssiarvio lukuvuosi-ilmoittautuminen tentti-ilmoittautuminen opintojaksoilmoittautuminen

89 Järjestysasteikko Tehtävänä asettaa vaihtoehdot järjestykseen jonkin kriteerin mukaan; esim. Aseta seuraavat OINFOn kehittämistarpeet tärkeysjärjestykseen (1 = tärkein, 4 = vähiten tärkeä) o Lukukausi-ilmoittautuminen tekstiviestillä o Lukujärjestyksenteko-ominaisuus o Ruotsinkielinen käyttöliittymä o Sähköposti-ilmoitus suorituksista

90 Kysymysten asettelun ongelma Miten tehdä kysymyksistä yksiselitteisiä? Miten huomioida vastaajien erilaiset taustat ja tilanteet? Miten saavut TTY:lle useimmiten? (valitse yksi) a) linja-autolla b) henkilöautolla c) polkupyörällä d) kävellen?

91 Testaa myös kysymyslomake etukäteen!

92

93 Kysymysten määrittäminen Jokaisella kysymyksellä tulee olla selkeä, hyvin määritelty tarkoitus Analysointi vie paljon aikaa - Rajaa aineistoa jo kysymysten avulla Harkitse tarkoin kahden asian kysymistä samalla kertaa - Esim. Kuinka usein käytät ohjelmaa ja mikä sen ominaisuus mielestäsi on paras? Siis EI näin