Mittariston laatiminen laatutyöhön Perusopetuksen laatukriteerityö Vaasa 18.9.2012 Tommi Karjalainen Opetus- ja kulttuuriministeriö
Millainen on hyvä mittaristo?
Kyselylomaketutkimuksen vaiheet: Aiheen valinta: Mitä halutaan tutkia? Tutkimusongelmien muodostaminen: mitä halutaan tutkia, mihin kysymyksiin tutkimuksella halutaan vastata Kyselylomaketutkimuksen vaiheet, Lähde: Risto Hotulaine
Kohderyhmän valinta: Kokonaistutkimus, otos vai harkinnanvarainen näyte? Kokonaistutkimuksessa tutkitaan kaikki kohderyhmään kuuluvat henkilöt. Otos on yleistettävissä populaatioon/perusjoukkoon. Otoksen tulisi edustaa perusjoukkoa mahdollisimman kattavasti. Satunnaisotos ("arvotaan" perusjoukosta) Jokaisella kohderyhmän jäsenellä on yhtä suuri todennäköisyys valikoitua tutkittavaan joukkoon Systemaattinen otos (valintaan liittyy systemaattisuutta, esim. joka viides nimi aakkosellisesta listasta ja arvotaan mistä numerosta aloitetaan) Näyte on yleistettävissä vain tutkittavaan joukkoon Tutkija valitsee edustavaksi katsomansa ryhmän kohderyhmäksi omien perusteidensa mukaisesti.
Mittarin (eli kyselylomakkeen) laadinta Miten tutkimusongelmiin voidaan vastata? Tutkittavan ilmiön saattaminen mitattavaan muotoon: Mitattavan käsitteen tai asian hahmottaminen, rajaus ja määrittely aikaisemmissa tutkimuksissa esitettyjen määritelmien, aikaisempien teorian tai esi- eli pilottitutkimuksen perusteella Abstraktista käsitteen tai asian kuvauksesta konkreettiseen arkikieleen Esim. oppilaiden orientaatio oppimistehtäviin. On vaikeaa olettaa peruskoulun oppilaan vastaavan seuraavaan kysymykseen: "Oletko haasteellisen opiskelutehtävän kohdatessasi yleensä tehtäväorientoitunut, suoritusorientoitunut vai välttämisorientoitunut?"
Mittarin (eli kyselylomakkeen) laadinta Vastaavasti voidaan esimerkiksi muodostaa eri orientaatiotyyppejä kuvaavia väitelauseita, joihin opiskelija/oppilas vastaa (esim. olen täysin samaa mieltä - olen täysin eri mieltä välisellä skaalalla), ja joiden perusteella voidaan arvioida minkälaisen orientaation henkilö omaa. 1. Haasteellista opiskelutehtävää suorittaessani ponnistelen tavallista enemmän. 1=Täysin eri mieltä, 2 = Osittain eri mieltä, 3 = En osaa sanoa, 4 = Osittain samaa mieltä 5 = Täysin samaa mieltä 2. Haasteellista tehtävää työstäessäni mietin usein millaisen arvosanan saan työstäni. 1=Täysin eri mieltä, 2 = Osittain eri mieltä, 3 = En osaa sanoa, 4 = Osittain samaa mieltä 5 = Täysin samaa mieltä 3. Vaikean opiskelutehtävän kohdatessani ajattelen yleensä epäonnistuvani. 1=Täysin eri mieltä, 2 = Osittain eri mieltä, 3 = En osaa sanoa, 4 = Osittain samaa mieltä 5 = Täysin samaa mieltä
Kysymystyypit Strukturoidut kysymykset (toisensa poissulkevat valmiit vastausvaihtoehdot) Vastaajien vastausten vertailu mielekästä ja kohtuullisen helppoa Vastaaminen helpompaa, koska valmiit vaihtoehdot antavat vihjeitä, sen sijaan, että vastaajan tulisi itse muistaa asia. Mahdollista käsitellä myös hyvin suuria aineistoja (esim. jos satoja tai tuhansia vastaajia) Melko nopea analysointi (tietokoneella tilastolliset analyysiohjelmat) Tarkoituksenmukaisempi, kun mahdolliset vastausvaihtoehdot selvästi etukäteen tiedossa. Luokitteluiden tai vastausvaihtoehtojen on oltava tyhjentäviä kaikkien tapausten on sovittava johonkin luokkaan (esim. "en osaa sanoa") ellei luokkia muuten saada tyhjentäviksi, on syytä lisätä vaihtoehto "muut", johon sijoitetaan tapaukset, jotka eivät muihin luokkiin sovi
Kysymystyypit toisensa poissulkevia kukin tapaus voi sopia vain yhteen luokkaan sisällöllisesti mielekkäitä minkälaisella luokituksella saat tarvitsemasi tiedot Avoimet kysymykset Vastaajan ilmaisu omin sanoin Tietoa myös pintaa syvemmältä Suurien aineistojen käsittely työlästä ja vie paljon aikaa Tarkoituksenmukaisempi, kun vastausvaihtoehtoja ei tarkkaan tunneta tai kun halutaan tietää miten vastaajat asian hahmottavat. Voidaan käyttää myös tarkentamaan strukturoitujen kysymysten vastauksia. Eli auttaa strukturoitujen kysymysten vastausten tulkinnassa.
Kyselylomakkeen sisällöstä ja kysymyksistä Kysy lomakkeen alussa henkilön taustatiedot kuten sukupuoli, luokka-aste (koululaisilla), koulutustausta, jne. Älä kysy sellaista taustatietoa, jota et aio käyttää. Helpoista kysymyksistä edetään vaikeampiin, kyseistä aihetta käsitteleviin, kysymyksiin. Kysymysten tulee olla mahdollisimman yksiselitteisiä ja mieluummin kysymysmuodossa Kysymysten laadinnassa tulee ottaa huomioon vastaajien kielellinen kehitystaso. Älä myöskään käytä "ammattislangia Kysymykset saavat tuottaa vain yhden laatuisen vastauksen (eli vastaaja ymmärtää mitä kysytään). Strukturoitujen vastausvaihtoehtojen tulee olla toisensa poissulkevia (ei kahta mahdollista vastausvaihtoehtoa).
Kyselylomakkeen sisällöstä ja kysymyksistä Kysy vain yhtä asiaa kerrallaan, ettei vastaaja joudu tilanteeseen, jossa hän miettii kumpaan kysymykseen oikeastaan tulee vastata (Esim. väitelause: Joudut usein tilanteeseen, jossa menetät malttisi ja korotat ääntäsi) Lyhyet kysymykset ovat parempi kuin pitkät (helpompi ymmärtää). Tarjoa valittavaksi myös vaihtoehto "en osaa sanoa", sillä kaikki vastaajat eivät ehkä ole koskaan ajatelleetkaan moista asiaa. Kysymykset eivät saa olla itsestäänselvyyksiä eikä loukata vastaajaa Kysymysten tekijän mielipiteet ja olettamukset eivät saa heijastua kysymyksissä, eli kysymykset eivät saa olla johdattelevia eivätkä vihjailevia (Esim. "Olethan samaa mieltä siitä, että pojat menestyvät koulussa hyvin vain lahjakkuutensa ansiosta?"
Kyselylomakkeen sisällöstä ja kysymyksistä Anna selkeät ohjeet vastauksia varten (Esim. "Ympyröi mielipidettäsi vastaava vaihtoehto." Kyselylomake kannattaa "testata" otosta vastaavalla ryhmällä (tai tarkistusluetuttaa jollakin toisella itsensä lisäksi). Tutkija tulee usein "sokeaksi" omalle tekstilleen myös kyselylomakkeita laatiessaan.
Esimerkit kyselyistä
Millainen on hyvä mittaristo? Ohjeistus on lyhyt ja helposti ymmärrettävä Mittaristo on tiivis ja selkeä Kysymykset ovat yksiselitteisiä, täsmällisiä ja selkokielisiä Yksi kysyttävä asia per kysymys Kysymykseen pitää pystyä vastaamaan ensimmäisen lukukerran jälkeen
Muista vielä Saatekirje: Kyselyn tarkoitus ja tärkeys Kyselyn merkitys vastaajalle Vastaamiseen rohkaiseminen Mihin mennessä lomake on palautettava ja minne, jos ei postikysely Postikyselyssä muista vastauskuori, jolla palauttaminen on maksutonta ja muistutus tästä Mikäli voit luvata tutkimuksen tuloksia vastaajille esim. tiivistelmänä tms. niin tee se, mutta muista lupauksesi tutkimuksen valmistuttua. Kyselyn toteuttajan yhteystiedot