Koulutuspäivä: VERTAISARVIOINTI JA VERTAISARVIOIJANA TOIMIMINEN Koulutuspäivä 13.2.2012, klo 09.00 16.00 Keskeiset teemat Kysymysten laatiminen vertaisarviointikäynnille ja kysymys- ja haastattelutekniikat Johdatus aiheeseen ennakkotehtävän pohjalta Opetusneuvos Leena.Koski@oph.fi www.oph.fi Osaamisen ja sivistyksen parhaaksi
Teemat ja kysymysten laatiminen Teemat Huolehdi, että eri teemoihin saadaan keskeisten ryhmien esim. oppisopimushenkilöstön, oppisopimusopiskelijoiden, kouluttajien ja johdon arviot. Kysy samaan keskeiseen teemaan liittyvä asia useammalla eri tavalla. Pyydä esimerkkejä, joista kysytyn asian tilan voi nähdä. Tarkista selvittämääsi asiaa toisilta vertaisarvioijilta yhteisten palaverien aikana, mitä he ovat siihen liittyen saaneet selville. Tutustu asiaan liittyviin ohjeisiin ja muihin materiaaleihin. Kysymykset Kysymykset, joihin arviointiryhmä haluaa saada vastauksen ja haastattelussa esitettävät kysymykset voivat olla eri asia. Kysymysten laadinnan lähtökohtana on etukäteen saatu materiaali ja arviointialueiden kriteerit ja indikaattorit.
Teemat ja kysymysten laatiminen Kysymykset * Kysymyksiä, joihin arviointiryhmä haluaa saada vastauksen, voi olla melko rajallinen määrä. teemat. Kartoita ensin keskeiset Älä kysy asioita, jotka ilmenevät jo materiaalista (poikkeuksena varmistettavat asiat). Suosi avoimia kysymyksiä. Suljettuja kysymyksiä voi käyttää aluksi esim. jonkin asian varmistamiseen. Jos esität esim. strategiaprosessiin osallistumiseen liittyviä kysymyksiä varmistus ensin, että vastaajalla on siihen osallistunut. Käytä kohdeorganisaation käyttämiä käsitteitä ja kieltä. Avauskysymykset yksinkertaisia ja mielenkiintoisia Vältä johdattelevia kysymyksiä.
Vertaisarviointi Onnistuneita kysymysten muotoiluja Mitä tehdään ja miksi pitäisi tehdä? Miksi? Miten tehdään? Miksi? Kuka tekee? Miksi? Kenelle tehdään? Miksi? Milloin tehdään? Miksi? Missä tehdään? Miksi? Milloin ja miten arvioidaan? Miten toimintaa parannetaan tulosten ja palautteen pohjalta? Kysymysten avulla saadaan tietoa ja näyttöä kriteerien toteutumisesta.
Vertaisarviointikäynnin toteutus ja kysymysten valmistelu KYSY HAVANNOI KIRJAA TARKASTA Avoimet kysymykset, jotka tarjoavat informaatiota? Mitä tehdään? Miten tehdään? Missä tehdään Objektiiviset todisteet positiiviset ja negatiiviset, faktat, näytöt, esimerkit Laadittu ohjeistus, tulokset. Esimerkit ym. NÄYTTÖ - Mitä? Miten? Miksi? Milloin? Kuinka? Missä? Kuka? - Näyttö? Lähde: Qualitas Fennica Oy mukaellen
Alkutilanteessa: Huomioitavaa - lyhyesti esittelyt ja tilanteen kuvaus (miksi tämä haastattelu) - luottamuksellisen ja positiivisen ilmapiirin luominen Haastattelutilanteessa: - - selkeät ja avoimet pääkysymykset (eivät sisällä tulkintoja!) - - täydentävät ja syventävät kysymykset - Haastattelukysymykset muotoiltuna kohderyhmän mukaan, esim. johdolle ja opiskelijoille sama asia heidän kannaltaan katsottuna - Verbaalinen ja nonverbaalinen viestintä - Ajankäyttö, puheenvuorojen jakautuminen. -
Ennakkotehtävässä esiin nostettuja kysymyksiä Kun ensimmäistä kertaa niin, onko tarkoituksenmukaista rajata arviointialueet ja kuinka pieniksi? Kannattaako käydä läpi samat arviointialueet kunkin kumppanin osalta vai voivatko ne olla eri arviointialueita? Miten itsearviointiraportti ohjaa alueiden valintaa? Miten teemat ja kysymykset valitaan? Teemat toistuvat eri hankkeissa, Voiko kysymysten laadíttaessa hyödyntää synergiaa? Miten sovitaan kysymykset? Kuinka paljon valmisteluun olisi varattava aikaa? Miten suurelta osin kysymykset tulisi olla laadittuna etukäteen? Vai tehdäänkö ne tilanteen mukaan? Lista, jossa sitten pitäydytään? Laaditaanko etukäteen ja toimitetaan haastateltaville? Ovatko kysymykset jokaisella arviointikäynnillä samat?
Ennakkotehtävässä esiin nostettuja kysymyksiä Kysymysten suunnittelu yhdessä hankekumppanien kanssa vai vertaisarvioijien kanssa? Kysymysten ohjeellinen määrä/sisältö? Minkälainen on hyvä avoin kysymys? Keskittyminen? Yksin/parina työskentely? Kuka kirjaa vastaukset? Miten laveasti kysymyksiin voi vastata? Miten tarkasti vastaukset kirjataan ylös, yksi kirjaa, toinen kysyy? Onko haastatteluryhmä parempi kuin yksilöhaastattelu? Voiko osan haastatteluista tehdä etukäteen, jos kaikki haastateltavat eivät pääse paikalle? Vaaditaanko näyttöä vai riittääkö puhe/haastateltavan mielipide? Voiko haastateltavan keskeyttää, jos vastaus ei anna lisäarvoa kysymykseen?
Ennakkotehtävässä esiin nostettuja kysymyksiä Miten kysymyksiä voi muokata ja muokattuja kysymyksiä hallinnoida keskitetysti? Miten varmistetaan, että vertaillaan todellisia toimintamalleja eikä ihannemalleja? Miten kysymykset/aiheet on tarkoituksenmukaista laatia? Oppisopimuksessa korostuu kolmikantaisuus, jolloin lähtökohtaisesti laadun varmistamisen ja kehittämisen näkökulmasta kaiketi tarpeellista on tarkastella asioita niin opiskelijan, työnantajan, oppilaitoksen, koko koulutusorganisaation ym. kannalta? Kuinka sidosryhmät kannattaa kouluttaa/ valmentaa tulevaan vertaisarviointiin? Onko joku tietty tekniikka valittu / kokemusten valossa parempi kuin toinen arvioinnin eri vaiheissa? Esitämme käytettäviksi mahd. monipuolisia informaation keräämisen menetelmiä: esim. puolistrukturoitua teemahaastattelua sekä videointia ym. taltioivia tekniikoita sekä jos mahdollista myös toiminnallisia menetelmiä onko mahdollista? Ajankäyttö vrt. tiedon keruun tekniikka?
Usein esiin nostettuja kysymyksiä Teemat Sisältääkö itsearviointiraportti arviointiteemat? Miten arviointiteemat määritetään? Mistä teemat nousevat? Kuka määrittää arviointiteemat ja kysymykset vertaisarviointikäynnillä? Muita? Haastattelutilanteesta tekee haastavan se, että helposti tulee tehtyä johdattelevia kysymyksiä. Miten vaikeita asioita on onnistuneesti lähestytty? Millä kysymyksillä saadaan mahdollisimman hyvä arvio? Miten vastaamiseen motivoidaan? Tietosuoja? Salassapidettävät asiat?