Työn opinnollistamisen vertaisarviointi ja kehittäminen Erja Kotimäki Oulun ammattikorkeakoulu Oy Ammatillinen 1 Etunimi Sukunimi
Vertaisarvioinnin määrittelyä Vertaisarviointi on ulkoista kriteeriperusteista arviointia. Vertaisten muodostama ryhmä arvioi kehittävän arvioinnin periaatteita noudattaen vertaisorganisaatiota, yksikköä tai toimintaa. Vertaisarvioijat ovat ko. toiminnasta riippumattomia henkilöitä, jotka työskentelevät vastaavanlaisten tehtävien parissa ja ovat arviointialueen asiantuntijoita. Vertaisarviointi on tavoitteellista ja suunnitelmallista ja siihen valmistaudutaan ennalta. 2
Vertaisarvioinnin määrittelyä (jatkoa) Vertaisarvioinnin lähtökohtana on oman toiminnan arviointi. Vertaisarviointi sisältää vertaisarviointitapaamisen. Arviointi tehdään arviointiaineiston, itsearvioinnin ja vertaisarviointitapaamisen aikana tehtyjen haastattelujen ja havaintojen pohjalta. Arvioinnit perustuvat ennalta tiedossa oleviin kriteereihin. Vertaisarvioijien yhteisen arvioinnin tuloksena annetaan suullinen ja kirjallinen palaute. Vertaisarviointi edistää vertaisarviointiin osallistuvien oppimista ja sen tuloksia hyödynnetään kehittämisessä. 3
Miksi vertaisarviointeja tehdään? Vertaisarvioinnin edut ja hyödyt laadunvarmistuksen ja laadun kehittämisen kannalta Rakentavan ja kriittisen palautteen saaminen muilta alan toimijoilta Ulkopuolisen näkökulman ja neuvojen tarjoaminen ja arvioinnin saaminen Palvelujen/koulutuksen laadun varmistaminen ja kehittäminen Vahvuuksien ja hyvien käytänteiden esiintuominen ja tunnetuksi tekeminen Sidosryhmien vastuunoton tehostaminen Kehittämiskohteiden selvittäminen Koulutuksen järjestäjien verkostoituminen ja yhteistyö Mahdollisuus oppia yhdessä vertaisarvioijien kanssa Suhteellisen edullinen tapa saada ulkoinen arviointiraportti koulutuksen laadusta. 4
Vertaisarviointi ei sovellu: Organisaation sisäisten ristiriitojen ratkaisuun. Vertaisarviointi ei ratkaise riitoja eikä toimi osapuolten välittäjänä. Organisaation maineen pönkittämiseen. Jos tulokset osoittavat, että kaikki on loistavasti, on kysytty vääriä kysymyksiä. Organisaation moittimiseen. Jos tulokset osoittavat, että organisaatiossa on tehty kaikki väärin, on kysytty vääriä kysymyksiä. Vastaamiseen turhiin kysymyksiin. Varmista, että arviointiin valitaan kehittymisen kannalta tärkeät laadun arviointi-alueet. Salaisten asiakirjojen tuottamiseen. Kaikkien asianosaisten tulee saada käyttöönsä vertaisarvioinnin tulokset. Konsultointiin. Vertaisarviointi osoittaa mahdolliset kehittämiskohteet, mutta korjaavat toimet on suunniteltava ja toteutettava itse. Jos vertaisarviointia käytetään oikein, koko organisaatio hyötyy tuloksista, jotka osoittavat organisaation vahvuudet ja kehittämiskohteet. 5
Vertaisarvioinnin laadun varmistaminen Laadun varmennuksen viitekehys EQAVET ja vertaisarviointimenetelmän laadunvarmennus ASIANTUNTIJUUS TAVOITTEELLISUUS HYÖDYLLISYYS Tarkistus ja kehittäminen Kehittämistoimet Vertaisarvioinnin kehittäminen LUOTTAMUKSELLISUUS Suunnittelu Tavoitteiden asettaminen Arvioijien valitseminen Arviointikriteerien laatiminen Arviointi Arvioinnin tekeminen Palautteen antaminen VERTAISUUS Toteutus Valmistautuminen Itsearviointi Vertaisarviointitapaaminen RIIPPUMATTOMUUS 6 KRITEERIPERUSTEISUUS
1. SUUNNITTELU 1.1. Tavoitteiden asettaminen Vertaisarviointi liitetään osaksi hankkeen/ koulutuksen järjestäjän laadunhallintaa ja se otetaan huomioon resursoinnissa. Vertaisarvioinnin tavoitteet tukevat hankkeen/ koulutuksen tavoitteiden saavuttamista ja ne sovitaan selkeästi etukäteen. Vertaisarviointi toteutetaan rahoittajan edellyttämällä tavalla. Vertaisarvioinnin toteutuksen suunnitteluun osallistuu laajasti eri toimijoita. 7
Vertaisarvioinnin osapuolet sopivat, mihin vertaisarvioinnin tuottamaa tietoa käytetään ja annetaanko kehittämisehdotuksia. Vertaisarvioinnin kohde/kohteet määritellään ja sovitaan ennakkoon. Vertaisarvioinnin toteuttaminen, palautteen antaminen ja vertaisarvioinnin toteutuksen arviointi suunnitellaan etukäteen. Vertaisarviointi liitetään osaksi organisaation toimintaa ja toiminnan arviointi suunnitellaan etukäteen. Johdon edustajat ja toimijat pidetään ajan tasalla vertaisarviointiprosessista ja sen tarkoituksesta sekä taustoista. Vertaisarvioinnin tulosten hyödyntäminen laadun varmistamisessa ja kehittämisessä suunnitellaan etukäteen. 8
1.2. Arvioijien valinta Vertaisarvioinnin toteuttajat valitaan ja heidän tehtävistään sovitaan. Vertaisarviointiryhmän osaamisvaatimukset ovat: o arviointikohteen sisällöllinen asiantuntemus o arviointiosaaminen o vertaisarviointimenetelmän hallinta Vertaisarvioijilta edellytetään vuorovaikutustaitoja sekä halua kehittää omaa ja toisten työtä. Vertaisarviointiryhmään valitaan koordinaattori, joka hallitsee vertaisarviointimenetelmän ja on aiemmin toiminut vertaisarvioijana. 9
Vertaisarviointimenetelmän kouluttajilla on vertaisarvioinnin menetelmäasiantuntemus ja käytännön kokemusta sekä vertaisarvioinnista että ammatillisesta koulutuksesta. Vertaisarviointiryhmässä varmistetaan riittävä vertaisuuden taso. Vertaisarvioijina ovat samanlaisissa toimintaympäristöissä, samojen tehtävien tai haasteiden parissa työskentelevät henkilöt. Vertaisarvioijien tulee olla mahdollisimman riippumattomia arvioitavasta asiasta. 10
1.3 Arviointikriteerien laadinta Vertaisarvioinnin arviointikriteerit annetaan etukäteen vertaisarviointiin osallistuvien tietoon. Kriteerit ovat vertaisarvioinnin kohdetta koskevien säädösten, ohjeiden ja laatuvaatimusten mukaisia. Olemassa olevia lomakkeita, ohjeita, aikataulutuksia ja kriteerejä kannattaa hyödyntää Kriteerit soveltuvat käytettäväksi eri vaiheissa oleville asioille. Arvioinnissa voidaan käyttää sanallisen arvioinnin lisäksi myös arviointiasteikkoa. 11
VERTAISARVIOINNIN SUUNNITTELUN TSEKKAUSLISTA - tavoite - arvioinnin kohde (rajaus!) - arviointikriteerit - arvioijat tehtävät ja työnjako - tapaamisen osallistujat tiedottaminen ja perehdyttäminen - itsearviointi (arvioitavat) - ennakkomateriaali arvioijille (rajaus!) - tapaamisen sisältö, ohjelma ja työnjako - haastattelujen suunnittelu työnjako, apukysymykset - tulosten hyödyntäminen ja julkaisu - raportti miten ja milloin? 12
Vertaisarvioinnin suunnittelu Verkkovirta -hankkeessa Tavoitteet (Oamk/Amok) 1. suunnitella ja toteuttaa vertaisarviointia ja sen kautta opinnollistamisratkaisujen levittämistä, jolla tuetaan koko hankkeen ja osahankkeiden toimintaa. 2. tuottaa osahankkeille rakentavaa ulkopuolista palautetta toisen osahankkeen toimijoilta hankkeen laadusta, hyvistä työn opinnollistamisen käytänteistä ja kehittämiskohteista. 3. tuottaa arviointitietoa opintojen aikaisen työn opinnollistamisen mallien toimivuudesta. 13
Arvioijien valitseminen: Pilottien yhteyshenkilöiden tiedot toimitettava pikaisesti pirjo.aura@haaga-helia.fi Yhteyshenkilöiden kanssa suunnitellaan vertaisarvioinnin toteutus ja vertaisarviointiparit keväällä 2016. Oamk/Amok perehdyttää vertaisarvioijina toimivat henkilöt Vertaisarviointikriteerien laatiminen: 17.11.2015 aloitusseminaarissa vertaisarvioinnin periaatteet ja työpajatyöskentelynä työn opinnollistamisen vertaisarvioinnin kriteeristön yhteinen työstäminen. Kriteeristö on kaikkien vertaisarvioinnin yhteyshenkilöiden kommentoitavissa yhteisesti sovitulla alustalla. Kevään 2016 työpajatyöskentelyn yhteydessä sovitaan lopullisesta kriteeristöstä kommenttien ja palautteiden pohjalta. Pilotointi ja kriteerien parantaminen 14
2. TOTEUTUS 2.1 Valmistautuminen Vertaisarviointiryhmän työnjaosta sovitaan. Vertaisarviointitapaamiseen osallistujien valinnassa otetaan huomioon arvioinnin tavoitteet. Vertaisarviointiryhmältä ja vertaisarvioinnin kohteena olevilta edellytetään ennakkovalmistautumista. Haastateltaville kerrotaan etukäteen vertaisarvioinnin tarkoitus ja haastateltavien rooli kokonaisuudessaan. 15
2.2. Itsearviointi Itsearvioinnin tekevät arvioitavan toiminnan kannalta keskeiset henkilöt. Itsearvioinnin kohteet ja kriteerit ovat samoja kuin vertaisarvioinnissa. Itsearviointi annetaan vertaisarvioijien käyttöön ennen vertaisarvioinnin toteuttamista. o o o Tämä helpottaa itsearvioinnin tekemistä ja valmistautumista vertaisarviointiin sekä ohjaa arvioimaan toimintaa kriteeriperusteisesti Itsearvioinnin tulee sisältää myös lyhyet perustelut jokaiseen arviointikriteeriin. Itsearviointiraportin pohjalta mietitään ennakkoon täydentäviä kysymyksiä haastatteluun. 16
2.3. Vertaisarviointitapaaminen Arvioinnin perustana on monipuolinen aineisto arvioinnin kohteesta ja arvioinnissa otetaan huomioon itsearviointi, ennakkomateriaali, haastatteluissa esiin tulleet asiat, tehdyt havainnot sekä muu arvioinnissa käytetty aineisto. Hyvä perehtyminen ennakkomateriaaliin ja erityisesti itsearviointiraportin sisältöön paneutuminen ovat tärkeitä vertaisarvioinnin onnistumiseksi. Ennakkomateriaali rajataan. Mietitään kriittisesti, mikä materiaalissa on arvioinnin kannalta olennaista. Arviointi kohdistuu sovittuihin arviointikohteisiin ja kriteereihin. Vertaisarviointitapaamisen lopuksi annetaan lyhyt palaute ( pikapalaute ) havaintojen ja ennakkomateriaalin pohjalta arviointiin osallistuneille. 17
Pikapalaute Pikapalautteeseen kutsutaan mukaan kaikki vertaisarviointitapaamiseen osallistuneet. Pikapalautetilanne on keskusteleva, ja siinä voidaan vielä tarkentaa tapaamisen aikana esille tulleita asioita. Palaute tuodaan esiin rakentavasti ja kehittävästi. Palautteesta ei saa tulla esille vastaajien henkilöllisyys. 18
Vertaisarvioinnin toteutus Verkkovirta - hankkeessa Valmistautuminen - Arvioijat ja yhdyshenkilöt organisoivat tapaamisen yhdessä Itsearviointi - Työn opinnollistamisen pilotoidut kriteerit kaikkien käytettävissä Vertaisarviointitapaaminen - Lähitapaaminen, verkkotapaaminen tai puhelimen välityksellä - Aikataulutus suunnitellaan kevään 2016 aikana 19
3. ARVIOINTI 3.1 Arvioinnin tekeminen Arvioinnin perustana ovat ennalta sovitut arviointikriteerit. Arviointi on vertaisarviointiryhmän arviointiaineistoon perustuva yhteinen näkemys arvioinnin kohteesta. Vertaisarviointiryhmä tekee arviointikriteereihin tukeutuen johtopäätökset ja mahdolliset kehittämisehdotukset. 20
3.2. Palautteen antaminen Arvioinnin tulokset ja raportti toimitetaan arviointia hyödyntäville tahoille tai henkilöille, jotka ovat ennen arviointia tiedossa. Yksittäisen henkilön kommentit eivät saa olla tunnistettavissa. Arvioinnin tuloksista tiedotetaan ja arvioinnin keskeiset tulokset julkaistaan ennalta sovitun mukaisesti. 21
Raportti Kirjallinen raportti perustuu arvioijien perusteltuihin havaintoihin ja arviointikriteereihin. Raportissa kuvataan nykytilanne ja annetaan arviointi vahvuuksista ja kehittämiskohteista. Kehittämisehdotukset annetaan rakentavassa hengessä. Raporttiin kirjataan näkyviin haastateltavien ristiriitaiset vastaukset. Raporttia laadittaessa ja tulkittaessa muistetaan, että kyse ei ole arvostelusta vaan kehittämisestä. Raportista ei saa käydä ilmi vastaajien henkilöllisyys. 22
Arviointi Verkkovirta -hankkeessa Arvioinnin tekeminen - Arviointiryhmä muodostaa tekemästään arvioinnista yhteisen näkemyksen työn opinnollistamisen vahvuuksista ja kehittämiskohteista - Arviointiryhmä antaa pikapalautteen arviointitapaamisen päätteeksi ja kirjoittaa arviointiraportin. Palautteen antaminen - Arvioinnin tulokset ovat hanketoimijoiden käytettävissä ja koontiraportti on julkisesti kaikkien saatavilla 23 Erja Kotimäki
4. TARKISTUS JA KEHITTÄMINEN 4.1 Kehittämistoimet Vertaisarviointi on osa koulutuksen järjestäjän taustaorganisaation toimintajärjestelmää Vertaisarviointi johtaa kehittämiseen Muutosmenettelyt suunnitellaan koko organisaation yhteistyönä o o o o Laatutavoitteiden tarkistus Resurssien ja suunnitteluun tarvittavan tuen selvittäminen Toimintasuunnitelman ja sen toteutus Toteutuksen arviointi seuraavan vertaisarvioinnin suunnittelu 24
Toimintasuunnitelma ja toteuttaminen 25
4.2 Vertaisarviointimenetelmän kehittäminen Vertaisarvioinnin toteutusta arvioidaan suunnitelman mukaan. Vertaisarviointia kehitetään tehdyn arvioinnin pohjalta. Vertaisarvioinnista saadun palautteen perusteella kootaan kehittämiskohteet ja laaditaan niille toimenpiteet. Toimenpiteissä tulee esiin, kuka vastaa asian kehittämisestä sekä miten ja missä ajassa kehitetään. Toimenpiteitä seurataan säännöllisesti. 26
Tarkistus ja kehittäminen Verkkovirta -hankkeessa Kehittämistoimet - hankkeisiin osallistuvat kehittävät työn opinnollistamisen malleja saadun vertaisarviointipalautteen pohjalta Vertaisarvioinnin kehittäminen - vertaisarvioinnin yhteyshenkilöiltä kerätään palaute vertaisarvioinnin toteutuksesta 27
Lähteitä Eurooppalaisen vertaisarvioinnin opas ammatilliseen koulutukseen (European Peer Review Manual for VET). Opetushallitus 2013. Hanketoiminnan vertaisarvioinnin työkalu, ESR ja Opetushallitus 2010. Pedagogisen kehittämishankkeen toteutuksen arviointikriteeristö, Oppimisympäristöhanke 2008 2009, Opetushallitus Vertaisarvioinnin opas ammatilliseen peruskoulutukseen, Arviointialueet ja -kriteerit, Opetushallitus 2014 Vertaisarvioinnin opas näyttötutkintotoimintaan, Arviointialueet ja -kriteerit, Opetushallitus 2010 Vertaisarvioinnin vaikuttavuusopas. Vertaisarvioinnin vaikuttavuus. Vertaisarviointien vaikuttavuuden varmistaminen ammatillisen koulutuksen kehittämiseksi Euroopassa. Opetushallitus 2011. Vertaisarviointi hankkeissa. Ohjeita ja suosituksia. Kamoon TYKE, Osaajaksi, TOPO työssäoppimisen portaat ja Yhdessä tekemällä hankkeet. 2009-2011. Vertaisarviointi opetushallinnon ja Cimon ammatillisen koulutuksen kehittämishankkeissa. Ehdotus laadukkaan vertaisarvioinnin toteuttamiseksi. Mari Räkköläinen & Erja Kotimäki (toim.) 28
Oulun ammattikorkeakoulu Oy / Ammatillinen erja.kotimaki@oamk.fi, p. 050 588 4871 29