Ammatillisen perus- ja aikuiskoulutuksen vaikuttavuus ja koulutuksen kehittäminen

Transkriptio

1 Ammatillisen perus- ja aikuiskoulutuksen vaikuttavuus ja koulutuksen kehittäminen Mari Räkköläinen Opetusneuvos, FT VTM Karvi Rehtorien ja koulutusjohtajien ajankohtaispäivät Tampere

2 TOIMINNAN TULOKSELLISUUDEN ARVIOINTIMALLI PANOKSET (toimintaedellytykset) PROSESSI (tekeminen) TULOKSET (aikaansaannokset, tuotokset) VÄLITTÖMÄT VAIKUTUKSET (toimintatapojen muutos) VAIKUTTAVUUS (miten muutos näkyy kohderyhmässä/ toiminta-kulttuurissa?) MR 2013 ja 2014 mukaellen Theory of Change viitekehystä (ks. esim. Pawson & Tilley 1997; Weiss 1995, 1997) MARI RÄKKÖLÄINEN

3 Vaikuttavuustavoite (PÄÄMÄÄRÄ) Vaikuttavuustavoite on suuri, muutokseen tähtäävä tavoite ja päämäärä. Se kuvaa käyttäytymisen muutosta, toimintatapojen muutosta sekä muutosta tukevien olosuhteiden ja ympäristön muuttumista. Se voi olla määrällistä ja mitattavaa sekä laadullista ja havaittavaa. Se ilmentää arvoja On usein strateginen

4 VAIKUTTAVUUSTAVOITTEITA (Päämäärä) Kilpailukykyisen ja kansainvälisesti korkeatasoisen osaamisen vahvistaminen Oppimistulosten parantaminen Koulutuksen tuloksellisuuden varmistaminen Koulutuspoliittisten uudistusten toimeenpanossa tarvittavan osaamisen edistäminen

5 Vaikuttavuuden taustalla vaikuttajien ajatuksia OKM:n kansliapäällikkö Anita Lehikoinen: Yksilön kannalta koulutuksen vaikuttavuus voi ilmentyä sitä kautta, että onnistuuko hän työllistymään tai ovatko hänen jatkoopintovalmiutensa riittävät. OKM:n ammatillisen koulutuksen vastuualueen johtaja Mika Tammilehto: Kuinka hyvin opiskelijat saadaan sisään ja kuinka hyvin heistä pystytään huolehtimaan? Kykenevätkö he etenemään tutkinnon perusteissa asetettujen tavoitteiden mukaisesti? Lähde: Ammattikasvatuksen aikakausikirja 2/2014, Raija Meriläinen & Mari Räkköläinen 5

6 Vaikuttavuuden arviointia Vaikuttavuuden arvioinnissa peruskysymys on: MIKÄ ON SE MUUTOS, JOTA HALUTAAN? Muutos on arvokas PÄÄMÄÄRÄ (goal/ impact), kuten syrjäytymisen ehkäiseminen, osallisuuden vahvistuminen Päämäärä on peruste, miksi kehittämishanke/ kehittämistoimenpide on tärkeä Tällöin arvioidaan pitkän tähtäimen hyötyjä kohderyhmälle ja YHTEISKUNNALLE Vaikuttavuus ja sen arviointi liittyy aina arvoihin ja laatuun Voidaan arvioida myös panoksia (inputs), tuotoksia (outputs / outcomes), vaikutuksia (effects) ja toimintaa (activities), jotka linkittyvät päämäärään. ( theory of change ) Räkköläinen 2011, 2014; Weiss 1995, 1997; Stame 2004; Pawson & Tilley Mari Räkköläinen 6

7 VAIKUTTAVUUDEN ARVIOINTIKYSYMYKSIÄ MITEN JOKIN INTERVENTIO JOHTAA MUUTOKSEEN? MIKÄ TOIMII, KENELLE JA MISSÄ OLOSUHTEISSA? MITEN MUUTOS NÄKYY KOHDERYHMÄSSÄ / TOIMINTAKULTTUURISSA? -> TAVOITTEENA ON YMMÄRTÄÄ, MIKÄ SAA AIKAAN MUUTOKSIA -> TAVOITEENA ON YLEISTÄÄ ILMIÖTÄ (teorian luominen, tietoperustan vahvistaminen) -> ARVIOINNISTA ON MAHDOLLISTA OPPIA 7 Mari Räkköläinen 7

8 Mari Räkköläinen INDIKAATTORIN MÄÄRITELMÄSTÄ Osoitin Ilmaisin (Tiivistetty) tilastollinen luku Laadullinen mittari (laajojen ja monimutkaisten tietojen yksinkertaistaminen), laatua kuvaava Kriteeri Absoluuttinen/ suhteellinen Apuväline Tavoitteiden asettamisessa ja seurannassa Vertailussa Suunnittelussa Päätöksenteossa

9 Indikaattorin laadinnan näkökulmia: (ESIM. TYÖELÄMÄYHTEISTYÖ) Päämäärä Mitä (merkittävää) koulutuspoliittista tavoitetta (työelämäyhteistyöllä) edistetään? Mikä on se muutos, jota (työelämäyhteistyöllä) tavoitellaan? Miksi kehittämistyö/ toimintamalli on tärkeä? Toimintaedellytykset Millaisin panoksin (laadukas, tavoitteet saavuttava) toiminta (työelämäyhteistyö) on mahdollista? Prosessi Millaisen toiminnan avulla tavoitteet saavutetaan? Mikä on rakenne (mitä) ja prosessi (miten)? Laadukkaan palvelun osatekijät Vaikutukset Mitä toiminta (työelämäyhteistyö) tuottaa (aikaansaannokset, oppimistulokset)? Mikä on sen hyöty ja mitä toiminnan tuloksena syntyy? Mari Räkköläinen

10 TYÖELÄMÄYHTEISTYÖN LAATUA KUVAAVAN INDIKAATTORIN LAATIMINEN AMMATILLISEN KOULUTUKSEN TYÖELÄMÄ- LÄHTÖISYYS ja TYÖELÄMÄLÄHEISYYS Päämäärä - Tavoitteet VAIKUTUKSET TOIMINTAEDELLYTYKSET MATERIAALISET, TALOUDELLISET JA INHIMILLISET VOIMAVARAT TYÖELÄMÄ YHTEISTYÖ- INDIAATTOREIDEN LAADINNAN NÄKÖKOHTIA TOIMINTA Suunnittelu toteutus arviointi - kehittäminen TUOTOKSET

11 ESIM. TYÖELÄMÄINDIKAATTORI Työelämälähtöisyys Opetussuunnitelmien sisältö, näyttöjen arviointikriteerit, työssäoppimisjaksojen tavoitteet, oppimistehtävien sisällöt, (työelämä)pedagogiikka Työelämäläheisyys koulutuksen järjestäjän/ opettajan toimintatavat, näyttöympäristön valinta, arvioijien valinta ja kouluttajien käyttö työpaikoilla toteutetun työssäoppimisen ja ammattiosaamisen näyttöjen toteutumisaste

12 OPPIMISTULOSTEN ARVIOINNEISTA ESIIN NOUSSUTTA Työelämälähtöisyyden ja työelämäläheisyyden yhteys oppimistuloksiin - Varmistavatko ammattiosaamisen näytöt työelämälähtöisyyden ja työelämäläheisyyden? Opiskelijoiden osaamisen kehittymisen seuranta ja siirtovaikutuksen arviointi - Miten osaamisen siirrettävyys voidaan varmistaa? Laadunvarmennuksen tarpeellisuus - Miten luotettavuuteen liittyviä jännitteitä voidaan hallita? Arviointien vaikuttavuus Voidaanko oppimistuloksia arvioida kontekstuaalisesti ja prosessuaalisesti? Miten kohti kehittävää arviointia? Räisänen & Räkköläinen

13 KOHTI KEHITTÄVÄÄ ARVIOINTIA Arviointi tuottaa oppimista ja johtaa kehittämiseen Pitkän tähtäimen tavoitteiden seuranta, pitkäjänteisyys ja syvällinen tarkastelu Arvioinnin kohteen osallisuus arviointiprosessissa, dialogi ja neuvottelu Kokemus ammatillisesta vastuusta ja vaikutusmahdollisuuksista Kriteeriperusteisuus (ennalta asetetut ja osapuolten tiedossa) Arviointiin liittyy aina palaute (vertailu, kriteerit) Huomio arvioinnin vaikutuksiin ja seuraamuksiin (arviointitulosten oikeudenmukainen käyttö) Pohjautuu luottamukselle sekä ylläpitää ja edistää luottamusta Osallisuuden ehtona on tietoisuus arvioinnin tarkoituksesta ja arviointikysymyksistä -> to prove -> to improve (O NEIL 2002; Crooks 2002, 2003; Fetterman 2001; Patton 1997; Räkköläinen 2011)

14 KESKUSTELU Millaista koulutuspolitiikan arviointia tarvitaan päätöksenteon tueksi? Millainen arviointi tuottaisi käyttökelpoista tietoa koulutuksen vaikuttavuudesta? Millaisia haasteita koulutuksen vaikuttavuuden arviointiin liittyy? Miten saadaan yllättävät/ odottamattomat vaikutukset esiin? Tampere Mari Räkköläinen 14

15 LÄHTEITÄ Meriläinen, R. (2011). Valkolakki vai haalarit, vaiko molemmat? Koulutuspolitiikan vaikuttajien näkemykset toisen asteen kehityksestä. Akateeminen väitöskirja. Superin julkaisuja 1/ Helsinki: Unigrafia. Räisänen, A. & Räkköläinen, M Assessment of learning outcomes in Finnish vocational education and training. Assessment in education: Principles, Policy & Practice. Published on line 22 oct Routledge. Taylor & Francis Group. http//dx.doi.org/ / x Räisänen, A. & Räkköläinen, M. (2014). Developmental assessment of Learning Outcomes. Teoksessa Satu Kalliola (toim.) Evaluation as a tool for Research, Learning and making things better, Cambridge Scholars Publishing, Räkköläinen, M. (2011). Mitä näytöt näyttävät? Luotettavuus ja luottamus ammatillisten perustutkintojen näyttöperusteisessa arviointiprosessissa. Akateeminen väitöskirja. Acta Universitatis Tamperensis Tampere Räkköläinen, M., Frisk. T., Hätönen, H., & Kotimäki, E. (2014). Laadukkaasta hankkeesta vaikuttavuuteen. Teoksessa Opetustoimen henkilöstön koordinointihanke Osaamista kehittämässä herkällä korvalla, ennakoivalla otteella ja punnitulla arvopohjalla. Raportit ja selvitykset 2014:5. Helsinki: Opetushallitus. Räkköläinen M. & Meriläinen, R. Koulutuksen vaikuttavuus mitä se oikein on? Ammattikasvatuksen aikakausikirja 2/ 2014, Mari Räkköläinen 15

16 LOPUKSI Päämäärää kohti kulkiessaan ihminen joutuu usein muuttamaan suuntaa - Paulo Coelho -

17 Kansallinen koulutuksen arviointikeskus (Karvi): Ammatillisen koulutuksen oppimistulosten arvioinnit Päättyneet arvioinnit Loppuraportti 2013 Hiusalan pt Maatalousalan pt Sähkö- ja automaatiotekniikan pt Loppuraportti 2014 Liiketalouden pt Kotityö- ja puhdistuspalvelujen pt Käsi- ja taideteollisuusalan pt 17

18 Ammatillisen koulutuksen oppimistulosten arvioinnit Meneillään olevat arvioinnit Loppuraportti 2015 Elintarvikealan pt Pintakäsittelyalan pt Loppuraportti 2016 Autoalan pt Tieto- ja viestintätekniikan pt Musiikkialan pt Tekstiili- ja vaatetusalan pt 18

19 Ammatillisen koulutuksen oppimistulosten arvioinnit Meneillään olevat arvioinnit Loppuraportti 2017 Nuoriso- ja vapaa-ajanohjauksen pt Prosessiteollisuuden pt Audiovisuaalisen viestinnän pt Loppuraportti 2018 Talotekniikan pt Liikunnanohjauksen pt Matkailualan pt Puutarhatalouden pt 19

20 Elinikäisen oppimisen avaintaidot: Kestävän kehityksen oppimistulosten arviointi Arvioinnin tavoitteena on selvittää, miten hyvin perustutkintojen perusteissa määritellyt kestävän kehityksen tavoitteet on saavutettu. Arvioinnin lähtökohtana on ekologinen, sosiaalinen, kulttuurinen ja taloudellinen kestävä kehitys. Arviointi tuottaa tietoa kestävän kehityksen tiedoista ja taidoista sekä opiskelijoiden kestävään kehitykseen liittyvistä asenteista. Arvioinnissa selvitetään myös, miten kestävän kehityksen tavoitteet ilmenevät koulutuksen järjestäjän toiminnassa. Arviointiin osallistuvat kaikki ammatillisen peruskoulutuksen järjestäjät. Arvioinnin otantaan on valittu kultakin koulutuksen järjestäjältä yksi tai useampi tutkinto. Arviointi kohdistuu perustutkinto-opiskelijoihin, jotka ovat aloittaneet koulutuksensa vuonna 2012 ja päättävät opintonsa keväällä Arviointi järjestetään sähköisenä kokeena aikavälillä tai Loppuraportti valmistuu loppuvuonna 2015/ keväällä

21 Ammatillisen koulutuksen ja ammattikorkeakoulujen välisten koulutuspolkujen ja työelämäyhteistyön arviointi Arviointi koskee kaikkia tutkintoon johtavaa koulutusta järjestäviä ammatillisen koulutuksen järjestäjiä sekä ammattikorkeakouluja. Arvioinnin tavoitteena on tuottaa tietoa koulutuspolkujen toteutumisesta, koulutuspolkujen rakentumiseen vaikuttavista prosesseista sekä rakenteellisista koulutuspoliittisista tekijöistä. Koulutuspolkuja tarkastellaan sekä nuorten että aikuisten tutkintotavoitteisen koulutuksen näkökulmista. Arvioinnissa selvitetään myös ammatillisen koulutuksen järjestäjien ja ammattikorkeakoulujen yhteistyön muotoja. Arvioinnin keskeisenä tavoitteena on tuoda esiin joustavia koulutuspolkuja ja koulutusorganisaatioiden yhteistyötä edistäviä toimintatapoja ja hyviä käytänteitä. 21

22 Ammatillisen koulutuksen ja ammattikorkeakoulujen välisten koulutuspolkujen ja työelämäyhteistyön arviointi Kysely ammatillisen koulutuksen järjestäjille ja ammattikorkeakouluille ( ) Vierailukäynnit ja haastattelut (helmikuu maaliskuu 2015) Alueelliset seminaarit (huhtikuu toukokuu 2015) Loppuraportti marraskuu

23 MATEMATIIKAN OPPIMISTULOSTEN SEURANTA-ARVIOINTI Jatkoa Opetushallituksen vuosina 2005, 2008 ja 2012 toteuttamalle matematiikan seurantaarvioinnille (luokat 3, 6 ja 9) Järjestetään arviointikoe toisen asteen viimeisen vuoden opiskelijoille (lukio ja ammatilliset oppilaitokset), jotka olivat mukana ko. seuranta-arvioinnissa Arviointikoe ja tiedonkeruu tammi-helmikuu