NAO-arviointimatriisi Sujuvat siirtymät -verkostolle NAO-MAO työseminaari XI Helsinki 9.-10.10.2017 Projektisuunnittelija Erno Hyvönen erno.hyvonen@minedu.fi
Kehittämistyön edistymisen arvioiminen Ongelma: Miten arvioida yksiselitteisesti Nuorten aikuisten osaamisohjelman tavoitteiden edistymistä, kun Arvioitavia prosesseja on useita? Ohjelmaa toteuttavia oppilaitoksia on useita? Oppilaitokset ovat aloittaneet eri aikaan? Lähtötilanne, kuten myös edistyminen eri oppilaitosten kesken vaihtelee kunkin prosessin kohdalla? 2
Ratkaisumalli - arviointimatriisi -> Ratkaisu on antaa numeroarvot 1- nykytilalle arviointimatriisissa eri arviointiulottuvuuksille -> Päivitetyn nykytilan ( toukokuu 2017) lisäksi tarvitaan lähtötila (201) ja tavoitetila/lopputila (2018) osaamisohjelman päättyessä -> Yksittäisen oppilaitoksen ja koko osaamisohjelman tavoitteiden toteutumista on mahdollista seurata -> OKM ja toiset toteuttajat osaavat kysyä oikeita kysymyksiä
Ratkaisumalli arviointimatriisi - 2 -> Koulutuksenjärjestäjien vastauksista ja perusteluista saadaan arvokasta tietoa jaettavaksi toisille järjestäjille; näitä ja näitä asioita on mietitty ja tehty, jotta päästäisiin tietyssä prosessissa pidemmälle; osataan kysyä oikeita kysymyksiä -> NAO-vastaavat saavat myös hyvää materiaalia omiin välija loppuraportteihinsa sekä pystyvät kertomaan edistymisestään sidosryhmilleen; osataan seurata oikeita asioita -> koko osaamisohjelman loppuraportti voidaan saada maallikonkin ymmärtämään muotoon ja esittää yhdellä sivulla! (2 sivua avovastauksia löytyy www.oph.fi/nao)
1 2 Arviointiulottuvuus Käytettävissä olevia voimavaroja ei ole kartoitettu (puuttuu) Muutoksen tarpeen toteaminen (alkava) Toimintatapa on suunniteltu ja käyttöönotettu (kehittyvä) Toimintatapamme ovat suunniteltuja, käyttöönotettuja ja parannetaan säännöllisten arviointien pohjalta (edistynyt) 1 Alueellinen yhteistyö (opiskelijan tavoittamiseksi, esim. ohjaamo, työpajat, TE-toimisto, perusopetus, etsivä nuorisotyö, jne.) Ei yhteisiä ohjaustyön strategioita Yhteisten strategioiden tarve tunnistettu ja ensimmäisiä versioita suunniteltu Ensimmäiset yhdessä laaditut strategiat otettu käyttöön Joustava strategioiden ja konseptien jatkuvan tuottamisen menettely, analysointi sekä jatkokehittäminen 2 Opiskelijan tukemisen konsepti (alku- ja Ei yhteistä ohjausvoimaa eikä konseptia, siirtymävaiheen tukitoimet, esim. NAO, tukitoimien tarve ei tunnistettu Zoomi) Alkuvaiheen opintojen tukitoimien tarve tunnistettu ensimmäisiä versioita yhteistyötavoista/malleista suunniteltu Tukitoimilla yhdistävä konsepti, esim. ryhmäyttäminen mallinnettu ja otettu käyttöön Joustava strategioiden ja konseptin jatkuvan tuottamisen menettely Opintojen yksilöllistäminen / henkilökohtaistaminen/ahott Ei yhteistä konseptia, tieto on hajallaan yksittäisillä asiantuntijoilla Vastuuttamisen / yhteistyö-mallinnusten tarve tunnistettu ja ensimmäisiä luonnoksia suunniteltu Kokonaisuuden ja osien monitorointitietojen ja arvioinnin käyttöönotto Monitoroinnin ja arvioinnin jatkuvaa yhteiskehittämistä Koulutuksen järjestäjän työelämäpalvelut Ei organisaatiossa keskitettyä ja opiskelijan työllistymisen edistäminen työelämäpalvelua, eikä huomioitu ja tukeminen (opintojen aikana ja niiden opiskelijan opintojen suunnittelussa jälkeen) keskitetyn työelämäpalvelun tarve Keskinäinen tunnettuvuus, työnjako, tunnistettu, jotta opiskelijan tarpeet ja yhteistyönäkymät kartoitettu ja työelämälähtöisiä opintopolkuja voitaisiin yhteistyön taso ja muodot vakiinnutettu toteuttaa Keskitetyn työelämäpalvelun yhteinen kehittäminen ja yhteistyön tiivistäminen, kokonaisuus on selkeästi vastuutettu jonnekin, jatkuva kehittäminen työelämäpalautteen pohjalta 5 Vaikuttavuus ja tehokkuus oppilaitoksen sisällä (suhteessa opiskelijoiden keskeyttämiseen ja opintojen edistymiseen) Kokonaisuuden synergiat oppilaitoksen sisällä heikkoja. Ei yhteisiä foorumeita/ ei nähdä mielekkäinä/ toimivina Uusien synergioiden tarve tunnistettu ja alustavia suunnitelmia sen konkretisoimiseksi tehty. Yhteistyöfoorumien elvyttämisen ja/tai työmuotojen kehittämisen tarve tunnistettu. Foorumi/ työpajatyöskentely otettu käyttöön, esim. ohjaaja-opettaja / S2- opettaja-ammattiopettaja -työparit. Parantunutta vaikuttavuutta (alkutilanteesta) oppilaitoksen sisäisen yhteistyön kehittyessä Foorumi/ työpajatyöskentely vakiinnutettu, ohjaaja-opettaja / S2- opettaja-ammattiopettaja -työpari työskentelyä jatkokehitetään.vaikuttavuus ja tehokkuus paranee kokonaisuuden hallinnan myötä 6 Yhteenveto: Tilanteelle kokonaisuutena ominaista (koko verkoston ja yksittäisten toimijoiden osalta) Voimavarat hajallaan, eivät tunne toisiaan, tahtotila puuttuu/ heikko Uuden yhteistyön tarve tunnistettu ja suunniteltu alustavasti Keskinäinen tunnettuvuus, työnjako, Yhteiskehittäminen ja yhteinen toiminnan tarpeet ja yhteistyönäkymät kartoitettu ja ja verkoston joustava muuntelu yhteistyön taso ja muodot vakiinnutettu 5
1 2 Arviointiulottuvuus Käytettävissä olevia voimavaroja ei ole kartoitettu (puuttuu) Muutoksen tarpeen toteaminen (alkava) Alkutilanne Toimintatapa on suunniteltu ja käyttöönotettu (kehittyvä) Nykytilanne Tavoitetilanne Toimintatapamme ovat suunniteltuja, käyttöönotettuja ja parannetaan säännöllisten arviointien pohjalta (edistynyt) 1 Alueellinen yhteistyö (opiskelijan tavoittamiseksi, esim. ohjaamo, työpajat, TE-toimisto, perusopetus, etsivä nuorisotyö, jne.) Ei yhteisiä ohjaustyön strategioita Yhteisten strategioiden tarve tunnistettu ja ensimmäisiä versioita suunniteltu Ensimmäiset yhdessä laaditut strategiat otettu käyttöön Joustava strategioiden ja konseptien jatkuvan tuottamisen menettely, analysointi sekä jatkokehittäminen 2 Opiskelijan tukemisen konsepti (alku- ja Ei yhteistä ohjausvoimaa eikä konseptia, siirtymävaiheen tukitoimet, esim. NAO, tukitoimien tarve ei tunnistettu Zoomi) Alkuvaiheen opintojen tukitoimien tarve tunnistettu ensimmäisiä versioita yhteistyötavoista/malleista suunniteltu Tukitoimilla yhdistävä konsepti, esim. ryhmäyttäminen mallinnettu ja otettu käyttöön Joustava strategioiden ja konseptin jatkuvan tuottamisen menettely Opintojen yksilöllistäminen / henkilökohtaistaminen/ahott Ei yhteistä konseptia, tieto on hajallaan yksittäisillä asiantuntijoilla Vastuuttamisen / yhteistyö-mallinnusten tarve tunnistettu ja ensimmäisiä luonnoksia suunniteltu Kokonaisuuden ja osien monitorointitietojen ja arvioinnin käyttöönotto Monitoroinnin ja arvioinnin jatkuvaa yhteiskehittämistä Koulutuksen järjestäjän työelämäpalvelut Ei organisaatiossa keskitettyä ja opiskelijan työllistymisen edistäminen työelämäpalvelua, eikä huomioitu ja tukeminen (opintojen aikana ja niiden opiskelijan opintojen suunnittelussa jälkeen) keskitetyn työelämäpalvelun tarve Keskinäinen tunnettuvuus, työnjako, tunnistettu, jotta opiskelijan tarpeet ja yhteistyönäkymät kartoitettu ja työelämälähtöisiä opintopolkuja voitaisiin yhteistyön taso ja muodot vakiinnutettu toteuttaa Keskitetyn työelämäpalvelun yhteinen kehittäminen ja yhteistyön tiivistäminen, kokonaisuus on selkeästi vastuutettu jonnekin, jatkuva kehittäminen työelämäpalautteen pohjalta 5 Vaikuttavuus ja tehokkuus oppilaitoksen sisällä (suhteessa opiskelijoiden keskeyttämiseen ja opintojen edistymiseen) Kokonaisuuden synergiat oppilaitoksen sisällä heikkoja. Ei yhteisiä foorumeita/ ei nähdä mielekkäinä/ toimivina Uusien synergioiden tarve tunnistettu ja alustavia suunnitelmia sen konkretisoimiseksi tehty. Yhteistyöfoorumien elvyttämisen ja/tai työmuotojen kehittämisen tarve tunnistettu. Foorumi/ työpajatyöskentely otettu käyttöön, esim. ohjaaja-opettaja / S2- opettaja-ammattiopettaja -työparit. Parantunutta vaikuttavuutta (alkutilanteesta) oppilaitoksen sisäisen yhteistyön kehittyessä Foorumi/ työpajatyöskentely vakiinnutettu, ohjaaja-opettaja / S2- opettaja-ammattiopettaja -työpari työskentelyä jatkokehitetään.vaikuttavuus ja tehokkuus paranee kokonaisuuden hallinnan myötä 6 Yhteenveto: Tilanteelle kokonaisuutena ominaista (koko verkoston ja yksittäisten toimijoiden osalta) Voimavarat hajallaan, eivät tunne toisiaan, tahtotila puuttuu/ heikko Uuden yhteistyön tarve tunnistettu ja suunniteltu alustavasti Keskinäinen tunnettuvuus, työnjako, Yhteiskehittäminen ja yhteinen toiminnan tarpeet ja yhteistyönäkymät kartoitettu ja ja verkoston joustava muuntelu yhteistyön taso ja muodot vakiinnutettu 6
Arviointiulottuvuudet 1: Alueellinen yhteistyö 1 Puuttuu 2 Alkava Kehittyvä Edistynyt Yhteensä Keskiarvo Alkutilanne (vuonna 201) 22 10 8 2, Nykytilanne (toukokuu 2017) 0 2 11 8,21 Tavoitetilanne (2017 vuoden lopussa) 0 1 1 2 8,61 Arviointiulottuvuudet 2: Opiskelijan tukemisen konsepti 1 Puuttuu 2 Alkava Kehittyvä Edistynyt Yhteensä Keskiarvo Alkutilanne (vuonna 201) 5 2 6 8 2,2 Nykytilanne (toukokuu 2017) 0 1 26 11 8,26 Tavoitetilanne (2017 vuoden lopussa) 0 1 1 2 8,58 7
Arviointiulottuvuudet : Opintojen yksilöllistäminen / henkilökohtaistaminen / AHOTT 1 Puuttuu 2 Alkava Kehittyvä Edistynyt Yhteensä Keskiarvo Alkutilanne (vuonna 201) 2 21 1 2 8 2,9 Nykytilanne (toukokuu 2017) 0 2 10 8,16 Tavoitetilanne (2017 vuoden lopussa) 0 0 10 28 8,7 Arviointiulottuvuudet : Koulutuksen järjestäjän työelämäpalvelut ja opiskelijan työllistymisen edistäminen ja tukeminen 1 Puuttuu 2 Alkava Kehittyvä Edistynyt Yhteensä Keskiarvo Alkutilanne (vuonna 201) 5 20 10 2 7 2,2 Nykytilanne (toukokuu 2017) 0 9 25 8 2,87 Tavoitetilanne (2017 vuoden lopussa) 0 1 21 16 8,9 8
Arviointiulottuvuudet 5: Vaikuttavuus ja tehokkuus oppilaitoksen sisällä 1 Puuttuu 2 Alkava Kehittyvä Edistynyt Yhteensä Keskiarvo Alkutilanne (vuonna 201) 2 10 1 8 2,21 Nykytilanne (toukokuu 2017) 0 2 29 7 8,1 Tavoitetilanne (2017 vuoden lopussa) 0 1 16 21 8,5 Arviointiulottuvuudet 6: Yhteenveto: Tilanteelle kokonaisuutena ominaista (koko verkoston ja yksittäisten toimijoiden osalta) 1 Puuttuu 2 Alkava Kehittyvä Edistynyt Yhteensä Keskiarvo Alkutilanne (vuonna 201) 2 10 1 8 2,2 Nykytilanne (toukokuu 2017) 0 2 0 6 8,11 Tavoitetilanne (2017 vuoden lopussa) 0 1 15 21 7,5 9
Vocational adult education: changes in paradigm PISA PISA PISA OECD etc. IALS (199-98) ALL PIAAC (2010-1) National development programs ESF Grundtvig Erasmus+ NOSTE (200-09) Opin Ovi (2008-1) Youth Guarantee NAO EU Agenda for Adult Learning
Vocational adult education: changes in paradigm 2 PIAAC PISA PISA PISA PIAAC (2nd round) National development programs NAO 201-2017 ENO 2015-2016 MAO 2017-2018 Reform of Vocational Education 2018 (?) ESF Grundtvig Erasmus+ EU Agenda for Adult Learning Asylum seekers in Europe 2015 Basic Skills, EBSN
NAO-matriisi tulosten hyödyntäminen NAO-verkoston ja Zoomi-hankkeen yhteinen seminaari 12.-1.10.2017 Helsinki/Espoo Kansallisen koulutuksen arviointikeskus Karvin tutkimushanke Ammatillisen koulutuksen osaamisperusteisuus, asiakaslähtöisyys ja toiminnan tehokkuus Arvioinnin tavoitteena on tukea reformin aikaista päätöksentekoa ja erityisesti ammatillisen koulutuksen osaamisperusteisuuden ja asiakaslähtöisyyden kehittämistä. Ammatillisen koulutuksen reformin tukiohjelma käynnistyy syksyllä 2017 tuetaan koulutuksen järjestäjiä ja opettajia reformin toimeenpanossa jalkautetaan reformin tavoitteita 12