NÄYTTÖÄ ON AMMATTIOSAAMISEN NÄYTTÖJEN TOTEUTUMINEN KÄYTÄNNÖSSÄ Anu Räisänen TYÖSSÄOPPIMISEN FOLLOW UP
ARVIOINTIKOHDE Ammattiosaamisen näyttöjärjestelmän toimivuus käytännössä, erityisesti ammattiosaamisen näyttöjen suunnittelu, toteutus ja arviointi yhteistyössä työelämän kanssa Ammattiosaamisen näytöille asetettujen tavoitteiden toteutuminen Ammattiosaamisen näyttöjen kustannusvaikutukset Ammattiosaamisen näyttöjen hallinnolliset vaikutukset ml. oikaisupyynnöt
ARVIOINNIN TEHTÄVÄT JA TAVOITTEET kehittää ammatillista peruskoulutusta ja pedagogiikkaa tukea tavoitteiden saavuttamista tukea näyttöjen käytännön toteutusta ja integroitumista työssäoppimiseen sekä niiden vakiinnuttamista parantaa kustannusten läpinäkyvyyttä edistää arviointikulttuuria ja eri toimijoiden välistä vuoropuhelua tuoda esiin hyviä käytäntöjä
ARVIOINNIN PERIAATTEET kehittävä arviointi osallistavuus käytännön hyöty opetustyöhön monitahoisuus kriteeriperustaisuus (maksimi 195 pistettä) järjestäjä- ja tutkintotasot, tunnusluvut LÄHTÖKOHDAT käytännönläheisyys kansalliset linjaukset kehittämisvaiheen kokemukset eduskunnalle tehtävä selvitys väliraportointi toiminnan ja tuloksen laatu
AINEISTON KOONTI CQAF viitekehys Toimintakuvaukset: järjestäjä- ja tutkintotasot Monitahoarviointi arviointiraati ULKOINEN ARVIOINTI: Toimintakuvaukset ja itsearviointiraportti Määrälliset tiedot Viranomaisten haastattelu Arviointikäynnit (n = 6) Oppimistulostiedot: OPH ja järjestäjät ARVIOINNIN KRITEERIPERUSTAISUUS Kriteereiden testaaminen ennalta
KRITEERIT 1 Suunnittelu ja järjestäjän linjaukset linjaukset, suunnittelu, työnjako, yhteistyö 2 Toteutus johtaminen, toimielin, näyttöjen organisointi, resurssit 3 Seuranta ja arviointi laadunvarmistus, seuranta, tietojärjestelmät 4 Tulokset ja vaikutukset/vaikuttavuus tyytyväisyys, oppimistulokset, innovaatiot/ hyvät käytännöt) 5 Parantaminen ja kehittäminen panostukset kehittämiseen, uudet toimintatavat, toisilta oppiminen 0 35 pistettä 0 75 pistettä 0 25 pistettä 0 20 pistettä 0 40 pistettä
CQAF Suunnittelu strategiat ja toimintasuunnitelmat, opetussuunnitelmat, resurssit prosessit yhteistyö Parantamis- ja kehittämisprosessit parantaminen kehittäminen kehittämishankkeet innovaatiot, parhaat käytännöt Metodologia kaksivaiheisuus (järjestäjä/tutkin not) TOP- seuranta monitahoisuus kuvaukset, tunnusluvut, muut aineistot Seuranta arviointiistunnot ja arviointi itsearviointi palautteet ulkoinen arviointi/ vertaisarviointi indikaattorit tulokset Toimeenpano Toimielin Näyttöjen organisointi Näytöt osana työssäoppimista Opiskelijan ohjaus Yhteistyö Resurssit
OHJAUS ARVIOINTIKOHDE TIETOJEN KOONTI JA ANALYSOINTI RAPORTOINTI Lainsäädäntö OPM:n linjaukset OPS -perusteet Kehittämishankkeet Informaatio-ohjaus Ammattiosaamisen näytöt: -pedagogiset tavoitteet -työelämälähtöisyys -osa opetussuunnitelmaa -osa opiskelijan arviointia -osa työpaikalla tapahtuvaa oppimista -kolmikantaisuus Ohessa oppimistulosten arviointi Toteuttaminen käytännössä Tavoitteiden saavuttaminen Kustannusvaikutukset Hallinnolliset vaikutukset 1 JÄRJESTÄJIEN AINEISTO Järjestäjien kuvaukset 31.12.2008 Toimielinkysely Tutkintokohtaiset kuvaukset 31.4. 2009 Opiskelijakysely Määrälliset tiedot Itsearviointi 2 ARVIOINTIKÄYNNIT 3 VIRANOMAISTEN HAASTATTELU 3 TILASTOT JA REKISTERIT 4 AIEMMAT SELVITYKSET JA TUTKIMUKSET VÄLIRAPORTTI -elokuu 2009 LOPPURAPORTTI 5 OPPIMISTULOKSET PÄÄTÖS 4/2008 SUUNNITTELU 5-9/08 AINEISTON KOONTI JA ANALYSOINTI RAPORTOINTI 4/-08 5-9/-08 1/09-12/-09 8-12/-09
YHTEISPISTEIDEN JAKAUMA Maksimi = 91,2 % pisteistä (pieni), minimi = 4,62 % pisteistä (pieni) Tavoitetason ylitys: 17 % (n =19) kaikilla osa-alueilla, 48,2 % (n = 54) jollakin osa-alueella, 34,8 % (n = 39) ei 30 28 26 24 22 20 18 16 14 12 10 8 6 4 2 0 millään osa alueella 0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-90 90-100
70 60 50 40 30 KESKIMÄÄRÄINEN TASO OSA-ALUEITTAIN Kaikki järjestäjät Laatutaso Suunnittelu Toteutus Seuranta ja arviointi Tulokset Parantaminen ja kehittäminen Yhteensä
KESKIMÄÄRÄINEN TASO KOON MUKAAN 65 55 45 35 Pieni 25 Keskikokoinen Suunnittelu Toteutus Seuranta ja arviointi Tulokset Parantaminen ja keh... Yhteensä Suuri Laatutaso
KESKIMÄÄRÄINEN TASO OMISTUSPOHJAN MUKAAN 65 Yksialainen Monialainen Laatutaso 55 45 35 25 Suunnittelu Toteutus Seuranta ja arviointi Tulokset Parantaminen ja kehittäminen Yhteensä
70 60 50 40 30 KESKIMÄÄRÄINEN TASO KIELIRYHMITTÄIN Suomenkielinen Ruotsinkielinen Laatutaso Suunnittelu Toteutus Seuranta ja arviointi Tulokset Parantaminen ja kehittäminen Yhteensä
LAATUTASO ARVIOINTIIN OSALLISTUNEEN TUTKINNON MUKAAN 80 70 Humanistinen ja kasvatusala 60 Kulttuuriala 50 40 30 20 Suunnittelu Toteutus Seuranta ja arviointi Tulokset Parantaminen ja kehittäminen Yhteensä Yhteiskuntatieteide n, liiketalouden ja hallinnon ala Luonnontieteiden ala Tekniikan ja liikenteen ala Luonnonvara- ja ympäristöala Sosiaali-, terveys- ja liikunta-ala Matkailu-, ravitsemis- ja talousala Laatutaso
AMMATTIOSAAMISEN NÄYTTÖJEN TAVOITTEET 1 Vahvistanut työelämälähtöisyyttä integraatio työssäoppimiseen opettajien työelämäyhteydet työelämälähtöinen opetus ja oppiminen oppilaitoskeskeisyys, keskeneräinen prosessi työelämän tuotannolliset paineet rakennemuutokset ja suhdanteet pienten ja keskisuurten yritysten paineet ala- ja tutkintokohtaisuus useita käytäntöjä (eri järjestäjät, amk, oppisopimus ) Onko työelämälle siirretty liian paljon koulutukselle kuuluvaa vastuuta?
2 Ei laajasti edistä opiskelijoiden työhön sijoittumista työssäoppimisella suurempi merkitys vaikutus työelämäosaamisella ja uudella orientaatiolla työmarkkinatilanteen vaikutus suuri 3 Yhtenäistää opiskelijan arviointia mutta ei takaa yhtenäisyyttä tavoitteet arviointikriteerit näyttöaineistot opettajien ja työpaikkaohjaajien koulutus Opettajat osallistuvat vähän työpaikalla järjestettävien näyttöjen arviointiin Rakenteita merkittävämpää pedagoginen kehittämistyö, jossa toimintatapoja kyseenalaistetaan ja tarkastellaan kriittisesti Edellyttää luopumista totutuista tavoista
3 Edistää koulutuksen laatua ei takaa sitä laatu ei selity yhdellä toiminnolla varmistaa työelämälähtöisyyttä kriittisyys opiskelijan arvosanoihin luotettavuusongelmat 4 Kehittävät ammatillista koulutusta eivät itsestään selvästi syvennä pedagogista ymmärrystä teknisen toteutuksen pedagogisen syväymmärryksen epätasapaino väsyminen jatkuviin muutoksiin aikajakso liian lyhyt johtamis- ja toimintakulttuurin muutostarve suuri
KÄYTÄNNÖN TOTEUTUS 1 Mistä ammattiosaamisen näytöissä on kyse? osa työssäoppimista integraatiota edistävä pedagogiikka opiskelijan arvioinnin menetelmä 2 Orientaatio laajasti normi- ja resurssikeskeinen 3 Ei vielä pedagogisen johtamisen ja toimintakulttuurin syvämuutoksia järjestäjän rooli oppilaitoskohtaisuus- pedagoginen johtaminen 4 Opettajan työ on muuttumassa työtaakka luopuminen 5 Toimielimen roolista ristiriitaisia käsityksiä 6 Ammattiosaamisen suunnittelun monet tasot 7 Osaamisen tunnistaminen ja tunnustaminen vähäistä 8 Paljon osanäyttöjä ja oppilaitosnäyttöjä
9 Painopiste siirtymässä laaja-alaisiin näyttöihin opintojen loppuun 10 Kriteerit vaikeaselkoisia ei yhteistä kieltä 11 Mittarit ja arviointi epäluotettava oppimistulokset liian hyviä uusi arvosana-asteikko herättää tyytymättömyyttä uusi asteikko tasapäistää tulokset onko seuranta tarpeen? 12 Yhteistyön haasteet suuria 13 Voimavarojen puute ei ole esteenä kustannusvaikutukset vaikea arvioida opettajien VES/TES järjestelmät esteenä 14 Hallinnolliset vaikutukset vähäisiä (todistusten allekirjoittaminen) Oikaisuvaatimuksia ei ole juuri lainkaan 16 Kansallisessa ohjauksessa dynaamiseen kehittämiseen
1 Varovaisuutta käänteen tekeviin muutoksiin KEHITTÄMISEN SUUNNAT 2 Ammattiosaamisen näyttöjen integrointi työssäoppimiseen 3 Opiskelijan arvioinnin kehittäminen kokonaisuutena 4 Opettajan työn ja ammatin paradigman muutos pedagogiset rakenteet ja käytännöt 5 Opettajien työ- ja virkaehtosopimukset ja palkkausjärjestelmät vastaamaan työn vaatimuksia 5 Järjestäjillä paljon työtä: painopiste kokonaisuuden hallintaan ja pedagogiseen johtamiseen kriittistä suuret erot 6 Työpaikkojen sitoutuminen ammattiosaamisen näyttöihin ja niiden kehittämiseen 7 Kansalliset toimijat: lainsäädäntö, pedagoginen ohjaus, arviointi
TYÖSSÄOPPIMISEN FOLLOW UP tilivelvollisuus yllätti vaikuttavuudessa suuret erot systemaattisuus tekninen kehittävä status, oppimisen väline, kriittinen reflektio yhdessä monitahoarviointi osallistavuus itsearvioinnin merkitys suurempi kuin ulkoisen arvioinnin kehitysvaikutukset kumuloituvat arviointi ja sen hyödyntäminen delegoitu prosesseihin: henkilöityy, ei johtamisen työkalu määrällisten tietojen koonnissa erittäin suuret ongelmat odotukset konkreettisista toimenpiteistä ja järjestäjäkohtaisesta palautteesta
Vaikutukset toimintaan (esim.) selkeytti pedagogista strategiaa syvensi ymmärrystä työssäoppimisesta laajana systeeminä syvensi pedagogista orientaatiota yhtenäisti toimintaperiaatteita osoitti arvioinnin ja seurannan merkityksen paransi eri alojen, oppilaitosten ja järjestäjien näytöillä suuri vaikutus työssäoppimiseen toisilta oppimista ja palautetta kaivataan Arviointiprosessista olisi hyötyä jos - annettaisiin palaute - vertaisarviointia vahvistettaisiin - arviointiprosessia nopeutettaisiin - suositukset olisivat konkreettisia Arviointia ei osata hyödyntää raportointi liian yleisellä tasolla kohderyhmät resurssipula, alakohtaiset erot ja esteet osaamisen ja tahdon puute
MIKSI EI? raportointi liian yleisellä tasolla kohderyhmät resurssipula, alakohtaiset erot ja esteet eri alojen toimintakulttuureissa eroja järjestäjäverkoston kehittäminen vie huomion pedagogiikasta arvioinnit organisoitu keskitetysti ei kosketa yksittäistä alaa resurssien puute johdon motivaatio heikko ja metodit puuttuvat TULEVAISUUS pedagoginen johtajuus opettajakoulutus työelämälähtöisyys työelämäyhteistyö - työelämän kehittämistehtävä ammattiosaamisen näytöt osaksi työssäoppimista tietojärjestelmät..