OPPIMISTULOSTEN ARVIOINNIN TAVOITTEET JA PERIAATTEET SEKÄ ARVIOINNIN KEHITTÄMISHAASTEET. Ammatillinen koulutus

Transkriptio

1 OPPIMISTULOSTEN ARVIOINNIN TAVOITTEET JA PERIAATTEET SEKÄ ARVIOINNIN KEHITTÄMISHAASTEET Ammatillinen koulutus Opetusneuvos

2 OPPIMISTULOSTEN ARVIOINNIN TAVOITTEET Hankkia ja analysoida tietoa valtakunnallisen koulutuspoliittisen päätöksenteon ja koulutuksen kehittämisen pohjaksi Hankkia ja analysoida tietoa koulutuksen paikallisen kehittämistyön ja päätöksenteon perustaksi Tukea opiskelijoiden oppimista, opetustoimen henkilöstön työtä ja oppilaitosten kehittämistä ja parantaa oppimisen edellytyksiä myös paikallisella tasolla suunnitelmallisuus ja tavoitteiden kattavuus luotettavuus ja vertailukelpoisuus hyödynnettävä olemassa oleva tieto koulutuksellisen tasa-arvon turvaaminen

3 OPPIMISTULOSTEN ARVIOINNIN PERIAATTEET Tieto tuotetaan ammattiosaamisen näytöistä ei erillisiä tehtäviä, näyttöjä ja testejä Arviointi perustuu tutkintojen perusteisiin ja ammattiosaamisen näyttöjen laatuvaatimuksiin ja taustamuuttujiin Palaute järjestäjille Kansallinen raportti Arvioinneista päätetään OKM:n arviointisuunnitelmassa

4 AMMATTIOSAAMISEN NÄYTTÖTOIMINNAN OHJAUS Laki ja asetus ammatillisesta koulutuksesta muutoksineen (L 630/1998; L 479/2003, L601/2005, A 811/1998, A 603/2005) Koulutuksen arviointia koskeva asetus 1061/2009 OPH:n määräykset tutkintojen perusteista - Opiskelijan arvioinnin kriteeriperustaisuus Koulutuksen järjestäjän opetussuunnitelma ja suunnitelma näyttöjen toteuttamiseksi ja arvioimiseksi -> toimielin OKM:n päätökset oppimistulosten arvioinnista

5 AMMATTIOSAAMISEN NÄYTTÖJEN TAVOITTEET Varmistaa ammatillisen koulutuksen laatua Yhtenäistää opiskelijan arviointia Lisää työelämän tahojen osallistumista koulutuksen suunnitteluun, toteutukseen ja ammattitaidon arviointiin Tuottaa tietoa oppimistuloksista sekä tutkintojen perusteiden, koulutuksen järjestäjän paikallisten opetussuunnitelmien, opetusjärjestelyiden sekä ohjaus- ja tukitoimien toimivuudesta ja niiden yhteyksistä oppimistuloksiin

6 Opetussuunnitelmaperusteisuus AMMATTIOSAAMISEN NÄYTTÖJEN LAATUVAATIMUKSET Työelämälähtöisyys Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi Laaja-alaisen osaamisen arviointi Yhteisarviointi Dokumentoinnin yhdenmukaisuus ja läpinäkyvyys

7 METODOLOGISIA HAASTEITA 1 Koulutuksellinen tasa-arvo & arvioinnin oikeudenmukaisuus ja vertailtavuus Käsitys ammatista, työelämän edellyttämistä vaatimuksista ja koulutuksen tuottamasta osaamisesta: Osaamisen sisältö käsitys ammatista ja työn vaatimuksista Syvällisyys: noviisista ekspertiksi kriteereiden logiikka Käsitys pedagogista toimintavoista, joilla tavoitteena oleva osaaminen tuotetaan Riippuvuussuhteet yhteydet Arvioinnin kriteeriperusteisuus Tutkintojen perusteiden osuvuus ja toimivuus

8 KRITEERIPERUSTEINEN ARVIOINTI osaaminen suhteessa ennalta asetettuihin osaamisvaatimuksiin (tutkinnon peruste) kriteeri = arviointi- ja arvosteluperuste, mittatikku ja erotteleva tekijä neliportaisuus vrt. minimikriteerin alittaminen vaatimustasojen määrittäminen ja niiden tulkinta mikä on luokkien olennaisin ja ennalta määritetty ero tarkoitus tuottaa luotettavaa tietoa vaatimukseksi asetetuista tiedoista ja taidoista suhteessa ammatin vaatimuksiin (vrt. työelämän vaatimukset ja ammattikuva) 2012

9 OPPIMISTULOSTEN RIIPPUVUUDET Järjestäjien taustatiedot: koko, sijainti, opetuskieli, järjestämismuoto, koulutustehtävän monipuolisuus Opiskelijan taustatiedot: sukupuoli, äidinkieli, valintatoive, aiemman koulutuksen keskiarvo, työkokemus Erityisopiskelijoiden erityispiirteet: esimerkiksi opetussuunnitelman mukauttaminen Prosessien laatu Työssäoppimista ja ammattiosaamisen näyttöjä koskevat muuttujat Prosessi-indikaattorit: keskeyttäminen, läpäisy, opiskelijoiden tyytyväisyys Oppimistulos arvosanat Edellytykset Yhteys vaikuttavuuteen - keskeyttäminen - läpäisy - työllistyminen - jatko-opinnot Opettajien kelpoisuus Opettajien koulutus, työelämäjaksot Lähiopetus, opetuksen/ohjauksen määrä, koulutetut työpaikkaohjaajat kustannukset (top, näytöt) Ennustavat mittarit (hyvinvointi-, tyytyväisyysmittarit, opetuksen/ohjauksen laatu) Seuraustulokset (oppimistulos, työllistyminen) Tulos toiminnan seurauksena

10 VAIKUTTAVATKÖ TEHDYT VALINNAT OPPIMISTULOKSIIN ARVOSANOIHIN? Onko oppiminen ja osaaminen toiminnan ja tehtyjen valintojen seuraus? (vrt. kompleksiset interventiot) Onko resursseilla yhteyttä oppimistuloksiin? Miten aika vaikuttaa? Onko koulutuksesta saatu hyöty jotain muuta kuin oppimistulos? 2013

11 METODOLOGISIA HAASTEITA 2 Arvioinnin formatiiviset ja summatiiviset tarkoitukset Kontekstiperusteisen tiedon käyttö, yleistettävyys ja siirrettävyys Kontekstiperusteisen arvioinnin laatuvaatimukset Osaamisen siirtovaikutusten (transfer) huomioon ottaminen Erilaisten arviointi- ja laadunvarmennusmenetelmien käyttö Tilivelvollisuus -käsitteen määrittäminen intelligent accountability 2013

12 Työelämässä tarvittava osaaminen OSAAMISEN SIIRTOVAIKUTUS (TRANSFER) Ammatillinen osaaminen: Työmenetelmien hallinta Työprosessien hallinta Elinikäisen oppimisen avaintaidot Tietoperustan hallinta Aika osaamisvaatimus: tavoite mittaamisen kohde: osaaminen (ei tehtävä) kriteeri: peruste johtopäätöksille kontekstin (arvioija, tehtävä, ympäristö) vaikutus näytön laajuus (osanäyttö toimintakokonaisuus) opiskelijan kehitys

13 ARVIOINTI TEHTÄVÄ, LUONNE JA VAATIMUKSET Tulkinnallinen analyysi suhteessa toiminnalle asetettuihin tavoitteisiin & vaatimuksiin MIKSI? Evaluation for accountability (intelligent) Evaluation for development & learning Evaluation for knowledge Arviointitiedon tuottaminen? Formatiivinen arviointi Summatiivinen arviointi Arvioijan ja arvioitavan välinen suhde Tehtävä: arviointitiedon käyttö Luotettavuus arvioinnissa 2013

14 ARVIOINNIN ULOTTUVUUKSIEN JÄNNITTEET (Mari Räkköläinen 2011) SISÄINEN Yksityinen, henkilökohtainen FORMATIIVINEN LUOTTAMUS ULKOINEN Julkinen, yleinen SUMMATIIVINEN KONTROLLI

15 METODOLOGISIA HAASTEITA 3 Arvioinnissa tarvittavan tiedon riittävyys ja osuvuus Arvioinnin ja koko prosessin luotettavuuden varmistaminen opiskelijan arvioinnin kriteeriperusteisuus näyttötehtävien osuvuus, kattavuus sekä vaativuuden tasaisuus näyttöympäristön vaikutukset arvioijan vaikutukset toimintakulttuuri ja perinne Laatuvaatimusten toteutuminen Tiedonhallintaprosessien laatu ja järjestelmien toimivuus Opiskelijan henkilökohtaisten tekijöiden vaikutukset Laadullisen arvioinnin tarve (itsearviointi, dokumentit, kuvaukset, indikaattorit, vertaisarvioinnit.)

16 NÄYTTÖPERUSTEISEN ARVIOINNIN VAHVUUDET JA ONGELMAKOHDAT Vahvuuksia Näytöt lisäävät arvioinnin osuvuutta, merkitystä ja autenttisuutta opiskelijan arvioinnissa (luotettavuus, aitous) Näytöissä on mahdollista arvioida laaja-alaista ammatillista osaamista Näytöt kehittävät opiskelijan arviointia ja mahdollistavat ammatillisen osaamisen yhteisarvioinnin Näytöt lisäävät oppilaitosten ja työpaikkojen paikallista yhteistyötä Näyttöperusteinen arviointi koetaan hyödylliseksi ja motivoivaksi paikallisella tasolla Ongelmakohtia Näytöt eivät suoraan tuota vertailukelpoista tietoa kansallisella tasolla Näytöt on suunniteltu ennen kaikkea lisäämään arvioinnin osuvuutta eikä yhdenmukaisuutta Yhdenmukaistamisen vaarana on näyttöjen kaventuminen, arvioinnin osuvuuden ja autenttisuuden väheneminen Näyttöjen organisointi ja arviointikäytännöt sekä arvioitava osaaminen vaihtelevat paljon Näyttöperusteisen arvioinnin tarkoitus ja käyttö kansallisella tasolla on vielä epäselvä Mari Räkköläinen

17 HAASTEIDEN LOPUTTOMUUS Näyttöjen ulkopuolelle jäävän osaamisen arviointi Tietojärjestelmien laatu ja hyödyntäminen Raportointi- ja palautejärjestelmän toimivuus Arviointitiedon julkistaminen Tulosten levittäminen Tulosten hyödyntäminen paikallisella ja kansallisella tasolla Arvioinnin vaikuttavuus (follow up) KOULUTUKSEN JÄRJESTÄJÄN OMA OPPIMISTULOSTEN ARVIOINTI

18 NYKYINEN ARVIOINTIKÄYTÄNTÖ tutkintoa arvioinnin kohteena Arvioinnin kohteena kaikki tutkinnot Arviointi perustuu tutkintojen perusteisiin: tavoitteet ja kriteerit Tieto tuotetaan ammattiosaamisen näytöistä Lisäaineisto: laadulliset ja määrälliset indikaattorit/ itsearviointi, näyttösuunnitelmat, tehtävät, arviointikäynnit otantana (tms.) Tulevaisuus: Opiskelijoiden ja työelämän tyytyväisyysmittaristo Hyvinvointi-indikaattorit Opiskelijan osaamista kuvaava mittaristo Muut indikaattorit, indeksit ja muut metodit Päättönäyttö

19 SÄHKÖINEN JÄRJESTELMÄ Sähköinen järjestelmä SADe ohjelman etenemisen mukaan Tieto suoraan opintohallintojärjestelmästä Rekistereiden hyödyntäminen portaali Taustamuuttujat: opiskelija-, prosessi-, resurssimuuttujat Kaikki tutkinnot Raportit sähköisestä järjestelmästä: omat analyysit ja vertailut Kansallinen seurantaraportti vuosittain kaikista tutkinnoista Tutkintokohtaiset arviointiraportit joka 5. vuosi Hyvinvointi-indikaattorit ja tyytyväisyysmittarit (AMPA & AIPAL) Arvioinnin laajentaminen näyttötutkintoihin (ei at ja eat)

20 ARVIOINTIKÄYTÄNTÖ: KEVÄT 2013 Perustutkinto I lukuvuosi II lukuvuosi III lukuvuosi Muu aineisto Kotityö- ja puhdistus Liiketalous Käsi- ja taide Itsearviointi/laadulliset ja määrälliset indikaattorit Näyttöjen kuvaukset Näyttösuunnitelmat Arviointikäynnit (2-3/tutkinto) Arviointiseminaarit Arviointikohteet Näytöt

21 LAATUYMPYRÄ JA MENETELMÄT Päämäärä ja suunnitelma Suunnittelu LAATUYMPYRÄ Prosessit, jotka varmistavat tavoitteiden saavuttamisen Prosessien ja toiminnan kehittäminen Saavutusten ja tulosten arviointi