Pirjo Väyrynen, Anu Räisänen ja Paula Kilpeläinen Ammatillinen osaaminen sähkö- ja automaatiotekniikan perustutkinnossa Koulutuksen seurantaraportit 2013:8
Koulutuksen seurantaraportit 2013:8 Pirjo Väyrynen, Anu Räisänen ja Paula Kilpeläinen Ammatillinen osaaminen sähkö- ja automaatiotekniikan perustutkinnossa
Opetushallitus ja tekijät Koulutuksen seurantaraportit 2013:8 ISBN 978-952-13-5571-4 (nid.) ISBN 978-952-13-5572-1 (pdf) ISSN-L 1798-8934 ISSN 1798-8934 (painettu) ISSN 1798-8942 (verkkojulkaisu) Taitto: Ritva Saurio.oph. julkaisut uvenes rint Suo en liopistopaino O
JOHDANTO TIIVISTELMÄ...5 SAMMANDRAG...8 ABSTRACT... 11 1 JOHDANTO... 15 2 OPPIMISTULOSTEN ARVIOINTI SÄHKÖ- JA AUTOMAATIOTEKNIIKAN PERUSTUTKINNOSSA... 16 3 ARVIOINTIPROSESSI JA -MENETELMÄT... 17 3.1 rviointiasetel a ja arviointik s kset... 17 3.2 Arviointitiedon koonti... 18 3.3 Koulutuksen järjestäjien osallistu inen ja aineistojen laajuus... 19 3.4 Tulosten anal sointi ja raportointi... 20 4 ARVIOINNIN LUOTETTAVUUS...22 5 OPPIMISTULOKSET...23 5.1 A attiosaa isen nä tt jen äärä vuosina... 23 5.2 A attiosaa isen nä tt jen arvosanat... 25 5.3 Koulutuksen järjestäjien väliset erot a attiosaa isen nä tt jen arvosanoissa... 31 5.4 Arvosanat sukupuolen, opetuskielen ja koulutuksen järjestäjän sijainnin ukaan... 34 5.5 A attiosaa isen nä tt jen toteutta is- ja arviointitavat... 37 6 AMMATTIOSAAMISEN NÄYTTÖJEN SISÄLTÖ...45 7 AMMATTIOSAAMISEN NÄYTTÖSUUNNITELMAT...47 3
8 AMMATTIOSAAMISEN NÄYTTÖJEN JA OPPIMIS- TULOSTEN LAATU KOULUTUKSEN JÄRJESTÄJIEN ITSENSÄ ARVIOIMANA...49 8.1 Kokonaisarviointi... 49 8.2 astaavuus a attiosaa isen nä tt jen laatuvaati uksiin... 52 8.3 Arviointi tee oittain... 53 9 ARVIOIVAT JOHTOPÄÄTÖKSET...73 10 KEHITTÄMISEHDOTUKSET...82 LÄHTEET...84 LIITTEET...85 Liite 1. Itsearviointilo ake... 85 Liite 2. Nä tt suunnitel an arviointilo ake... 94 Liite 3. Suoritetut nä t t tutkinnon osittain eri lukuvuosina... 95 Liite 4. A attiosaa isen nä tt jen arvosanojen keskiarvo, oodi ja keskihajonta arviointikohteittain tutkinnon eri osissa... 96 Liite 5. A attiosaa isen nä t n suorituspaikat tutkinnon osittain... 98 Liite 6. A attiosaa isen nä t n arviointiin osallistuneet... 99 Liite 7. A attiosaa isen nä t n arvosanasta päättäneet tutkinnon osittain... 101 4
TIIVISTELMÄ ä r nen,., Räisänen, A. Kilpeläinen,. 2013. A atillinen osaa inen sähk - ja auto aatiotekniikan perustutkinnossa. Koulutuksen seurantaraportit 8 2013. elsinki: Opetushallitus. ISBN 978-952-13-5571-4 (nid.) ISBN 978-952-13-5572-1 (pdf) Arviointi kohdistuu a atilliseen osaa iseen sähk - ja auto aatiotekniikan perustutkinnossa. Arviointiaineisto on koottu a attiosaa isen nä t istä ja niiden järjestä istä kuvaavista tä dentävistä aineistoista. Tulokset kuvaavat a attiosaa isen nä tt jen arvosanoja sekä nä tt jen järjestä iseen liitt vää toi intaa. Arviointi kohdistui kaikkiin vuonna 2009 perustutkinnon a atillisena koulutuksena aloittaneisiin opiskelijoihin ja kaikkiin k seistä koulutusta järjestäviin ksik ihin. Arviointiaineistoa koottiin koko koulutuksen ajan aina kevätlukukauden 2012 loppuun saakka. Arvosanoja ja a attiosaa isen nä tt jen järjestä istä kuvaavia äärällisiä tietoja tä dennettiin koulutuksen järjestäjien itsearvioinneilla ja arviointikä nneillä. Lisäksi anal soitiin a attiosaa isen nä tt jen toi ieli en h väks ät nä tt suunnitel at ja nä tt jen kuvaukset. Arvioinnin suunnittelusta ja arvioinnista vastasi arviointir h ä, johon kuuluivat opetusneuvokset Anu Räisänen ja irjo ä r nen sekä erikoissuunnitteluja aula Kilpeläinen. Alan opettajien asiantunte usta h d nnettiin aineiston anal soinnissa, arviointikä nneillä ja tulosten anal soinnissa. Arviointir h ä kutsui s koulutuksen järjestäjät se inaariin, jossa he olisivat voineet anal soida tuloksia hdessä arviointir h än ja t elä än asiantuntijoiden kanssa. Se inaari peruutettiin vähäisen osallistuja äärän vuoksi. A atillisen koulutuksen oppi istulosten arviointi on luonteeltaan kehittävää, ja siinä korostetaan koulutuksen järjestäjien aktiivista osallistu ista ja arvioinnin vuorovaikutteisuutta. Aineisto koottiin oppilaitosten toi innasta il an kansallisesti htenäisiä testejä. Kehittävää luonnetta kuvaavat s koulutuksen järjestäjien teke ä itsearviointi sekä koulutuksen järjestäjille toi itetut palauteraportit, joiden pohjalta järjestäjät voivat verrata o ia tuloksiaan kansallisiin tuloksiin. Arviointikä ntikohteena olevat järjestäjät saivat lisäksi kä ntiin liitt vän palauteraportin. Oppi istulosten arviointi perustui a attiosaa isen nä tt ihin, ja siten se kohdistui a atilliseen osaa iseen. Arvioinnin perusteena ovat tutkintojen perusteissa koulutukselle asetetut osaa isvaati ukset ja arviointikriteerit. Tutkintojen perusteet toi ivat siten keskeisenä arvioinnin läht kohtana. 5
Arviointiaineisto koottiin kaikilta suo enkielisiltä (n 40) ja ruotsinkielisiltä (n 4) koulutuksen järjestäjiltä. Oppi istulosaineiston toi ittivat kaikki koulutuksen järjestäjät. Aineisto kattoi 2 094 opiskelijaa ja 8 269 a attiosaa isen nä tt ä Arviointi ei kohdistunut lainkaan erit isopiskelijoihin. Nä tt suunnitel ia aineistossa oli 35 (80 ) ja nä t n kuvauksia 7 082 (86 ). Itsearviointiaineiston toi itti 41 (93 ) järjestäjää. Arviointikä ntejä tehtiin kol e. uolet opiskelijoista (50 ) saa h vän arvosanan ( 2) a attiosaa isen nä t istä. Kiitettävän (K3) arvosanan saa 41 prosenttia opiskelijoista. T d ttävien arvosanojen osuus on siten 9 prosenttia. Opiskelijat hallitsevat parhaiten elinikäisen oppi isen avaintaidot (45 kiitettäviä) ja heikoiten t n perustana olevan tiedon (64 t d ttäviä ja h viä arvosanoja hteensä). akollisista tutkinnon osista parhai at arvosanat on saatu sähk - ja ener iatekniikan tutkinnon osasta, jossa 46 prosenttia on kiitettäviä ja 48 prosenttia h viä arvosanoja. s uissa pakollisissa tutkinnon osissa sekä paikallisesti tarjottavissa tutkinnon osissa on vain vähän t d ttäviä arvosanoja. alinnaisista tutkinnon osista opiskelijat hallitsevat parhaiten prosessiauto aatio -tutkinnon osan (96 kiitettäviä ja h viä arvosanoja hteensä) ja lähes htä h vin (94 ) kiinteist jen auto aatio- ja tietojärjestel ät -tutkinnon osan. Koulutuksen järjestäjien väliset erot vaihtelivat eri tutkinnon osissa. Tulosten ukaan sähk - ja auto aatiotekniikan ala on h vin iesvaltainen nä t istä vain 5 prosenttia oli naisten suoritta ia. Arvosanojen väliset erot sukupuolen ukaan tarkasteltuna olivat pieniä. Opetuskielen ukaan 94 prosenttia nä t istä oli suo enkielisten opiskelijoiden teke iä. Suo enkielisten ja ruotsinkielisten opiskelijoiden arvosanat olivat sa aa tasoa lähes kaikilla osaa isalueilla. Koulutuksen järjestäjän sijainnin ukaan tarkasteltuna arvosanoissa il eni kuitenkin alueellisia eroja. Lapin läänin alueella saadut uita alueita korkea at arvosanat t prosessien hallinnasta ja elinikäisen oppi isen avaintaidoista voivat liitt ä nä tt pärist n ja s opiskelijar h ien kokoon. Sähk - ja auto aatiotekniikan perustutkintoon liitt vät erit ispiirteet tulivat esiin s nä tt jen järjestä isessä. Lähes kaksi kol esta nä t stä järjestettiin oppilaitoksessa ja noin joka kol as t elä ässä. Alan t paikat ovat onesti erikoistuneita siten, että laaja-alaisia tutkinnon osia ei ole ahdollista nä ttää t ssäoppi- isen aikana. Toisaalta t paikoilla voi olla t turvallisuuteen ja opiskelijan ikään liitt viä rajoitteita. Oppilaitosnä t issä t elä än edustaja on arvioi assa elko harvoin, ikä heikentää t elä äläht istä opiskelijan osaa isen arviointia. Arvosanat olivat t paikkanä t issä oppilaitosnä tt jä pare at. eda o isilla ratkaisuilla ja resursseilla ei todettu olevan tilastollisesti erkitseviä hte ksiä oppi istuloksiin, joskin a attiosaa isen nä tt jen arvosanat ovat riippuvaisia arvioijista. Arviointi nosti siten esiin osaa isvaati usten ja arviointikriteereiden äärittä iseen sekä osaa isen tulkintaan liitt vät haasteet ja näihin 6
liitt vänä t paikkaohjaajien koulutustarpeet. A attiosaa isen nä tt jen vaativuus oli kahdessa kol esta nä t stä alle a attitaitovaati usten, ikä asettaa haasteita uulla tavoin tehd lle osaa isen arvioinnille sekä heikentää nä tt jen luotettavuutta a attiosaa isen arviointi enetel änä. roja tuli il i s nä tt suunnitel ien laadussa sekä a attiosaa isen nä tt jen toi ieli en toi- innassa. Arviointitulokset osoittavat, että koulutuksessa painotetaan t elä äläht is ttä, joskin siinä on s paljon kehitettävää Arvioinnin aikana korostuivat arvioinnin luotettavuuteen liitt vät näk kohdat. rit isesti arvosana-asteikon heikko erottelevuus nousi esiin. Tausta uuttujien, kuten prosessitekij iden, heikko hte s oppi istuloksiin kertonee osaltaan arvioinnin luotettavuuson el ista. Arviointi nosti esiin sekä koulutuksen järjestäjien että sähk - ja auto aatiotekniikan perustutkintokoulutusta järjestävien ksik iden ja opetushallinnon kehittä isen tarpeita. 7
SAMMANDRAG ä r nen,., Räisänen, A. Kilpeläinen,. 2013. rkesko petens i runde a en ino el- o h auto ationsteknik. tvärderin av inlärnin sresultat. Rapport 8 2013. elsin fors: t ildnin sst relsen. ISBN 978-952-13-5571-4 (nid.) ISBN 978-952-13-5572-1 (pdf) tvärderin en avser rkeskunskaperna i runde a en ino el- o h auto ationsteknik. aterialet är inhä tat fr n rkesprov so äter de studerandes ski kli het i praktiska ar etsupp ifter sa t ko pletterande aterial so eskriver or aniserin av rkesprov. Resultaten aseras p et i avla da rkesprov o h or aniserin av proven. tvärderin en avs studerande so inledde sin rundlä ande rkesut ildnin 2009 o h sa tli a enheter so anordnar denna ut ildnin. aterialet sa lades under hela ut ildnin en fra till slutet av v rter inen 2012. e kvantitativa data o et en o h or aniserin en av rkesproven ko pletterades ed självvärderin ar fr n ut ildnin sanordnarna o h utvärderin s es k. essuto anal serades rkesprovsplanerna o h - eskrivnin arna so de ansvari a instanserna hos ut ildnin sanordnarna odkänt. tvärderin en planerades o h eno f rdes av en ar ets rupp so estod av undervisnin sr den Anu Räisänen o h irjo ä r nen o h spe ialplanerare aula Kilpeläinen. Lärare ino rans hen o h ar etslivsrepresentanter hjälpte till vid anal sen av aterialet o h resultaten sa t vid utvärderin s es ken. essuto j d ar ets ruppen in ut ildnin sanordnarna till ett se inariu där de skulle ha kunnat anal sera resultaten tillsa ans ed ar ets ruppen o h ar etslivsrepresentanterna. Se inariet inhi erades p rund av f r f delta are. tvärderin en av inlärnin sresultaten i den rkesinriktade ut ildnin en är av utve klande karaktär. I sa and ed utvärderin en etonas vikten av vä elverkan o h aktivt delta ande hos ut ildnin sanordnare. aterialet inhä tades l pande fr n ut ildnin sanordnare utan enhetli a nationella prov. en utve klande karaktären fra hävs även av självvärderin en fr n ut ildnin sanordnarna sa t av feed a krapporter so del es ut ildnin sanordnarna s att dessa kan jä f ra sina prestationer ed nationella resultat. e ut ildnin sanordnare so var f re l f r utvärderin s es k k dessuto en feed a krapport o es ket. I denna rapport utvärderas inlärnin sresultaten utifr n rkesprov o h utvärderin en avser därf r ara rkesko petensen. t n spunkten är där ed sa a ko petens- o h utvärderin skriterier so är f reskrivna f r ut ildnin en i e a ens runderna. 8
tvärderin s aterialet insa lades fr n sa tli a nskspr ki a (n 40) o h svenskspr ki a (n 4) ut ildnin sanordnare. Alla ut ildnin sanordnare lä nade in aterial o inlärnin sresultat. aterialet o fattade 2 094 studerande o h 8 269 rkesprov. tvärderin en avs in a spe ialstuderande alls. idare in i k i aterialet 35 rkesprovsplaner (80 ) o h 7 082 rkesprovs eskrivnin ar (86 ). Självvärderin ar lä nades in av 41 ut ildnin sanordnare (93 o h tre utvärderin s es k jordes. älften av studerandena (50 ) f r ott ( 2) et i rkesproven. Ber li t (B3) et f r 41 av studerandena. e n jakti a et en ut r s ledes 9. Bäst ehärskar studerandena n kelko petenser f r livsl n t lärande (45 er li a) o h sä st kunskaper so li er till rund f r ar etet (totalt 64 n jakti a o h oda et ). Bland de o li atoriska e a ensdelarna k studerandena äst et i e a ensdelen el- o h ener iteknik där 46 är er li a o h 48 oda et. ven i de vri a o li atoriska e a ensdelarna sa t i de e a ensdelar so er juds lokalt är andelen n jakti a et liten. Bland de val ara e a ensdelarna ehärskar studerandena e a ensdelen pro essauto ation äst (totalt 96 er li a o h oda et ) o h nästan lika ra (94 ) e a ensdelen auto ationso h datas ste i fasti heter. Skillnaderna ellan ut ildnin sanordnarna varierade eroende p e a ensdel. Resultaten visar att el- o h auto ationsteknik rans hen är ket ansdo inerad endast 5 av rkesproven avlades av kvinnor. Skillnaderna ellan de anli a o h de kvinnli a studerandenas et var s. n ransknin av undervisnin sspr ket visar att 94 av rkesproven avlades av nskspr ki a studerande. e nskspr ki a o h de svenskspr ki a studerandenas et l p sa a niv ino nästan alla ko petenso r den. et fanns do k re ionala skillnader i et en när en jä f relse jordes utifr n ut ildnin sanordnarnas eo ra ska lä e. Ino Lapplands län k studerandena h re et i hanterin av ar etspro esser o h n kelko petenser f r livsl n t lärande än i andra re ioner. l- o h auto ationsteknik rans hens särdra fra trädde vid or aniserin en av rkesproven. Nästan tv tredjedelar av rkesproven or aniserades vid läroanstalter o h un efär en tredjedel p ar etsplatser. et är vanli t att ar etsplatserna i rans hen har en s dan spe ialiserin att det inte är jli t att avlä a rkesprov i de o fattande e a ensdelarna under inlärnin en i ar etet. ar etsplatserna kan det nnas e ränsnin ar so hänf r si till ar etssäkerheten eller den studerandes lder. id de rkesprov so or aniserades vid läroanstalter var anska sällan en ar etslivsrepresentant närvarande, vilket f rsva ar ed nin en av studerandenas ko petens ur ar etslivsperspektiv. Studerandena k ättre et i rkesproven p ar etsplatser än i proven vid läroanstalter. 9
e peda o iska l snin arna o h resurserna konstaterades inte ha n ot statistiskt si ni kant sa and ed inlärnin sresultaten, en et en i rkesproven är eroende av et sättarna. tvärderin en visade s ledes att det nns ut anin ar när det äller fastställande av ko petenskraven o h ed nin skriterierna sa t tolknin av ko petensen o h i ankn tnin till detta ehov av ut ildnin f r ar- etsplatshandledarna särskilt i fr a o kriterie aserad ed nin. I tv tredjedelar av rkesproven var kravniv n lä re än ko petenskraven i ar etslivet, vilket är en ut anin ed tanke p ko petens ed nin ar so rs p annat sätt o h f rsä rar provens tillf rlitli het so etod f r ed nin av rkesko petensen. Skillnader i kvaliteten p rkesprovsplanerna o h i verksa heten vid de ansvari a instanserna hos ut ildnin sanordnarna fra ko o ks. Resultaten av utvärderin en visar att ar etslivsperspektivet es stor vikt i ut ildnin en, en där nns änd ket att utve kla. N ot so särskilt ko fra i utvärderin en var tillf rlitli heten i et sättnin en. Bet sskalan ans s vara illa differentierad. ven sa andet ellan ak rundsvaria ler, s so pro essfaktorer, o h inlärnin sresultat var sva t vilket eventuellt o ks t der p pro le ed tillf rlitli heten i ed nin en. tvärderin en visade utve klin s ehov hos de ut ildnin sanordnarna o h andra enheter so anordnar runde a ensut ildnin ino el- o h auto ationsteknik sa t i ut ildnin sf rvaltnin en. 10
ABSTRACT ä r nen,., Räisänen, A. Kilpeläinen,. 2013. o ational o peten e in o ational uali ation in le tri al and Auto ation n ineerin. Report on assess ent of learnin out o es 8 2013. elsinki: innish National Board of du ation ISBN 978-952-13-5571-4 (nid.) ISBN 978-952-13-5572-1 (pdf) This assess ent fo uses on vo ational o peten e in the upper se ondar level o ational uali ation in le tri al and Auto ation n ineerin. Assess ent aterial as olle ted fro vo ational skills de onstrations and fro supple- entar aterial des ri in arran e ent of su h de onstrations. The results des ri e rades a arded for vo ational skills de onstrations and a tivities relatin to arran e ent of skills de onstrations. The assess ent fo used on students ho had started stud in to ards the vo ational uali ation in upper se ondar vo ational edu ation and trainin ( T) in 2009 and on all units providin su h T pro ra es. Assess ent aterial as olle ted over the entire duration of the pro ra es throu h to the end of the 2012 sprin ter. Infor ation on rades and uantitative data on arran e ent of vo ational skills de onstrations ere supple ented ith the self-assess ents of T providers and audit visits. In addition, the assess ent involved anal sin the vo ational skills de onstration plans and the des riptions of skills de onstrations approved the odies responsi le for de onstrations. The assess ent as planned and arried out an assess ent tea ade up of s. Anu Räisänen and s. irjo ä r nen, ounsellors of du ation, and s. aula Kilpeläinen, Senior Adviser. hen ondu tin audits and anal sin aterials and results, the assess ent tea dre on the e pertise of tea hers orkin in the eld. The tea also or anised a se inar to allo T providers to interpret assess ent results in o-operation ith the tea and e perts fro the orld of ork. The se inar as an elled due to an insuf ient nu er of parti ipants. Assess ent of learnin out o es in vo ational edu ation and trainin is develop ent-oriented nature, e phasisin T providers a tive involve ent and the intera tive nature of assess ent. aterials are olle ted fro the a tivities of the vo ational institutions ithout an unifor nation ide tests. This develop- ent-oriented nature is also re e ted in the feed a k reports su itted to T providers, hi h providers an use to o pare their o n results ith national results. The audited T providers also re eived a feed a k report on the audit. 11
Assess ent of learnin out o es as ased on vo ational skills de onstrations, thus fo usin on vo ational o peten e. The assess ent as ased on the riteria spe i ed for edu ation and trainin in the uali ation Re uire ents. In other ords, the uali ation Re uire ents fun tioned as a ke startin point for assess ent. Assess ent aterial as olle ted fro all innish-speakin (n 40) and S edish-speakin (n 4) T providers. All T providers su itted learnin out o es aterial. The data overed 2,094 students and 8,269 skills de onstrations. The assess ent did not involve an students ho re eive spe ial support (spe ial needs students). The aterial overed 35 skills de onstration plans (80 ) and 7,082 des riptions of skills de onstration (86 ). Self-assess ent aterials ere su itted 41 providers (93 ). The assess ent tea arried out three audits. alf the students (50 ) a hieved ood rades ( 2) for vo ational skills de- onstrations hile 41 of the students a hieved e ellent rades (K3). The proportion of satisfa tor rades as thus 9 per ent. All students perfor ed est in ke lifelon learnin skills (45 re eived e ellent rades) and poorest in ter s of kno led e that for s the asis of the ork (64 re eived satisfa tor or ood rades). ith respe t to o pulsor uali ation odules, students re eived est rades for ele tri al en ineerin and ener te hnolo, in hi h 46 re eived e ellent rades and 48 re eived ood rades. Other o pulsor odules and lo all offered odules also provided onl a s all proportion of satisfa tor rades. ith re ard to optional uali ation odules, students perfor ed est in pro ess auto ation (96 re eived e ellent or ood rades) and al ost e uall ell in propert auto ation and IT s ste s (94 re eived e ellent or ood rades). The differen es et een T providers varied fro one uali ation odule to another. The assess ent results indi ate that ele tri al and auto ation en ineerin is a ver ale-do inated industr onl 5 of the vo ational skills de onstrations ere perfor ed fe ale students. o ever, the ender differen e in rades as s all. hen anal sed tea hin lan ua e, 94 of the skills de onstrations ere perfor ed innish-speakin students. The rades of innishspeakin and S edish-speakin students ere at the sa e level in nearl all elds of o peten e. o ever, hen e a ined T provider lo ation, re ional differen es in rades ere dis overed. In the rovin e of Lapland, the rades a hieved in asterin the ork pro ess and ke lifelon learnin skills ere hi her than in other parts of inland. The spe ial hara teristi s relatin to the o ational uali ation in le tri al and Auto ation n ineerin e a e evident in arran e ent of skills de onstrations. Al ost t o-thirds of the de onstrations ere arran ed in edu ational institu- 12
tions and onl one-third at orkpla es. O upations in this eld are spe ialised to the e tent that it is not possi le to de onstrate one s skills in e tensive uali- ation odules durin the on-the-jo learnin period. urther ore, the orkpla e a appl restri tions ased on o upational safet rounds and the student s a e. Representatives of the orld of ork rarel attend skills de onstrations arran ed in o upational institutions. This eakens the opportunities for a orkpla e-oriented assess ent of the student s o peten ies. Students a hieved hi her rades for skills de onstrations arran ed at orkpla es than for those arran ed at edu ational institutions. No statisti all si ni ant onne tion as found et een peda o i al solutions and resour es on the one hand and learnin out o es on the other, althou h the rades a arded for vo ational skills de onstrations depended on the assessors. The assess ent thus hi hli hted hallen es in deter inin the riteria for edu ation and trainin and their assess ent, and in interpretin vo ational o peten ies. The assess ent also revealed trainin needs of orkpla e instru tors, in parti ular in perfor in riteria- ased assess ents. In t o-thirds of the vo ational skills de onstrations, the de onstration re uire ents did not eet the vo ational skills re uire ents. This poses hallen es for other assess ent ethods and eakens the relia ilit of skills de onstrations as a vo ational o peten e assess ent ethod. The assess ent also revealed differen es in the ualit of skills de onstration plans, as ell as in the operations of institutional odies responsi le for de onstrations. The results of the assess ent indi ate that T pro ra es e phasise a orkpla e-oriented approa h, althou h there is also plent of roo for i prove ent in this respe t. onsiderations relatin to the relia ilit of assess ent a e to the fore durin the ourse of assess ent. In parti ular, the poor differentiation apa it of the radin s ale e a e evident. To so e e tent, the eak link et een a k round varia les and learnin out o es a also e indi ative of pro le s ith the relia ilit of assess ent. The assess ent hi hli hted the develop ent needs of oth T providers and units providin upper se ondar T in le tri al and Auto ation n ineerin, on the one hand, and edu ational ad inistration, on the other. 13
14
1 JOHDANTO Tä ä raportti kertoo a atillista osaa ista kuvaavista oppi istuloksista sähk ja auto aatiotekniikan perustutkinnossa. Arvioinnissa keskit tään anal soi aan sitä, iten h vin opiskelijat ovat saavuttaneet tutkintojen perusteissa ääritet t tavoitteet ja iten h vin osaa inen vastaa siten t elä än tarpeita. Arviointi perustui opetus- ja kulttuuri inisteri n h väks ään arviointisuunnitel aan ja oppi istulosten arvioinneista teke ään päät kseen (18 502 2008). Tieto oppi- istuloksista on koottu a attiosaa isen nä t istä 1. Arvioinnin kohteena olivat kaikki opiskelijat, jotka aloittivat a atilliseen perustutkintoon johtavan koulutuksen vuonna 2009. Arviointitietoa koottiin siten sa oilta opiskelijoilta kol en vuoden ajalta. A attiosaa isen nä tt jen arvosanatietojen lisäksi tietoa koottiin a attiosaa isen nä tt ihin liitt västä peda- o isesta toi innasta. Tietoa tuotettiin sekä laadullisessa että äärällisessä uodossa. s arviointikä ntejä tehtiin. Oppi istulosten arviointiaineiston on koonnut Opetushallitus. Arvioinnin onitahoisuus var istettiin kutsu alla kaksi alan opettajaa tulosten anal sointiin sekä niiden tulkintaan ja johtopäät sten tekoon. Nä ä asiantuntijat anal soivat uun uassa a attiosaa isen nä tt jen kuvaukset sekä nä tt suunnitel at rinnakkaisarviointi enetel än ukaisesti. Lisäksi he osallistuivat arviointikä nteihin ja toi ivat puheenjohtajina koulutuksen järjestäjille ja sidosr h ille suunnatussa arviointise inaarissa, jossa tuloksia tulkittiin hdessä. Arviointiraportin alussa kuvataan tietojen koonti- ja anal sointi enetel iä sekä arviointiprosessia. Arviointiasetel an hte dessä kuvataan s arviointik s kset. Tulosluvun alussa keskit tään a attiosaa isen nä tt jen arvosanoihin. Tulosluvun lopussa kuvataan nä tt jen ja nä tt suunnitel ien sisält ä sekä koulutuksen järjestäjien itsearviointia koskevat tulokset. Tuloksia anal soidaan arviointi- ja johtopäät sluvussa. ii einen luku sisältää arviointituloksiin perustuvia kehittä isehdotuksia. 1 Raportissa käytetään ammattiosaamisen näytöistä myös termiä näyttö. 15
2 OPPIMISTULOSTEN ARVIOINTI SÄHKÖ- JA AUTOMAATIOTEKNIIKAN PERUS- TUTKINNOSSA Oppi istulosten arvioinnin taustalla ovat tutkintojen perusteissa ääritet t tavoitteet, a attitaitovaati ukset ja arviointikriteerit (Sähk - ja auto aatiotekniikan perustutkinto 2009). Oppi istulosten arviointi kohdistuu a atilliseen osaa iseen. Arviointi perustuu a attiosaa isen nä tt ihin ja siten koulutuksen järjestäjän ja t elä än hdessä suunnittele iin, toteutta iin ja arvioi iin t tilanteisiin ja t prosesseihin. Oppi istulosten arvioinnin taustalla ovat tutkintojen perusteissa ääritet t tavoitteet, a attitaitovaati ukset ja arviointikriteerit (Sähk - ja auto aatiotekniikan perustutkinto 2009). A attiosaa isen nä tt jä voidaan järjestää t paikalla, oppilaitoksessa tai uussa koulutuksen järjestäjän osoitta assa paikassa. Koulutuksen järjestäjä vastaa a attiosaa isen nä tt jen järjestä isestä. ärjestäjällä on tukenaan onijäseninen toi ielin, joka h väks a attiosaa isen nä tt jen toteutta is- ja arvi ointisuunnitel at ja päättää a attiosaa isen nä tt jen arvioijista sekä valvoo nä tt jen toteutta ista. (L 601 25 a O :n äärä s 32 011 2005 6.) A attiosaa isen nä tt jen arvioinnin kohteet on ääritett tutkintojen perusteissa. Arviointi kohdistuu kaikissa a attiosaa isen nä t issä t prosessin t enetel ien, -välineiden ja ateriaalin t n perustana olevan tiedon ja elinikäisen oppi isen avaintaitojen hallintaan. Opiskelijan osaa ista arvioidaan tutkinnon osittain kol iportaisen asteikon (t d ttävä T1, h vä 2 ja kiitettävä K3) ukaan. Arvosanasta päättävät toi ieli en äärää ät opettajat ja t elä än edustajat hdessä tai erikseen. Lainsäädänn n (A 603 2005, 11 ) avulla on s var istettu arvioijien osaa isen riittäv s. A attiosaa isen nä tt jen arvosanat tallennetaan tutkinnon osittain ja arviointikohteittain 2. Opetushallitus kokoaa a attiosaa isen nä tt jen arvosanatietoja ja uuta niiden järjestä iseen liitt vää tietoa koko koulutuksen ajalta. 2 Opetushallituksen määräys M 32/011/2005 16
3 ARVIOINTIPROSESSI JA -MENETELMÄT Opetushallitus vastasi arvioinnin suunnittelusta ja sen or anisoinnista sekä arviointitulosten raportoinnista. rojektipäällikk nä toi i opetusneuvos Anu Räisänen ja hänen lisäkseen oppi istulosten arvioinnista vastasivat opetusneuvos irjo ä r nen, erikoissuunnittelijat aula Kilpeläinen ja Tarja risk sekä assistentti Ritva Saurio. Lisäksi ruotsinkielisen koulutuksen järjestäjän arviointikä nnille osallistui undervisnin sr d Tor Lindhol Opetushallituksesta. Arviointir h ään kutsuttiin s alan asiantuntijoina koulutuspäällikk sa Kiuttu Oulun seudun a - attiopistosta ja lehtori Seppo Laurila Ta pereen a attiopistosta. e vastasivat nä tt suunnitel ien ja nä tt jen kuvausten sisäll n anal soinnista ja osallistuivat arviointikä nteihin sekä arvioinnin tulosten tulkintaan. 3.1 Arviointiasetelma ja arviointikysymykset TUTKINTOJEN PERUSTEET ARVIOINTIKYSYMYKSET MÄÄRÄLLISET TUNNUSLUVUT: Arvosanat (n = 8 269) Opiskelijan taustatiedot (n = 2 094) Koulutuksen järjestäjät (n = 44) KOULUTUKSEN JÄRJESTÄJIEN ITSEARVIOINTI (n = 41) Ammattiosaamisen näyttöprosessien laatu Järjestäjämuuttujat ARVIOINTIKÄYNNIT (n = 3) NÄYTTÖSUUNNITELMAT (n = 35) NÄYTTÖJEN KUVAUKSET (n = 7 082) ARVIOINTI- RAPORTTI 2009 2009 2012 2012 8/2013 Kuvio 1. Oppimistulosten arvioinnin asetelma sähkö- ja automaatiotekniikan perustutkinnossa Kuvio 1 osoittaa sähk - ja auto aatiotekniikan perustutkinnon oppi istulosten arvioinnin rakenteen, prosessin ja arvioinnissa kootun aineiston. 17
Arviointik s kset ovat seuraavat: 1. iten h vin opiskelijoiden osaa inen vastaa t elä än edell ttä iä ja tutkintojen perusteissa ääritett jä a attitaitovaati uksia 2. iten koulutuksen järjestäjät hallitsevat a attiosaa isen nä tt jen järjestä iseen liitt vän prosessin laatua 3. iten h vin nä tt suunnitel at ohjaavat nä tt jen järjestä isen laatua ar istavatko ne laadun 4. iten h vin nä tt jen sisäll t vastaavat a attitaitovaati uksia 5. iten elinikäisen oppi isen avaintaidot ja a attitaitoa tä dentävät tutkinnon osat inte roituvat a attiosaa isen nä tt ihin, ja iten näitä vaati uksia koskevaa osaa ista arvioidaan niiden osana 6. iten a attiosaa isen nä tt jä tulisi kehittää niiden laadun var ista iseksi ja oppi istulosten paranta iseksi 3.2 Arviointitiedon koonti Määrälliset tunnusluvut Arviointi kohdistui kaikkiin sähk - ja auto aatiotekniikan perustutkintoa a atillisena koulutuksena järjestäviin koulutuksen järjestäjiin ja vuonna 2009 opintonsa aloittaneisiin opiskelijoihin. Arviointitietoa koottiin kol en lukuvuoden ajan kerran lukuvuodessa ( el-lo ake). Tietojen koonti perustui äärä kseen ( 32 011 2005), nä tt todistuksen vaati uksiin sekä nä tt toi innan leisiin laatuvaati uksiin. äärälliset tunnusluvut olivat seuraavat: 1. Oppilaitoksen nu ero (Tilastokeskuksen nu erointi) 2. Opiskelija suku- ja kaikki etuni et 3. Opiskelijan henkil kohtainen tunniste (opiskelijahallintojärjestel ässä kä tett I ) 4. Opintojen aloituspäivä tässä oppilaitoksessa (pv.kk.vvvv) 5. Opintojen aloituspäivä tässä tutkinnossa (pv.kk.vvvv) 6. Opiskelijan sukupuoli 7. Perustutkinto 8. Tutkinnon osa 9. Tutkinnon osan nä t n arvosanat arviointikohteittain (arvosana-asteikko 1 3) 10. Tutkinnon osan nä t n arvosana (arvosana-asteikko 1 3) 11. Tutkinnon osan nä t n arvosanasta päättä isen ajankohta (pv.kk.vvvv) 12. Nä t n suoritta inen t ssäoppi isen hte dessä 13. A attiosaa isen nä tt paikka (t paikka oppilaitos) 14. Nä tt paikka paikat (or anisaation rit ksen oppilaitoksen ni i ni et) 15. L h t kuvaus a attiosaa isen nä t stä 16. Arviointikeskusteluun osallistuneet 17. Tutkinnon osan nä t n arvosanasta päättäneet osapuolet 18
18. Lo akkeen tä ttäjän suku- ja etuni i 19. Tietojen tä ttä isen päivä äärä (pv.kk.vvvv) Täydentävät aineistot A attiosaa isen nä tt jä koskevaa aineistoa tä dennettiin koulutuksen järjestäjien o an toi innan arvioinnilla ja anal soi alla a attiosaa isen nä tt jen kuvaukset ja nä tt suunnitel at. Lisäksi tehtiin arviointikä ntejä. Koulutuksen järjestäjät arvioivat o aa a attiosaa isen nä tt ihin liitt vää toi- intaansa itsearviointilo akkeen avulla arviointiprosessin päätt isvaiheessa. Itsearvioinnissa kartoitettiin taustatietoja (esi. resurssit ja opettajien ja t paikkaohjaajien koulutus) sekä a attiosaa isen nä tt jen järjestä isprosessin ja oppi istulosten laatua. Itsearviointiaineisto koostui koulutuksen järjestäjien laati ista kuvauksista sekä kuusiportaiseen asteikkoon perustuvasta arvioinnista (liite 1). Arviointi kohdistui a attiosaa isen nä tt jen järjestä isen eri vaiheisiin, jotka r h iteltiin a attiosaa isen nä tt jen suunnittelua ja johta ista, toi eenpanoa, seurantaa ja arviointia sekä kehittä istä koskeviin pääluokkiin. Arviointir h ä teki kol e arviointikä ntiä eri puolille Suo ea. Kä ntikohteet valittiin alueellisuuden, oppi istulosten tarkastelussa esiin nousseiden tekij iden ja tulosten ukaan. Kä ntikohteet olivat A ell t ildnin A spoon seudun koulutuskunta ht ä Vaasan kaupunki. dellisten lisäksi anal soitiin a attiosaa isen nä tt jen toi ielinten h väks - ät nä tt suunnitel at ja a attiosaa isen nä tt jen kuvaukset. 3.3 Koulutuksen järjestäjien osallistuminen ja aineistojen laajuus Sähk - ja auto aatiotekniikan alan oppi istulosten arviointiaineisto on kuvattu taulukossa 1. Sähk - ja auto aatiotekniikan perustutkintoa a atillisena peruskoulutuksena tarjoavia koulutuksen järjestäjiä oli arvioinnin kä nnist essä s ks llä 2009 hteensä 44, joista kaikki osallistuivat arviointiin. Arvioinnissa oli ukana neljä ruotsinkielistä koulutuksen järjestäjää. 19