Tietoa, työkaluja parempaan itsearviointiin

Transkriptio

1 Tietoa, työkaluja parempaan itsearviointiin - Taiteen perusopetuksen oppilaitoskyselyn tuloksia Arvioinnin nykytilaa ja Virvatuli-hankkeeseen liittyviä odotuksia kartoittava kysely oppilaitoksille Jaana Koivisto-Nieminen

2 Taustaa Taiteen perusopetusliitto TPO ry käynnisti elokuussa 2009 Virvatuli-hankkeen, jonka tavoitteena on luoda taiteen perusopetuksen oppilaitosten käyttöön itsearviointijärjestelmä. Hankkeen rahoittaa opetusministeriö, ja sen suunnitteluun osallistuvat kaikki Taiteen perusopetusliiton jäsenliitot. Suomessa on 464 taiteen perusopetusta järjestävää oppilaitosta, ja TPO:n jäsenliittoihin niistä kuuluu 297. Näille oppilaitoksille järjestettiin sähköinen kysely, jossa kartoitettiin, millaisia itsearviointikäytäntöjä oppilaitoksilla on tällä hetkellä. Lisäksi kysyttiin, mitä toiveita oppilaitosten edustajilla on Virvatuli-hankkeen suhteen. Vastauksia saatiin yhteensä 212 (186 oppilaitoksesta), eli vastausprosentti oli yli 60. Tässä raportissa kerrotaan yhteenveto kyselyn tuloksista. Virvatuli-hankkeen lähtökohtana on, että suunnitellaan oppilaitoksille niiden omien toiveiden mukainen itsearviointijärjestelmä. Sen vuoksi on panostettu siihen, että saataisiin aikaiseksi keskustelua ja pohdintaa hankkeen tavoitteista. Pilotointiin osallistumisesta oli kiinnostunut valtaosa oppilaitoksista (39 %: kyllä, 45 % mahdollisesti). Kyselyn yhteydessä pyydettiin liitteeksi malleja oppilaitosten omista arviointilomakkeista, ja niitä saatiin 15. Ne tullaan analysoimaan tarkemmin jatkossa. Kyselyssä kartoitettiin myös tilastotiedon keruun nykytilaa ja tarpeita. Nämäkin vastaukset analysoidaan tarkemmin jatkossa. Vastaajat taiteenaloittain Kyselyyn vastanneet oppilaitokset jakaantuivat taidealoittain seuraavasti (huom: joissain oppilaitoksissa annetaan opetusta useammalla taidealalla): 100 Oppilaitoksessa annetaan taiteen perusopetusta seuraavissa aineissa: Musiikki Tanssi Sirkustaide Teatteritaide Kuvataide ja arkkitehtuuri Käsityö Sanataide Kuva 1 2

3 Kyselyyn vastanneiden oppilaitosten jakaantuminen ylläpitäjän mukaan: Oppilaitoksen ylläpitäjä Kunta Kuntayhtymä Yksityinen Muu % % % 5 3 % Kuva 2 Onko oppilaitoksessanne toteutettu itsearviointia? Jos on, milloin viimeksi? Oppilaitoksista valtaosa (79 %) oli tehnyt itsearviointia, kun siihen laskettiin laajasti kaikki eri itsearviointitavat. Suurin osa oli toteuttanut näitä itsearviointikäytäntöjä viimeksi viime tai tänä vuonna: Onko oppilaitoksessanne toteutettu itsearviointia? Ei ole On % % Kuva 3 3

4 Arviointialueet Arviointialueita kartoittavaan valintakysymykseen oli annettu vaihtoehdoiksi 12 itsearviointikohdetta, ja oppilaitosten arviointi näyttää kohdistuneen melko tasaisesti niihin kaikkiin. Useimmin mainittiin kohdealueet opetusjärjestelyt ja opetussuunnitelman toteuttaminen. Alla olevassa diagrammissa näkyvät vastaajien lukumäärät kunkin arviointialueen kohdalla. 140 Mitä osa-aluetta on arvioitu? Kuva 4 Miten itsearviointi on toteutettu, mitä työkaluja on käytetty? Itsearviointia koskevia menetelmiä kartoitettiin myös valintakysymyksellä, johon oli annettu vaihtoehdoiksi melko laajasti erilaisia itsearvioinnin muotoja (kuva 5). Arviointia oli tehty eniten kehityskeskustelujen (118) ja asiakaskyselyjen (108) avulla. Arviointimatriisit tai laatukortit mainittiin vain 15 vastauksessa, mutta opettajille oli tehty kyselyitä (80), jotka kartoittivat oppilaitoksen toimintaa tai omaa opetusta. Vastauksista voi päätellä, että itsearviointiin ei tällä hetkellä käytetä koko toiminnan läpäisevää arviointimallia, vaan itsearvioinniksi mielletään toiminnan suunnitteluun liittyvät kehittämis- ja suunnittelupäivät, henkilökunnan kehityskeskustelut sekä kyselyt oppilaille ja huoltajille. 4

5 Miten itsearviointi on toteutettu, mitä työkaluja on käytetty? Kuva 6 Millainen tällä hetkellä käytössä oleva arviointijärjestelmä on? Kyselyssä oli annettu seuraavat vaihtoehdot sekä tila avovastaukselle: Kerro lyhyesti, millainen käytössänne oleva arviointijärjestelmä on: a) b) Pohjautuu johonkin standardiin (esim. EFQM, CAF, BSC) Räätälöity järjestelmä Aikaisemmassa kysymyksessä 147 oppilaitosta ilmoitti tekevänsä itsearviointia. Tähän kysymykseen niistä vastasi 106. Seuraavassa yhteenveto annetuista avovastauksista: 79:llä oli käytössä oma, räätälöity itsearviointimalli. 13 oppilaitosta ilmoitti käyttävänsä EFQM-arviointimallia ainakin pohjana (standardi/räätälöity). Niistä 7 oli musiikkiopistoja, 1 visuaalisen taiteen alan oppilaitos ja 5 monen eri taiteenalan opetusta antavaa opistoa (esim. kansalaisopistot). 9 oppilaitosta ilmoitti käyttävänsä Balanced Score Card -mallia. 3 oppilaitosta mainitsi CAF-arviointimallin. 5

6 5 oppilaitosta mainitsi STOPP ry:n laatiman Arviointia tanssioppilaitoksissa -ohjeen arvioinnin välineenä. SWOT-analyysi oli käytössä 4:ssa oppilaitoksessa. 10:ssä oppilaitoksessa käytettiin oman kunnan tarjoamaa kyselymallia. Kuinka hyvin itsearviointiprosessi on onnistunut? Kyselyssä haluttiin selvittää, mitkä asiat oppilaitosten tekemissä itsearvioinneissa ovat toimineet ja mitkä eivät. Oppilaitoksista 62% kertoi itsearviointinsa toimineen kohtalaisesti, 35% hyvin ja 3 % huonosti (kuva 7). Millaisia kokemuksia teillä on ollut itsearvioinnista ja sen vaikutuksesta oppilaitoksenne toiminnan edelleen kehittämiseen? 4 3 % % Itsearviointi on toiminut Hyvin Kohtalaisesti Huonosti % Kuva 7 Lisäksi kysyttiin, mitä hyvää arvioinnissa on ollut (avokysymys). Vastauksissa kommentoitiin sekä itsearviointiprosessia että yksittäisiä menetelmiä. Vastaukset jakaantuvat pääasiassa neljään teemaan: Mahdollisuus toiminnan kehittämiseen (36) Keskustelun lisääntyminen ja yhteishengen parantuminen (27) Toiminnan suunnittelun helpottuminen (12) 6

7 Arviointimenetelmään liittyvät huomiot (parasta ollut suora palaute/selkeät kysymykset, jne.) (32) Näistä vastauksista saa kuvan, että itsearviointiprosessia pidetään hyödyllisenä. Vastauksia voisikin hyödyntää hankkeen viestinnässä motivoimaan esimerkiksi opettajia itsearvioinnissa: Vahvistanut yhteisön keskustelua, huomio on kohdistunut prosessien parantamiseen. Sen avulla on voitu havaita laajempia toisiinsa liittyviä asiakokonaisuuksia. Tämä on edesauttanut tekemään konkreettisia toimenpiteitä, joilla on ollut opetustoimintaan positiivinen vaikutus. Suuntaa eri henkilöiden tavoitteita yhteen suuntaan, terävöittänyt opetussuunnitelman toteuttamista, luonut uusia käytäntöjä opetusjärjestelyihin. Liitteessä 1 on kooste vastauksista teemoittain. Mikä on mielestänne tärkeintä arvioinnin kehittämisessä? (vaihtoehtokysymys) Kyselyssä pyydettiin arvioimaan, mikä oppilaitosten itsearvioinnin kehittämisessä on tärkeintä. Ajatuksena oli, että näin saataisiin käsitys siitä, mihin osaan arviointiprosessia toivottaisiin eniten panostusta Virvatuli-hankkeessa. Alla on vastausten jakauma. Muu, mikä vaihtoehdon valinneista suurin osa antoi yleisiä luonnehdintoja siihen, mikä itsearviointiprosessissa on tärkeää Mikä on mielestänne tärkeintä arvioinnin kehittämisessä? arviointikriteerien määritys arviointiprosessin suunnittelu kyselymallit Muu, mikä? Annetuista vaihtoehdoista tärkeimpänä pidettiin arviointikriteerien määrittelyä (94 vastaajaa) ja seuraavaksi tärkeimpänä arviointiprosessin suunnittelua (91 vastaajaa). 7

8 Mitä ehdotuksia teillä on itsearvioinnin edelleen kehittämiseen ja mitä odotatte tältä hankkeelta? (avoin kysymys) YHTEENVETO AVOVASTAUKSISTA: - Hankkeelta toivottiin kaikille taiteen perusopetuksen (tai tietyn taiteenalan) oppilaitoksille yhtenäistä arviointimallia (24 vastaajaa), joka on räätälöity taiteen perusopetukseen (3 vastaajaa). - Toiminnan arviointi mielletään useimmiten kyselyiksi, joita suunnataan henkilökunnalle ja toisaalta asiakkaille. Kyselymalleja toivoi 7 vastaajaa (huom, edellisessä kysymyksessä 66 vastaajaa piti tärkeänä). - Eniten toistui toive käytännönläheisestä ja selkeästä työkalusta (20 mainintaa). Toivotaan, että ilmaisussa ei käytettäisi monimutkaista kieltä, vaan saisi heti selvän, mitä mihinkin osioon toivotaan täytettävän. - 3 mainitsi tärkeänä tulosten vertailtavuuden eri oppilaitosten välillä. Pari otti kantaa vertailtavuutta vastaan. Toivottiin myös laadullisia kriteerejä opetuksen arviointiin. - Moduuliajatus mainittiin usein. Ajatuksena oli se, että oppilaitokset ovat hyvin eri kokoisia, jolloin olisi hyvä voida ottaa haluamiaan osia arviointimallista käyttöön sen mukaan, kuinka laajaa toiminta on. - hyvien käytäntöjen jakaminen mainittiin toiveena parissa vastauksessa. - tilastojen keruu mainittiin tärkeäksi osaksi arviointia parissa vastauksessa. - huomautettiin, että on tärkeää ottaa huomioon eri ikäiset opiskelijat ja että kysymykset pitäisi mukauttaa ikätasoon sopiviksi. - Sähköistä järjestelmää toivoi 4 vastaajaa. Pari pienemmän oppilaitoksen edustajaa totesi, että toiminta on niin pienimuotoista, että ei katsota tarpeelliseksi kehittää arviointia juuri nyt. Esimerkkejä vastauksista: Odotamme asiantuntevasti laadittuja työkaluja eri tyyppisen itsearvioinnin toteuttamiseen Valtakunnallinen malli nimenomaan taideoppilaitoksia varten (jota voi tarvittaessa muokata oman oppilaitoksen/alueen tarpeisiin). Nyt arviointimalleja on jouduttu mukailemaan ehkä liikaakin muuntyyppisistä oppilaitoksista kuin taidelaitoksista, joiden toiminta voi perustua "liian" erilaiselle ajattelulle tai tavoitteille kuin taidepuolella. Suunnitellaan yhtäläinen arviointipaketti, jota voi käyttää itsearvioinnissa eri tilanteissa Selkeää mallia arviointikäytäntöön. Jokainen oppilaitos voi sitten muokata sitä tarpeen vaatiessa. Käytännönläheisiä arviointikaavakkeita ja ohjeistusta ja koulutus asiaan. Henkilöstön osalta itsearviointi on hallinnassa. Opetuksen osalta toivoisin vinkkejä arviointikriteereiksi, järjestelmällisemmän ja selkeämmän arviointikäytännön kehittämistä, muutamia arviointikohteita, joita voidaan seurata pitkällä aikavälillä 8

9 Johtopäätöksiä Hanke herättää paljon mielenkiintoa ja oppilaitosten edustajat ovat aktiivisia osallistumaan. Hanke koetaan tarpeelliseksi. Valtaosalle EFQM- ym. arviointimallit eivät olleet kovin tuttuja. Arvioinniksi miellettiin useimmiten asiakas- ja opettajakyselyt sekä kehityskeskustelut. Toiveet hankkeen suhteen vaihtelevat kovasti: toiset korostavat tilastojen keruun tärkeyttä, toiset yhteisiä kyselymalleja. Oppilaitosten erilaisten tarpeiden takia moduulien tarjoaminen näyttää hyvältä vaihtoehdolta (arviointikriteerit laatukortit mahdollinen arviointimallimalli kyselymallit). 9

10 Liite 1 Mitä hyvää arvioinnissa on ollut: avovastaukset teemoittain 1. Arviointimenetelmiin viitaten Henkilökohtainen keskustelu 4 Kehityskeskustelut 3 Palaute 9 Helpompi ottaa esiin vaikeitakin asioita 1 Itse laaditut lomakkeet 1 Vapaamuotoiset vastaukset 1 Joustavuus 2 Suora palaute 2 Rehellinen palaute 1 Selkeät kysymyksenasettelut, ei tulkintavirheitä 1 Käytännön toimivuus 2 Vertailu eri aikakausien välillä 1 Nopea palaute 1 Omaan taloon soveltuva 1 Palaute myös niiltä, jotka eivät muuten anna sitä 1 Säännöllisyys 1 2. Toiminnan kehittämiseen liittyvät Antaa mahdollisuuden toiminnan kehittämiseen 12 Tietoisuus lisääntyy 7 Tieto toimivista/ei toimivista käytännöistä 4 Konkreettiset ehdotukset 1 Helposti korjattavat puutteet (esim. välineissä) 2 Tulokset parantuneet 1 Toiminnan jäsentyminen 2 Tuo esiin vaihtoehtoja 1 Johtamisen parantuminen palautteen pohjalta 1 Epäkohdat nousevat esille, pystyy puuttumaan 4 Pyrkiminen kehittymiseen 1 Yht Keskustelun ja yhteishengen lisääntymiseen liittyvät Keskustelu lisääntyy 7 Yhteishenki parantunut 5 Yhteisen näkemyksen luominen 3 Läpinäkyvyys, avoimuus 3 Osallistaminen 2 Suunnittelupalaveriten hyvä henki 1 Opettajat saavat tukea toisistaan 1 Herättää ajatuksia 2 Sosiaalinen kontakti 1 Yhteinen pohdinta 2 Yht Toiminnan suunnitteluun liittyvät Toiminnan suunnittelu helpottuu 4 10

11 Opetuksen suunnittelu ja kehittäminen 3 Tavoitteiden tarkentuminen 3 Koko toiminnan perusta 2 5. Oppilaan kannalta Oppilaiden käsitykset omasta oppimisestaan 1 Oppilaat oppivat itsearviointia 1 6. Motivointi Hyvä palaute innostaa 1 Motivoi: kehitystyön vaikutus nähtävissä 1 Osuvat tulokset 1 11