OSA 1 Virvatuli-malli 1. Virvatuli-itsearviointimallin esittely 2. Itsearviointikriteerit ja arviointikierros 2.1 Arviointisuunnitelma 2.2 Tausta-aineiston kerääminen 2.3 Itsearvioinnin yhteenvedon tekeminen arviointiryhmässä, kriteerien läpikäynti ja sähköinen sovellus (demo) OSA 2 Työkaluja arvioinnin tausta-aineiston keräämiseen 1. Oppilas- ym. kyselyt 2. Kyselytuloksista kriteerien arviointiin 3. Muu arvioinnin tausta-aineisto 3.1 Tilastollinen arvioinnin tausta-aineisto
OSA 1
Apuväline oppilaitoksen toiminnan arvioimiseen ja kehittämiseen. Koostuu arviointikriteereistä eli väittämistä, joiden toteutumista arvioidaan oppilaitoksen omassa arviointiryhmässä. Kriteerit löytyvät Virvatuli-oppaan toisesta osasta (opas saatavana myös Virvatuli-verkkosivuilla www.artsedu.fi/fi/virvatuli)
Herättää sisäistä keskustelua laadusta Tuoda esiin vahvuuksia ja kehittämisen kohteita
Ulkoinen/sisäinen arviointi Kaikkia kouluasteita arvioidaan, ja oppilaitoksilta edellytetään itsearviointia. Arviointimalleissa käydään läpi ja pisteytetään koko oppilaitoksen toiminta (Caf-pohjaisia) vrt. perusopetuksen laatukriteerit Virvatuli-malli tehty taiteen perusopetuksen omista lähtökohdista, vaikutteita koulutuksen arviointimalleista. Pisteytyksen käyttö vapaaehtoista.
opetussuunnitelman perusteisiin, taidekasvatuksen laatua koskeviin tutkimustuloksiin Virvatuli-hankkeessa kriteerejä kommentoineiden, mm. taiteen perusopetuksessa työskentelevien henkilöiden näkemyksiin.
Arviointialue muodostuu useasta eri arviointikohdasta, joihin on muotoiltu arviointikriteerejä.
5 arviointialuetta: Oppilaat, opettajat,oppimisympäristö, johtaminen ja yhteistyösuhteet Arvioinnissa vastataan kysymyksiin: -millaiset edellytykset oppilaitoksen henkilökunnalla ja oppilailla on ollut opetuksessaan ja oppimisessaan? -millaisia tuloksia toiminnasta on saatu lähinnä: miten oppilaat ja henkilökunta ovat kokeneet opetuksen ja ilmapiirin, onko koettu taiteen tekemisen ja oppimisen iloa?
Kysymyksiä arviointialueista ja kriteereistä?
JATKUU Oppilaiden näkökulmaa korostettu, koska oppilaitoksen toiminnan tulokset näkyvät parhaiten heissä. Arviointialuetta 1 on haasteellista arvioida. Opettajien ja muun henkilökunnan näkökulma tärkeä, koska heidän innostuneisuutensa, osaamisensa ja työskentelyolosuhteensa vaikuttavat suoraan tuloksiin.
ARVIOINTIALUE 1. OPPILAAT - oppilaitoksen toiminnan ja opetuksen vaikutukset oppilaassa ARVIOINTIALUE 2. OPETTAJAT - Opettajien kompetenssi, jota he itse arvioivat ja jota arvioidaan yleisellä tasolla mm. osaamiskyselyillä ja oppilaiden palautteen avulla ARVIOINTIALUE 3. OPPIMISYMPÄRISTÖ - tilat ja välineet; ilmapiiri; edellytysten luominen oppimiselle; ajankohtaisuus; opetuksen järjestäminen; opetussuunnitelmatyö ARVIOINTIALUE 4. JOHTAMINEN - strategiajohtaminen; taiteellis-pedagoginen johtaminen; henkilöstöjohtaminen; talousjohtaminen ARVIOINTIALUE 5. YHTEISTYÖSUHTEET - osallisuus ja vaikuttaminen oppilaitoksen sisällä; sidosryhmäyhteistyö, kumppanuudet ja kansainvälinen toiminta; sisäinen ja ulkoinen viestintä
2.
Kriteereillä kuvaillaan hyvän laadun ominaisuuksia, joihin omaatoimintaa verrataan. Oleellisin osa itsearvioinnissa on arviointiryhmässä käyty keskustelu kriteereistä ja niiden toteutumisesta. Kriteerejä selitetään oppaassa kuvailutekstein.
ARVIOINTIALUE 1: OPPILAAT Arviointikohta 1: Taidot ja tiedot taideaineessa Kriteerit: a) Oppilaiden tekniset taidot taideaineessa ovat kehittyneet. b) Oppilaiden havainnointitaidot ja kyky taiteen vastaanottamiseen ovat kehittyneet. c) Oppilaiden ilmaisutaidot ovat kehittyneet. d) Oppilaiden tiedot taideaineessa ovat karttuneet. He ovat oppineet taideaineen teoriaa ja taiteentuntemusta. e) Oppilaat ovat saaneet kokemuksia - esiintymisestä sekä ryhmän sisällä että yleisölle - yleisön kohtaamisesta - näyttelyihin osallistumisesta
Keskustellaan arviointiryhmässä ensin arviointialue kerrallaan siitä, kuvastavatko kriteerit sitä, miten arviointiryhmä näkee laadun. Poistetaanko joitain kriteerejä ja lisätäänkö joitain muita? (Merkinnät kriteerilomakkeisiin) Kerätään tausta-aineistoa, kuten kyselytuloksia, oppilaitoksessa laadittuja toimintakertomuksia, jne. Arviointikierroksen lopuksi järjestetään konsensuskeskustelu, jossa arviointikohdille annetaan numero tai muu arvio kunkin jäsenen arvioinnin ja yhteisen keskustelun pohjalta. Arviointiryhmä antaa arvionsa oman harkintansa perusteella. Pitää kuitenkin pystyä perustelemaan. Jos jokin kohta tuntuu mahdottomalta arvioida, voi jättää väliin. Ei kuitenkaan pyritä absoluuttisen totuuden löytämiseen ja voi luottaa omaan näkemykseensä ja kokemukseensa.
ARVIOINTIKIERROS
2.1 Mihin keskitytään ensimmäisellä arviointikierroksella (prioriteetit). Mitä tehdään seuraavina vuosina. Valintaa voi tehdä siinä, arvioidaanko kaikki 5 arviointialuetta samana vuonna, mitkä kyselyt tehdään, kuinka paljon otetaan tilastollista aineistoa mukaan, jne. Suositus: koko arviointi joka 3. vuosi, osa kerrallaan tehtynä 5:n vuoden sisällä. Oppilaskyselyjä useammin, mutta voi keskittyä kerralla johonkin teemaan.
JATKUU 2.1 Kuka/ketkä keräävät arviointiaineistoa - tilastollisia - millä aikataululla tehdään eri kyselyt Koska ja miten tarkastellaan kyselytuloksia Milloin voisi olla realistista tehdä kriteerien toteutumisen arviointiryhmän jäsenet erikseen ja sitten kokoontumalla? Tulosten raportointi, toiminnan kehittäminen ja seuranta
2.2 Todistusaineistoa, jonka pohjalta voidaan arvioida sitä, kuinka hyvin tarkasteltavassa kriteerissä on onnistuttu. Esimerkiksi: Kyselytuloksia oppilaiden ja heidän huoltajiensa sekä henkilöstön näkökulmista. Tilastollista aineistoa, dokumentteja toiminnasta.
2.3 Kriteerien toteutumisen arviointi Kun tausta-aineisto, kuten kyselyjen tulokset, on kerätty, arviointiryhmä tutustuu siihen esim. kokouksessa. Sen jälkeen on helpompi käydä läpi itsearviointikriteerit ja arvioida niiden toteutumista. Eli: Arvioidaan arviointiaineistoon perustuen, miten hyvin kriteerit ovat omassa oppilaitoksessa toteutuneet = määritellään laatutaso
EHDOTUS MENETELMÄKSI: 5 = erinomaisesti 4 = hyvin 3 = tyydyttävästi 2 = välttävästi 1 = ei ollenkaan EOS=ei koske oppilaitostamme Numeroiden käyttö helpottaa vahvuuksien ja kehittämiskohteiden tunnistamista ja omien tulostenvertailua eri vuosina. Lisäksi kirjataan ylös perustelut annetulle laatutasolle.
- Arviointikohdalle annettu tasoarvosanaksi 1 tai 2: Erityinen kehittämiskohde. Mitkä asiat vaikuttavat tähän tilanteeseen? Mitä voimme tehdä yhdessä? Mitä resursseja ja toimenpiteitä tähän tarvitsemme? - Arviointikohdalle annettu 3: Tämä on toteutunut vaatimukset täyttävällä tavalla. - Arviointikohdalle annettu 4 ja 5: Hyvä, jatketaan samaan malliin, pidetään huolta, että taso säilyy resurssien mukaisena.
2. vaihtoehto toiminnan laatutasojen arvioimiseen: Käytetään vain kahta laatutasoa: 1. ei kaipaa kehittämistä 2. kaipaa kehittämistä.
Huom: Kriteerit voi halutessaan käydä läpi myös jollain muulla menetelmällä. Oleellisinta on arviointiryhmässä käyty keskustelu kriteereistä ja niiden toteutumisesta!
JATKUU Ensin ryhmän jäsenet antavat itsenäisesti arvosanat arviointikohtiin ja merkitsevät ne Virvatuli-verkkosivuilta tulostettuihin arviointilomakkeisiin. Lomakkeet arviointiryhmälle kriteerien toteutumisen arviointia varten Sitten muodostetaan arviointiryhmässä keskustelemalla yhteinen näkemys Konsensuskeskustelussa arviointiryhmä päätyy annettujen arvosanojen pohjalta yhteiseen näkemykseen. Päätetään myös tärkeyskerroin. Kannattaa sopia maksimisajasta per käsiteltävä arviointikohta
JATKUU Kirjataan ylös yhdessä sovitut tulokset ja niiden sanalliset perustelut Valitaan vahvuudet ja tärkeimmät kehittämiskohteet Sovitaan jatkotoimista: Keille ja miten tulokset raportoidaan? Kuka raportoi ja mihin mennessä? Miten toimitaan kehittämiskohteiden suhteen? Mitä kirjataan toimintasuunnitelmaan? Jne. Miten kehittämistoimien toteutumista seurataan?
(PER ARVIOINTIKOHTA) 5 = Asia on oppilaitokselle erittäin tärkeä 4 = Asia on oppilaitokselle tärkeä 3= Asia on oppilaitokselle kohtalaisen tärkeä 2= Asia ei ole oppilaitokselle kovin tärkeä 1 = Asia ei ole oppilaitokselle lainkaan tärkeä
Tulokset voi syöttää sähköiseen sovellukseen, jolloin tuloksen saa nelikenttinä graafisessa muodossa (ilmainen tunnus TPO-liitosta). (demo, oppilaitosten omalla tunnuksella pääsee sovellukseen. Tunnukset lähetetty TPO-liitosta jäsenkouluille)
JATKUU Oppilaitoksen arviointiryhmä tulostaa lopuksi vastauksensa, jotka näkyvät nelikenttien muodossa. Oikealla ylhäällä ovat vahvuudet ja vasemmalla ylhäällä kehittämiskohteet.
ARVIOINTIALUE 1: OPPILAAT 1) Taidot ja tiedot taideaineessa 2) Yhteistyö- ja muut taidot 3) Omaehtoisuus ja luovuus 4) Ilo ja hyvä taidesuhde 5) Opiskelutaidot
KOKOONTUMINEN kriteerien alustava tarkastelu arviointiaineiston keräämisestä sopiminen TEHDÄÄN OPPILAS YM. KYSELYT JA KOOTAAN TARVITTAVA MUU ARVIOINTIAINEISTO KOKOONTUMINEN tarkastellaan oppilaskyselyjen tuloksia ja muuta arviointiaineistoa ARVIOINTIRYHMÄN JÄSENET ANTAVAT ARVOSANAT ARVIOINTIKOHDILLE ENSIN ITSENÄISESTI KOKOONTUMINEN LOPULLISEN ARVIOINNIN TEKOON
www.artsedu.fi/fi/virvatuli Materiaalia arviointiryhmälle Työkalupakki-alasivulla (demo)
OSA 2 KYSELYT, TILASTOLLINEN AINEISTO
1) Virvatuli-verkkosivujen Työkalupakissa Word-muodossa. Tarkoituksena on, että oppilaitokset muokkaavat omaan käyttöön sopiviksi. Oppilaskyselyt noin 7-8-v, 9-12-v ja yli 13-vuotiaille, taiteenaloittain Kyselyt huoltajille taiteenaloittain Osaamiskartoitukset opettajille ja toimistohenkilöstölle Rehtorin osaamisen itsearviointi Työympäristön arviointi henkilöstölle Kyselypohjat keskeyttäville ja entisille oppilaille Teemakyselyt arviointityöryhmän kesken pohdittavaksi tai henkilöstön vastattaviksi kestävästä kehityksestä ja tasa-arvosta
Virvatuli-hankkeessa kehitetyt kyselymallit valmiina järjestelmässä. Mahdollisuus poistaa ja lisätä kysymyksiä (mallikyselyt liian pitkiä toteutettaviksi sellaisinaan). Kysymyksistä suurin osa kaikkien taiteenalojen yhteisiä, mutta esim. omaehtoisuuteen ja oppimiseen liittyvät asiat räätälöity taiteenaloittain. Voi myös pyytää muita artseduzefissä mukana olevia kouluja lähettämään muokkaamiaan ja toteuttamiaan kyselyjä. Tämä on mahdollista Zef-järjestelmän kautta. Näin voi hyödyntää jo valmiiksi tehtyä kysymysten priorisointia.
Oppilas- ja huoltajakyselyjen tuloksista saa hyvää tausta-aineistoa arviointialueiden 1, 2, 3 ja 5 arviointiin (Oppilaat, Opettajat, Oppimisympäristö, Yhteistyösuhteet). Opettajien osaamiskartoituksen avulla pyritään saamaan tietoa siitä, missä opettajat tuntevat onnistuneensa hyvin ja mihin kaipaisivat esim. koulutusta. Lisäksi saadaan tausta-aineistoa arviointialueeseen 2 (Opettajat). Työympäristökyselystä ja opettajien osaamiskartoituksesta saadaan aineistoa arviointialueisiin 3 ja 4 (Oppimisympäristö tilat ja välineet; Johtaminen, esim. henkilöstöjoht.)
Miten toteutuvat hyvät työolosuhteet ja millaisia edellytyksiä olosuhteita tarvitaan jotta opettajat ja muu henkilökunta pystyy parhaiten tekemään laadukasta työtä? Myös sisäistä viestintää koskevia kysymyksiä.
2) Ei ole mahdollista saada esim. kyselytuloksista suoraan arvosanoja kriteerien arviointiin. Kyselytuloksia tarkastellaan kokonaisuutena ja suhteutetaan muuhun arvioinnin tausta-aineistoon. Kyselytuloksia on kuitenkin mahdollista tarkastella myös numeerisesti ja kysymys kerrallaan (esim. kyselyssä keskiarvoksi saatu 4 asteikolla 1-5). On suositeltavaa käyttää useita arviointiaineistoja ja näkökulmia tietyn arviointialueen kriteerien toteutumista tarkasteltaessa.
ARVIOINTIALUE 1: OPPILAAT Arviointikohdat ja kriteerit 1.4. ILO JA HYVÄ TAIDESUHDE a) Oppilaat ovat saaneet onnistumisen kokemuksia ja iloa harrastuksestaan tunneilla. Esim. kyselyjen kysymyksiä Oppilaskysely: - Saan onnistumisen iloa taiteenlajin X harrastuksessa. - Nautin esiintymistilanteista / näyttelyistä / omien töitteni esittelemisestä - Millä mielellä tulet tunnille? - Millä mielellä lähdet tunnilta? Kysely huoltajille: - Lapseni käy mielellään taideharrastuksessaan Opettajan itsearviointi: - Oppilaani tulevat mielellään tunneille. KH
2) JATKUU Virvatuli-verkkosivuilta löytyy kyselyistä käyttäjäversiot, joihin on merkitty, mihin kriteeriin kullakin kysymyksellä viitataan. Jokaiseen kriteeriin ei ole valmista kysymystä kyselyissä. Joitakin kriteerejä ei ole mahdollista arvioida kyselyaineiston pohjalta. Vain harvoja kriteerejä voi arvioida pelkän tilastollisen aineiston pohjalta. Samaan kriteeriin voi liittää useammanlaista arviointiaineistoa.
ARVIOINTIALUE 1: OPPILAAT Arviointikohdat ja kriteerit 1.4. ILO JA HYVÄ TAIDESUHDE a) Oppilaat ovat saaneet onnistumisen kokemuksia ja iloa harrastuksestaan tunneilla. b) Oppilaat ovat kokeneet onnistumista omassa työskentelyssään. c) Oppilaiden suhde taidealaan on syventynyt ja sitoutuminen vahvistunut. Mahdollista arviointiaineistoa Kyselyaineistoa esim. Oppilaskysely Kysely huoltajille Opettajan itsearviointi Tilastollista aineistoa esim. Läsnäoloprosentti tunneilla Keskeyttämisaste Annetut päättötodistukset KH
Karsitaan kysymyksiä (ja lisätään omia). Lisäyksiä opettajien osaamiskartoitukseen (tällä hetkellä ei taidealakohtaisia versioita, vaan sama kaikille taiteenaloille). Kyselyissä voi keskittyä niihin teemoihin, joita arviointikierroksella on tarkoitus arvioida. artseduzef-kyselyjärjestelmä (demo) Zefin kyselysovelluksen esittelysivut: www.artseduzef.fi Tulosten analysointi
Kysymyksiä kyselyistä ja niiden käytöstä arvioinnissa? Esimerkkejä kyselymalleista (ks. kyselymallit Virvatuli-verkkosivuilla)
3) Laadullinen arviointiaineisto: kyselytulosten lisäksi oppilaitoksen omat dokumentit: ops, toimintakertomukset, ym. Määrällinen arviointiaineisto - tilastollinen aineisto: trendit. Oppaan liitteessä esimerkkejä arvioinnin taustaaineistoista arviointikohdittain.
3.1) Objektiivisia, tilastotietoihin pohjautuvia tunnuslukuja tai indikaattoreita Toiminnan jatkuvan arvioinnin tueksi kannattaa valita omien painopistealueiden mukaan joukko keskeisimpiä mittareita, joista kerätään tilastollista aineistoa säännöllisesti Oppaan liitteessä luettelo erilaisista indikaattoreista oppilaitoksessa jatkokehitettäviksi ideoiksi www-sivujen Työkalupakissa pidempi versio, jossa kaavoja ja laskentavinkkejä
Tapahtumien tai julkaisujen määrä (oppilaiden mahdollisuus saada töitään esille) Läsnäoloprosentti (sitoutuminen) Syksyllä opintojaan jatkavien osuus edellisen kevään oppilasmäärästä. (sitoutuminen) Kesken lukukautta opintonsa keskeyttävät oppilaat Opintojen kesto Kuinka kauan keskimäärin ollaan oppilaana (sitoutuminen) Päättötodistusten määrä (Opiskelutaidot) Henkilöstön osaamisen kehittämisen kulut (Henkilöstöjohtaminen)
JATKUU Tilastollisen aineiston käyttö olisi helpompaa, jos olisi vertailevaa tilastoa muista oppilaitoksista. Tällä hetkellä taiteen perusopetuksen tilastoja ei kerätä kattavasti. Tuntiperusteisen valtionavun piirissä olevista oppilaitoksista OPH kerää tilastoja, joita saa osoitteesta: http://vos.uta.fi/rap/ptr/s11/ptrrap.html
(ei vielä tällä hetkellä kerätä keskitetysti ) Sitoutumismittari (vuoden aikana päättötodistuksen saaneet, prosenttia opintotason oppilaista) Opintojen keston ja pitkäjänteisyyden mittari (Osuus tiettynä vuonna aloittaneista, jotka jatkavat opintojaan vielä esim. viiden vuoden päästä aloittamisesta) Opetustilojen soveltuvuuden mittari (mielipidekysymyksenä) Tasa-arvon toteutumisen mittarit Uudet oppilaat ja oppilasmäärä suhteessa alueen ikäluokkaan Henkilöstön kelpoisuusmittarit Henkilöstön kehittämisen ja työhyvinvoinnin mittari Ks. Raportti Virvatuli-verkkosivuilla: Mahdollista tilastollista aineistosta oman toiminnan tarkasteluun
Jaana.koivisto-nieminen@artsedu.fi 045-3107702 (Tpo-liitto) Facebook-käyttäjäfoorumi: Virvatulimalli Taiteen perusopetusliitto Palautetta, kysymyksiä Virvatulimallista http://www.facebook.com/pages/virvatulimalli-taiteenperusopetusliitto/372472139493425#!/pages/virvatul imalli-taiteen-perusopetusliitto/372472139493425