TUNNUSLUKUJEN SEURANNASTA ARVIOINTIIN Mitä tunnuslukuja? Seurannan ja arvioinnin ero? Miten arvioidaan? Anu Räisänen 2014

Transkriptio

1 TUNNUSLUKUJEN SEURANNASTA ARVIOINTIIN Mitä tunnuslukuja? Seurannan ja arvioinnin ero? Miten arvioidaan? Anu Räisänen 2014

2 LAATUYMPYRÄ JA Päämäärä ja suunnitelma MENETELMÄT Suunnittelu LAATUYMPYRÄ Prosessit, jotka varmistavat tavoitteiden saavuttamisen Prosessien ja toiminnan kehittäminen Saavutusten ja tulosten arviointi

3 MISTÄ SEURANNNASSA JA ARVIOINNISSA ON KYSE? SEURANTA Tunnusluvut ja indikaattorit, kehitystrendit Ennakoivat mittarit seurausmittarit ARVIOINTI Arvottaminen Tulkinnallista analyysia siitä, miten toiminnalle asetetut tavoitteet on saavutettu ja mitä vaikuttavuutta toiminnalla on ollut?

4 SEURANNAN JA ARVIOINNIN ULOTTUVUUDET Toiminta on ollut tuloksellista, jos on saavutettu tavoitteet, joita on joko ulkopuolisen tahon tai itsensä toimesta asetettu Tehokkuus kuvaa toimintaa Kuinka tarkoituksenmukaista toiminta on? - toiminnan laatu.. Taloudellisuus kuvaa tehtyjen valintojen taloudellisuutta Mitä rahalla saa? - taloudellisuuden osoittaminen, ei vain kustannusten seuranta. Vaikuttavuus toiminnan seuraukset Onko tulos syntynyt toiminnan seurauksena? - osaaminen - toimintojen vakiintuminen - näkemys hyödystä - pitkän tähtäimen näytöt. Prosessi tulos edellytys - vaikutus vaikuttavuus Tavoitehierarkia: Ohjelman hankkeen yksilön tavoitteet!

5 Indikaattorit ovat määrällisiä esityksiä, joiden voidaan järkeenkäyvästi ajatella tarjoavan kokoavaa tietoa kohdetoiminnan laajuudesta, laadusta ja elinvoimaisuudesta.

6 MITTAAMISEN ABC 1 Tavoitteet ja toiminnan tavoitteiden mukaisuus omat tavoitteet kansalliset tavoitteet = OIKEAT ASIAT 2 Tulokset toimintaperiaatteet, toiminta, arviointi ja parantaminen = TUOTTAAKO TOIMINTA TULOKSET Hyvä mittari: Säilyy ajassa Liittyy tarkoitukseen Mahdollistaa vertailun On yksinkertainen

7 Indikaattoriesimerkkejä Matematiikan opetus perusopetuksessa Opettajien osaamistaso ja työskentelyolosuhteet Opiskelijoiden määrä ja tuotetut tutkinnot Alan työvoimatiedot Opiskelijakyselyt Indikaattorit/lähteet oppilaiden suoriutuminen opettajien pätevyys, täydennyskoulutus opiskelijavirtaa koskevat tunnusluvut työvoiman määrä, palkkataso, työllisyysaste, kansainvälinen liikkuvuus sijoittuminen eri sektoreille vastavalmistuneiden rekrytoitumisaste näkemykset

8 HYVINVOINTI- PALVELUT: Tavoitteet VAIKUTUKSET Hyvinvointia koskevien tavoitteiden saavuttaminen Hyvinvointipalveluiden kehittyminen Tiedollisten ja muiden osaamiseen liittyvien valmiuksien paraneminen Yhteistyön paraneminen Palveluiden toimimattomuudesta aiheutuvien ongelmien väheneminen MATERIAALISET, TALOUDELLISET JA INHIMILLISET VOIMAVARAT Olemassa oleva tieto ja osaaminen Kehittämisen mahdollistava ympäristö HR -mitoitus Määrärahat Yhteistyöverkosto TOIMINTA: Hyvinvointipalvelut HYVINVOINTI- INDIKAATTOREIDEN LAADINNAN NÄKÖKOHTIA TUOTOKSET: Palveluiden ja tarpeiden vastaavuus Hyvinvoinnin tilaa koskevat (yksilö ja yhteisö) muutokset Uusien toimintatapojen ja innovaatioiden käyttöönotto Hyvinvointia koskevan toiminnan / suorituskyvyn paraneminen (taloudellisuus sekä prosessin laatu ja tehokkuus) Yhteisön hyvinvointi Yksilön hyvinvointi Yhteistyö eri tahojen kanssa Toiminnan kehittäminen Koulutus Palveluiden saatavuus/riittävyys ammattiryhmittäin

9 MITÄ MITTAAT JA MITEN ANALYSOIT? Mittarit määrälliset ja laadulliset indikaattorit, tunnusluvut kyselylomakkeet tilastot ja rekisterit tyytyväisyys muut palautteet validiteetti & reliabiliteetti yksittäiset tunnusluvut summamuuttujat luokittelu aikasarjat vertailut ennusteet tilastolliset analyysit 1 Prosessien laatu ja tehokkuus - Miten prosessi toimii? - Aineelliset, henkiset ja taloudelliset voimavarat (määrä ja laatu) - Olemmeko parempia kuin kolme vuotta sitten/ kuin kilpailijat? 3 Tulokset - Välittömät tulokset - Tavoitteiden saavuttaminen 4 Analysoivat mittarit: esim. henkilöstön tyytyväisyys ja osaaminen //ydintulokset 5 Seurantamittarit: - aikaansaadut vaikutukset & vaikuttavuus - ei halutut vaikutukset 6 Laatukustannukset - esim. HUKKAAN MENNYT TYÖ - Huonon laadun kustannukset - Syy-seuraus analyysit

10 OPPIMISTULOSTEN RIIPPUVUUDET (esimerkki) Järjestäjien taustatiedot: koko, sijainti, opetuskieli, järjestämismuoto, koulutustehtävän monipuolisuus Opiskelijan taustatiedot: sukupuoli, äidinkieli, valintatoive, aiemman koulutuksen keskiarvo, työkokemus Erityisopiskelijoiden erityispiirteet: esimerkiksi opetussuunnitelman mukauttaminen Prosessien laatu Työssäoppimista ja ammattiosaamisen näyttöjä koskevat muuttujat Prosessi-indikaattorit: keskeyttäminen, läpäisy, opiskelijoiden tyytyväisyys Oppimistulos arvosanat Yhteys vaikuttavuuteen - keskeyttäminen - läpäisy - työllistyminen - jatko-opinnot Edellytykset Opettajien kelpoisuus Opettajien koulutus, työelämäjaksot Lähiopetus, opetuksen/ohjauksen määrä, koulutetut työpaikkaohjaajat kustannukset (top, näytöt) Ennustavat mittarit (hyvinvointi-, tyytyväisyysmittarit, opetuksen/ohjauksen laatu) Seuraustulokset (oppimistulos, työllistyminen) Tulos toiminnan seurauksena Anu Räisänen 2013

11 TUNNUSLUKUJEN SEURANNASTA ARVIOINTIIN VIRIKKEITÄ IDEAKÄVELYLLE Tehtävä: Mallintaminen: Miten tunnuslukujen seuranta muuttuu arvioinniksi ja miten nämä johtavat parantamiseen ja kehittämiseen? Mistä hyvä käytäntö löytyy? FLÄPPI I: KOULUTUKSEN JÄRJESTÄJIEN STRATEGINEN JOHTAMINEN, STRATEGISET TAVOITTEET/TULOKSET FLÄPPI II: KOULUTUKSEN JÄRJESTÄMISEDELLYTYKSET FLÄPPI III: OPISKELIJAVIRRAT FLÄPPI IV : AMMATILLISENA PERUSKOULUTUKSENA JÄRJESTETTÄVÄ KOULUTUS Anu Räisänen

12 JATKUU. FLÄPPI V: NÄYTTÖTUTKINTOINA SUORITETTAVAT TUTKINNOT/ KOULUTUS FLÄPPI VI: OPPIMISTULOKSET FLÄPPI VII: HYVINVOINTIPALVELUT FLÄPPI VIII: TALOUDELLISET VOIMAVARAT FLÄPPI IX: HENKILÖSTÖVOIMAVARAT