TIETOPERUSTEINEN JOHTAMINEN JA PÄÄTÖKSENTEKO

Transkriptio

1 TIETOPERUSTEINEN JOHTAMINEN JA PÄÄTÖKSENTEKO Strategiset lähtökohdat Näyttöön perustuva EVIDENCE BASED johtaminen Tietojen hallinta: mitä tietoa johtamisessa tarvitaan Näyttöön perustuva opettajuus Näyttöön perustuvan johtamisen esteet ja rajoitukset Hyvät käytännöt tiedon lähteinä ä Opetusneuvos Laatua laivalla ll seminaari i

2 Strategiset lähtökohdat (laatustrategia) Koulutuksen ohjaus ja päätöksenteko perustuvat kaikilla tasoilla luotettavaan ja monipuoliseen tulos- ja arviointitietoon sekä muuhun tietoperustaan Yhtenäinen, käyttäjien tarpeita vastaava ja vuorovaikutteisuutta o u esuu a tukeva tietoarkkitehtuuri e ohjauksen, seurannan ja päätöksenteon tukena Ulkopuolista arviointia, oppimistulosten arviointia ja seurantaa koskeva suunnitelman valmisteluprosessi Tiedonkeruun kehittäminen niin, että tuloksia ja tietoaineistoja voidaan käyttää nykyistä tehokkaammin (myös vertailutieto) Tieto-, toiminta-, tietojärjestelmä- ja teknologia-arkkitehtuuritarkkitehtuurit

3 Strategiset lähtökohdat (laatustrategia) jtk Päätöksentekijät käyttävät monipuolisesti tietoa Ulkoisen arvioinnin ja muun tulos- ja palautetiedon käytön tehostaminen Laadullisen ja määrällisen ennakointitiedon ja muun tietoperustan käytön tehostaminen Järjestäjät tekevät arviointiin ja muuhun palautetietoon ti t perustuvia päätöksiä yhdessä opetushenkilöstön ja opiskelijoiden sekä keskeisten muiden toimijoiden kanssa

4 Vaikuttavuusarvioinnin visio (VM: 2009) Arviointi- ja tutkimustietoa käytetään systemaattisesti Tietotarpeet määritellään ja tunnistetaan Tietovarannot ovat korkeatasoisia ja niitä käytetään tehokkaasti Johtamisjärjestelmä tukee arviointi- ja tutkimustiedon tki ti oikea-aikaista, i tehokasta t ja systemaattista käyttöä Toimiva vuorovaikutus arviointi- ja tutkimustiedon tuottajien ja käyttäjien kesken Raportointi on mahdollisimman kevyttä eikä tarpeettomasti kuormita

5 Näyttöön perustuva toiminta ja johtaminen Kulloinkin valittu toimintatapa, tehty päätös ja linjaus perustuu todennettuun tietoon ja todistusaineistoon t i i t (ilmeinen, i varma ja tosi tieto) t Toiminta ja sen perusteet ovat läpinäkyviä ja uskottavasti todistettavissa ja arvioitavissa Vaatimus valita kulloinkin paras ja vaikuttavin toiminta-tapatapa Keskeiset kriteerit: relevanssi, riittävyys, totuudellisuus Sosiaalisen ja kulttuurisen kontekstin merkitys on suuri (inspiraatio, tunne/aavistus, rationaalinen usko, tieteellisesti todennettu tieto)

6 Tulosorientaatio ti & kehittävä ä & luottamusorientaatio johtamisen perustana TULOSORIENTAATIO: lähtökohtana resurssien hallinta ja toiminnan suuntaaminen tulosten mukaan tunnusluvut & mittaaminen tilivelvollisuus ylemmälle taholle LUOTTAMUS-, KEHITTÄVÄ ORIENTAATIO osallistavat lähestymistavat harmonisaatio monitahoinen yhteistyö y ja tulkinnallisuus viisas luottamukseen perustuva - tilivelvollisuus Opinion based - Evidence influenced - Evidence based

7 Miksi näppituntuma ei riitä? Kansalaisten oikeuksien k i turvaaminen Läpinäkyvyys tilintekovelvollisuus (intelligent accountability - luottamuspohjaisuus) Tuottavuus-, vaikuttavuus- ja taloudellisuusvaatimukset Kansainvälinen kilpailukyky ja innovatiivisuus Jatkuvan parantamisen ja kehittämisen vaatimukset Laatu olemassa olon takeena Itseohjautuvuus Tarve ymmärtää, mitä yhteyksiä tulosten & toiminnan ja edellytysten välillä on

8 Evidence based -johtaminen ja toiminta 1. NÄYTTÖ tieteellinen näyttö hyväksi havaittu toimintanäyttö kokemukseen perustuva näyttö 2. EDELLYTYKSET tiedon saanti ja osumatarkkuus, tiedon muuttuminen tietämykseksi kyky ja halu tulkita ja käyttää tietoa päätöksenteossa, johtamisessa ja toiminnassa näytön selvyys / epäselvyys sitoutuminen mahdollisuudet kehittämiseen ja tiedon hyödyntämiseen 3. NÄYTTÖÖN PERUSTUVA JOHTAMISEN VAIHEET tieto: tilastot, seuranta-, ennakointi ja arviointitiedot, tutkimukset, uusi tieto tiedon analysointi: tieto tietämykseksi ja tieto päätöksentekoon tiedon levittäminen ja toisilta oppiminen

9 Johtajan vastuu Seurantaa, ennakointia ja arviointia koskeva dokumentointi ja tietojärjestelmät tietolähteiden laatu Tietojen analysointimekanismit ja kulttuuri (reflektiivinen yhteisö Tutkimustiedon hankinta ja tutkimustiedon tuottaminen Edellytykset, että henkilöstö voi toimia näyttöön perustuvasti Mahdollisuudet osallistua tutkimus- ja arviointihankkeisiin Tieto-orientoituneen päätöksenteon valmistelu ja esittely EDELLYTYKSET NÄYTTÖÖN PERUSTUVALLE OPETUKSELLE?

10 Näyttöön perustuvan johtamisen tunnistaminen Arvot ja eettinen perusta Näyttöön perustuvan johtamisen ja toimintakulttuurin leviäminen i kaikille johtamisen tasoilla Toiminnan asiakaslähtöisyys ja verkottuneisuus Arviointiotteen systemaattisuus: kysymykset, kriteerit, johtopäätökset, menetelmien sopivuus Tietojärjestelmien j toimivuus, tiedon tulkinta & hyödyntäminen Oppiva kulttuuri: oppiminen omasta ja vertaisten toiminnasta i t Tiedon jalostaminen ja hyödyntäminen käytännössä

11 Näyttöön perustuvan toiminnan esteet Tietoa ei ole olemassa, sitä on liikaa tai sitä on vaikea hyödyntää Vaikeus ymmärtää tutkimus- ja arviointitietoa Tutkimusten ja arviointien heikko taso, kohteena epäolennaiset asiat Näyttö kuvattu epäselvästi Tiedon tuottajat eivät panosta raportointiin ja hyödyntämiseen Organisaation toimintakulttuuri, arvot, asenteet ja motiivit sekä taitojen puute Sitoutumattomuus, tuen ja resurssien puute Dokumentoinnin ja seurannan sekä arvioinnin vähäisyys, tietojärjestelmien hataruus Moniammatillisen yhteistyön vähäisyys Mieltymys y pitäytyä y totutuissa käytännöissä - vähättely

12 Rajoituksia näyttöön perustuvalle toiminnalle Toiminta ja päätöksenteko ei ole aina rationaalista Asiakaslähtöinen toimintakulttuuri estyy Luovat ongelmanratkaisut ja ajattelumallit tyrehtyvät Intuitio hiljainen tieto ja luovuus jäävät hyödyntämättä Määrällinen älli tieto saa ylivallan ll kokemusperäisyyden k väheksyntä Kontekstin ja siihen liittyvän dynamiikan vaikutus jää huomiotta Mittaamisen ylikorostuminen voi estää kehityksen ja oppimisen!

13 Näyttöön perustuva opettajuus 1 Opettajan toiminnan laatuvaatimukset niiden täyttyminen y 2 Arviointiperiaatteet ja arviointimenettely arvioinnin laaja-alaisuus tiedon monipuolisuus esimiesten vastuu opettajien näyttöjen arvioinnissa arviointiin perustuvan kehittymisen takaaminen arvioinnin osallistavuus ja avoimuus myös sidosryhmille arvioinnin syvällisyys ja kohdistuminen ytimeen opettajien oikeuksien suojelu eksperttien ja noviisien arvioinnin erilaisuus

14 Prosessien laadun seuranta ja arviointi PROSESSIN LAATU & TEHOKKUUS PROSESSIN TULOS & VAIKUTTAVUUS - tavoitteiden suuntaisuus - välitön tulos -vaikutukset & pt pitkän aikavälina vaikuttavuus Oppiminen i Opetuksen laatu Oppimistulos Edellytykset Ennustavat t mittarit Seuraustulokset Tulos toiminnan seurauksena

15 Tietojen hallinta Ennakointi-, arviointi- ja tutkimustiedon tuottaminen ja hankinta Tiedon hankintaprosessi i (indikaattorit, it tyytyväisyys, t muut tunnusluvut, muu tieto) Tietojen tavoitteiden mukaisuus s osumatarkkuus? s? Tiedon hallinnasta tietämykseen yhteisöllinen tietoisuus Professiot oman työnsä tutkijoina ja arvioijina Tutkimustyö ammatillisena kasvuna Tutkiva/arvioiva työyhteisö oppiva organisaatio Tietosuojaan liittyvät käytännöt

16 Kansallinen arviointi näytön tuottajana esimerkki oppimistulosten arvioinnista Tavoitetilan kuvaus vaatimusmäärittelyt Yhteydet SADe-hankkeeseen, TOR-rekisteriin sekä tutkintojen rakenteistamiseen Lainsäädännön vaatimukset

17 Mikä muuttuu Tieto suoraan opintohallintojärjestelmästä t j t l ä tä Mukana kaikki tutkinnot Rekistereiden id hyödyntäminen Järjestäjäkohtaiset raportit suoraan sähköisestä järjestelmästä Kansallinen seurantaraportti vuosittain kaikista tutkinnoista: ei väliraportteja Tutkintokohtaiset raportit joka 5. vuosi Tutkintokohtainen lisäaineisto: laadulliset indikaattorit/ itsearviointi, näyttösuunnitelmat, tehtävät, arviointikäynnit otantana

18 Uudet haasteet Arvioinnin oikeudenmukaisuuden varmistaminen Arvioinnissa tarvittavan tiedon riittävyys Arvioinnin ja koko prosessin luotettavuuden varmistaminen opiskelijan arvioinnin kriteeriperusteisuus näyttötehtävien vaativuuden tasaisuus näyttöympäristön vaikutukset arvioijan vaikutukset Opiskelijan henkilökohtaisten tekijöiden vaikutukset Laadullisen arvioinnin tarve (itsearviointi, indikaattorit, vertaisarvioinnit.)

19 Uudet haasteet jtk.. Osaamisen siirtovaikutusten (transfer) huomioon ottaminen Näyttöjen ulkopuolelle jäävän osaamisen arviointi Tietojärjestelmien hyödyntäminen arvioinnissa Sähköisen tietojärjestelmän kehittäminen Raportointi- ja palautejärjestelmän toimivuus Tulosten levittäminen Tulosten hyödyntäminen paikallisella ja kansallisella tasolla Arvioinnin vaikuttavuus (follow up) Varmistaminen, että kyse on arvioinnista.

20 AMOP:n looginen järjestelmäjäsennys Koulutuksen järjestäjät Todennetun osaamisen rekisteri Opiskelijahallinto järjestelmätj ät Raporttien vastaanotto Oma analysointi Tilastokeskus OHJ:ien tiedot Palauteraportit Kansalliset raportit Kuvaa ei voi näyttää. Tietokoneen muisti ei ehkä riitä kuvan avaamiseen, tai kuva on vioittunut. Käynnistä tietokone uudelleen ja avaa sitten tiedosto uudelleen. Jos punainen x-merkki tulee edelleen näkyviin, kuva on ehkä poistettava ja lisättävä uudelleen. OKM Wera Kouluta Tietojen kerääminen Tietojen muokkaus Palauteraporttien tuottaminen Opetus ja kulttuuritoimen rahoitusjärjestelmä Muut järjestelmät* OPH analysointi Tiedot OPH:n käyttöön OPH OPH raportit Kuvaa ei voi näyttää. ei ja ja * Kaikille tarvittaville AMOP järjestelmä j tiedoille ei ole olemassa tai tiedossa lähtöjärjestelmää Tietokoneen muisti ehkä riitä kuvan avaamiseen, tai kuva on vioittunut. Käynnistä tietokone uudelleen avaa sitten tiedosto uudelleen. Jos punainen x-merkki tulee edelleen näkyviin, kuva on ehkä poistettava lisättävä uudelleen. Ei liity suoraan AMOP:iin AMOP rajapinta/liityntä jp

21 Lähteitä Virtanen, P ARVIOINTI. Arviointitiedon luonne, tuottaminen ja hyödyntäminen y. Helsinki: Edita. Bridging the gap. The role of monitoring and evaluation in evidence - based policy making UNICEF. Nolan.J.Jr. Jr & Hoover, L.A Teacher Supervision and Evaluation. John Wiley & Sons. Inc. Brocka, B. & Brocka, M.S Quality management. Implementing the Best Ideas of the Masters. IRWIN. Professional Publishing. Räisänen, A Näytöt kehittämisen perustaksi. Teoksessa Lyytinen, H. & Räisänen, A Kehittämissuuntaa arvioinnista. KAN. Politiikkatoimien t i i vaikuttavuusarvioinnin i i i kehittäminen. i Kuinka parannan tiedonkäyttöä poliittisessa päätöksenteossa. Valtioneuvoston kanslian raporttisarja 6/2009.