Työelämälähtöisen koulutuksen vaikuttavuuden arviointi Juha Marjakangas, HAAGA-HELIA, ammattikorkeakoulu Ilkka Uronen, HAAGA-HELIA, Ammatillinen opettajakorkeakoulu 24.10.2013
Tavoitteita, hyötyjä ja menetelmiä Tavoitteita ja hyötyjä 1/ 4 Tavoitteena tuottaa systemaattista informaatiota, jonka avulla voidaan ohjata yksilöiden, yritysten ja organisaatioiden toimintaa sekä auttaa niitä saavuttamaan toiminnalle asetetut tavoitteet.
Tavoitteita, hyötyjä ja menetelmiä Tavoitteita ja hyötyjä 2/ 4 Mitattaessa yrityksen (organisaation) inhimillistä pääomaa, yleensä arvioidaan henkilöstön osaamisen määrää ja laatua strategian tasolla. Halutun osaamisen saavuttamiseen & mittaamisen vaikuttavat myös esimerkiksi työn organisointi, resursointi, työkulttuuri ja johtaminen.
Tavoitteita, hyötyjä ja menetelmiä Tavoitteita ja hyötyjä 3/ 4 Tuottavuutta seurataan usein kuukausitasolla, jolloin osaamisen kehittämisen investoinnit näyttäytyvät tuloksessa pelkkinä menoerinä. Ja hyödyt näkyvät puolestaan paljon pidemmällä aikavälillä. Lisäksi henkilöstön kehittämiseen käytetyt kustannukset on katettava yleensä heti yrityksen tuotoista. (Raivola ja Vuorensyrjä 1998, 59)
Tavoitteita, hyötyjä ja menetelmiä Tavoitteita ja hyötyjä 4/ 4 Perinteisesti yritysten tuloksessa on käsitelty esimerkiksi palkkoja ja koulutusmenoja samanarvoisina kustannuksina (Raivola ja Vuorensyrjä 1998, 58). Osaamisen hyötyjä ja vaikuttavuutta pitäisikin tarkastella pidemmällä aikavälillä, osana yrityksen muuta toimintaa. Ja suhteessa esimerkiksi liiketoiminnan tuloksellisuusmittareihin (kannattavuus, kate, liikevaihto, liikevoitto).
Tavoitteita, hyötyjä ja menetelmiä Erikoistumiskoulutukset ja vaikuttavuuden arviointi 1/ 2 Erikoistumiskoulutusten näkökulmasta vaikuttavuuden arvioinnin merkitys korostuu erityisesti, kun yritykset ja organisaatiot joutuvat kustantamaan jatkossa yhä suuremman osan henkilöstönsä kehittämisestä.
Tavoitteita, hyötyjä ja menetelmiä Erikoistumiskoulutukset ja vaikuttavuuden arviointi 2/ 2 Koulutuksen tarjoajalla täytyy olla näyttöä tarjontansa vaikuttavuudesta. Koulutusten hyödyt ja vaikuttavuus täytyy kyetä osoittamaan myös julkisille rahoittajalle.
Vaikuttavuusarviointien taustaa Kirkpatrick (1969) Hamblin (1974) Laird (1983) Boothe (1985) Goldstein (1989) Aalto, Hätönen & Vaherva (1998) 1 koulutettavien välittömät reaktiot reaktiot oppijoiden mielipiteet kouluttajien koulutustoiminnan arviointi koulutusvaikutus (training validity) koulutuksen jälkeiset mielipiteet (kyselylomake) 2 koulutuksen ansiosta tapahtuva oppiminen oppiminen oppiminen oppijatyöntekijätason tehokkuuden muutokset siirtovaikutus (transfer validity) opitun omaksuminen (sovellukset ja harjoitukset) 3 koulutuksesta aiheutunut työkäyttäytymisen muuttuminen työkäyttäytyminen operatiivisen toiminnan paraneminen organisaatiotason muutokset (siirtovaikutus) organisaation sisäinen vaikutus (intra-organizational validity) toiminnan muutokset (viivästetty arviointi esim. kehityskeskustelu) 4 työssä käyttäytymisen muutoksen vaikutukset organisaation taloudelliseen tulokseen organisaatiovaikutukset koulutuksen kustannustehokkuus orgaisaatioiden välinen pätevyys (interorganizational validity) Kehittämistoiminnan vaikutukset organisaatiossa määriteltyihin kehittämiskohteisiin (esim. vaihtuvuus, kustannukset, viihtyminen, tuloksellisuus) 5 perimmäinen hyöty Kirkpatrick (1969), Hamblin (1974), Laird (1983), Boothe (1985), Goldstein (1989), Kantanen (1996), Aalto, Hätönen & Vaherva (1998)
Koulutuksen ja kehittämisen muutosasteet Muutosaste Suuri Pieni 1. Aste Tietojen vastaanottaminen ja käsittely 2. Aste Tietojen ja käsitysten konstruointi, ongelmien ratkaisu Välineellinen (instrumentaalinen) oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset Yksilö 3. Aste Tietojen ja käsitysten kyseenalaistaminen Vuorovaikutus (kommunikatiivinen) oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset esim. -luennot -tehtävät -harjoitukset Yksilö ja ryhmä Monitaso (emansipatorinen) oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset esim. -prosessointi -caset -konstruointi Ryhmä esim. -muutosprosessointi -luovuustekniikat Vaikutustaso Mezirow (1996), Argyris & Scön (1978, 1996), Marjakangas 2005
Vaikuttavuusarvioinnin viitekehys (J.Marjakangas 2008) Taustamuuttujia: henkilöstömuutokset, suhdannevaihtelut, organisaatiomuutokset, itsenäinen kehittäminen jne. Koulutuksen muutosasteen valinta Koulutuksen arviointitasojen valinta Emansipatorinen oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset Kommunikatiivinen oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset suuri arvioinnin vaikeusaste Taso 4 Taso 3 Taso 2 Sisäinen vaikutus Siirtovaikutukset, oppiminen Vaikutus tietoihin, taitoihin ja asenteisiin (Transfer validity) Ulkoinen vaikutus Muutokset työyhteisössä/organisaatiossa Tulosmuutokset (Interorganisational validity) Työkäyttäytymisen muutokset Muutokset toiminnassa Ryhmässä tapahtuvat muutokset (Intra-organisational validity) Instrumentaalinen oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset pieni Taso 1 lyhyt Suhtautuminen koulutukseen Koulutusvaikutus (Training validity) Reaktiomittaus arvioinnilta vaadittava aika Viivästetty mittaus pitkä yksilö yksilö ja ryhmä arvioinnin kohde ryhmä organisaatio Koulutuksen arviointimenetelmien valinta kyselylomakkeet koulutustilanteen havainnointi keskustelut haastattelut kokeet kirjoittamistehtävät esseet referaatit caset soveltavat tehtävät havainnointi organisaation ilmapiirikyselyt keskustelut oppimispäiväkirjat portfoliot roolipelit projektiiviset tehtävät laboratoriotyöt näytöt työnäytteet osaamisen näytöt 360 -arvioinnit osaamiskartoitukset toteutus- ja arviointidokumentit asiantuntija-arviot tilastot budjettivertailut tilinpäätökset taloudelliset analyysit ROI
Vaikuttavuuden arviointimalli Arviointitaso Mitä arvioidaan? Milloin arvioidaan? Miten mitataan? Arvioinnin hyöty? TASO 1 Suhtautuminen koulutukseen ja välitön koulutusvaikutus yksilötasolla. Tuntemukset Mielipiteet Vaikutelmat oppimisesta Koulutuksen aikana Heti koulutustilanteiden jälkeen Kyselyt Haastattelut Keskustelut Tilannekohtaisen koulutuksen kehittäminen ja suuntaaminen Kouluttajavalinnat Näkökulma pääosin kouluttajalähtöinen TASO 2 Oppimis- ja siirtovaikutukset Opiskeltujen asioiden omaksuminen Tiedon lisääntyminen Taitojen parantuminen Asioiden ymmärtäminen Vaikutukset asenteisiin Koulutuksen aikana ja koulutuksen päätyttyä Kokeet ja tentit Kyselyt Haastattelut Tehtävät ja harjoitukset Näytesalkut Oppimispäiväkirja Simulaatiot Oppimisprosessin tehokkuuden arviointi Koulutus- ja kehittämismenetelmien toimivuuden arviointi Näkölulma pääosin kouluttajalähtöinen TASO 3 Työkäyttäytymisen muutokset Ryhmän käyttäytymisessä ja toiminnassa tapahtuvat muutokset Oman ajattelun muutokset Käytännön tilanteissa ilmenevä toiminnan muutos Ryhmän käyttäytymisen muutokset Opitun soveltaminen omassa työssä Pitkän koulutuksen aikana Koulutuksen päätyttyä viivästettynä (noin 0-6 kk koulutuksen päätyttyä) Itsereflektointi Lähtötaso- ja lopputasoarviointi Ryhmäreflektointi Itsearvioinnit Työntekijöiden haastattelut Työtovereiden ja esimiesten haastattelut Työskentelyn seuraaminen ja havainnointi Asiakaspalautteet Mahdollisten muutosten dokumentointi ja käsittely työyhteisössä Näkökulma pääosin tilaajalähtöinen TASO 4 Muutokset työyhteisössä/ organisaatiossa. Tulosmuutokset Tuottavuuden kasvu Kustannusten pieneneminen Virheiden vähentyminen Poissaolojen väheneminen Ilmapiiri Asiakastyytyväisyys 6-24 kk koulutuksen päätyttyä Ilmapiiritutkimukset Tilastoarvioinnit Asiakaspalautteet Tuloslaskelman seuraaminen Myyntimäärät Suoritemäärät Kustannusraportit Tulosmuutosten arviointi Taustamuuttujien vaikutusten arviointi Näkökulma pääosin tilaajalähtöinen Hätönen 1998, Frisk 2005, Marjakangas 2012/13
Käytössä olevia arviointimenetelmiä Vaikuttavuuden arviointityöpajan 10.10.2013 tuotoksia 4 1 Weboodi palaute (säännöllinen, määrällinen kurssipalaute) Reaktiopalaute/palautekysely (lyhytkoulutus, yksittäinen jakso) Vapaamuotoinen kirjallinen palaute Koulutuspäivien jälkeinen kysely (jana, johon asemoidaan itsensä) Asiantuntijapaneeli päivän lopussa 2 Testit Oppimispäiväkirjat Lopputöiden/kehittämisprojektien arviointi Näytöt koulutusprosessin aikana ja niiden arviointi Portfolio Viivästetty kurssipalaute Oppimistehtävät (reflektointi, tiedollinen osuus, soveltamien) Ohjauskeskustelut HEKSin toteutuminen Itsearviointi Palautehaastattelu Laadullinen kurssipalaute 3 Myöhästetty palautekysely 1-3 kk koulutuksen päättymisestä Havainnointi työympäristössä Työnantajien antamat havainnointipalautteet Ryhmäkeskustelut/-haastattelut (palaute-/yhteenvetokeskustelu) Mentorointipalaute Johtamiskoulutuksissa 360 - arviointi ja sen muunnelmat Vertaisarviointi (seuraaminen, keskustelut, numeeriset arviot) Alkukartoitus loppukartoitus vertailu, esim. kompetenssianalyysi Kehityskeskustelut Tilastotiedot(esim. työllistyminen) Asiakastyytyväisyys Lisämyynti/kumppanuus Suosittelu/verkostot SOME Hätönen 1998, Frisk 2005, Marjakangas 2012/13
Kolmiulotteinen arviointimenetelmien asemointi Vaikuttavuuden arviointityöpajan 10.10.2013 tuotoksia Monimutkainen käyttää Arviointi/vaikuttavuustaso Usein käytössä HEKS Kehityskeskustelut 3 3 Lisämyynti/ kumppanuus 4 Suosittelu/ verkostot -SOME 4 Vertaisarviointi -seuraaminen -keskustelut -numeerinen arviointi Havainnointi työympäristössä 4 1-4 Harvoin käytössä Kyselylomake/ palautelomake/ reaktiot 1 Ohjauskeskustelut 3 Alkukartoitus Loppukartoitus Vertailu 1-3 Ryhmähaastattelu 4 Helppo käyttää