Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Juha Marjakangas, HAAGA-HELIA, ammattikorkeakoulu Ilkka Uronen, HAAGA-HELIA, Ammatillinen opettajakorkeakoulu 10.10.2013
Valmennuspäivän rakenne Klo Teemat 9.00-9.30 Ilmoittautuminen 9.30-10.30 Vaikuttavuuden arviointi: tavoitteita ja hyötyjä (Ilkka Uronen) Vaikuttavuuden arvioinnin menetelmiä (Juha Marjakangas) Pienryhmäharjoitus 11.15-12.15 Lounastauko (omakustanteinen) 12.15-13.15 13.15-13.45 Pienryhmäharjoituksen purku Korkeakouluyhteistyön hyödyt yrityksen tuote- ja palvelunkehittämisessä: Case Activeark (Lead Designer Casper Rosenberg, Activeark JWT) 13.45.-14.15 Koulutuksen vaikuttavuuden seuranta Verohallinnossa, Case Verohallinto (Johtava henkilöstöasiantuntija Seija Suutarla, Verohallinto) 14.15-14.45 Kahvitauko (omakustanteinen) 14.45-16.00 Pienryhmäharjoitus Pienryhmäharjoituksen purku Yhteenveto ja päätös
Valmennuspäivän tavoite ja odotukset Koulutuspäivän tavoitteena on perehdyttää osallistujat erilaisiin koulutuksen vaikuttavuuden arvioinnin näkökulmiin ja menetelmiin. ODOTUKSET?
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Tavoitteita ja hyötyjä 1/ 6 Tavoitteena tuottaa systemaattista informaatiota, jonka avulla voidaan ohjata yksilöiden, yritysten ja organisaatioiden toimintaa sekä auttaa niitä saavuttamaan toiminnalle asetetut tavoitteet.
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Tavoitteita ja hyötyjä 2/ 6 Halutun osaamisen saavuttamisen mittaaminen on haasteellista, sillä valmennusten lisäksi osaamiseen vaikuttavat myös esimerkiksi työn organisointi, resursointi, työkulttuuri ja johtaminen Koulutusten vaikuttavuuden arvioinnin keskeiseksi haasteiksi on usein mainittu vaikutusten heijastuminen työkäyttäytymiseen ja edelleen organisaation tuottamaan tulokseen.
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Tavoitteita ja hyötyjä 3/ 6 Mitattaessa yrityksen (organisaation) inhimillistä pääomaa, yleensä arvioidaan henkilöstön osaamisen määrää ja laatua strategian tasolla. Näillä mittareilla ei voida kytkeä koulutuksista saatavia hyötyjä kattavasti tavoitteena olevaan osaamiseen, tai edes valmennuksista aiheutuviin kustannuksiin.
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Tavoitteita ja hyötyjä 4/ 6 Osaamisen hyötyjä ja vaikuttavuutta pitäisi tarkastella pidemmällä aikavälillä, osana yrityksen muuta toimintaa. Ja suhteessa esimerkiksi liiketoiminnan tuloksellisuusmittareihin (kannattavuus, kate, liikevaihto, liikevoitto).
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Tavoitteita ja hyötyjä 5/ 6 Perinteisesti yritysten tuloksessa on käsitelty esimerkiksi palkkoja ja koulutusmenoja samanarvoisina kustannuksina (Raivola ja Vuorensyrjä 1998, 58).
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Tavoitteita ja hyötyjä 6/ 6 Tuottavuutta seurataan usein kuukausitasolla, jolloin osaamisen kehittämisen investoinnit näyttäytyvät tuloksessa pelkkinä menoerinä. Ja hyödyt näkyvät puolestaan paljon pidemmällä aikavälillä. Lisäksi henkilöstön kehittämiseen käytetyt kustannukset on katettava yleensä heti yrityksen tuotoista. (Raivola ja Vuorensyrjä 1998, 59)
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Erikoistumiskoulutukset ja vaikuttavuuden arviointi 1/ 5 Erikoistumiskoulutusten näkökulmasta vaikuttavuuden arvioinnin merkitys korostuu, kun yritykset ja organisaatiot joutuvat kustantamaan jatkossa yhä suuremman osan henkilöstönsä kehittämisestä.
Uuden osaamisen syntyminen Uutta osaamista syntyy työpaikan ja korkeakoulun vuorovaikutuksessa Korkeakoulu Tutkittu osaaminen Työpaikka Kokeiltu osaaminen
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Erikoistumiskoulutukset ja vaikuttavuuden arviointi 2/ 5 Koulutuksen tarjoajalla täytyy olla näyttöä tarjontansa vaikuttavuudesta. Koulutusten hyödyt ja vaikuttavuus täytyy kyetä osoittamaan myös julkisille rahoittajalle.
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Erikoistumiskoulutukset ja vaikuttavuuden arviointi 3/ 5 Erikoistumiskoulutusten näkökulmasta esimerkiksi Bramleyn (1991) mukaan erilaisissa henkilöstövalmennuksissa voidaan toteuttaa seuraavia vaikuttavuutta lisääviä tekijöitä: 1. Pelkän oppimiskokemuksen lisäksi valmennuksen tulisi olla prosessina systemaattinen, suunnitelmallinen ja kontrolloitu.
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Erikoistumiskoulutukset ja vaikuttavuuden arviointi 4/ 5 2. Valmennuksessa tulisi tavoitteellisesti pyrkiä vaikuttamaan osaamisen lisäksi myös asenteiden ja ymmärryksen kehittämiseen. 3. Valmennusten tulisi tavoitella työsuorituksen parantamista nykyisissä ja tulevissa työtehtävissä.
Vaikuttavuuden arvioinnin menetelmiä, tavoitteita ja hyötyjä Erikoistumiskoulutukset ja vaikuttavuuden arviointi 5/ 5 4. Yksittäisen opiskelijan lisäksi valmennuksissa tulisi tavoitella myös työtiimin sekä koko yrityksen työn vaikuttavuuden tehostamista. (Bramley, 1991)
Koulutuksen ja kehittämisen muutosasteet Muutosaste Suuri Pieni 1. Aste Tietojen vastaanottaminen ja käsittely 2. Aste Tietojen ja käsitysten konstruointi, ongelmien ratkaisu Välineellinen (instrumentaalinen) oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset Yksilö 3. Aste Tietojen ja käsitysten kyseenalaistaminen Vuorovaikutus (kommunikatiivinen) oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset esim. -luennot -tehtävät -harjoitukset Yksilö ja ryhmä Monitaso (emansipatorinen) oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset esim. -prosessointi -caset -konstruointi Ryhmä esim. -muutosprosessointi -luovuustekniikat Vaikutustaso Mezirow (1996), Argyris & Scön (1978, 1996), Marjakangas 2005
Vaikuttavuusarviointien taustaa Kirkpatrick (1969) Hamblin (1974) Laird (1983) Boothe (1985) Goldstein (1989) Aalto, Hätönen & Vaherva (1998) 1 koulutettavien välittömät reaktiot reaktiot oppijoiden mielipiteet kouluttajien koulutustoiminnan arviointi koulutusvaikutus (training validity) koulutuksen jälkeiset mielipiteet (kyselylomake) 2 koulutuksen ansiosta tapahtuva oppiminen oppiminen oppiminen oppijatyöntekijätason tehokkuuden muutokset siirtovaikutus (transfer validity) opitun omaksuminen (sovellukset ja harjoitukset) 3 koulutuksesta aiheutunut työkäyttäytymisen muuttuminen työkäyttäytyminen operatiivisen toiminnan paraneminen organisaatiotason muutokset (siirtovaikutus) organisaation sisäinen vaikutus (intra-organizational validity) toiminnan muutokset (viivästetty arviointi esim. kehityskeskustelu) 4 työssä käyttäytymisen muutoksen vaikutukset organisaation taloudelliseen tulokseen organisaatiovaikutukset koulutuksen kustannustehokkuus orgaisaatioiden välinen pätevyys (interorganizational validity) Kehittämistoiminnan vaikutukset organisaatiossa määriteltyihin kehittämiskohteisiin (esim. vaihtuvuus, kustannukset, viihtyminen, tuloksellisuus) 5 perimmäinen hyöty Kirkpatrick (1969), Hamblin (1974), Laird (1983), Boothe (1985), Goldstein (1989), Kantanen (1996), Aalto, Hätönen & Vaherva (1998)
Arviointitasojen valintaa suuri Sisäinen vaikutus Ulkoinen vaikutus Taso 4 Muutokset työyhteisössä/organisaatiossa Tulosmuutokset (Interorganisational validity) arvioinnin vaikeusaste Taso 3 Taso 2 Siirtovaikutukset, oppiminen Vaikutus tietoihin, taitoihin ja asenteisiin (Transfer validity) Työkäyttäytymisen muutokset Muutokset toiminnassa Ryhmässä tapahtuvat muutokset (Intra-organisational validity) Taso 1 Suhtautuminen koulutukseen Koulutusvaikutus (Training validity) Reaktiomittaus Viivästetty mittaus pieni lyhyt arvioinnilta vaadittava aika pitkä yksilö yksilö ja ryhmä arvioinnin kohde ryhmä organisaatio
Vaikuttavuusarvioinnin viitekehys Koulutuksen muutosasteen valinta Emansipatorinen oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset Kommunikatiivinen oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset Instrumentaalinen oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset
Vaikuttavuusarvioinnin viitekehys Koulutuksen muutosasteen valinta Koulutuksen arviointitasojen valinta Emansipatorinen oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset Kommunikatiivinen oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset Taso 4 Taso 3 Taso 2 Sisäinen vaikutus Ulkoinen vaikutus Siirtovaikutukset, oppiminen Vaikutus tietoihin, taitoihin ja asenteisiin (Transfer validity) Muutokset työyhteisössä/organisaatiossa Tulosmuutokset (Interorganisational validity) Työkäyttäytymisen muutokset Muutokset toiminnassa Ryhmässä tapahtuvat muutokset (Intra-organisational validity) Instrumentaalinen oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset Taso 1 Suhtautuminen koulutukseen Koulutusvaikutus (Training validity) Reaktiomittaus Viivästetty mittaus lyhyt arvioinnilta vaadittava aika pitkä
Vaikuttavuusarvioinnin viitekehys Koulutuksen muutosasteen valinta Koulutuksen arviointitasojen valinta Emansipatorinen oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset Kommunikatiivinen oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset suuri arvioinnin vaikeusaste Taso 4 Taso 3 Taso 2 Sisäinen vaikutus Siirtovaikutukset, oppiminen Vaikutus tietoihin, taitoihin ja asenteisiin (Transfer validity) Ulkoinen vaikutus Muutokset työyhteisössä/organisaatiossa Tulosmuutokset (Interorganisational validity) Työkäyttäytymisen muutokset Muutokset toiminnassa Ryhmässä tapahtuvat muutokset (Intra-organisational validity) Instrumentaalinen oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset pieni Taso 1 lyhyt Suhtautuminen koulutukseen Koulutusvaikutus (Training validity) Reaktiomittaus arvioinnilta vaadittava aika Viivästetty mittaus pitkä yksilö yksilö ja ryhmä arvioinnin kohde ryhmä organisaatio
Vaikuttavuusarvioinnin viitekehys Taustamuuttujia: henkilöstömuutokset, suhdannevaihtelut, organisaatiomuutokset, itsenäinen kehittäminen jne. Koulutuksen muutosasteen valinta Koulutuksen arviointitasojen valinta Emansipatorinen oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset Kommunikatiivinen oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset suuri arvioinnin vaikeusaste Taso 4 Taso 3 Taso 2 Sisäinen vaikutus Siirtovaikutukset, oppiminen Vaikutus tietoihin, taitoihin ja asenteisiin (Transfer validity) Ulkoinen vaikutus Muutokset työyhteisössä/organisaatiossa Tulosmuutokset (Interorganisational validity) Työkäyttäytymisen muutokset Muutokset toiminnassa Ryhmässä tapahtuvat muutokset (Intra-organisational validity) Instrumentaalinen oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset pieni Taso 1 lyhyt Suhtautuminen koulutukseen Koulutusvaikutus (Training validity) Reaktiomittaus arvioinnilta vaadittava aika Viivästetty mittaus pitkä yksilö yksilö ja ryhmä arvioinnin kohde ryhmä organisaatio
Vaikuttavuusarvioinnin viitekehys Taustamuuttujia: henkilöstömuutokset, suhdannevaihtelut, organisaatiomuutokset, itsenäinen kehittäminen jne. Koulutuksen muutosasteen valinta Koulutuksen arviointitasojen valinta Emansipatorinen oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset Kommunikatiivinen oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset suuri arvioinnin vaikeusaste Taso 4 Taso 3 Taso 2 Sisäinen vaikutus Siirtovaikutukset, oppiminen Vaikutus tietoihin, taitoihin ja asenteisiin (Transfer validity) Ulkoinen vaikutus Muutokset työyhteisössä/organisaatiossa Tulosmuutokset (Interorganisational validity) Työkäyttäytymisen muutokset Muutokset toiminnassa Ryhmässä tapahtuvat muutokset (Intra-organisational validity) Instrumentaalinen oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset pieni Taso 1 lyhyt Suhtautuminen koulutukseen Koulutusvaikutus (Training validity) Reaktiomittaus arvioinnilta vaadittava aika Viivästetty mittaus pitkä yksilö yksilö ja ryhmä arvioinnin kohde ryhmä organisaatio Koulutuksen arviointimenetelmien valinta kyselylomakkeet kokeet havainnointi oppimispäiväkirjat työnäytteet osaamiskartoitukset ROI
Koulutuksen suunnittelu- ja arviointimalli (mukautettu versio R.H Daven EIPOL grid arviointimallista) Panokset Kehittymistarpeet Koulutusprosessi Tuotokset Vaikutusten arviointi Tavoitteet Millä tavalla koulutuksen tavoitteet toteuttavat määriteltyjä kehittymistarpeita? Kuinka paljon resursseja voidaan käyttää tavoitteiden määrittämiseen (aika/ )? Mitkä ovat koulutusprosessin muutos-/kehittymistavoitteet? Millaisia laadullisia ja määrällisiä tuottotavoitteita voidaan asettaa? Mille koulutuksen arviointitasolle tavoitteet voidaan asettaa? Millaiset tavoitteet asetetaan arviointimenetelmien valinnalle? Suunnittelu Miten kehittymistarpeet on huomioitu koulutuksen suunnittelussa? Kuinka paljon resursseja voidaan käyttää suunnittelun toteuttamiseen (aika/ )? Miten koulutusprosessin muutos- /kehittymistavoitteet huomioidaan suunnittelussa? Miten laadulliset ja määrälliset tuottotavoitteet näkyvät koulutus-prosessin suunnittelussa? Miten koulutuksen arviointitasot otetaan huomioon koulutusprosessin suunnittelussa? Mitkä arviointimenetelmät valitaan vaikuttavuuden mittareiksi? Toteutus Kattaako koulutuksen toteutus kaikki kehittymistarpeet? Kuinka paljon resursseja voidaan käyttää koulutuksen toteuttamiseen (aika/ )? Miten koulutusprosessin muutos- /kehittymistavoitteet toteutetaan koulutusprosessin aikana? Millä tavalla laadullisten ja määrällisten tuotosten syntyminen varmistetaan koulutusprosessin aikana? Millä tavalla arviointimenetelmiä käytetään toteutusvaiheen aikana ja sen jälkeen? Seuranta Kuinka laajasti kehittymistarpeet saatiin tyydytettyä? Kuinka paljon resursseja käytettiin eri vaiheiden aikana? Toteutuiko koulutusprosessi asetettujen tavoitteiden ja suunnittelun mukaisesti? Mitkä olivat toteutuneet laadulliset ja määrälliset tuotokset? Millainen oli panostuotossuhde? Millä tavalla valitut arviointimenetelmät toimivat käytännössä? Millainen oli menetelmien reliabiliteetti ja validiteetti? EIPOL Grid lyhenne tulee sanoista Environment, Inputs, Processes, Outputs ja Longterm Effects.
Vaikuttavuuden arviointimalli Arviointitaso Mitä arvioidaan? Milloin arvioidaan? Miten mitataan? Arvioinnin hyöty? TASO 1 Suhtautuminen koulutukseen ja välitön koulutusvaikutus yksilötasolla. Tuntemukset Mielipiteet Vaikutelmat oppimisesta Koulutuksen aikana Heti koulutustilanteiden jälkeen Kyselyt Haastattelut Keskustelut Tilannekohtaisen koulutuksen kehittäminen ja suuntaaminen Kouluttajavalinnat Näkökulma pääosin kouluttajalähtöinen TASO 2 Oppimis- ja siirtovaikutukset Opiskeltujen asioiden omaksuminen Tiedon lisääntyminen Taitojen parantuminen Asioiden ymmärtäminen Vaikutukset asenteisiin Koulutuksen aikana ja koulutuksen päätyttyä Kokeet ja tentit Kyselyt Haastattelut Tehtävät ja harjoitukset Näytesalkut Oppimispäiväkirja Simulaatiot Oppimisprosessin tehokkuuden arviointi Koulutus- ja kehittämismenetelmien toimivuuden arviointi Näkölulma pääosin kouluttajalähtöinen TASO 3 Työkäyttäytymisen muutokset Ryhmän käyttäytymisessä ja toiminnassa tapahtuvat muutokset Oman ajattelun muutokset Käytännön tilanteissa ilmenevä toiminnan muutos Ryhmän käyttäytymisen muutokset Opitun soveltaminen omassa työssä Pitkän koulutuksen aikana Koulutuksen päätyttyä viivästettynä (noin 0-6 kk koulutuksen päätyttyä) Itsereflektointi Ryhmäreflektointi Itsearvioinnit Työntekijöiden haastattelut Työtovereiden ja esimiesten haastattelut Työskentelyn seuraaminen ja havainnointi Asiakaspalautteet Mahdollisten muutosten dokumentointi ja käsittely työyhteisössä Näkökulma pääosin tilaajalähtöinen TASO 4 Muutokset työyhteisössä/ organisaatiossa. Tulosmuutokset Tuottavuuden kasvu Kustannusten pieneneminen Virheiden vähentyminen Poissaolojen väheneminen Ilmapiiri Asiakastyytyväisyys 6-24 kk koulutuksen päätyttyä Ilmapiiritutkimukset Tilastoarvioinnit Asiakaspalautteet Tuloslaskelman seuraaminen Myyntimäärät Suoritemäärät Kustannusraportit Tulosmuutosten arviointi Taustamuuttujien vaikutusten arviointi Näkökulma pääosin tilaajalähtöinen Hätönen 1998, Frisk 2005, Marjakangas 2012/13
Arviointimenetelmän valintakriteerit Koulutuksen muutosasteen valinta Arviointitason valinta Arviointimenetelmän valinta Taustamuuttujat Arviointimenetelmän valintakriteerejä Taso 1. Instrumentaalisen oppimisen taso (opitaan tietoja ja taitoja, tehtäväsuuntautunut) Taso 2. Kommunikatiivisen oppimisen taso (ymmärryksen lisääminen, merkityksien uudelleen arviointi, ongelmanratkaisuprosessiin keskittyvä) Taso 3. Emansipatorisen oppimisen taso (kyseenalaistaminen, aikaisempien käsitystapojen muuttaminen, uudistava oppiminen) TASO 1 Suhtautuminen koulutukseen ja välitön koulutusvaikutus yksilötasolla TASO 2 Oppimis- ja siirtovaikutukset TASO 3 Työkäyttäytymisen muutokset, ryhmän käyttäytymisessä ja toiminnassa tapahtuvat muutokset TASO 4 Muutokset työyhteisössä/organisaatiossa, ulosmuutokset Esimerkkejä arviointimenetelmistä: kyselylomakkeet, koulutustilanteen havainnointi, keskustelut, haastattelut, kokeet, kirjoittamistehtävät, esseet, referaatit, caset, soveltavat tehtävät, ilmapiirikyselyt, oppimispäiväkirjat, portfoliot, roolipelit, projektiiviset tehtävät, laboratoriotyöt, näytöt, 360 arvioinnit, osaamiskartoitukset, toteutus. Ja arviointidokumentit, asiantuntija arviot tilastot, budjettivertailut, tilinpäätökset, taloudelliset analyysit, ROI Esimerkkejä taustamuuttujista: suhdannevaihtelut, henkilöstömuutokset, muutokset organisaatiossa, oma itsenäinen kouluttautuminen Apukysymyksiä Millä tavalla koulutuksen muutosasteen valinta vaikuttaa arviointimenetelmän valintaan? Millä arviointitasoilla koulutuksen vaikutuksia halutaan arvioida? Mitkä ovat realistisia arviointitasoja? Mitkä arviointimenetelmät valitaan? Pystyykö valituilla arviointimenetelmillä mittaamaan todellisia vaikutuksia valituilla arviointitasoilla? Onko valituilla arviointimenetelmillä syy-seuraussuhde keskenään vai ovatko menetelmiä toisistaan irrallisia? Mitkä ovat koulutuksen koulutuksesta riippumattomia taustamuuttujia. Mitkä taustamuuttujat edesauttavat koulutuksen tavoitteiden saavuttamista? Mitkä taustamuuttujat haittaavat koulutuksen tavoitteiden saavuttamista?
Arviointilomakkeen laadinnassa on hyvä huomioida Arviointikriteerit Selitys 1 Yksinkertainen Väittämän/kysymyksen tulee olla riittävän yksinkertainen ja kaikkien vastaajien ymmärrettävissä. 2 Yksiselitteinen Väittämän/kysymyksen käsitteiden on oltava yksiselitteisiä, jotta käsitteitä ei voida ymmärtää monella eri tavalla? 3 Lyhyt Väittämässä/kysymyksessä saa olla korkeintaan 20 sanaa. 4 Ei-johdatteleva Väittämä/kysymys ei saa olla vastausta johdatteleva. On pyrittävä neutraaliin kysymysmuotoon. 5 Yksi asia per väittämä Väittämässä/kysymyksessä tulee kysyä vain yhtä asiaa kerrallaan, muuten ei tiedetä, mihin asiaan vastaaja on vastannut. 6 Ja sanan välttäminen Väittämässä/kysymyksessä tulisi välttää ja -sanaa. 7 Liiallisten negatiivisten väittäminen välttäminen Jos väittämissä/kysymyksissä on liikaa negatiivisia väittämiä, on vaarana tulosten vääristyminen. 8 Väittämien satunnaisjärjestys Väittämien/kysymysten satunnaisjärjestyksellä voidaan välttää vastausten vinoutuminen. 9 Asteikkotyypin valinta Tavallisimmat asteikkotyypit ovat Likertin summa-asteikko (yleensä 5- tai7 portainen) tai semanttiseen differentiaaliin perustuva asteikko (vastakohtaparien ankkureina on adjektiiviankkurit, asteikko voi olla + ja/tai asteikollinen). 10 Numeerisen asteikon valinta Asteikko voi olla ns. pakottava (esim. 4 portainen) tai kesikohdan sisältävä (esim. 5 portainen) 11 Halo -efekti Halo -efektillä tarkoitetaan positiivisten tai negatiivisten asioiden ylikorostumista ja vaikutusta systemaattisen virheen syntymiseen. Väittämien/kysymysten satunnaisjärjestyksellä voidaan välttää halo efektin syntymistä. 12 Reliabiliteetti Mittaaminen on reliaabelia silloin, kun mittaus on luotettavaa ja ei-sattumanvaraista. Eli kun mittaus toistetaan, saadaan samansuuntaisia tuloksia. 13 Sisältövaliditeetti Validiteetilla tarkoitetaan sitä, että on onnistuttu mittaamaan sitä, mitä on ollut tarkoitus mitata. Sisältövaliditeetilla tarkoitetaan sitä, että mittari (kysymykset) on laadittu siten, että ne antavat vastaukset haluttuihin tutkimuskysymyksiin. 14 Käsitevaliditeetti Käsitevaliditeetilla tarkoitetaan sitä, että mittarin (kysymysten) käsitteet ovat päteviä eli samalla tavalla kaikkien ymmärtämiä. 15 Ennustevaliditeetti Ennustevaliditeetilla tarkoitetaan sitä, että mittaustuloksia voidaan verrata keskenään ja että mittaustulosten avulla voidaan ennustaa esimerkiksi tulevia oppimistuloksia.
Ryhmätehtävä 1 Vaikuttavuuden arviointimallin rakentaminen Perehtykää Yritys A:n valmennuscaseen. Rakentakaa 6-7 hengen ryhmissä vaikuttavuuden arviointiallin mukainen nelitasoinen vaikuttavuuden arviointiprosessi. Aikaa 45 min. Kukin ryhmä esittää oman prosessinsa lounaan jälkeen. Aikaa 10 min/ ryhmä.
CASE: yritys- ja tarvekuvaus YRITYS A:N ESIMIESOSAAMISEN KEHITTÄMINEN Taustaa Yritys A Oy on suomalaisen emoyhtiön ja saksalaisen ravintolaketjun omistama yhteisyritys, joka tarjoaa korkealaatuisia ravintola- ja catering palveluja matkustaville asiakkaille. Yrityksellä on yhteensä 18 ravintolaa/kahvilaa eri puolella Suomea. Yrityksen liikevaihto on noin 27 miljoonaa euroa. A:n palveluksessa työskentelee 350 ravintola- ja cateringalan ammattilaista. Yrityksessä esimiehenä toimii 40 henkilöä. Esimiesten ikähaitari on 26-58 vuoden välillä. Suuri osa esimiehistä on 45+ ikäluokkaa. Mies-/naisjakauma on 60/40. Esimiehet ovat keskeisessä asemassa yrityksen tuloksen rakentumisessa. Esimiesten osaaminen on kokonaisuudessaan hyvällä tasolla ja sen edelleen kehittämiseen halutaan kiinnittää erityistä huomiota. Tätä ajatellen yrityksessä halutaan aloittaa esimiesvalmennus, jonka avulla voidaan kehittää yrityksen nykyisten esimiesten osaamistasoa esimies- ja johtamistyön oleellisilla osa-alueilla. Erityisenä painopistealueena on päivittäisjohtamisen ja leadership-taitojen kehittäminen. Asiakkaan kanssa käytyjen neuvottelujen pohjalta esimiesvalmennuksen tavoitteiksi on asetettu: Tukea esimiesten vuorovaikutusosaamisen kehittymistä ja kannustaa osallistujia toimimaan aktiivisina vuorovaikuttajina omassa esimiestyössään Kehittää esimiesten päivittäisjohtamisessa tarvittavia tietoja ja taitoja Kehittää esimiesten kokonaisvaltaista tulosvastuullista esimiesosaamista Parantaa esimiesten asiakastilanteiden analysointiin ja johtamiseen liittyviä taitoja sekä perehdyttää esimiehet aktiivisen myyntityön työkaluihin Perehdyttää esimiehet erilaisten motivaatiokeinojen hyödyntämiseen Rakentaa valmennuksen aikana ryhmätöiden, kehittämistehtävien ja muun käsiteltävän materiaalin pohjalta esimiehen käsikirja, jota voidaan hyödyntää ja soveltaa käytännön esimiestyössä
CASE: valmennuksen viitekehys Yritys A:n esimiesvalmennuksen rakenne Jakso 1 10.4.-11.4.2012 Jakso 2 11.9.2012 Jakso 3 11.1.2013 Lähijaksot Soveltaminen Opittujen asioiden soveltaminen työssä Ennakkotehtävä Välitehtävät Kokoava tehtävä
Vaikuttavuuden arviointimalli Arviointitaso Mitä arvioidaan? Milloin arvioidaan? Miten mitataan? Arvioinnin hyöty? TASO 1 Suhtautuminen koulutukseen ja välitön koulutusvaikutus yksilötasolla. TASO 2 Oppimis- ja siirtovaikutukset TASO 3 Työkäyttäytymisen muutokset Ryhmän käyttäytymisessä ja toiminnassa tapahtuvat muutokset TASO 4 Muutokset työyhteisössä/ organisaatiossa. Tulosmuutokset Hätönen 1998, Frisk 2005, Marjakangas 2012/13
Ryhmätehtävä 2 Kolmiulotteinen arviointimenetelmien asemointi 1. Listatkaa ryhmissä organisaatioissanne käytössä olevia koulutuksen vaikutusten arviointimenetelmiä. 2. Valitkaa menetelmistä kymmenen mielestänne mielenkiintoisinta ja kirjoittakaa kunkin valitun menetelmän nimi eri papereille (vihreä paperi). 3. Miettikää valittujen menetelmien kohdalla, mille muutostasolle arviointimenetelmä sopisi parhaiten (Taso 1, taso 2, taso 3 vai taso 4). Merkitkää tason numero vihreälle paperille. 4. Asemoikaa papereihin (erilliset vihreät paperit) kirjatut 10 arviointimenetelmää arviointimenetelmien asemointi nelikenttään. 5. Valitkaa mielestänne 3 parasta arviointimenetelmää ja siirtäkää ne kaikkien ryhmien yhteiseen nelikenttään (taululla).
Ryhmätehtävä 2 Monimutkainen käyttää Usein käytössä Harvoin käytössä Reaktiopalautelomake 1 Helppo käyttää
Vaikuttavuusarvioinnin viitekehys (J.Marjakangas 2008) Taustamuuttujia: henkilöstömuutokset, suhdannevaihtelut, organisaatiomuutokset, itsenäinen kehittäminen jne. Koulutuksen muutosasteen valinta Koulutuksen arviointitasojen valinta Emansipatorinen oppiminen -tiedostava ja vapauttava -voimakas kyseenalaistaminen -uuden uskomusjärjestelmän rakentaminen -miksi ei? kysymykset Kommunikatiivinen oppiminen -ymmärtäminen -merkityksien uudelleen arviointi -asioiden uudelleen järjestely -miksi? -kysymykset suuri arvioinnin vaikeusaste Taso 4 Taso 3 Taso 2 Sisäinen vaikutus Siirtovaikutukset, oppiminen Vaikutus tietoihin, taitoihin ja asenteisiin (Transfer validity) Ulkoinen vaikutus Muutokset työyhteisössä/organisaatiossa Tulosmuutokset (Interorganisational validity) Työkäyttäytymisen muutokset Muutokset toiminnassa Ryhmässä tapahtuvat muutokset (Intra-organisational validity) Instrumentaalinen oppiminen -tehtäväsuuntautunut -ongelmien ratkaiseminen -syy-seuraussuhteet -miten? -kysymykset pieni Taso 1 lyhyt Suhtautuminen koulutukseen Koulutusvaikutus (Training validity) Reaktiomittaus arvioinnilta vaadittava aika Viivästetty mittaus pitkä yksilö yksilö ja ryhmä arvioinnin kohde ryhmä organisaatio Koulutuksen arviointimenetelmien valinta kyselylomakkeet koulutustilanteen havainnointi keskustelut haastattelut kokeet kirjoittamistehtävät esseet referaatit caset soveltavat tehtävät havainnointi organisaation ilmapiirikyselyt keskustelut oppimispäiväkirjat portfoliot roolipelit projektiiviset tehtävät laboratoriotyöt näytöt työnäytteet osaamisen näytöt 360 -arvioinnit osaamiskartoitukset toteutus- ja arviointidokumentit asiantuntija-arviot tilastot budjettivertailut tilinpäätökset taloudelliset analyysit ROI
CASE: vastaus Vaikuttavuusanalyysi 5 kk ohjelman päättymisen jälkeen Yritys A:n esimiesvalmennuksen rakenne Jakso 1 10.4.-11.4.2012 Jakso 2 11.9.2012 Jakso 3 11.1.2013 Lähijaksot Kompetenssi analyysi Soveltaminen Opittujen asioiden soveltaminen työssä Ennakkotehtävä Välitehtävät Kokoava tehtävä
CASE: vastaus Kompetenssianalyysi 1 kysymyslomake Vastaajan nimi Toiminnan johtamisen pisteet -3-2 -1 0 1 2 3 1 Omat henkilökohtaiset arvoni vastaavat Avecran arvomaailmaa huonosti hyvin 2 Olen taloudellisten tunnuslukujen analysoinnissa aloittelija ammattilainen 3 Tiedän, millä tavalla Avecran toimintatavat jalkautetaan työntekijöille huonosti hyvin 4 Ymmärrän mitä Avecran strategiset tavoitteet tarkoittavat käytänössä huonosti hyvin 5 Pystyn toteuttamaan omat tulostavoitteeni asetetussa tavoiteajassa huonosti hyvin 6 Osaan johtaa oman ryhmäni päivittäistoimintaa huonosti hyvin 7 Päätöksentekokykyni erilaisissa muutostilanteissa ovat huonot hyvät 8 Tiedän, miten Avecran erilaisia konseptikäsikirjoja pitää hyödyntää esimiestyössä huonosti hyvin 9 Tiedän, mitä Avecran vuositavoitteet merkitsevät oman ryhmäni kannalta huonosti hyvin 10 Mielestäni osaan ennakoida päivittäisjohtamiseen vaikuttavia tulevia muutoksia huonosti hyvin Ihmisten johtamisen pisteet -3-2 -1 0 1 2 3 1 Tiedän, mitkä roolit ovat tärkeimpiä esimiestyössäni huonosti hyvin 2 Osaan jakaa työtehtävät tasapuolisesti omassa ryhmässäni huonosti hyvin 3 Tunnistan omat heikkouteni ja vahvuuteni esimiestyössä huonosti hyvin 4 Kykyni antaa ja vastaanottaa palautetta ovat huonot hyvät 5 Mielestäni pystyn säätelemään tietoisesti käyttäymistäni erilaisissa vuorovaikutustilanteissa huonosti hyvin 6 Mielestäni osaan ottaa erilaisten työntekijöiden näkemykset huomioon huonosti hyvin 7 Mielestäni taitoni pitää kehityskeskusteluja ovat huonot hyvät 8 Mielestäni kykyni vetää erilaisia palavereja ja kokouksia ovat huonot hyvät 9 Mielestäni kykyni johtaa omaa ajankäyttöäni on huono hyvä 10 Mielestäni oma vaikutukseni innostuneen ilmapiirin luomiseen työyhteisössäni on pieni suuri 36
CASE: vastaus Vertailu Kompetenssi1 (keltainen) ja Kompetenssi2 (vihreä)