Työpoliittinen Aikakauskirja 1/2008 Katsauksia ja keskusteluja Opiskelijapalauttein työvoimakoulutuksen vaikuttavuutta jäljittämässä 1 Eric Hällström 2 Perinteisesti työvoimakoulutuksen nettovaikuttavuutta on arvioitu rekisteriaineistojen pohjalta vertaillen koulutukseen osallistuneiden työllistymisastetta verrokkiryhmän työllistymisasteeseen. Tuollainen kvasikokeellinen asetelma on monista ongelmistaan 3 huolimatta oikealla tavalla käytettynä hyödyllinen. Se ei kuitenkaan ole tähän mennessä ottanut huomioon osaamiseen liittyviä ilmiöitä kuten osaamistarpeita tai oppimista, jotka ovat keskeisiä ilmiöitä ja käsitteitä koulutukseen ja sen vaikuttavuuteen liittyen. Koulutuksen vaikuttavuusmittauksen pätevyyttä kohottaisi huomattavasti jos sillä mitattaisiin myös niitä välillisiä muutoksia ja vaikutuksia, joiden arvellaan johtavan työllistymiseen. Tällöin työllistymistä selittävänä muuttujana ei tarvitsisi käyttää vain karkeaa tietoa koulutukseen osallistumisesta, mikä on arvioinnin validiteetin kannalta ongelmallinen monesta syystä. Mitattaessa vain työllistymistä koulutuksen järjestäjät ja hankkijat asetetaan vastuuseen asioista, joista he eivät ole yksin vastuussa. Toki nämäkin tahot voivat vaikuttaa esimerkiksi työssäoppimispaikkoja hankkimalla ja valmistuvia yrityksiin markkinoimalla, mutta he eivät voi yleensä vastata työmarkkinakysynnän muutoksista, mikä on yksi tärkeimmistä työllistymisten selittäjistä. Oma merkittävä vaikutuksensa työllistymisiin on myös työhallinnossa tehtävällä koulutushankintojen suunnittelulla, koulutuksen kohdentamisella ja opiskelijavalinnalla. Näidenkään onnistumista ei ole perusteltua tarkastella mittaamalla yksin välitöntä työllistymistä sillä välilliset ja viiveiset vaikutukset 1 Tämä kirjoitus perustuu analyysiraporttiin: Hällström, E. (2007b). 2 Eric Hällström, YTL, ylitarkastaja, työ- ja elinkeinoministeriö. 3 Ks. ongelmista Hämäläinen, K. Uusitalo, R. (2005). Ks. myös työpolitiikan seurannan ja arvioinnin yleisistä haasteista Räisänen, H. (2001). 61
Katsauksia ja keskusteluja Työpoliittinen Aikakauskirja 12008 ovat hyvin merkittäviä. Vaikuttavuuden mekanismi on monitahoinen, joten selitysmalliin olisi pyrittävä saamaan mahdollisimman kattavasti keskeisimmät teoreettisesti hyvin perustellut selittävät muuttujat. On siis syytä katsoa miten työllistymisen lisäksi myös oppimisesta kertovan opiskelijapalautetiedon avulla voisimme auttaa ongelman ratkaisussa. Opiskelijapalautteiden analysointia houkuttaa kehittämään myös niiden suuri operatiivinen hyödynnettävyys, mikä tulee palauteinformaation nopeudesta, runsaudesta ja tarkkuudesta. Arviointi ja monitorointi ovat sitä vaikuttavampia, mitä paremmin niiden tuottama tieto on nopeasti hyödynnettävissä koulutushankintojen suuntaamisessa ja koulutusten sekä koko palveluprosessin kehittämisessä. Työvoimakoulutuksen Opal-opiskelijapalautejärjestelmään on vuosiväliltä 2001-2007 tallentunut tuhansista eri koulutuksista jo neljännesmiljoonan opiskelijan sähköiset palautteet, joita on käytetty hyvin koulutusten onnistumisten välittömässä seurannassa 4, mutta aineiston syvällisemmässä yleisessä analysoinnissa on vielä paljon tehtävää. Moniulotteinen Opal-netto-tarkastelu Merkittävin lisä, mitä opiskelijapalaute voi työllistymisnäkymän ohella tuoda vaikuttavuuden arviointiin on tieto oppimisesta. Tätä varten on Opal-järjestelmän kyselylomakkeella esitetty väittämä: Koulutus on lisännyt ammatillista osaamistani ja sille vastausvaihtoehdot: Huonosti; Välttävästi; Tyydyttävästi; Hyvin; Erinomaisesti. Vuonna 2006 päättyneiden kansallisesti rahoitettujen ammatillisten koulutusten palauteaineistossa opiskelijoista 73,3 % katsoo ammatillisen osaamisensa lisääntyneen koulutuksen ansiosta hyvin tai erinomaisesti. Tieto osaamisen lisääntymisestä kertoo implisiittisesti myös ennen koulutusta vallinneista osaamistarpeista. Tältä pohjalta voidaan omalla tavallaan lähestyä arviointia koulutuksen tuottamasta nettohyödystä ilman verrokkiryhmätarkastelua. Yksinkertaisimmillaan voidaan siis päätellä, että koulutus, joka on tuottanut oppimista, on lisännyt tavoiteltuja parempia työmarkkinavalmiuksia ja omalta osaltaan luonut edellytyksiä työllistymiselle. Hyötynä tässä esimerkissä on saavutettu oppiminen, minkä kiinnostavuutta sen teoreettisen relevanssin ohella lisää vastaajien välillä havaitut suuret erot oppimiskokemuksissa. Ammatillista osaamista ja koulutusta on hyvin monenlaista eikä kaikkea siitä välttämättä koeta hyödylliseksi nopeasti muuttuvassa työelämässä. Tästä syystä opiskelijoilta on kysytty myös voivatko he hyödyntää koulutuksessa oppimaansa työelämässä. Vastaajista 77,4 % katsoi opitun hyödynnettävyyden hyväksi tai erinomaiseksi. Kyse on subjektiivisesta kokemuksesta, mutta ei pelkästään siitä, sillä opiskelijoilla on koulutuksen yhteydessä, etenkin työssäoppimisjaksolla mahdollisuus arvioida uuden osaamisensa hyödyllisyyttä suhteessa työelämän nykyisiin vaatimuksiin. Tarkastelemalla samanaikaisesti oppimista ja opitun työelämärelevanssia pääsemme entistä lähemmäs tavoiteltujen vaikutusten pätevää arviointia. Mutta niin välttämätöntä kuin onkin oppimisen ottaminen koulutuksen vaikuttavuuden tarkasteluun, ei sillä voida kokonaan korvata työllistävyydestä saatavaa tietoa, ei ainakaan työvoimakoulutuksen kohdalla. Ihanteellista olisikin, jos voisimme pätevästi nähdä palveluprosessin edistyvyyden koulutus- ja työllistymisprosessin kaikissa keskeisissä vaiheissa sillä onnistuminen syntyy aina monien tekijöiden yhteisvaikutuksesta. Tavoittelemisen arvoinen olisi malli, 62
Työpoliittinen Aikakauskirja 1/2008 Katsauksia ja keskusteluja Kuvio 1. Tapausten luokittelu oppimisen ja työllistymisen kombinaatiossa Eric Hällström jossa kaikki keskeiset vaikutusulottuvuudet olisivat tasapainoisesti mukana. Näin ollen ammatillisen työvoimakoulutuksen tapauksessa malliin kuuluisivat ainakin hyödyllisen ammatillisen osaamisen lisääntyminen ja työllistyminen. Yhdistämällä ne samaan malliin, voidaan analyysissä erotella tapaukset karkeasti neljään luokkaan kuvion 1 tapaan. Varsinaisina selvinä ja välittöminä Opalnetto-vaikutuksina olisivat tällöin ne työllistymiset, joita edelsi oppiminen tai ne oppimiset, joita seurasi työllistyminen, siis kaksi tekijää, oppiminen ja työllistyminen yhdessä ja samanaikaisesti vaikuttavuuden välttämättöminä ehtoina. Epävarmempia vaikutuksia osoittaisivat ne oppimissaavutukset, joihin mahdollisesti liittyvä työllistyminen jää viiveisenä myöhemmin nähtäviksi. Työmarkkinavuotoina voitaisiin pitää niitä tapauksia, joissa työllistytään, mutta ilman oppimista ja virheinä niitä tapauksia, joissa on jäänyt saavuttamatta sekä oppiminen että työllistyminen. Opal-netto-tulokset saadaan vähentämällä so. erottelemalla ristiintaulukoinnin avulla yksilöaineistosta koulutettujen bruttotyöllistymisestä ne, jotka eivät ole oppineet koulutuksessa hyvin tai erinomaisesti työssä hyödynnettävää tietoa. Sekä työllistymistietoa että oppimistietoa hyödyntävä malli antaa siis mahdollisuuden aiempaa analyyttisempään ja tasapainoisempaan vaikutusten tarkasteluun, jossa työmarkkinatilanteen ja työllistymisen painosta osa siirtyy oppimiselle. Kuviossa 2 on vuoden 2005 yksilötarkkuinen aineisto (23 589 vastaajaa) jaettuna nelikenttään oppimisen ja työllistymisen kombinaatioiden mukaan. Pystyakseli kuvastaa hyödyllisen oppimisen kokemusta ja vaakaakseli tietoa työllistymisestä. Havaitaan, että 38,3 % tapauksista sijoittuu välittömien ja selvien vaikutusten ruutuun ylös oikealle. 63
Katsauksia ja keskusteluja Työpoliittinen Aikakauskirja 12008 Kuvio 2. Tapausten jakautuminen oppimisen ja työllistymisen kombinaatioihin Eric Hällström He ovat kokeneet oppineensa työssä hyödyllisiä asioita hyvin tai erinomaisesti ja ovat myös työllistyneet. Tämän ryhmän osuutta vastaajista kutsutaan mallissa koulutuksen Opal-netto-vaikutukseksi. Todennäköisesti viiveisten vaikutusten ruudussa ylhäällä vasemmalla on 38,7 % tapauksista, joista osa voi osoittautua myös kohdennukseltaan epäonnistuneiksi. He ovat oppineet hyödyllistä, mutta eivät työllistyneet heti koulutuksen jälkeen. Viiveinen työllistyminen on tavallista sillä useimmat työvoimakoulutukset käynnistyvät ilman varmuutta koulutuksen päättymishetken työvoimakysynnästä. Kohdennusvirhe voi olla myös maantieteellinen ja johtua vaikkapa siitä, ettei koulutusta käynnistettäessä pystytä riittävän tarkasti ennakoimaan työvoimakysynnän tai työvoiman liikkuvuuden vaihteluita eri alueilla. Epäonnistuneet tapaukset tai koulutuspäätökset 15,2 % ovat virheiden ruudussa alhaalla vasemmalla, sillä näihin ei liity kokemusta hyödyllisestä oppimisesta eikä myöskään työllistymistä. Näistä tapauksista suuri osa lienee koulutukseen osoituksia ja kertoo kuinka yhä edelleen koulutuksia voidaan käyttää myös muuhun kuin varsinaiseen tarkoitukseensa. Osalla kyse voi olla omasta aktiivisesta hakeutumisesta koulutusstatukselle lähinnä vain etuuksien turvaamisen tähden. Kyse voi olla myös aidosta pyrkimyksestä kouluttamiseen ja oppimiseen, mutta puutteellisen henkilökohtaistamisen tms. syyn tähden uuden hyödyllisen oppimista ei ole päässyt tapahtumaan ja myös koulutusvalinta on tullut tehtyä alalle, jolta ei työllisty nopeasti. Vuototapaukset 7,9 % ovat oikealla alhaalla. Näissä tapauksissa on työllistytty vaikka koulutus koettiin oppimisen kannalta hyödyttömäksi. Tähän joukkoon kuuluu niitä, jotka ovat työllistyneet muulle kuin koulutuksen alalle sekä niitä, joille koulutus on 64
Työpoliittinen Aikakauskirja 1/2008 Katsauksia ja keskusteluja Kuvio 3. Työllistymiseen selvästi vaikuttavia muuttujia Eric Hällström sisällöistään riippumatta toiminut keinona päästä työssäoppimisjaksolla näyttämään omaa osaamistaan työnantajalle. Vuotoilmiöksi näitä voi sanoa siitä syystä, että kyseiset vaikutukset olisi ollut saatavissa aikaan myös ilman koulutusta, joillain muilla järjestelyillä. Oppimisen yhteys työllistymiseen regressiomallissa Hyödyllisen osaamisen lisääntymisen vaikutusta työllistymiseen voidaan analysoida regressiomallissa. Oppimisen ohella selittäviksi muuttujiksi voidaan valita Opal-aineistosta opiskelijan työmarkkina-asema juuri ennen koulutusta, koulutukseen hakeutumisen syy, koulutuksen tavoiteammattiryhmä, koulutuksen sijaintialue TE -keskuksittain sekä opiskelijan ikä. Yhdeksi potentiaaliseksi selittäjäksi voidaan ottaa Opal-aineiston ulkopuolelta mukaan tieto ammattiryhmän työmarkkinatilanteen muutoksesta vuosivälillä 2005 2006. Kuten kuviosta 3 ilmenee, oppimisen vaikutus näyttää pysyvän, vaikka mukaan tuodaan muita selitysvoimaisia tekijöitä ne vakioiden. Tulos kertoo, että vuonna 2005 päättyneessä ammatillisessa työvoimakoulutuksessa oli työllistymisen todennäköisyys 70 prosenttia suurempi niillä, joiden työelämälle hyödyllinen osaaminen oli lisääntynyt hyvin tai erinomaisesti verrattuna niihin vastaajiin, joilla hyödyllisen osaamisen lisääntyminen oli vain huonoa, välttävää tai tyydyttävää. Ei siis ole lainkaan yhdentekevää millaista oppimista koulutuksissa saadaan aikaan. Tietenkin ammattiryhmän työmarkkinatilanteen muuttuminen selittää vahvasti työllistymistä. Parhaiten kehittyneiden työmarkkinatilanteiden kvartaalissa työllistymisen todennäköisyys on jopa kolminkertainen tyypilliseen tasoon verrattuna. Vertailukohdaksi valittuun Uudenmaan 65
Katsauksia ja keskusteluja Työpoliittinen Aikakauskirja 12008 TE-keskusalueeseen nähden työllistävämpää työvoimakoulutus oli mm. Etelä-Pohjanmaalla, missä ammatillinen työvoimakoulutus työllisti 88 prosenttia varmemmin. Pirkanmaalla vastaava voittotodennäköisyys oli 39 ja Varsinais-Suomessa 34 prosenttia parempi kuin Uudellamaalla. Opiskelijan iän vaikutus näyttää olevan suoraviivaisessa ja jyrkässä suhteessa työllistymisen todennäköisyyteen niin, että yli 55 vuotiaan työvoimakoulutetun työllistymisen todennäköisyys on vain puolet alle 25 vuotiaan työllistymistodennäköisyydestä. Yhteenvetoa ja johtopäätöksiä Opal-netto -analyysi avartaa kuvaa koulutuksen onnistumisesta moniulotteisessa, relevantin oppimisen mukaan ottavassa tavoitekentässä ja antaa omalla tavallaan mahdollisuuden aikaisempia vaikuttavuusmittauksia tarkempien ja nopeampien johtopäätösten tekemiseen toimijoittain, tavoiteammateittain ja koulutuksittain. Opal-netto-tiedot voitaisiin ottaa ammatillisten työvoimakoulutusten koulutustarjousten vertailuun vaikuttavuuskriteeriksi perinteisen työttömyyden vähenemätiedon rinnalle tai tilalle. Absoluuttiset Opal-nettoestimaatit voitaisiin lisäksi suhteuttaa käytettyihin resursseihin, jolloin saataisiin mallin mukaiset kustannusvaikuttavuustiedot. Tätä ennen olisi erillisselvityksellä varmistettava mahdollisimman riskitön estimointi eli oletusarvot, joita käytettäisiin vastaamatta jättäneiden kohdalla. Ensisijaisesti pitäisi tietenkin vastaamisastetta yrittää edelleen nostaa nykyisestä, verrattain hyvästä, 80 prosentista. Opal-netto-analyysit perustuvat palautteisiin, joita on saatu ammatillisen työvoimakoulutuksen loppuun asti suorittaneista. Kattavuuden parantamiseksi tulisi harkita vastaavantyyppisen kyselyn ja analyysin toteuttamista myös keskeyttäjien osalta, siis kaikkien koulutuksen päättäneiden osalta päättämisen syyt ja koulutuksen tavoitteet huomioon ottaen. Onnistujien ja heidän saamansa koulutuksen sekä siihen liittyneiden valikoitumisprosessien ja työelämäyhteyksien tarkemmalla analysoinnilla voisi jatkossa nostaa esille seikkoja, joilla onnistumisten määrä saataisiin entistä suuremmaksi. Oppimisen ja työllistymisen yhteyden tarkentamiseksi tulisi jatkossa lisätä analyysiaineiston ammatti- ja aluetarkkuutta. Tietoperustaa voisi kehittää myös tuottamalla Opal-aineistoon yksilötasolla yhdistyvää anonyymiä tietoa toteutuneiden työllistymisten ehdoista ja kestoista. Lähteet Hällström, E. (2001): Työvoimakoulutuksen arviointi kehittynyt operatiivisemmaksi, Työpoliittinen aikakauskirja 3/2001, Työministeriö. Hällström, E. (2007a): Työvoimakoulutusten opiskelijapalautteiden yhteenvedot vuosilta 2005 ja 2006, www.mol.fi Haku: Opiskelijapalautteiden yhteenveto. Hällström, E. (2007b): Opal-netto - Uutta vaikuttavuustietoa työvoimakoulutuksen opiskelija-palautteista, TM-analyyseja 7/2007, Työministeriö. www.mol.fi Haku: Opal-netto. Hämäläinen, K. - Uusitalo, R. (2005): Kannattaisi kokeilla Kokeelliset menetelmät työvoimapoliittisten toimenpiteitten vaikutusten arvioinnissa. Työpoliittinen tutkimus 285, Työministeriö. Räisänen, H. (2001): Työvoimapolitiikan seuranta ja arviointi, Työpoliittinen aikakauskirja 3/2001, Työministeriö. 66