Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalveluiden valtakunnallisella kehittämisohjelmalla Kehittämisohjelman arvioinnin loppuraportti 16.12.2013 Valtakunnallisen kehittämisohjelman arviointi S11901 Kuntoutussäätiö arviointi- ja koulutusyksikkö
Tiivistelmä Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalveluiden (TNOpalveluiden) valtakunnallista ESR-rahoitteista kehittämisohjelmaa on toteutettu työ- ja elinkeinoministeriön ja opetus- ja kulttuuriministeriön hallinnoimana vuosina 2007 2013. Kuntoutussäätiön arviointi- ja koulutusyksikkö (ent. Innokuntoutus) on vastannut kehittämisohjelman ulkoisesta arvioinnista. Arviointi on toteutettu vuosina 2009 2013. Kuntoutussäätiön toimeksiantoon on liittynyt ulkoisen arvioinnin lisäksi itsearviointimallin kehittäminen projekti- ja ohjelmatasolle sekä tuettujen itsearviointien toteutus kehittämisohjelmatoimijoille kehitetyn mallin avulla. Erittäin tärkeässä roolissa kehittämisohjelmassa on ollut Aikuisohjauksen koordinaatioprojekti, joka on toiminut kehittämisohjelman koordinoivana tahona. TE-sektorin tukemiseen keskittynyt, myöhemmin toimintansa aloittanut, valtakunnallinen LAITURI-projekti, on jäänyt pääsääntöisesti etäisemmäksi alueellisille projekteille. Valtakunnalliset koulutusprojektit STUDIO-, ERKKERI ja TE-ERKKERI ovat tehneet merkittävää työtä TNO-osaamisen kehittämisessä sekä oppilaitos- että TE-sektorilla. Kehittämisohjelman tärkeimmät saavutukset liittyvät alueellisten TNO-strategioiden ja -verkostojen luomiseen. Joillakin alueilla verkostojen toiminnan jatkuvuus tulevina vuosina on varmistettu toimijoiden välisillä sopimuksilla. Kehittämisohjelman toiminta on ollut melko oppilaitospainotteista, ja työelämäyhteistyö on jäänyt vähemmälle huomiolle. Käytettävissä olleisiin resursseihin nähden kehittämisohjelmalta olisi voinut odottaa enemmän konkreettisia tuloksia. Toisaalta alueilla on tehty tärkeää työtä ohjaustyön tärkeyden esiin nostamisessa ja alueellisen TNO-yhteistyön kehittämisessä. Oppilaitoskeskeisestä ajattelusta on päästy lähemmäksi asiakaskeskeistä ajattelua. Nämä muutokset eivät olisi olleet mahdollisia ilman kehittämisohjelmaa. Kehittämisohjelman toimintaympäristössä ja organisaatiossa on tapahtunut muutoksia, jotka ovat vaikuttaneet kehittämisohjelman toimintaan ja tuloksiin. Näistä keskeisimmät ovat valtakunnallisen elinikäisen ohjauksen kehittämis- ja koordinointivastuun siirtyminen ELY-keskuksille vuoden 2012 alussa, organisaatiomuutokset TE-hallinnossa 2012 2013 sekä NUOVE-projektin (2008 2011) ennenaikainen päättyminen. Vuoden 2012 alussa aloittaneet alueelliset elinikäisen ohjauksen (ELO) ryhmät ovat keskeisessä roolissa alueellisten projektien työn juurtumisen näkökulmasta. Alueellisten ELO-ryhmien työ on kuitenkin joillakin alueilla vasta käynnistymässä, joten on ennenaikaista sanoa, kuinka paljon kehittämisohjelman tuloksia saadaan siirrettyä pysyviksi käytännöiksi alueellisten ELOryhmien toimesta. Organisaatiomuutokset TE-hallinnossa aiheuttivat katkoksia alueellisten projektien TNO-verkostotyöhön. NUOVE-projektin tehtävänä oli kehittää ohjaukseen sähköisiä työkaluja, arviointi- ja palautejärjestelmiä sekä arviointivälineitä. Työ jäi kesken, mutta sitä on jatkettu joiltakin osin virkatyönä työ- ja elinkeinoministeriössä. Sähköisille ohjausratkaisuille ja ohjauksen laadun arviointivälineille on edelleen olemassa iso tarve. Kehittämisohjelman tukiprojektit, useat alueelliset projektit ja valtakunnallinen ELO-ryhmä jatkavat toimintaansa rakennerahastokauden päättyessä 2013 vuoden lopussa. Kehittämistoiminta ja sen juurruttaminen ja levittäminen siis jatkuvat. Kehittämisohjelman tulokset ja vaikuttavuus näyttäytyvät kokonaisuudessaan vasta pidemmällä aikajänteellä. Jatkossa alueellisilla ELO-ryhmillä on keskeinen rooli sekä kehittämisohjelman tulosten juurtumisen näkökulmasta että yleisesti ohjauksen kehittämisessä. Aikuisohjauksen koordinaatio- ja LAITURI-projektien yksi tärkeimmistä tehtävistä onkin varmistaa riittävä tiedonkulku alueellisten ELO-ryhmien ja kehittämisohjelman välillä vuoden 2014 aikana. 1
Sisällys Tiivistelmä... 1 1 Johdanto... 3 1.1 Raportin sisältö... 3 1.2. Ohjauspalvelut muutoksessa... 4 2. Arviointiprosessi... 6 2.1. Arvioinnin kohdentuminen ja viitekehys... 6 2.2. Raportissa hyödynnetyt aineistot... 8 3. Kehittämisohjelman rakenne ja organisointi... 12 4. Projektitason hyödyt, tulokset ja niiden juurruttaminen... 18 4.1. Projektitason hyödyt ja tulokset... 18 4.2. Projektitason juurruttaminen... 23 5. Kehittämisohjelman tulokset ja niiden kestävyys... 25 5.1. Kehittämisohjelman tuloksiin vaikuttaneet tekijät... 25 5.2. Kehittämisohjelman tulokset ja vaikuttavuus... 30 5.2. Kehittämisohjelman tulosten juurruttaminen... 37 6. Kohti seuraavaa rakennerahastokautta... 41 7. Yhteenveto ja ehdotukset toiminnan kehittämiseksi... 44 Lähteet... 51 Liite 1 Arviointia varten haastatellut henkilöt... 52 2
1 Johdanto 1.1 Raportin sisältö Tässä arviointiraportissa tarkastellaan Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalveluiden valtakunnallista kehittämisohjelmaa (jatkossa kehittämisohjelma). Arvioinnin vastuullisena vetäjänä on toiminut 1.9.2012 alkaen arviointipäällikkö Henna Harju. Arviointiimiin ovat lisäksi kuuluneet Kimmo Terävä ja Sari Nyholm sekä erityisasiantuntijana toimeksiannossa toimiva professori Juho Saari 1. Tämä raportti on arvioinnin loppuraportti, joka kattaa arviointihavainnot vuosilta 2009 2013. Arvioinnin on toteuttanut Kuntoutussäätiön arviointi- ja koulutusyksikkö (ent. Innokuntoutus). Kehittämisohjelman arvioinnin painopiste on siirtynyt suunnitelman mukaisesti asteittain kehittämisohjelmassa aikaansaatujen tuloksien, niiden vaikuttavuuden, hyödyn ja kestävyyden arviointiin. Lisäksi tässä raportissa tarkastellaan kehittämisohjelman toimintaympäristössä tapahtuneita keskeisimpiä muutoksia, ja niiden vaikutusta kehittämisohjelmassa toteutettavaan kehittämistyöhön. Arviointitoimeksiannon aikana tuotetut väliraportit muodostavat toisiaan täydentävän kokonaisuuden ja ovat luettavissa Opin Ovi -sivustolla 2. Arvioinnin kohteena oleva kehittämisohjelma kuuluu Euroopan sosiaalirahaston (ESR) toimintalinjaan 3, jonka tavoitteena on mm. parantaa koulutuksen työelämävastaavuutta, koulutuksesta työelämään siirtymistä, työmarkkinoilla tarvittavaa osaamista sekä erityisesti aikuisväestön koulutukseen osallistumisedellytyksiä. 3 Kehittämisohjelman tavoitteena on koulutus- ja urasuunnittelua tukevien palvelujen laadun, vaikuttavuuden ja saatavuuden parantaminen. Kehittämisohjelmassa vahvistetaan opetus- ja ohjaushenkilöstön ohjauksellista osaamista, työ- ja elinkeinohallinnon neuvonta- ja ohjaustoimintaa sekä valtakunnallisten ja alueellisten toimijoiden yhteistyötä. 4 Kehittämisohjelman strategia-asiakirjassa esitetyn vision mukaan Suomessa on vuonna 2014 elinikäiseen oppimiseen ja ohjaukseen perustuva sekä hallinnonrajat ylittävä moniammatillinen tieto-, neuvonta- ja ohjauspalvelujen kokonaisuus, joka vastaa aikuisten ja työelämän tarpeisiin. Palvelut ovat asiakaslähtöisiä, monikanavaisia ja helposti saavutettavia. 5 Kehittämisohjelmaa toteutetaan vuosina 2007 2013 valtakunnallisten ja alueellisten projektien avulla. Ohjelman rahoitus tulee Manner-Suomen ESR-ohjelmasta. Vastuuviranomaisena toimii työ- ja elinkeinoministeriö (TEM). Hallinnollisesti ohjelmasta vastaavat TEM sekä opetus- ja kulttuuriministeriö (OKM). Valtakunnallisten ja alueellisten projektien rahoitus kanavoituu TEMin ja ELY-keskusten kautta. 25.11.2013 kehittämisohjelmalle oli sidottu rahoituspäätöksillä yhteensä 21,4 M kansallista ja EU-rahoitusta. 1 Arviointiimiin ovat kuuluneet myös Tuomas Koskela 31.8.2012 (arvioinnin vastuuhenkilö), Mona Särkelä-Kukko 1.7.2012, Elina Vedenkannas 29.2.2012, Janne Jalava 31.1.2011 (arvioinnin vastuuhenkilö) ja erityisasiantuntijana mukana ollut Mika Vuorela 31.10.2010 saakka. Lisäksi avustavissa tehtävissä ja varahenkilöinä ovat toimineet koko toimeksiannon ajan Outi Linnolahti ja Matti Tuusa. 2 Valtakunnallisen kehittämisohjelman arviointi -projektin alta. 3 Opin Ovi -sivusto 4 Manner-Suomen ESR-ohjelma 2007 2013. Valtakunnalliset kehittämisohjelmat. 5 Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin -kehittämisohjelma. Kehittämisohjelman strategia. 3
Raportti jakautuu seitsemään päälukuun. Luvussa yksi on esitetty raportin tausta ja pohdittu ohjauksen yhteiskunnallista merkitystä. Luvussa kaksi on esitelty arvioinnin kohdentuminen ja viitekehys sekä hyödynnetyt aineistot ja menetelmät. Luvussa kolme on esitelty kehittämisohjelman rakennetta ja organisointia. Neljännessä luvussa on arvioitu projektitasolla ja alueellisesta näkökulmasta kehittämisohjelmassa tehtyä kehittämistyötä ja sen tuloksia. Luvussa viisi on arvioitu kehittämisohjelman toimintaan vaikuttaneita tekijöitä ja esitelty kehittämisohjelman tuloksia ja vaikutuksia sekä näkökulmia tulosten juurruttamiseen. Luvussa kuusi käännetään katse kohti tulevaa rakennerahastokautta ja luvussa seitsemän on esitetty arvioinnin yhteenveto ja kehittämisehdotukset. 1.2. Ohjauspalvelut muutoksessa Suomalainen yhteiskunnan uudistaminen on paradoksaalisessa tilanteessa. Yhtäältä julkisen vallan tahtotila on selkeä, mitä tulee yhteiskunnan uudistamiseen. Epäselvyyttä ei ole siitä, että useimmilla politiikkalohkoilla haetaan merkittäviä tuottavuus- ja vaikuttavuushyötyä organisaatioiden toimintaa uudistamalla: erityisen merkittävää on siirtyminen kohti sähköistä asiointia ja organisaatioiden sulauttaminen ja yhteistoiminta. Toisaalta julkisen vallan keinot erilaisten uudistusten toimeenpanoon ovat ohentuneet. Julkisen vallan keskitetty budjetti- ja normiohjaus ei välttämättä tuota haluttuja vaikutuksia. Ne luovat kyllä mahdollisuuksia toiminnalle eli mahdollistavat organisaatioiden (yhteis)toiminnan. Viime kädessä tuottavuus- ja vaikutustavoitteiden saavuttaminen edellyttää organisaatioiden tekemiä valintoja. Erityisen haasteellista on julkisen vallan toimesta ohjata toimintaa, joka edellyttää monien yhteiskunnan eri sektoreilla toimivien organisaatioiden yhteistoimintaa. Monikanavainen rahoitus on omiaan vähentämään toiminnan vaikuttavuutta ja lisäämään toiminnan siiloistumista: asiakkaiden kannalta monikanavaisuus merkitsee usein eriarvoista kohtelua. Vielä haasteellisempaa on ohjauksen kaltainen toiminta, joka edellyttää paitsi organisaatioiden pitkäjänteistä yhteistyötä myös asiakasvirtojen ohjailua palvelujen keskittämiseksi ja vaikuttavuuden lisäämiseksi. Palvelujen ja asiakkaiden yhteensovittaminen vaatii toimiakseen viranomaisilta systemaattista asiakasvirtojen ohjaamista. Tämä voidaan tehdä monella eri tavalla. Kaikissa tapauksissa tasapainoillaan erikoistumisen ja yleispalvelujen sekä yhteistoiminnassa mukana olevien organisaatioiden prosessien omistajuuteen liittyvien intressien välillä. Mitä erikoistuneempaa ja räätälöidympää (ja sellaisena vaikuttavampaa) palvelua pyritään tarjoamaan, sitä keskeisempään asemaan nousee asiakkaan tarpeiden ja kykyjen ymmärtäminen. Tärkeä osa ohjauskokonaisuutta on kasvokkaisen asiakaspalvelun ja sähköisten palvelujen ja yhteensovittaminen. Lomakkeiden täytön kaltaiset rutiinipalvelut ovat enenevässä määrin siirtyneet Internetiin. Tuottavuuden kannalta tällä on epäilemättä ollut myönteinen kehitys niiden osalta, joilla on hallussaan riittävät laitteet ja tunnukset sekä osaamista ja kärsivällisyyttä sähköisten palvelujen käytössä. Arviointien ja arkikokemuksen varassa on kuitenkin ilmeistä, että julkinen valta on yliarvioinut ihmisten kyvyn ja halun sähköisten palvelujen käyttöön. Samalla se on aliarvioinut vuorovaikutuksen ja kädestä pitäen tapahtuvan ohjauksen merkitystä. Tämä heijastuu myös tässä ohjelmassa sähköisille palveluille asetettujen tavoitteiden ja toteutuneen kehityksen välisenä jännitteenä, joita myös tässä raportissa käsitellään. Jatkossa aikaisempaa systemaattisempaa huomiota tulee kiinnittää sähköisten palvelujen tosiasialliseen käytettävyyteen ohjauksen kaltaisissa pitkäjänteistä ja toistuvaa vuorovaikutusta vaativissa ja informaatiointensiivisissä tehtävissä. 4
Kasvokkaiseen palveluun on jäänyt väestöryhmiä, jotka eri syistä ei halua tai kykene käyttämään rutiiniasioissa sähköistä palvelua. Näiden ryhmien koko vaihtelee merkittävästi palvelujärjestelmän eri sektoreilla palvelun informaatiointensiivisyyden, käyttökertojen tiheyden ja asiakkaan toimintakyvyn mukaan. Systemaattista tietoa yksittäisten palvelujen käyttäjämäärien jakautumisesta sähköiseen ja kasvokkaiseen palveluun ei kuitenkaan ole käytössä. Sama koskee myös käyttäjien sosioekonomista jakaumaa: ilmeistä on, että Internetistä palveluja hakee suhteellisesti koulutetumpi ja nuorempi väestö verrattuna kasvokkaiseen palveluun, mutta kuinka suuret nämä erot ovat eri palveluissa, on toistaiseksi analysoimatta. Tämän selvittäminen palvelisi ohjauksen kehittämistä merkittävästi. Ratkaisuksi palvelujen saatavuuden haasteeseen esitetään lähes poikkeuksetta sektoroitujen palvelujen keskittämistä yhteispalvelupisteeseen, jossa työskentelee eri alojen asiantuntemusta omaavia henkilöitä. Yhteispalvelupisteen toimivuutta kuitenkin rajoittaa eri sektoreiden eri tehtäviin volyymi- ja vaativuuserot. Varsin pian vastaan tulee myös palveluista vastaavien organisaatioiden ja liittojen intressit. Sama koskee myös ohjauspalveluja, jossa yhdistyy ja sovitetaan yhteen oppilaitosten, valtion alue- ja paikallisviranomaisten ja työnantajien näkemykset riittävästä ja vaikuttavasta asiakaspalvelusta. Kentän hajanaisuus heijastuu myös vastikään valmistuneeseen raporttiin, jossa hallitusohjelman perusteella linjataan valtion tarjoamien paikallispalveluiden uudelleenorganisoinnin periaatteita. Linjausten keskeisenä tavoitteena on palvelupisteiden kokonaismäärän vähentäminen yhteispalvelupisteiden määrää lisäämällä: Suomeen luodaan koko maan kattava lakisääteinen julkisen hallinnon yhteisten asiakaspalvelupisteiden verkko, jossa tarjotaan aina poliisin lupapalveluja sekä työ- ja elinkeinotoimistojen ml. työvoiman palvelukeskusten, Verohallinnon, maistraattien, elinkeino-, liikenne- ja ympäristökeskusten ja kuntien palveluja. Yhteisen asiakaspalvelun järjestäminen ehdotetaan säädettäväksi kuntien tehtäväksi siten, että kunnille korvataan muiden tahojen palvelujen antamisesta aiheutuvat kustannukset. Kansaneläkelaitos ja muut valtion viranomaiset sopivat kuntien kanssa erikseen palvelujensa tarjoamisesta yhteisissä palvelupisteissä. 6 Tämänkaltaisella palvelupisteellä olisi monta isäntää ja rahoittajaa ja siellä työskentelisi monilla eri koulutus- ja ammattitaustoilla olevia henkilöitä. Kokonaisuuden luominen ei tule olemaan helppoa. Jo nyt TE-hallinnolla on (tämänkin raportin valossa) vaikeuksia ylläpitää yhteistoimintaverkostoja ja luoda uusia toimintamalleja, koska muilla organisaatioilla on vaikeuksia löytää niistä vastuuhenkilöitä. Yllättävää ei olekaan, että työryhmän raporttiin jätettiin useita eriäviä mielipiteitä. Toisaalta on vaikea ajatella muuta, keskittämiselle vaihtoehtoista mallia, jolla kasvokkaisten palvelujen tarjonta voidaan turvata palvelujen kysynnän vähentyessä ja vaihtoehtoisten palvelukanavien tarjonnan kasvaessa. Samalla on kuitenkin syytä kysyä, kuinka nykyinen ohjausjärjestelmä pystyy palvelemaan niitä, joilla ei ole riittäviä valmiuksia sen paremmin sähköisten palvelujen käyttöön kuin aikaisempaa etäämpänä olevien palvelujen piiriin hakeutumiseen. Vaikuttavan ja kattavan ohjauksen tulevaisuuden kannalta keskeinen kysymys on luonnollisesti rahoituksen jatkuvuus. Projektirahoitus on varsin sovelias työväline uuden toimintamallin rakentamiseen. Sillä on paikkansa myös koulutusten järjestämisessä: samankaltainen koulutuskierros on ilmeisen perusteltua tehdä muutaman vuoden välein. Projektirahoitus ei kuitenkaan voi taata 6 Asiakaspalvelu2014 Yhdessä palvelut lähelle. Julkisen hallinnon asiakaspalvelun kehittämishankkeen loppuraportti. 5
toimintamallien juurtumista tai parhaiden käytäntöjen tosiasiallista valikoitumista. Näiden kysymysten ratkaiseminen edellyttäisi kestävämmän rahoitusmallin rakentamista. Toisaalta juurtumisen alueellinen eritahtisuus alkaen kokonaan juurrutetuista malleista ja päättyen kokonaan päättyneisiin malleihin antaa jatkossa mahdollisuuden arvioida ohjelman merkitystä kohtaannon parantajana ja yhteiskunnallisen lisäarvon tuottajana. 2. Arviointiprosessi 2.1. Arvioinnin kohdentuminen ja viitekehys Arvioinnin toteutus perustuu TEMin arviointia koskevaan tarjouspyyntöön sekä Kuntoutussäätiön tekemään arvioinnin työsuunnitelmaan. Kyseessä on kehittävä arviointi, jonka mukaisesti arvioinnissa on kerätyn arviointitiedon pohjalta tuotettu konkreettisia ehdotuksia kehittämisohjelman sekä siihen kuuluvien projektien toiminnan tueksi. Kehittävän arvioinnin periaate pohjautuu pitkälti Michael Quinn Pattonin näkemyksiin hyödynnettävyyskeskeisestä arviointimallista ja arvioinnista yleisesti. Patton 7 määrittelee arvioinnin systemaattiseksi tiedonkeruuksi toimenpideohjelman piirteistä, toiminnoista ja tuloksista tavoitteena tehdä arvioita ohjelmista, parantaa niiden vaikuttavuutta ja/tai vaikuttaa tulevaisuudessa toteutettavien toimenpideohjelmien suunnittelua koskeviin päätöksiin. Arviointitoimeksianto on toteutettu kahdessa vaiheessa: ensimmäinen vaihe vuosina 2009 2010 ja arvioinnin toinen vaihe vuosina 2011 2013. Arvioinnin kohteena on koko Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalveluiden valtakunnallinen kehittämisohjelma, sisältäen: Aikuisohjauksen koordinaatio- ja LAITURI -projektien toiminnan Aikuisohjaus työelämän voimavarana osa-ohjelman toiminnan o Opin Ovi -projektit o STUDIO-projekti o ERKKERI ja TE-ERKKERI -projektit Lisäksi arvioinnissa tarkastellaan valtakunnallisen Elinikäisen ohjauksen yhteistyöryhmän (valtakunnallinen ELO-ryhmä) toimintaa ja roolia kehittämisohjelman ohjausryhmänä vuosien 2012 2013 aikana Vuosina 2009 2011 arviointi kattoi myös: NUOVE neuvonta ja ohjauspalvelujen kehittämisprojektin toiminnan Valtakunnallisen koordinaatio- ja seurantaryhmän toiminnan Valtakunnallisen kehittämistiimin toiminnan Kehittämisohjelmassa on ollut mukana kaiken kaikkiaan 48 alueellista tai valtakunnallista projektia, joista 34 on päättynyt tätä arviointiraporttia kirjoitettaessa marraskuussa 2013. Kehittämisohjelmaan kuuluvien projektien kestot ja elinkaaren vaiheet ovat poikenneet toisistaan, mikä on ajoittain tehnyt 7 Patton 1997, 23 24 6
arviointitiedon keruusta haasteellista. Myös arvioinnin kohteena olleiden projektien määrä on vaihdellut vuosittain. Arviointi on kohdentunut sekä käynnissä olleisiin että päättyneisiin projekteihin. Arvioinnin kohdentumista suunniteltaessa hyödynnettiin elementtejä Euroopan komission yleisestä ohjelma-arvioinnin viitekehyksestä, Euroopan laatupalkintomallista (EFQM), Evert Vedungin vaikutustenarviointimallista sekä otettiin huomioon Manner-Suomen ESR-ohjelman arviointisuunnitelma. 8 Arvioinnin tavoitteena on ollut tuottaa tietoa valtakunnallisen kehittämisohjelman ja siihen kuuluvien projektien: 1. Koherenssista 2. Relevanssista 3. Toimenpiteistä ja prosesseista 4. Tuotoksista ja tuloksista 5. Vaikuttavuudesta 6. Hyödystä ja kestävyydestä Koherenssilla tarkoitamme kehittämisohjelman, sen osaohjelmien ja niihin kuuluvien projektien tavoitteiden, toimintasuunnitelmien sekä osittain myös toimenpiteiden sisällöllistä yhteneväisyyttä keskenään sekä suhteessa kansallisiin politiikkoihin ja politiikkaohjelmiin, hallinnonalakohtaisiin strategioihin ja toimintasuunnitelmiin. Tavoitteiden ja toimintasuunnitelmien osalta koherenssin arviointi painottui työsuunnitelmamme mukaisesi vuosille 2009 2010. Toimenpiteiden osalta koherenssia on arvioitu jatkuvasti. Relevanssilla tarkoitamme ensisijaisesti ohjelman, sen osaohjelmien ja niihin kuuluvien projektien tavoitteiden ja toimintasuunnitelmien vastaavuutta ja tarkoituksenmukaisuutta suhteessa kohderyhmän edustajien (erityisesti alueiden edustajat, projektitoimijat, yksilöt sekä työnantajat) tarpeisiin. Näin ollen olemme tarkastelleet relevanssin yhteydessä tarvelähtöisyyttä mutta myös tavoitteiden realistisuutta. Viitekehyksen sisältämä 3. arviointialue kattaa ohjelman, sen osaohjelmien ja niihin kuuluvien projektien toimenpiteet ja prosessit. Vuosina 2009 2010 tarkastelimme tässä yhteydessä myös ohjelman ja sen osaohjelmien toimeenpanovaiheita. Tuotoksilla tarkoitamme sitä, mitä asioita tai kehitystä ohjelmalla ja sen resursseilla on saatu aikaiseksi. Tuloksilla puolestaan sitä, mitä välitöntä hyötyä ohjelmasta on ollut ja kenelle. Käsitteellisesti tuotokset ja tulokset eroavat toisistaan, mutta kokemuksemme mukaan niitä on tarkoituksenmukaista tarkastella samassa yhteydessä varsinkin silloin, kun ollaan kiinnostuneita niiden ihmisten mielipiteistä, joille julkinen toiminta (tässä tapauksessa ohjelma) on suunnattu. Perinteisesti ohjelma-arviointien yhteydessä vaikuttavuudella on tarkoitettu sitä, missä määrin ohjelman tavoitteet on saavutettu ja mitä tuloksia ohjelmalla on saatu aikaiseksi suhteessa sille asetettuihin tavoitteisiin. Näkemyksemme mukaan vaikuttavuuden käsite tulee ymmärtää myös laajemmassa merkityksessä eli vaikuttavuutta tarkastellaan myös suhteessa kohderyhmien tarpeisiin. Toisin sanoen, ovatko ohjelman ja siihen kuuluvien projektien tuotokset ja tulokset vastanneet kohderyhmien edustajien tarpeita. Hyötyä ja kestävyyttä arvioitaessa on syytä kiinnittää erityistä huomiota siihen, missä ohjelman, sen osaohjelmien ja niihin kuuluvien projektien tulokset ja vaikutukset näkyvät, ketkä ovat hyödynsaajat ja ovatko ohjelman tulokset ja vaikutukset kestäviä myös pidemmällä aikajänteellä. 8 Soveltaen: European Commission (1999); EFQM-malli (The EFQM Excellence Model 2003); Vedung (1997); Manner-Suomen ESR-ohjelma 2007 2013: arviointisuunnitelma. 7
Vuosina 2009 2010 arvioinnin painopiste oli koherenssin, relevanssin sekä toimenpiteiden ja prosessien tarkastelussa. Vuosina 2011 2013 arvioinnin painopistettä on siirretty tuotoksiin ja tuloksiin, vaikuttavuuteen sekä hyötyyn ja kestävyyteen. Kehittävän arvioinnin periaatteen mukaisesti arvioinnin väli- ja loppuraportit ovat painottuneet kehittämisohjelman kulloisenkin vaiheen kannalta olennaisiin arviointialueisiin. Arvioinnin kehittävää roolia on toteutettu tiiviin yhteydenpidon kautta sekä esittelemällä arvioinnin tuloksia ja konkreettisia kehittämisehdotuksia tilaajan edustajille sekä kehittämisohjelman ohjausryhmälle aina väliraportin ilmestyttyä. Näin on pyritty mahdollistamaan resurssien ja toiminnan kohdentaminen sinne, missä tarvetta tai puutetta on kulloinkin ilmennyt. Tilaisuuksiin osallistujilla on ollut mahdollisuus kysyä, kommentoida ja antaa palautetta arviointitiimille. Lisäksi väliraporttien tuloksia on esitelty kehittämisohjelman tilaisuuksissa siihen kuuluville projekteille ja tuloksista on kirjoitettu artikkeleita sähköiseen Opin Ovi-uutiskirjeeseen. Arvioinnin tuottamat väliraportit ovat myös olleet luettavissa opinovi.fi-sivustolla heti valmistuttuaan. Toimeksiannon mukaisesti osana toimeksiantoa on luotu viitekehys koko kehittämisohjelman ja siihen kuuluvien yksittäisten projektien itsearvioinnin toteuttamiseksi sekä tuettu projekteja itsearvioinnin toteuttamisessa. 2.2. Raportissa hyödynnetyt aineistot Arviointitoimeksiannossa on hyödynnetty rinnakkain useita erilaisia määrällisiä ja laadullisia aineistoja ja menetelmiä. Menettelyn avulla on pyritty lisäämään arvioinnin tulosten luotettavuutta. Käsillä olevassa arvioinnin loppuraportissa on tehty kokonaisanalyysi vuosina 2009 2013 kerätystä aineistosta. Raportin aineistojen pääpaino on kuitenkin ollut vuoden 2013 syksyn aikana kerätyissä kyselyaineistoissa, joista on saatu ajantasainen näkemys kehittämisohjelmassa saavutetuista tuloksista ja hyödyistä sekä niiden kestävyydestä ja vaikuttavuudesta. Tämän loppuraportin pääaineistot ovat olleet projekti- ja sidosryhmäkysely, valtakunnallisen (ELO-ryhmä) jäsenille toteutettu kysely sekä EURA2007-järjestelmän indikaattoritiedot. Kaikki arvioinnissa vuosina 2009 2013 käytetty aineisto on listattu alla seuraavan jaottelun mukaisesti: 1) sähköiset projekti- ja sidosryhmäkyselyt, 2) haastattelut, 3) kirjallinen ja tilastollinen dokumenttiaineisto, 4) projektien ja kehittämisohjelman ohjausryhmän tuetut itsearvioinnit sekä 5) muut aineistot. 1) Sähköiset projekti- ja sidosryhmäkyselyt Arviointiaineistoa on kerätty sähköisten kyselyiden avulla vuosina 2009 ja 2011 2013. Kyselyiden avulla on kerätty aineistoa kehittämisohjelmaan kuuluvien projektien henkilöstöltä, ohjausryhmän jäseniltä sekä keskeisimmiltä sidosryhmiltä ja yhteistyökumppaneilta. Kyselyiden toteuttamista varten projektien projektipäälliköitä pyydettiin kunakin vuonna toimittamaan arviointitiimille projektihenkilöstön sekä projektin keskeisimpien yhteistyötahojen ja sidosryhmien edustajien sähköpostiosoitteet. Käytännössä sähköiset kyselyt toteutettiin siten, että kullekin vastaajalle lähetettiin sähköpostitse linkki, jonka kautta kyselyyn pääsi vastaamaan. Kyselylomakkeen kysymykset valikoituivat vastaajan taustan mukaan siten, että projektihenkilöstö sai vastattavakseen omaa projektia, valtakunnallisia ja tukiprojekteja sekä kehittämisohjelmaa koskevia kysymyksiä, ja muut vastaajat pääasiassa projektia koskevia kysymyksiä. Osallistamalla sidosryhmät kyselyyn pyrittiin 8
saamaan tietoa alueellisista tuloksista ja hyödyistä sekä niiden kestävyydestä. Vuosittain toteutetut sähköiset kyselyt ovat mahdollistaneet myös seurantatiedon keräämisen. Kyselyiden tuottama määrällinen aineisto on analysoitu SPSS for Windows -ohjelmalla suoria prosenttijakaumia, ristiintaulukointia, aritmeettisia keskiarvoja, riippumattomien otosten t-testiä sekä yksisuuntaista varianssianalyysiä hyödyntäen. Aineistoja analysoidessa taustamuuttujina on käytetty vastaajan edustamaa projektia sekä asemaa projektissa. Kyselyiden avovastausten tuottama laadullinen aineisto on analysoitu sisällönanalyysiä hyödyntäen. Tämän loppuraportin yhtenä keskeisenä aineistona on ollut syys-lokakuussa 2013 toteutettu projektija sidosryhmäkysely. Projektipäälliköiden toimittamien sähköpostiosoitteiden määrä vaihteli projekteittain 4:n ja 73:n välillä. Vuoden 2012 marraskuun jälkeen päättyneiden projektien osalta käytettiin vuosi sitten kerättyjä yhteystietoja. 9 Syksyn 2013 projekti- ja sidosryhmäkyselyyn vastasi 244 henkilöä, vastausprosentin ollessa noin 41 %. Vastauksia saatiin yhteensä 29 projektista, joista käynnissä olevia projekteja oli 15 ja päättyneitä 14. Vastaajista 9 % oli projektipäälliköitä, 14 % muita projektityöntekijöitä, 6 % kouluttajia tai muita asiantuntijoita (jotka ovat saaneet palkkaa projektilta), 24 % ohjausryhmän jäseniä ja 48 % projektien yhteistyökumppaneita, kehittämisryhmän jäseniä tai muita sidosryhmän edustajia. Aineiston analysoinnissa kouluttajien ja muiden asiantuntijoiden, jotka eivät tunne projektin sisältöjä ja kehittämistyötä yksityiskohtaisesti, vastaukset on yhdistetty osaksi projektien yhteistyökumppaneiden ja sidosryhmien edustajien vastauksia. Vuonna 2012 projekti- ja sidosryhmäkysely toteutettiin loka-marraskuussa. Projektipäälliköiden toimittamien sähköpostiosoitteiden määrä vaihteli projekteittain 4:n ja 113:n välillä. Vuoden 2011 lokakuun jälkeen päättyneiden projektien osalta käytettiin vuosi sitten kerättyjä yhteystietoja. 10 Projektikyselyyn vastasi 291 henkilöä. Vastausprosentti oli noin 28 %. Vastauksia saatiin yhteensä 40 projektista, joista käynnissä olevia oli 27 ja päättyneitä 13. Loka-marraskuussa 2011 toteutettuun kyselyyn saatiin yhteystiedot yhtä projektia lukuun ottamatta kaikista projekteista. Lisäksi Opin Ovi Uudenmaan ELY-keskus -projektin kanssa sovittiin, että kysely kohdennetaan vain käynnissä olevan jatkoprojektin henkilöstölle ja sidosryhmien edustajille. Toimitettujen sähköpostiosoitteiden määrä vaihteli projekteittain 4:n ja 122:n välillä. Kyselyyn vastasi 389 henkilöä, vastausprosentin ollessa noin 37 %. Ensimmäinen sähköinen kysely toteutettiin lokakuussa 2009. Kysely lähetettiin 479 henkilölle. Vastauksia saatiin 193 kpl ja vastausprosentti oli noin 40 %. 2) Haastattelut Arviointiaineistoa on kerätty haastattelemalla puhelimitse kehittämisohjelmaan kuuluvia projektipäälliköitä sekä keskeisiä ohjelmatason informantteja. Kehittämisohjelman arvioinnin aikana on tehty yhteensä 123 haastattelua. Haastatteluiden tuottama aineisto on analysoitu laadullista sisällönanalyysiä hyödyntäen. Keväällä 2013 haastateltiin käynnissä olevien Opin Ovi -projektien projektipäälliköitä (21 kpl) sekä keskeisiä ohjelmatason informantteja (3 kpl). Projektipäälliköiden joukossa oli muutamia henkilöitä, jotka tuntevat kehittämisohjelmakokonaisuutta erityisen hyvin, joten he edustivat molempia informanttiryhmiä. Haastatteluja tehtiin yhteensä 24 kappaletta ja ne toteutettiin helmi-huhtikuussa 2013. Projektipäälliköt vastasivat sekä projekti- että ohjelmatason kysymyksiin ja ohjelmatason haastateltavat vastasivat ainoastaan ohjelmatason kysymyksiin. Myös keväällä 2012 haastattelut tehtiin 9 Kyselyaineistoa ei ole enää kerätty ennen vuoden 2012 marraskuuta päättyneiltä projekteilta. 10 Kyselyaineistoa ei ole enää kerätty ennen lokakuuta 2011 päättyneiltä projekteilta. 9
sekä jo päättyneiden että vielä meneillään olevien Opin Ovi -projektien projektipäälliköille. Haastatteluja tehtiin yhteensä 43 kpl. Keväällä 2011 haastateltiin yhteensä 39 Opin Ovi -projektien projektipäällikköä. Haastattelut tehtiin puhelimitse yhtä poikkeusta lukuun ottamatta. Koordinaatio- ja seurantaryhmän jäsenten haastatteluita toteutettiin puhelimitse keväällä 2010 yhteensä 17 kpl. Haastattelukysymykset koskivat koordinaatio- ja seurantaryhmän toimintaa, kehittämisohjelmatiimin toimintaa sekä yleisesti valtakunnallista kehittämisohjelmaa. 3) Kirjallinen ja tilastollinen dokumenttiaineisto Arvioinnin tueksi on kerätty kirjallista ja tilastollista aineistoa liittyen koko kehittämisohjelmaan ja Opin Ovi -projekteihin. Kirjallinen aineisto on analysoitu laadullista sisällönanalyysiä hyödyntäen. Tässä loppuraportissa on hyödynnetty tilastollisena aineistona EURA2007-järjestelmästä saatuja indikaattoritietoja. Indikaattoritiedot on otettu järjestelmästä 18.11.2013. Tilastollista aineistoa on kerätty vuosina 2012 2013 päättyneiden ja käynnissä olleiden projektien seurantaraporteista EURA2007-järjestelmästä. Indikaattorien avulla on tarkasteltu kehittämisohjelmaan kuuluvien projektien määrällisiä tavoitteita ja niiden toteumaa seuraavien indikaattoreiden osalta: a) Aloittaneet henkilöt yhteensä - joista naisia b) Osallistujien koulutus- ja henkilötyöpäivät yhteensä c) Mukaan tulleet yritykset yhteensä - 0 9 henkilöä - 10 49 henkilöä - Yli 50 henkilöä d) Mukaan tulleet muut organisaatiot Kevään 2012 väliraportissa tarkasteltiin kehittämisohjelmaan kuuluvien projektien väli- ja loppuraportteja EURA 2007-tietojärjestelmästä. Tällöin keskityttiin projekteista saatujen hyötyjen, tuotosten ja tulosten tarkasteluun alueittain. Tarkasteltavat projektit jaettiin alueellisesti Pohjois- Suomen, Länsi-Suomen ja Etelä-Suomen alle 11. Lisäksi hyödynnettiin koulutuspalautteita niistä projekteista, jotka olivat toteuttaneet koulutuksia. Myös keväällä 2011 aineistoina hyödynnettiin kehittämisohjelmaan kuuluvien projektien väliraportteja. Projektien väliraporttien tarkastelu keskittyi tuolloin soveltuvin osin kehittämisohjelman organisoinnin ja sisäisen yhteistyön kannalta oleellisiin teemoihin: toteutuksen ja yhteistyön onnistuneisuus, ongelmat ja suositukset, hyvät käytännöt ja toiminnan jatkuvuus. Syksyn 2011 väliraportissa hyödynnetty kirjallinen aineisto koostui kehittämisohjelman strategia-asiakirjasta sekä NUOVE-projektin tilaamasta kartoituksesta koskien projektin sähköiset palvelut -osion työmenetelmiä ja toimintaympäristöä. Vuosina 2009 2010 arviointiprojektissa hyödynnetty kirjallinen aineisto koostui Manner-Suomen ESR-ohjelmaa koskevista suunnitteluasiakirjoista, kehittämisohjelmaa koskevista asiakirjoista (erityisesti kehittämisohjelman strategia), kehittämisohjelmaan kuuluvien projektien projektisuunnitelmista, TEMin sekä OKM:n hallinnonalojen toimintaa ohjaavista asiakirjoista (erityisesti strategiat ja toimintasuunnitelmat), politiikkaohjelma-asiakirjoista (erityisesti Työn, yrittämisen ja työelämän politiikkaohjelma), koulutuksen ja tutkimuksen kehittämissuunnitelma-asiakirjasta sekä NUOVE -projektiin kuuluneen Ohjauksen arviointivälineiden ja 11 Itä-Suomi ei ole kuulunut arviointialueeseen. 10
menetelmien tutkimusosion tuottamista väliraporteista. Kirjallista aineistoa hyödynnettiin tuolloin erityisesti koherenssin ja relevanssin arvioimisessa. 4) Projektitason ja ohjelmatason tuetut itsearvioinnit Osana arviointia luotiin viitekehys koko kehittämisohjelman ja siihen kuuluvien yksittäisten projektien itsearvioinnin toteuttamiseksi 12. Projektikohtaisia tuettuja itsearviointeja on toteutettu yhteensä 55 ja ohjelmatasoisia neljä kappaletta. Projektikohtaisessa itsearvioinnissa projektipäälliköiden nimeämille vastaajille lähetettiin sähköinen kysely. Itsearviointimallin sisältöjä työstettiin arviointitiimin ja tilaajan edustajien kesken arviointihankkeen edetessä. Itsearviointikysely koostui kuudesta eri osiosta: 1) projektin tavoitteet, 2) projektin resurssit ja henkilöstö, 3) projektin toimenpiteet ja toteutus, 4) projektin yhteistyöverkosto, 5) projektin viestintä ja tiedottaminen ja 6) projektin tulokset ja vaikuttavuus. Itsearviointikyselyn jokainen osio piti sisällään väittämäpatteristoja, joissa vastausten mitta-asteikko oli 1 4 13, mikä pakotti vastaajan ottamaan kantaa puolesta tai vastaan kuhunkin mitattavaan asiaan. Itsearvioinmalliin sisältyvät avokysymykset mahdollistivat projektien erityispiirteiden sekä varsinaiseen substanssiin liittyvien kysymysten ja kehittämistarpeiden tarkastelun. Kyselyn tuottama määrällinen aineisto analysoitiin aritmeettisia keskiarvoja hyödyntäen ja laadullinen aineisto analysoitiin laadullista sisällönanalyysiä hyödyntäen. Itsearviointikyselyiden tulokset esiteltiin arviointitiimin toimesta työpajoissa, joihin oli kutsuttu paikalle kyselyyn vastanneet henkilöt. Työpajoissa käytiin tulosten pohjalta keskustelua, joka kirjattiin ylös. Yhdessä käydystä keskustelusta toimitettiin projektipäällikölle yhteenveto työpajan jälkeen. Arvioinnin väliraporteissa on tuotu esille arviointitiimin omia havaintoja itsearviointimallin toimivuudesta ja kehittämistarpeista sekä itsearviointityöpajoissa ja -kyselyissä esille nousseita yleisiä teemoja ja huomioita. Itsearviointimallin keskeisenä periaatteena on ollut, ettei itsearviointikyselyiden tuloksia ole raportoitu arvioinnin raporteissa projektikohtaisesti. Itsearvioinneista nousseet havainnot ovat toimineet kuitenkin tausta-aineistona ja ovat vaikuttaneet ulkoisen arvioinnin kysely- ja haastattelulomakkeiden sisältöihin. Kehittämisohjelmatasoista itsearviointia on toteutettu samoin periaattein kuin projektikohtaisia itsearviointeja. Poikkeuksena projektikohtaisiin itsearviointeihin tuloksia on hyödynnetty ulkoisen arvioinnin raporteissa. Kehittämisohjelmatoimijoille suunnatussa kyselyssä tarkasteltiin muun muassa kehittämisohjelman organisointia, tavoitteita, toteutusta ja toimeenpanoa, tuloksia ja juurruttamiseen liittyviä seikkoja sekä eri toimijoiden vastuita näissä. Tämän raportin yhtenä pääaineistona on hyödynnetty valtakunnallisen ELO-ryhmän jäsenille eli kehittämisohjelman ohjausryhmälle toteutettua kyselyä. Kysely toteutettiin osana kehittämisohjelman itsearviointia syys-lokakuussa 2013. ELO-ryhmän kyselyn vastausprosentti oli 43 %, ja vastauksia saatiin yhtensä 13 henkilöltä. Kevätkaudella 2013 arviointitiimi oli tukemassa itsearvioinnin toteuttamista yhteensä kuudessa kehittämisohjelmaan kuuluvassa projektissa. Syksyllä 2013 itsearviointeja ei enää tehty. Syyskuussa 2012 kehittämisohjelman itsearviointikysely osoitettiin valtakunnallisen ELO-ryhmän jäsenille. Vastauksia saatiin yhtensä 17 henkilöltä vastausprosentin ollessa 55 %. Itsearvioinnin tulokset käytiin läpi itsearviointityöpajassa. Vuonna 2012 arviointiimi oli mukana tukemassa 12 Projektitason itsearviointimallissa on taustalla Kuntoutussäätiön kehittämä koko kehittämisohjelman arvioinnin viitekehys, joka pitää sisällään elementtejä mm. Euroopan komission yleisestä ohjelma-arvioinnin viitekehyksestä, Euroopan laatupalkintomallista (EFQM-malli) sekä CAF-itsearviointimallista. Lisäksi mallissa on huomioitu Manner-Suomen ESR-ohjelman arviointisuunnitelma. Näitä ns. valmiita malleja on sovellettu ja jatkokehitetty projektitoimijoilta saadun palautteen perusteella. 131=Toteutuu/on toteutunut heikosti, 2=Toteutuu/on toteutunut tyydyttävästi, 3=Toteutuu/on toteutunut hyvin, 4=Toteutuu/on toteutunut kiitettävästi 11
itsearvioinnin toteuttamista 11 kehittämisohjelmaan kuuluvassa projektissa. Vuonna 2011 ohjelmatason itsearviointi toteutettiin kehittämisohjelmatiimin jäsenten keskuudessa. Lisäksi arviointitiimi oli vuoden 2011 aikana mukana tukemassa 21 projektikohtaista itsearviointiprosessia. Ohjelmatasoinen itsearviointi toteutettiin ensimmäisen kerran kesäkuussa 2010 kehittämisohjelmatiimin jäsenille. Kyselyyn vastasi kahdeksan kehittämisohjelmatiimin jäsentä (vastausprosentti n. 73 %). Kysely toimi samalla ohjelmatason itsearviointimallin pilotointina. Vuonna 2010 projektikohtaisia itsearviointikyselyitä ja -työpajoja toteutettiin yhteensä 17 kpl. 5) Muut aineistot Vuonna 2010 toteutettu Ohjaus Suomessa 2010 -seminaarin ensimmäinen päivä (10.2.2010) keskittyi kehittämisohjelman arviointiin. Seminaaripäivän aikana kerättiin arviointiaineistoa kyselylomakkeen sekä teemakohtaisen työryhmätyöskentelyn avulla. Kaikille seminaariin osallistuneille jaettiin seminaarimateriaalin yhteydessä kyselylomake, johon heitä ohjeistettiin vastaamaan päivän aikana. Kyselyvastauksia saatiin yhteensä 65 kpl. Marraskuussa 2010 kerättiin arviointimateriaalia projektityöntekijöiden hyvien käytäntöjen arvioinnin työpajassa. Tämän lisäksi arviointitiimi on osallistunut vuosittain Opin Ovi -klinikoille ja muihin kehittämisohjelman puitteissa järjestettyihin seminaareihin. Arvioinnilla on usein ollut seminaareissa puheenvuoro. Opin Ovi -klinikoilla ja seminaareissa käsitellyt asiat ovat tukeneet arviointitiimin keräämää arviointiaineistoa. Näiden kautta arviointitiimi on myös päässyt kuulemaan projektitoimijoiden sen hetkisiä mietteitä. 3. Kehittämisohjelman rakenne ja organisointi Tässä luvussa on tarkasteltu kehittämisohjelman taustaa, rakennetta ja organisointia ja siinä tapahtuneita muutoksia. Kehittämisohjelman taustalla on valmistelutyö vuosina 2004 2006, jolloin opetusministeriö ja työministeriö asettivat yhteisen valmisteluryhmän laatimaan toimenpideohjelmaa aikuisopiskelun tieto- ja neuvontapalveluiden sekä ohjauksen kehittämiseksi. Työryhmä esitti loppuraportissaan 14 viisi päätason toimenpide-ehdotusta aikuisopiskelun tieto- ja neuvontapalveluiden sekä ohjauksen kehittämiseksi: 1) Tietopalvelut aikuisille soveltuviksi ja helppokäyttöisiksi, 2) Neuvonta- ja ohjauspalveluiden saatavuutta parannettava, 3) Ohjauksen tueksi on kehitettävä työikäisen aikuisväestön osaamisen tunnistamiseen uusia välineitä ja toimintatapoja 4) Ohjauksen strategista asemaa ja tutkimusta vahvistettava ja ohjaustehtäviä hoitavien koulutusta lisättävä ja 5) Kehittämispolitiikka vaatii yhteistyötä ja verkostoitumista. Kehittämisohjelma on jaettu kolmeen osaohjelmaan. Osaohjelmat ja niitä toteuttavat kehittämisohjelmatoimijat sekä kehittämistyön sisältöpainotukset on esitetty alla olevassa taulukossa. 15 14 365. Aikuisopiskelun tietopalvelujen, neuvonnan ja ohjauksen kehittäminen. Opetusministeriön ja työministeriön asettaman valmisteluryhmän ehdotukset toimenpideohjelmaksi. Työhallinnon julkaisu (2006). 15 Kehittämisohjelman jako osa-ohjelmiin on tapahtunut jo kehittämisohjelman alussa, joten myöhemmin alkaneet valtakunnalliset projektit puuttuvat tästä taulukosta. 12
Taulukko 1. Kehittämisohjelman osaohjelmat 16 1) Sähköisten palvelujen kehittäminen erityisesti neuvontatoiminnassa aikuiskoulutuksen osuvuuden ja suunnitelmallisuuden parantamiseksi 2) Ohjaus-, neuvonta- ja opetushenkilöstön ohjauksen ja neuvonnan toimintamuotojen kehittäminen, osaamisen vahvistaminen sekä aikuisopiskelijoiden osaamisen tunnistaminen ja tunnustaminen NUOVE koulutusneuvonta- ja uraohjauspalvelujen kehittämisprojekti Sähköisten koulutusneuvonta- ja uraohjauspalveluiden kehittäminen Päättynyt 31.12.2011 STUDIO- ja ERKKERI-koulutusprojektit Aikuisohjaajien ja -kouluttajien osaamisen kehittäminen Alueelliset Opin ovi -projektit Aikuisneuvonnan ja -ohjauksen alueellinen kehittämistoiminta Aikuisohjauksen koordinaatioprojekti Kehittämisohjelman projektien keskinäisen verkostoitumisen, viestinnän, seurannan ja arvioinnin koordinointi sekä Opin ovi - projektien tukeminen alueellisessa kehittämistyössä 3) Ohjaustyön arviointi ja tutkimus NUOVE / Tutkimusosiot 3A ja 3B Ohjaus- ja neuvontapalvelujen arvioinnin ja arviointityökalujen nykytilanteen kartoitus kansainvälisellä tasolla opetus- ja työhallinnossa sekä arviointi- ja palautejärjestelmien sekä arviointivälineiden kehittäminen (3A) Valtakunnallisen kehittämisohjelman arviointitutkimus (3B) 1. Sähköisten palvelujen kehittäminen erityisesti neuvontatoiminnassa aikuiskoulutuksen osuvuuden ja suunnitelmallisuuden parantamiseksi. Sähköisten koulutusneuvonta- ja uraohjauspalveluiden kehittäminen oli vuoden 2011 loppuun saakka NUOVE-projektin tehtävänä. NUOVE-projekti keskeytettiin ennenaikaisesti, ja sen aloittamaa kehittämistyötä on jatkettu joiltakin osin työ- ja elinkeinoministeriössä virkatyönä. NUOVE-projektissa toteutettiin uraohjauksen puhelinpalvelukokeiluja syksyn 2010 ja kevään 2011 aikana. Pilotointiin osallistui 21 ammatinvalintapsykologia, ja palvelu toteutettiin yhteistyössä TEM CC-palveluiden kanssa. Kokeilut osoittivat puhelinpalvelun täydentävän kasvokkain tarjottua ammatinvalinta- ja urasuunnittelupalvelua, sillä sen avulla tavoitettiin uusia asiakasryhmiä. Puhelinohjausasiakkaissa oli enemmän työssä käyviä, enemmän 25 39 -vuotiaita ja enemmän ammatillisesti koulutetumpia asiakkaita kuin kasvokkain TE-toimistoissa ohjausta hakeneissa. 17 Ohjauspalvelua pilotoitiin osana työja elinkeinoministeriön olemassa olevaa Työlinja-palvelua. Myös Urapolku-palveluun on tehty muutoksia NUOVE-projektin työn pohjalta. Urapolku-palvelua pilotoidaan parhaillaan psykologien asiakastyössä ja se on tarkoitus viedä osaksi TE-palvelut.fi -sivustoa. TE-palvelut.fi -palvelun sisällön tuotannossa on myös hyödynnetty NUOVEn verkkopalvelulleen suunnittelemia tekstejä ja harjoituksia. NUOVE-projektin päättymisen jälkeen sähköisten ohjauspalveluiden osalta on tehty alueellista kehittämistyötä muiden kehittämisohjelmaan kuuluvien projektien toimesta. Esimerkiksi Keski- Pohjanmaalla toimii Opin Ovi Keski-Pohjanmaalla ja Opin Ovi SME -projektien kehittämä Opastinpalvelu, joka on neuvonta- ja ohjauspalvelu aikuisopiskelijoille ja yrittäjille. Opastin tarjoaa sekä puhelin- että verkkopohjaista ohjausta. Lisäksi Opin Ovi Kymi -projektin kehittämä KymiEdu.fi-palvelu 16 Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalveluiden valtakunnallisella kehittämisohjelmalla. Opinovi. http://www.opinovi.fi/index.php?option=com_content&view=category&id=136&layout=blog&itemid=384&lang=fi 17 Loppuraportti uraohjauksen Puhelinpalvelukokeiluista (2010 2011). NUOVE-projekti. Työ- ja elinkeinoministeriö. 13
palvelee aikuisia koulutus- ja uravalintatilanteissa sekä antaa yrityksille ja työyhteisöille koulutusneuvontaa Kymenlaakson alueella. Opetushallitus on myös avannut sähköisen portaalin, jonka tavoitteena on tukea niin koulutukseen hakeutumista kuin tavoitteellista opiskelua. Opintopolku.fi on haku- ja valintapalvelu, joka tarjoaa yhden luukun kautta kattavan ja ajantasaisen tiedon koulutuksesta. Sen kautta voi löytää koulutusvaihtoehtoja ja hakea niihin. Kehittämisohjelma ei ole osallistunut palvelun kehittämiseen, eikä palvelu ainakaan toistaiseksi sisällä ohjauksellisia elementtejä. Tosin alueellisten sähköisten ohjauspalveluiden linkittämisestä kokonaisuuteen tulevaisuudessa on ollut keskustelua kehittämisohjelmatoimijoiden ja Opetushallituksen välillä. 2. Ohjaus-, neuvonta- ja opetushenkilöstön ohjauksen ja neuvonnan toimintamuotojen kehittäminen, osaamisen vahvistaminen sekä aikuisopiskelijoiden osaamisen tunnistaminen ja tunnustaminen. Tämän osaohjelman kehittämistyö on ollut laajuudeltaan suurin osaohjelmista. Toteuttajina ovat toimineet käytännössä kaikki kehittämisohjelmaan kuuluneet valtakunnalliset ja alueelliset projektit NUOVE-projektia lukuun ottamatta. Aikuisohjaajien ja -kouluttajien osaamisen kehittäminen on ollut valtakunnallisten koulutusprojektien vastuulla. Valtakunnallisten koulutusprojektien koulutusten osallistujavolyymi on ylittänyt projektien itselleen asettamat tavoitteet. Koulutusprojektien roolia kehittämisohjelmassa on käsitelty tarkemmin luvussa 5.1. Aikuisohjauksen ja -neuvonnan alueellinen kehittäminen on ollut kehittämisohjelman alueellisten projektien vastuulla. Alueellisessa kehittämistyössä on painottunut tieto-, neuvonta- ja ohjaus (TNO) - strategia- ja verkostotyö. Kehittämistyön myötä alueilla on tapahtunut muutosta organisaatiolähtöisestä ohjauksesta lähemmäs asiakaslähtöisen palvelun tuottamista. Ohjauksen parissa työskentelevät tuntevat alueilla toisensa ja verkostoon kuuluvien organisaatioiden tarjontaa paremmin kuin kehittämisohjelmaa edeltävänä aikana. Myös Aikuisohjauksen koordinaatioprojektin vastuulla ollut kehittämisohjelman projektien keskinäisen verkostoitumisen, viestinnän, seurannan ja arvioinnin koordinointi sekä Opin Ovi -projektien tukeminen alueellisessa kehittämistyössä on ollut aktiivista. Aikuisohjauksen koordinaatioprojektin toteuttamat tilaisuudet, monipuolinen ja laadukas viestintä sekä verkostovalmennukset ovat saaneet kiitosta. 3. Ohjaustyön arviointi ja tutkimus. Tämä osaohjelma on koostunut NUOVE -projektin tutkimusosioista 3A ja 3B, jotka on toteutettu kolmena eri ostopalveluna. Ohjaus- ja neuvontapalvelujen arvioinnin ja arviointityökalujen nykytilanteen kartoituksesta vastasi Jyväskylän yliopiston Koulutuksen tutkimuslaitos 2009 2010. Keväällä 2010 Lerkkaset Oy kehitti NUOVE-projektin toimeksiannosta mittareita ohjaustarvekartoitukseen. 3B-osiosta eli kehittämisohjelman kehittävästä arvioinnista on vastannut 2009 2013 Kuntoutussäätiön arviointi- ja koulutusyksikkö. Tutkimusosio 3A. Tarjouspyynnön mukaisesti Jyväskylän yliopiston toteuttaman toimeksiannon tarkoitus oli: Vuonna 2009 tarkoitus on kartoittaa ohjaus- ja neuvontapalvelujen tutkimuksen, arvioinnin ja arviointityökalujen nykytilannetta sekä tehdä kyseisen selvityksen perusteella esityksiä ja toimenpideehdotuksia valtakunnallisten ohjaus- ja neuvontapalvelujen laatukriteereistä sekä arviointi- ja palautejärjestelmien ja -välineiden kehittämisestä. NUOVE-projektin ohjausryhmä ei kuitenkaan ollut vuonna 2010 tyytyväinen toimeksiannon etenemiseen, joten tutkimuksen toinen vaihe päätettiin kilpailuttaa uudestaan. 14
NUOVE-projektin rahoituksen keskeytyessä, TEM/TYO päätti jatkaa työtä omilla määrärahoillaan. Tavoitteena oli laatia kriteerejä ohjauksen tulosten ja laadun arviointiin. Tutkimuksen tarve lähti siitä, että ohjauksellisten palveluiden kehittäminen on haastavaa, jos ohjauksen vaikutukset ovat vaikeasti todennettavissa. Tutkimus toteutettiin ostopalveluna aikavälillä 6/2012 3/2013. Tutkimuksen keskiössä ollutta arviointivälinettä pilotoitiin kolmessa TE-toimistossa: Pirkanmaalla, Pohjois-Savossa ja Pohjois-Karjalassa. 18 Toimeksiannon tuloksena syntynyt Työelämätutka, koostuu kahdeksasta osa-alueesta. Tutkaan on koottu sellaisia asioita, jotka yleensä ovat tärkeitä työn tai koulutuksen löytämisessä. Asiakkaan tehtävä on arvioida miten nämä asiat ovat toteutuneet hänen kohdallaan asteikolla 1-5. Tutka toimii välineenä, jonka avulla voidaan kuvata asiakkaan työelämäsuhde, siinä tapahtuva liike ja tehdä se näkyväksi. Keskiössä ei nyt ole asiakas ja hänen ominaisuutensa eikä työelämä sinänsä vaan jokin, joka on niiden välillä ja jota ohjaaja/asiakastyötekijä ja asiakas yhdessä asiakaspalveluprosessin aikana muovaavat. Ulottuvuudet koostuvat niistä yleisimmistä osa-alueista, joiden on todettu vaikuttavan onnistuneen työelämäsuhteen rakentamiseen. Ulottuvuuksien on myös oltava sellaisia että sekä asiakas että ohjaaja voivat arvioida niitä ilman varsinaisia mittausvälineitä. Liike ilmenee asiakkaan (/ja ohjaajan kanssa) arvioimana etenemisenä kohti tavoitettaan, joka liittyy yleensä asiakkaan työelämäsuhteen selkiintymiseen - lähtökohtana asiakkaan oma tarve ja kysymyksenasettelu. Tutkaa voidaan hyödyntää myös niin, että molemmat, ohjattava ja ohjaaja, arvioivat asiakkaan tilannetta. Tämän jälkeen Tutkan tulosten eroavaisuuksia käytetään keskustelun pohjana ohjaustilanteessa. Kokoamalla tutkien tulokset ajoittain Tutka-yhteenvedoiksi, voidaan tehdä havaintoja siitä mitä TE-toimiston asiakasprosesseissa kokonaisuutena tapahtuu. Yhteenvetoja voidaan hyödyntää esimiestyössä ja ohjauksen tiimien tasolla, palvelulinjakohtaisina yhteenvetoina ja koko TE-toimiston tasolla. 19 Työ- ja elinkeinoministeriö julkaisi Tutkaa koskevan tutkimusraportin Ohjauksen liike näkyviin Tutka ja TE-toimistojen ohjauspalvelut sähköisesti marraskuussa 2013 20. Kehittämisohjelman toimijoiden keskuudessa julkaisua ja siinä esiteltävää työkalua on odotettu mielenkiinnolla. Työkalua toivotaan voivan soveltaa myös oppilaitossektorilla. Ohjauksen työkalujen kehittäminen on ollut pitkä prosessi, Tutka-työkalun kehittäminen vastaa kehittämisohjelmalle asetettuun tavoitteeseen hyvin, vaikka kehittäminen ei varsinaisesti olekaan tapahtunut kehittämisohjelman piirissä. Työkalu tulee silti hyödyttämään kehittämisohjelman parissa toimineita tahoja. NUOVE-projektin toimeksiannosta toteutettiin myös huhtikuussa 2010 aloitettu toimeksianto, jonka tavoitteena oli tuottaa asiakassegmentteihin pohjautuvia ohjaustarpeiden arviointimittareita, jotka ovat toteutettavissa verkkopalveluina. Toimeksiannosta vastasi Lerkkaset Oy. Sopimuskauden aikana määriteltiin asiakassegmenteiksi työtä vailla olevat, koulutukseen osallistuvat ja työuranmuutosta suunnittelevat kansalaiset. Kullekin kohderyhmälle laadittiin heidän tilanteeseensa sopivat ohjaustarvearviot ja ne esitestattiin. Pilotoinnin perusteella laadittiin varsinaiset ohjaustarvearviot, joiden avulla kerättiin varsinainen aineisto. Lopputuloksena saatiin aikaan ohjaustarvearviointimittariston väittämät (32 kpl) kullekin ryhmälle ja tilastolliset analyysit. 21 Ohjaustarvemittariston pohjalta on TEMissä muokattu Tilannekartoitus-tehtävä, jota pilotoidaan parhaillaan psykologien asiakastyössä ja vietäneen lopulta osaksi TE-palvelut.fi -sivustoa. 18 TUTKA-malli. Harry Pulliaisen esitys Järvenpäässä, 23.10.2013. 19 TUTKA-malli. Harry Pulliaisen esitys Järvenpäässä, 23.10.2013. 20 Spangar et al: Ohjauksen liike näkyviin Tutka ja TE-toimistojen ohjauspalvelut. Seurannan ja arvioinnin prototyyppi. 21 Neuvonta- ja ohjauspalvelujen kehittämisprojekti NUOVE (ESR 2008 2011): Ohjaustarvearviointimittariston tuottaminen. Tiivistelmä 19.10.2011. 15