Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalvelujen valtakunnallisella kehittämisohjelmalla Yhteenvetoa arvioinnin väliraportin pohjalta Opin ovi -klinikka 31.8.2012 Valtakunnallisen kehittämisohjelman arviointi S11901 Kuntoutussäätiö Arviointi- ja koulutusyksikkö
Arvioinnin toteuttajataho ja aikataulu Arvioinnin toteuttaa Kuntoutussäätiön arviointi- ja koulutusyksikkö Arviointihanketta vetää projektipäällikkö Henna Harju projektipäällikkö Kimmo Terävä projektipäällikkö Sari Nyholm koulutuspäällikkö Matti Tuusa Ulkopuolisena asiantuntijana arviointihankkeessa toimii professori Juho Saari kehittämiskoordinaattori Mona Särkelä-Kukko (toimivapaalla) projektipäällikkö Elina Vedenkannas (toimivapaalla) Arvioinnin 1. vaihe ajanjaksolla elokuu 2009 joulukuu 2010 Arvioinnin 2. vaihe ajanjaksolla tammikuu 2011 joulukuu 2013
Arvioinnin tavoitteet Arvioinnin tavoitteena on tuottaa tietoa valtakunnallisen kehittämisohjelman ja siihen kuuluvien hankkeiden: 1. Koherenssista: tavoitteiden, toimintasuunnitelmien sekä osittain myös toimenpiteiden sisällöllinen yhteneväisyys keskenään sekä suhteessa kansallisiin politiikkoihin ja politiikkaohjelmiin, hallinnonalakohtaisiin strategioihin ja toimintasuunnitelmiin 2. Relevanssista: tavoitteiden ja toimintasuunnitelmien vastaavuus ja tarkoituksenmukaisuus suhteessa kohderyhmän edustajien (erityisesti alueiden edustajat, projektitoimijat, yksilöt sekä työnantajat) tarpeisiin 3. Toimenpiteistä ja prosesseista 4. Tuotoksista ja tuloksista 5. Vaikuttavuudesta 6. Hyödystä ja kestävyydestä Vuosina 2009-2010 painopiste erityisesti toimenpiteiden ja prosessien arvioinnissa. Vuosina 2011-2013 painopiste on tulosten, tuotosten ja vaikuttavuuden arvioinnissa. Kyseessä ns. kehittävä arviointi. Arvioinnin kuluessa pyritään tuottamaan: konkreettisia ehdotuksia kehittämisohjelman ja siihen kuuluvien hankkeiden toiminnan kehittämiseksi sekä konkreettinen malli/viitekehys koko kehittämisohjelman ja siihen kuuluvien hankkeiden itsearvioinnin toteuttamiseksi
Taustaa väliraportista Väliraporttia varten on kerätty ensisijaisesti laadullista arviointiaineistoa. Aineistoina on hyödynnetty: Kehittämisohjelmaan kuuluvien projektien väli- ja loppuraportteja EURA 2007-tietojärjestelmästä sekä Opin Ovi -projektien projektipäälliköiden haastatteluita. Lisäksi koulutuspalautteita niistä projekteista, jotka ovat toteuttaneet koulutuksia. Opin Ovi -projektien väli- ja loppuraporttien tarkastelussa on keskitytty projekteista saatujen hyötyjen, tuotosten ja tulosten tarkasteluun alueittain. Tarkasteltavat projektit on jaettu alueellisesti Pohjois-Suomen, Länsi-Suomen ja Etelä-Suomen alle. Haastattelut tehtiin sekä jo päättyneiden että vielä meneillään olevien Opin Ovi - projektien projektipäälliköille. Haastatteluja tehtiin yhteensä 43 kpl. Yksityiskohtainen ohjelmatason sekä projektitason tulosten, vaikuttavuuden, hyödyn ja kestävyyden tarkastelu toteutetaan arvioinnin loppuraportissa vuonna 2013.
Tieto-, neuvonta- ja ohjauspalveluille tunnustetaan yleisesti olevan aito tarve ja kysyntä, mutta palveluiden hyödyistä ja vaikuttavuudesta on olemassa kuitenkin vain rajallisesti tutkimustietoa. NUOVE-projektin yhtenä alkuperäisenä tavoitteena oli mm. tuottaa tietoa ohjauksen taloudellisista ja alueellista hyödyistä kehittämisohjelman tavoitteiden mukaisesti. Toistaiseksi ei ole tiedossa, että tämän tyyppistä tutkimusta tultaisiin toteuttamaan osana kehittämisohjelmaa. Perusteet tutkimuksen toteuttamiselle ovat edelleen olemassa. Tutkitun tiedon, ennen kaikkea taloudelliseen hyötyyn keskittyneen tiedon, pohjalta päättäjien sitouttaminen TNO-palveluiden kehittämiseen olisi todennäköisesti helpompaa.
Keskeisimpiä tuloksia ovat olleet tähän mennessä alueelliset verkostot, joita projektien avulla on saatu aikaiseksi. Verkostoitumisen myötä TNO-palveluiden parissa työskentelevät henkilöt ovat oppineet tuntemaan toisensa ja eri organisaatioiden tarjoamat palvelut. Sekä henkilö- että työyhteisöasiakkaille kyetään tarjoamaan sujuvammin heidän tarvitsemiaan ja heitä kiinnostavia palveluita. Palveluntuottajien näkökulmasta tämän arvioidaan säästävän pidemmällä aikajänteellä niin ajankäytöllisiä kuin taloudellisia resursseja. Projektipäälliköiden haastatteluiden perusteella verkostoitumistyötä ja alueellisten verkostojen kehittämistä tulee jatkaa myös seuraavalla rakennerahastokaudella. Oleellista on saada edelleen lisättyä TNO-alan toimijoiden tietämystä toistensa tarjoamista palveluista, jotta asiakkaille kyetään tarjoamaan heidän tarpeisiin vastaavia palveluita. Osa syntyneistä verkostoista on selvästi organisaatiosidonnaisia ja -vetoisia, mikä näkemyksemme mukaan edistää verkostojen pysyvyyttä. Vastaavasti osa verkostoista näyttäytyy liian henkilösidonnaisina. Verkostot ovat myös hyvin paikallisesti muodostuneita ja verkostojen kasvattaminen kattamaan suurempia alueellisia kokonaisuuksia olisi perusteltua.
Toinen kehittämisohjelman myötä aikaansaatu keskeinen tulos on TNO-palveluiden parissa työskentelevien henkilöiden osaamisen kehittyminen. Kehittämisohjelmaan kuuluu sekä valtakunnallisia että alueellisia projekteja, jotka ovat tuottaneet useita koulutustilaisuuksia ja -kokonaisuuksia. Jo pelkästään valtakunnallisten koulutusprojektien järjestämiin koulutuksiin on osallistunut tähän mennessä yli 2 000 henkilöä eri aloilta. Tarkkaa tietoa ei ole, minkä verran samat henkilöt ovat osallistuneet eri koulutuksiin. Ilmeisesti jonkin verran näitäkin henkilöitä mahtuu mukaan. On oletettavaa, että osaamisen kehittyminen näkyy TNO-palveluiden parantuneena laatuna asiakkaiden suuntaan. Koulutusprojekteille ja TNO-toimijoiden osaamisen kehittämiselle on olemassa selkeä tilaus myös jatkossa. Nyt kerätyn aineiston valossa mm. oppimisvaikeuksiin ja ennen kaikkea niiden havaitsemiseen sekä ns. haastavien asiakkaiden kohtaamiseen liittyville koulutuksille näyttäisi olevan kysyntää.
Kehittämisohjelmassa on panostettu voimakkaasti asiakkaille tarjottavien konkreettisten palveluiden kehittämiseen. Monessa projektissa on kehitetty tai ylläpidetty palvelupisteitä, jonne asiakas voi tulla joko ajanvarauksella tai ilman. Osassa palvelupisteitä tarjotaan myös puhelin- ja sähköpostineuvontaa. Kokemukset palvelupisteistä ovat rohkaisevia, ja ne ovat yksi keino kysyntälähtöisten TNO-palveluiden tuottamiseen. Osa näistä palvelupisteistä jatkaa toimintaansa myös projektien päättymisen jälkeen alueellisten toimijoiden tekemien kirjallisten sopimusten turvin. Ohjaus- ja neuvontapisteiden fyysisen sijoittamisen/sijoittumisen kannalta on syytä pitää mielessä, että osalla työssäkäyvistä henkilöistä on hyvin suuri kynnys tulla paikalle, mikäli ohjaus- ja neuvontapiste sijaitsee TE-toimiston tiloissa tai sen välittömässä yhteydessä. Kokemukset neuvonta- ja ohjauspisteen sijoittamisesta esim. kirjaston yhteyteen ovat tältä osin rohkaisevia.
Muutamissa projekteissa on tuotettu alueellisia TNO-palveluiden strategioita. Lisäksi muutamia strategioita on valmisteilla. Itse strategiatyö ja -prosessit ovat vahvistaneet eri toimijoiden välistä yhteistyötä ja tehneet tunnetuksi eri toimijoiden palveluita. Alueelliset strategiat tuovat selkeyttä ja yhdenmukaisuutta palveluiden kehittämiseen. Toisaalta tulee pitää mielessä, että ELY-keskusten rooli TNO-palveluiden koordinoinnissa ja kehittämisessä tullee vahvistumaan ja saamaan virallisen aseman. Tämä muutos tuonee omat haasteensa alueelliselle strategiatyölle. Lisäksi on aiheellista korostaa, että monet projektipäälliköt peräänkuuluttivat edelleen ohjelmaa hallinnoivilta ministeriöiltä selkeitä valtakunnan tason linjauksia TNO-palveluiden kehittämiseen. Nämä linjaukset tulisi huomioida alueellisissa strategiaprosesseissa.
Konkreettinen yhteistyö yritysten ja pk-yritysten kanssa on jäänyt liian vähälle painoarvolle. Useat projektipäälliköt toivat haastatteluissa esille työelämä- ja yritysyhteistyön tekemisen vaikeuden. Kehittämisohjelmaan kuuluu muutamia projekteja, joissa työelämäyhteistyö on ollut toiminnan keskiössä. Esimerkkeinä näistä mainittakoon Työelämän ERKKERI -projektit. Näkemyksemme mukaan yrityksille tarjottavaan uraohjauksen tukeen, esim. koulutusten muodossa, on tarvetta myös jatkossa. Esimerkiksi TOKI-projektissa kehitettyä toimintamallia ja kokemuksia olisi perusteltua hyödyntää myös laajemmin. Lisäksi tulisi selvittää, minkä verran vielä nykyisen ohjelmakauden aikana kehittämisohjelman toimijoiden (esim. Aikuisohjauksen koordinaatio -projekti ja Työelämän ERKKERI -projektit) olisi mahdollista tehdä yhteistyötä ja jakaa kokemuksia muiden ESR-rahoitteisen kehittämisohjelmien kanssa, jotka ovat keskittyneet PK-yritysten toiminnan tukemiseen ja kehittämiseen.
Opin Ovi -projektien toiminnassa ja tuloksissa ei ole suuria alueellisia eroja Etelä-, Länsi- ja Pohjois-Suomen välillä. Näiden alueiden sisältä löytyy paikallisia eroja projektien ja TNO-toiminnan laajuudessa. Verkostoituminen ja verkostojen vahvistuminen nousee kaikilla alueilla keskeiseksi tulokseksi. Eniten ongelmia projekteilla on ollut yritys- ja työelämäyhteistyön toteuttamisessa. Projektit, joiden rahoittajana toimii Kaakkois-Suomen ELY, ovat olleet tyytyväisiä rahoittajan toimintaan eikä heillä ole uusia toiveita tai tarpeita rahoittajan suuntaan. Suoraan TEM:n alla olevat projektit eivät ole rahoittajan toimintaan yhtä tyytyväisiä: henkilövaihdosten koetaan tuoneen muutosta mm. toimintatapoihin, minkä on koettu hidastavan projektien toteutusta.
Aikuisohjauksen koordinaatio- ja LAITURI -projekteilla on edelleen merkittävä rooli kehittämisohjelmassa syntyneiden tulosten ja hyvien käytäntöjen keräämisen, levittämisen, tiedottamisen sekä kokemusten vaihdon saralla. On helppo yhtyä muutamien haastateltujen projektipäälliköiden näkemyksiin, joiden mukaan koordinaatioprojektin tulokset tulisi ryhmitellä alueellisesti, ja koota sekä kirjalliseen julkaisuun että internet -sivustolle, joka säilyy toiminnassa myös kehittämisohjelman päättymisen jälkeen. Kehittämisohjelman loppukauden aikana koordinaatioprojektin ja tämän arviointitutkimuksen välistä yhteistyötä tulee tiivistää, jotta projektitoimijoita kuormitettaisiin mahdollisimman vähän erityyppisillä tiedonkeruilla. Koordinaatioprojektin toivotaan jatkossa mm. tarjoavan projektitason tukea ja konsultaatiota sekä panostavan kehittämisohjelmassa järjestettävien koulutustilaisuuksien ja kokonaisuuksien markkinointiin. ELY-keskusten roolin kasvaessa TNO-asioiden alueellisina koordinaattoreina LAITURI-projektin on perusteltua panostaa ja tukea ELY-keskusten roolien selkeyttämistä.
Poikkihallinnollisen yhteistyön kehittäminen on arvioinnin tulosten perusteella jatkossakin keskeinen kehittämiskohde niin keskushallinnon kuin alueellisella tasolla. Jatkossa TNO-palveluiden kehittämiseen tulisi kytkeä mukaan sosiaali- ja terveysministeriö sekä kolmannen sektorin asiakastyötä tekevät organisaatiot. Sosiaali- ja terveysministeriön mukaan tuleminen poikkihallinnolliseen yhteistyöhön parantaisi aikuisohjauspalveluiden saumattoman kokonaisuuden muodostumista kansallisella tasolla. Luonteva yhteistyökumppani on myös työterveyslaitos. Kansalaisjärjestöjen asema TNO-palvelujen tuotannossa on syytä selvittää siltä osin kuin kyse on välityömarkkinoiden ja työmarkkinoiden rajapinnassa toimivista järjestöistä. Kyse ei ole vain työ- ja elinkeinoministeriön ja opetus- ja kulttuuriministeriön hallinnonalojen toiminnasta.
TNO-palveluiden kehittäminen ESR-rahoituksella näyttäytyy perusteltuna myös seuraavalla rakennerahastokaudella. TNO-palveluiden kehittämistarpeet on nostettu esille mm. useissa kansainvälisen ja kansallisen tason linjauksissa. Ohjelmamuotoinen kehittäminen (jossa saman teeman parissa toimivat projektit kootaan yhdeksi kehittämisohjelmaksi ja ohjelmassa toimii yksi koordinoiva projekti) näyttäytyy perusteltuna tapana organisoida toimintaa myös jatkossa. Jatkossa kehittämisohjelmille olisi perusteltua nimetä ohjelmajohtaja, joka antaa toiminnalle kasvot ja toimii virallisena yhteyshenkilönä. Myös koordinoivasta projektista on saatu hyviä kokemuksia, ja kyseistä toimintamallia olisi perusteltua jatkaa. Erityistä huomiota tulee kiinnittää siihen, että koordinoiva projekti aloittaa toimintansa ensimmäisten projektien joukossa. Kehittämisohjelmaan kuuluvien projektien lukumäärän vähentämistä nykyisestä reilusta 40 projektista olisi perusteltua harkita jatkoa ajatellen. Olemme samaa mieltä monen projektipäällikön kanssa, joiden mukaan vähäisempi projektien määrä helpottaisi ohjelman sisäistä koordinaatiota ja kokemusten vaihtoa. Eri kehittämisohjelmien väliseen yhteistyön tulisi kiinnittää erityistä huomiota toiminnan eri tasoilla.
Arvioinnin seuraavat vaiheet Itsearviointikyselyiden ja -työpajojen kolmas kierros + muut mahdolliset interventiot (koko loppuvuoden aikana). Arviomme mukaan vuoden 2012 aikana tullaan tekemään noin 15 20 tuettua itsearviointiprosessia. Kysely Elinikäisen ohjauksen yhteistyöryhmälle + työpaja (elo-syyskuu) Kysely kehittämisohjelmaan kuuluvien projektin henkilöstölle ja sidosryhmille (elo-lokakuu) Aineiston kokonaisanalyysi ja raportointi (marras-joulukuu) Kehittävän arvioinnin periaatteiden mukaisesti työvaiheiden sisältöä ja toteutusajankohtaa voidaan täsmentää yhdessä tilaajan kanssa esille nousevien tarpeiden mukaan.
Kiitos! Lisätietoja: Henna Harju Kuntoutussäätiö, arviointi- ja koulutusyksikkö etunimi.sukunimi@kuntoutussaatio.fi