Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalveluiden valtakunnallisella kehittämisohjelmalla

Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalveluiden valtakunnallisella kehittämisohjelmalla Kehittämisohjelman arvioinnin väliraportti 8.12.2011 NUOVE neuvonta- ja ohjauspalveluiden kehittämisprojekti Kuntoutussäätiö Arviointi- ja koulutusyksikkö

Sisällys 1 Johdanto... 3 2 Arviointitehtävä... 5 2.1 Arvioinnin kohdentuminen... 5 2.2 Väliraportissa hyödynnetyt aineistot ja tarkastelunäkökulma... 7 3 Kohti hallinnonrajat ylittävää moniammatillista tieto-, neuvonta- ja ohjauspalvelujen kokonaisuutta?... 9 3.1 Ohjelmatason tarkastelua... 9 3.2 Kehittämisohjelmaa koordinoivat projektit... 14 3.2.1 Yleisesti... 14 3.2.2 Aikuisohjauksen koordinaatioprojekti... 16 3.2.3 LAITURI-projekti... 19 3.3 NUOVE neuvonta- ja ohjauspalveluiden kehittämisprojekti... 20 3.3.1 Taustaa... 20 3.3.2 Koulutusneuvonnan ja uraohjauspalveluiden kehittäminen verkossa -osio... 22 3.3.3 Ohjauksen arviointivälineiden ja menetelmien tutkimusosio... 23 3.3.4 Toimintojen jatkuvuus ja keskeyttämisen vaikutukset muihin kehittämisohjelmaan kuuluviin projekteihin... 24 3.4 Havaintoja ja yhteenvetoa itsearviointityöpajoista... 26 3.5 Kohti ohjelmakauden päätöstä... 29 4 Yhteenvetoa ja kehittämisehdotuksia... 33 Lähteet... 38 2

1 Johdanto Tässä arviointiraportissa tarkastellaan Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvontaja ohjauspalveluiden valtakunnallisella kehittämisohjelmalla kehittämisohjelmaa. Kyseessä on arvioinnin II vaiheen toinen väliraportti. Arvioinnin on toteuttanut Kuntoutussäätiön arviointi- ja koulutusyksikkö. Arviointihankkeen II vaiheen käytännön toteuttamiseen ovat osallistuneet Tuomas Koskela, Elina Vedenkannas, Henna Harju, Matti Tuusa sekä Mona Särkelä-Kukko. Lisäksi Outi Linnolahti on avustanut arviointiaineiston keräämisessä. Ulkopuolisena asiantuntijana arviointihankkeessa toimii Juho Saari. Kehittämisohjelmaa toteutetaan vuosina 2007 2013 valtakunnallisten ja alueellisten projektien avulla. Ohjelmaa rahoittavat ELY-keskukset, Opetushallitus, työ- ja elinkeinoministeriö, opetus- ja kulttuuriministeriö, sosiaali- ja terveysministeriö sekä maakuntien liitot. Kehittämisohjelman vastuuministeriöinä toimivat työ- ja elinkeinoministeriö sekä opetus- ja kulttuuriministeriö. ESR-rahoitus ohjelmalle on 24,7 milj. euroa. Kehittämisohjelmaan kuuluu kolme laaja-alaista osaohjelmaa ja niitä toteuttavat projektit: 1. Sähköisten palvelujen kehittäminen erityisesti neuvontatoiminnassa aikuiskoulutuksen osuvuuden ja suunnitelmallisuuden parantamiseksi o NUOVE neuvonta- ja ohjauspalvelujen kehittämisprojekti 2. Ohjaus-, neuvonta- ja opetushenkilöstön ohjauksen ja neuvonnan toimintamuotojen kehittäminen, osaamisen vahvistaminen sekä aikuisopiskelijoiden osaamisen tunnistaminen ja tunnustaminen o STUDIO- ja ERKKERI koulutusprojektit o Alueelliset Opin Ovi projektit o Aikuisohjauksen koordinaatio- ja LAITURI-projektit 3. Ohjaustyön arviointi ja tutkimus o NUOVE neuvonta- ja ohjauspalveluiden kehittämisprojekti A. Ohjaus- ja neuvontapalvelujen arvioinnin ja arviointityökalujen nykytilanteen kartoitus kansainvälisellä tasolla opetus- sekä työ- ja elinkeinohallinnossa sekä arviointi- ja palautejärjestelmien ja arviointivälineiden kehittäminen. B. Valtakunnallisen kehittämisohjelman arviointitutkimusosio (=tämä arviointitutkimus) Kehittämisohjelmassa on tapahtunut merkittäviä muutoksia vuoden 2011 aikana. Ohjelman organisoinnin ja toteutuksen kannalta oleellisimpia muutoksia ovat valtakunnallisen koordinaatio- ja seurantaryhmän ja kehittämistiimin lakkauttamiset sekä päätös NUOVE-projektin keskeyttämisestä vuoden 2011 loppuun mennessä. Kehittämistiimin tilalle on perustettu eräänlainen työjaosto, joka koostuu työ- ja elinkeinoministeriön sekä opetus- ja kulttuuriministeriön virkamiehistä. Jaoksen tehtävänä on mm. valmistella asiat Elinikäisen ohjauksen ohjaus- ja yhteistyöryhmään, joka ottaa vastuulleen mm. lakkautetun koordinaatio- ja seurantaryhmän tehtävät kehittämisohjelman ohjausryhmänä. Opetus- ja kulttuuriministeriö sekä työ- ja elinkeinoministeriö asettivat Elinikäisen ohjauksen ohjaus- ja yhteistyöryhmän ajanjaksolle 1.9.2011 31.1.2015. Koordinaatio- ja seurantaryhmän ja kehittämistiimin lakkauttamisen vaikutuksia on liian aikaista arvioida tässä vaiheessa. Olemme aikaisemmissa väliraporteissamme tuoneet mm. esille, että kehittämistiimi on 3

ollut keskeisessä asemassa koko kehittämisohjelman toteutuksessa ja että tiimi on toiminut eräänlaisena linkkinä keskeisimpien ohjelmatoimijoiden ja rahoittajaviranomaisten välillä. Tämän hetkisen tiedon valossa ELY-keskusten edustajia ei ole mukana perustetussa työjaostossa ja valtakunnallisessa Elinikäisen ohjauksen ohjaus- ja yhteistyöryhmässäkin on mukana vain yksi ELY-keskusten edustaja. Aika näyttää, muodostuuko ajantasainen tiedonkulku eri toimijoiden välillä kehittämisohjelmaan liittyvissä asioissa ongelmaksi. Lähtökohtaisesti ELY-keskusten edustuksen puuttuminen työjaostosta ja vain yhden osallistujan edustus Elinikäisen ohjauksen ohjaus- ja yhteistyöryhmässä on kuitenkin ristiriidassa Elinikäisen ohjauksen kehittämisen strategiset tavoitteet raportissa 1 esitettyjen linjausten ja suositusten sekä ELY-keskusten strategia-asiakirjan 2 kanssa. Elinikäisen ohjauksen kehittämisen strategiset tavoitteet -raportin kirjoittanut työryhmä ehdottaa mm., että ELY-keskusten roolia ohjauspalveluiden alueellisissa järjestelmissä vahvistetaan. ELY-keskusten strategia-asiakirjassa 2010-2011 puolestaan todetaan, että keskukset vastaavat (aikuis)koulutuksen tieto-, neuvonta- ja ohjauspalvelujen alueellisesta saatavuudesta. Nyt käynnissä oleva arvioinnin II vaihe toteutetaan vuosina 2011 2013. Arviointihankkeen aikana tuotetut väliraportit muodostavat toisiaan täydentävän kokonaisuuden ja ovat luettavissa opinovi.fi-sivustolla. Painopiste arvioinnissa siirtyy vähitellen kehittämisohjelman tuotosten ja tulosten, vaikuttavuuden sekä hyödyn ja kestävyyden arviointiin. Tässä väliraportissa keskitytään toimenpiteiden ja prosessien sekä tuotosten ja tulosten tarkasteluun ohjelmatasolla. Yksittäisistä projekteista tarkastelun kohteena ovat NUOVE-projekti sekä kehittämisohjelmaa koordinoivat projektit (Aikuisohjauksen koordinaatioprojekti sekä Laituri-projekti), joiden merkitys koko kehittämisohjelman kannalta on huomattava. Muilta osin kehittämisohjelmaan kuuluvien yksittäisten projektien tuotosten ja tulosten sekä myös vaikuttavuuden, hyödyn ja kestävyyden tarkastelu toteutetaan arvioinnin II vaiheen loppuraportissa vuonna 2013. Noin 20 kehittämisohjelmaan kuuluvaa projektia päättyy vuoden 2011 loppuun mennessä. Vuonna 2013 on mahdollista arvioida, mitä pysyvää näissä projekteissa saatiin aikaiseksi. Arviointiraportin toisessa luvussa kuvataan tiiviisti arviointitehtävä ja luvussa kolme keskeisimmät havainnot arviointiaineiston pohjalta. Luvussa neljä esitetään yhteenveto sekä arviointiaineistoon pohjautuvia ehdotuksia kehittämisohjelman toiminnan kehittämiseksi. 1 Elinikäisen ohjauksen kehittämisen strategiset tavoitteet. Opetus- ja kulttuuriministeriön työryhmämuistioita ja selvityksiä 2011:15. 2 Elinkeino-, liikenne- ja ympäristökeskusten strategia-asiakirja 2010 2011. Työ- ja elinkeinoministeriön julkaisuja. Konserni 39/2009. 4

2 Arviointitehtävä Arvioinnin toteuttaminen perustuu työ- ja elinkeinoministeriön arviointia koskevaan tarjouspyyntöön sekä Kuntoutussäätiön tekemään arvioinnin työsuunnitelmaan. Kyseessä on ns. kehittävä arviointi. Kerättävän tiedon pohjalta arvioinnissa pyritään tuottamaan konkreettisia ehdotuksia kehittämisohjelman sekä siihen kuuluvien projektien toiminnan tueksi. Kehittävän arvioinnin periaate pohjautuu pitkälti Michael Quinn Pattonin näkemyksiin hyödynnettävyyskeskeisestä arviointimallista ja arvioinnista yleisesti. Patton 3 määrittelee arvioinnin systemaattiseksi tiedonkeruuksi toimenpideohjelman piirteistä, toiminnoista ja tuloksista tavoitteena tehdä arvioita ohjelmiksi, parantaa niiden vaikuttavuutta ja/tai vaikuttaa tulevaisuudessa toteutettavien toimenpideohjelmien suunnittelua koskeviin päätöksiin. Pattonin näkemyksissä korostuu arvioinnin systemaattisuus, mutta se ei hänen mukaan edellytä kuitenkaan tieteellisiä menettelyitä. Toimeksiannon mukaisesti osana arviointihanketta on luotu malli/viitekehys koko kehittämisohjelman ja siihen kuuluvien yksittäisten projektien itsearvioinnin toteuttamiseksi. Vuonna 2011 arviointiimi on ollut mukana tukemassa itsearvioinnin toteuttamista 21 kehittämisohjelmaan kuuluvassa projektissa. Lisäksi ohjelmatason itsearvionti toteutettiin kehittämisohjelmatiimin jäsenten keskuudessa. Vuoden 2011 loppuun asti arviointi on osa NUOVE neuvonta- ja ohjauspalveluiden kehittämisprojektia ja arvioinnista raportoidaan NUOVE-projektin projektipäällikölle sekä ohjausryhmälle. Työ- ja elinkeinoministeriön kanssa on sovittu, että arviointihanke jatkuu työsuunnitelman mukaisesti vuoden 2013 loppuun asti, vaikka arvioinnin tilaaja vaihtuu. Työ- ja elinkeinoministeriö tiedottaa muutoksesta loppuvuodesta 2011 tai viimeistään vuoden 2012 alussa. 2.1 Arvioinnin kohdentuminen Arvioinnin kohteena on alkuperäisen työsuunnitelman mukaisesti koko kehittämisohjelma, sisältäen: valtakunnallisen koordinaatio- ja seurantaryhmän toiminnan valtakunnallisen kehittämistiimin toiminnan Aikuisohjauksen koordinaatio- ja LAITURI-projektien toiminnan Aikuisohjaus työelämän voimavarana osa-ohjelman toiminnan o OPIN OVI -alueprojektit o STUDIO -projekti o ERKKERI -projektit NUOVE neuvonta- ja ohjauspalvelujen kehittämisprojektin toiminnan o Koulutusneuvonnan- ja uraohjauspalveluiden kehittäminen verkossa osio o Ohjauksen laadun arviointitutkimusosio Päätökset koordinaatio- ja seurantaryhmän, kehittämistiimin ja NUOVE-projektin lakkauttamisesta vaikuttavat myös arvioinnin kohdentumiseen vuosina 2012-2013. Arvioinnin työsuunnitelmaa vuosille 2012-2013 täsmennetään vastaamaan muutoksia vielä vuoden 2011 aikana. 3 Patton 1997, 23-24 5

Kehittämisohjelmassa on mukana 44 alueellista tai valtakunnallista projektia, joista kolme on päättynyt tätä arviointiraporttia kirjoitettaessa. Edellä esitetty lukumäärä kehittämisohjelmaan kuuluvista projekteista (44 kpl) on hieman suurempi, kuin mitä esitimme edellisessä väliraportissamme (37 kpl). Ero selittyy sillä, että aineistonkeruun eri vaiheissa on tullut ilmi, että kehittämisohjelmaan kuuluu myös sellaisia projekteja, jotka ovat rahoitettu ELY-keskusten alueellisista rahoista ja joiden kytkeytymisestä osaksi tätä kehittämisohjelmaa ei ollut kenelläkään tarkkaa kuvaa. Mukana on myös yksi jatko-projekti. Hallinnollisesti nämä projektit ovat osa kehittämisohjelmaa. Arvioinnin kohdentumista suunniteltaessa on hyödynnetty elementtejä Euroopan komission yleisestä ohjelma-arvioinnin viitekehyksestä, Euroopan laatupalkintomallista (EFQM), Evert Vedungin vaikutustenarviointimallista sekä otettu huomioon Manner-Suomen ESR-ohjelman arviointisuunnitelma. 4 Arvioinnin tavoitteena on tuottaa tietoa valtakunnallisen kehittämisohjelman ja siihen kuuluvien projektien: o Koherenssista o Relevanssista o Toimenpiteistä ja prosesseista o Tuotoksista ja tuloksista o Vaikuttavuudesta o Hyödystä ja kestävyydestä Vuosina 2009-2010 painopiste oli koherenssin, relevanssin sekä toimenpiteiden ja prosessien tarkastelussa. Vuoden 2011 ensimmäisessä väliraportissa tarkasteltiin kehittämisohjelman toimenpiteitä ja prosesseja. Erityisenä huomion kohteena olivat kehittämisohjelman organisointi ja sisäisen yhteistyön toimivuus. Tässä väliraportissa keskitytään toimenpiteiden ja prosessien sekä erityisesti tuotosten ja tulosten tarkasteluun ohjelmatasolla. Keskeisiä arviointikysymyksiä ovat: o Mahdollistaako ohjelman rakenne, toimintatavat ja prosessit sen, että valtakunnallinen kehittämisohjelma toimii aidosti tukirakenteena kooten yhteen projektien tuloksia, selvittäen vaikuttavuutta sekä varmistaen projektien välisen yhteistyön ja hyvien käytäntöjen levittämisen? o Tarkastelun keskiössä ovat Aikuisohjauksen koordinaatioprojekti sekä Laituri-projekti, joiden vastuulla edellä mainitut asiat pitkälti ovat. o Mitä asioita tai kehitystä ohjelmalla, sen osaohjelmilla ja niihin kuuluvilla projekteilla sekä niiden resursseilla on saatu aikaiseksi? o Projektien myötä aikaansaatua kehitystä on tarkasteltu suhteessa kehittämisohjelman strategiassa mainittuihin tavoitteisiin. 4 Soveltaen: European Commission (1999); EFQM-malli (The EFQM Excellence Model 2003); Vedung (1997); Manner-Suomen ESR-ohjelma 2007 2013: arviointisuunnitelma. 6

2.2 Väliraportissa hyödynnetyt aineistot ja tarkastelunäkökulma Tässä väliraportissa on hyödynnetty aineistoina sähköisen kyselyn avulla kerättyä aineistoa, projektikohtaisissa itsearviointityöpajoissa kerättyä aineistoa sekä kirjallista aineistoa koskien kehittämisohjelmaa yleisesti sekä NUOVE-projektia. Sähköinen kysely toteutettiin loka-marrakuussa 2011. Kyselyn toteuttamista varten jokaista kehittämisohjelmaan kuuluvan projektin projektipäällikköä pyydettiin toimittamaan arviointiimille projektihenkilöstön sekä projektin keskeisimpien yhteistyötahojen ja sidosryhmien edustajien sähköpostiosoitteet. Osoitteet saatiin yhtä lukuun ottamatta kaikilta kehittämisohjelmaan kuuluvilta projekteilta. Lisäksi Opin Ovi Uudenmaan ELY-keskus -projektin kanssa sovittiin, että kysely kohdennetaan vain käynnissä olevan jatkoprojektin henkilöstölle ja sidosryhmien edustajille. Toimitettujen sähköpostiosoitteiden määrä vaihteli projekteittain 4:n ja 122:n välillä. Useat projektit olivat ilmoittaneet samoja henkilöitä sidosryhmiinsä kuuluviksi. Näille henkilöille lähetettiin yksi kysely ja heitä pyydettiin vastaamaan kysymyksiin sen projektin näkökulmasta, jonka he katsoivat tuntevansa parhaiten. Vastaajille annettiin myös mahdollisuus vastata kysymyksiin useamman projektin näkökulmasta, mikäli he katsoivat sen aiheelliseksi. Näitä vastaajia (jotka vastasivat kyselyyn useamman kuin yhden projektin näkökulmasta) oli vain muutamia. Kyselyyn vastasi 389 henkilöä. Vastausprosentti oli noin 37 %. Seuraavassa kuviossa on esitetty vastaajien rooli/asema suhteessa heidän edustamaansa projektiin. Projektipäällikkö (n=40) 10,3 % Muu projektityöntekijä (n=66) 17,0 % Kouluttaja tai muu asiantuntija, joka saa palkkaa projektilta (n=23) 5,9 % Ohjausryhmän jäsen (n=91) 23,4 % Projektin yhteistyökumppani/kehittämisryhmän jäsen/sidosryhmän edustaja (n=144) 37,0 % Jokin muu (n=25) 6,4 % 0% 10% 20% 30% 40% Kuvio 1. Kyselyvastaajien lukumäärä ja prosenttiosuudet vastaajan aseman mukaan Kaikille vastaajaryhmille esitettiin kysymykset koskien heidän edustamaansa projektia sekä kehittämisohjelmaa yleisesti. Lisäksi projektihenkilöstölle (projektipäälliköt ja muut projektityöntekijät) esitettiin kysymykset koskien NUOVE-projektia, Aikuisohjauksen koordinaatioprojektia sekä LAITURIprojektia. Kyselyn tuottaman määrällisen aineiston analyysissä on hyödynnetty ristiintaulukointia, suoria prosenttijakaumia sekä aritmeettisia keskiarvoja. Aineiston analysoinnissa kouluttajien ja muiden 7

asiantuntijoiden (jotka ovat saaneet projektilta palkkaa) vastaukset on yhdistetty osaksi projektien yhteistyökumppaneiden, kehittämisryhmän jäsenten ja sidosryhmien edustajien vastauksia. Kyselyn avovastausten tuottama laadullinen aineisto on analysoitu sisällönanalyysiä hyödyntäen. Alkuperäisen suunnitelman mukaisesti kysely oli tarkoitus suunnata vain kehittämisohjelmaan kuuluvien projektien sidosryhmien edustajille sekä toteuttaa erillinen kysely koordinaatio- ja seurantaryhmän jäsenille. Koordinaatio- ja seurantaryhmän lakkauttamisen myötä jälkimmäinen kysely päätettiin yhdessä NUOVE-projektin projektipäällikön kanssa korvata suuntaamalla kysely myös projektihenkilöstölle. Vuoden 2011 aikana arviointiimi on ollut mukana tukemassa 21 projektikohtaista itsearviointiprosessia. Tässä väliraportissa vedetään yhteen itsearviointityöpajoissa käytyjen keskustelujen keskeisin sisältö. Väliraportissa hyödynnetty kirjallinen aineisto on koostunut kehittämisohjelman strategia-asiakirjasta sekä NUOVE-projektin tilaamasta kartoituksesta koskien projektin sähköiset palvelut -osion työmenetelmiä ja toimintaympäristöä. Aineisto ja sen pohjalta esitetyt havainnot ja johtopäätökset heijastelevat tilannetta kehittämisohjelmassa syksyllä 2011. Arviointikysymyksiä tarkastellaan projektihenkilöstön sekä projektien keskeisimpien yhteistyötahojen ja sidosryhmien edustajien näkökulmasta. 8

3 Kohti hallinnonrajat ylittävää moniammatillista tieto-, neuvonta- ja ohjauspalvelujen kokonaisuutta? 3.1 Ohjelmatason tarkastelua Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalveluiden valtakunnallisella kehittämisohjelmalla kehittämisohjelmaa toteutetaan valtakunnallisten ja alueellisten projektien kautta. Kehittämisohjelman tavoitteita ja visio on linjattu kehittämisohjelman strategia-asiakirjassa, joka valmistui syyskuussa 2009. Loka-marraskuussa 2011 toteutetussa kyselyssä kartoitettiin kehittämisohjelmaan kuuluvien projektien henkilöstön, ohjausryhmien jäsenten sekä keskeisten yhteistyötahojen ja sidosryhmien edustajien näkemyksiä siitä, miten hyvin heidän edustamansa projektit ovat kyenneet edistämään kehittämisohjelman strategia-asiakirjassa mainittuja tavoitteita 5. Mitta-asteikko kysymyksissä oli 1-4 6. Kyselyvastauksia on analysoitu kahdella eri tavalla. Ensiksi kyselyvastauksia tarkasteltiin keskiarvojen avulla. Vastausten perusteella kehittämisohjelmaan kuuluvien projektien avulla on kyetty selkeimmin edistämään moniammatillista ja poikkihallinnollista yhteistyötä TNO-palveluiden 7 toimijoiden keskuudessa, tieto-, neuvonta- ja ohjausosaamista sekä TNOpalveluiden laatua. Myös TNO-palveluiden näkyvyyden ja tunnettavuuden sekä TNO-palveluita tuottavien organisaatioiden ja sidosryhmien johdon sitoutumisen aikuisohjauksen kehittämiseen koetaan parantuneen projektien toiminnan myötä. Ohjauksen ja neuvonnan hyötyjen näkyväksi tekemistä sekä alueellisten ohjausresurssien varmistamista koskevien kysymysten osalla vastausten keskiarvot olivat myös yli arvon 2,5. Kaikkein vähiten projektien koetaan edistäneen työnantajien 8 kilpailukykyä sekä taloudellisten resurssien turvaamista TNO-palveluihin. Projektihenkilöstön näkemykset aikaansaadusta kehityksestä ovat pääsääntöisesti positiivisempia kuin ohjausryhmän jäsenten tai projektien yhteistyökumppaneiden ja sidosryhmien edustajien. Tilastollisesti merkitseviä eroja 9 taustamuuttujien luokkien vastausten välillä ilmeni kuitenkin vain kahden kysymyksen osalla. Kuviossa 2 on esitetty kyselyvastaajien suhtautuminen projektien aikaansaannoksia koskeviin kysymyksiin vastaajan aseman mukaan. 5 Osa tavoitteista on yhdistetty kyselyssä päällekkäisyyksien poistamiseksi. 61=Ei lainkaan, 2=Vähän, 3=Jonkin verran, 4=Paljon 7 TNO-palveluilla tarkoitetaan tieto-, neuvonta- ja ohjauspalveluita. 8 Kehittämisohjelman strategia-asiakirjassa käytetään termiä työorganisaatio. 9 p 0,05 9

Moniammatillisen ja poikkihallinnollisen yhteistyön edistäminen (TNO-palveluiden toimijoiden keskuudessa) (n=355) Tieto-, neuvonta- ja ohjausosaamisen kehittäminen (n=357) TNO-palveluiden laadun parantaminen (n=352) * TNO-palveluiden näkyvyys ja tunnettavuus (n=356) TNO-palveluita tuottavien organisaatioiden ja sidosryhmien johdon sitoutuminen aikuisohjauksen kehittämiseen (n=353) Ohjauksen ja neuvonnan yhteiskunnallisten, taloudellisten ja alueellisten hyötyjen näkyväksi tekeminen (n=356) * Alueellisten ohjausresurssien varmistaminen (osaava ja määrällisesti riittävä ohjaus- ja neuvontahenkilöstö) (n=348) Aikuisten työmarkkina-aseman ja (työ)hyvinvoinnin parantuminen (n=352) Aikuisopiskelussa aliedustettujen ryhmien osallistumista tukevien toimintamuotojen kehittäminen (n=353) Taloudellisten resurssien turvaaminen TNO-palveluihin (n=347) Työnantajien kilpailukyvyn edistäminen (n=349) 3,34 3,43 3,3 3,32 3,19 3,32 3,2 3,1 3,07 3,21 2,94 3,05 2,96 3,07 2,89 2,94 2,9 2,87 3,01 2,87 2,72 2,91 2,71 2,63 2,51 2,49 2,64 2,46 2,37 2,47 2,28 2,35 2,36 2,42 2,43 2,29 2,19 2,18 2,27 2,15 1,96 2,01 1,89 1,96 1 2 3 4 Yhteensä Projektihenkilöstö Ohjausryhmän jäsen Yhteistyökumppani tai sidosryhmän edustaja Kuvio 2. Suhtautuminen projektien aikaansaannoksia koskeviin kysymyksiin vastaajan aseman mukaan, keskiarvot asteikolla 1-4 10 Koska projektikohtaisten vastausten lukumäärissä oli huomattavia eroja, kyselyvastauksia analysoitiin myös sen mukaan, kuinka monen projektin osalla vastausten kysymyskohtainen keskiarvo oli vähintään 3 (= kohtalaisesti ). Analyysin tulokset ovat hyvin samansuuntaisia kuin kuviossa 2 esitetyt kyselytulokset. Suurimman osan projekteja (36 projektin) koetaan edistäneen vähintään kohtalaisesti moniammatillista ja poikkihallinnollista yhteistyötä TNO-palveluiden toimijoiden keskuudessa, tieto-, neuvonta- ja ohjausosaamisen kehittämistä (32 projektin) sekä TNO-palveluita tuottavien organisaatioiden ja sidosryhmien johdon sitoutumista aikuisohjauksen kehittämiseen (32 projektin). Toinen ääripää on, että vain kahden projektin koetaan edistäneen vähintään kohtalaisesti taloudellisten resurssien turvaamista 10 Kuvioon on merkattu tähdellä kysymykset, joissa ilmeni tilastollisesti merkitseviä eroja taustamuuttujien luokkien vastausten välillä. 10

TNO-palveluihin ja kolmen projektin työnantajien kilpailukykyä. Kehittämisohjelman strategia-asiakirjan mukaan taloudellisten resurssien turvaamiseksi tulee tehdä ohjauksen ja neuvonnan hyödyt näkyviksi ja kehittää laadunvarmistusvälineet mittaamaan poikkihallinnollisen yhteistyön toimivuutta ja vaikuttavuutta. Vastuu ensiksi mainituista on strategian mukaan kehittämistiimillä, NUOVE-projektin tutkimus-osiolla, kehittämisohjelman arviointitutkimuksella (=tämä arviointihanke) sekä alueellisilla projekteilla ja jälkimmäisestä vastuu on NUOVE-projektin tutkimusosiolla. Strategian mukaan työnantajien (työorganisaatioiden) kilpailukyvyn edistämiseksi ohjelmassa kehitetään, tuotetaan, kootaan ja levitetään työorganisaatioiden osaamisen johtamisen tueksi erilaisia toimintatapoja ja -malleja sekä tehdään yhteistyötä yritysten ja työpaikkojen henkilöstöhallinnon kehittämisestä vastaavien tahojen kanssa. Lisäksi tuetaan työelämässä ja työelämäjärjestöissä tehtävää neuvonta- ja ohjaustyötä. Vastuu näistä toimenpiteistä on strategia-asiakirjan mukaan kehittämistiimillä, Aikuisohjauksen koordinaatioprojektilla sekä alueellisilla projekteilla. Kuviossa 3 on esitetty kysymyksittäin vastaajien suhtautuminen projektien aikaansaannoksia koskeviin kysymyksiin (niiden projektien lukumäärä, joissa vastausten keskiarvo oli asteikolla 1-4 mitattuna vähintään 3). Moniammatillisen ja poikkihallinnollisen yhteistyön edistäminen (TNO-palveluiden toimijoiden keskuudessa) 36 Tieto-, neuvonta- ja ohjausosaamisen kehittäminen TNO-palveluita tuottavien organisaatioiden ja sidosryhmien johdon sitoutuminen aikuisohjauksen kehittämiseen 32 32 TNO-palveluiden laadun parantaminen 28 TNO-palveluiden näkyvyys ja tunnettavuus 24 Ohjauksen ja neuvonnan yhteiskunnallisten, taloudellisten ja alueellisten hyötyjen näkyväksi tekeminen Aikuisten työmarkkina-aseman ja (työ)hyvinvoinnin parantuminen Alueellisten ohjausresurssien varmistaminen (osaava ja määrällisesti riittävä ohjaus- ja neuvontahenkilöstö) Aikuisopiskelussa aliedustettujen ryhmien osallistumista tukevien toimintamuotojen kehittäminen 6 7 8 12 Työnantajien kilpailukyvyn edistäminen 3 Taloudellisten resurssien turvaaminen TNO-palveluihin 2 0 10 20 30 40 Kuvio 3. Projektit, joissa vastausten keskiarvot projektien aikaansaannoksia koskeviin kysymyksiin olivat vähintään 3, lukumäärä 11

Kyselyssä vastaajia pyydettiin myös listaamaan viisi tärkeintä tulosta (valmiita ja käytössä olevia tuotteita tai aikaansaatua kehitystä) heidän edustamansa projektin osalta. Vastausten kirjo oli erittäin laaja ja niissä ilmeni huomattavia eroja myös projekteittain tarkasteltuna. Kokonaisuutena katsottuna vastaukset tukevat erittäin hyvin edellä esitettyjä havaintoja ohjelmalla aikaansaadusta kehityksestä. Kehittämisohjelmaan kuuluvien projektien toteutus on perustunut lähes poikkeuksetta verkostomaiseen toimintatapaan sekä yhteistyöhön alueellisten TNO-palveluita tuottavien toimijoiden kanssa. TNO-palveluita on tuotettu ja kehitetty yhdessä ja kokemuksia on vaihdettu. Alueelliset yhteystyökumppanit ja niiden palvelut ovat tulleet tutuiksi. Toimintatapa on jo itsessään edistänyt TNO-palveluita tuottavien organisaatioiden ja sidosryhmien johdon sitoutumista aikuisohjauksen kehittämiseen. Palvelujen ja toimintojen juurruttamisen näkökulmasta taustaorganisaatioiden johdon sitouttaminen on elinehto. Muutamat projektit ovat panostaneet voimakkaasti alueellisten TNO-palveluiden toimintamallin tai strategian luomiseen. Uusien palveluiden sekä kehittämisohjelmassa tuotettujen koulutusten myötä TNO-palveluiden laadun koetaan parantuneen sekä tieto-, neuvonta- ja ohjausosaamisen kehittyneen alan toimijoiden keskuudessa. Uusi ei kuitenkaan aina tarkoita, että projekteissa olisi kehitetty täysin uusi toimintamalli tai palvelu kansalaisten tai TNO-alan ammattilaisten käyttöön. Useissa projekteissa on ollut kyse siitä, että jo aikaisemmin muualla hyväksi havaittu toimintamalli on otettu käyttöön ja muokattu sitä alueen tarpeita vastaaviksi. Esimerkkeinä tästä toimivat erilaiset kasvokkain tarjottavat neuvonta- ja ohjauspalvelut, joita useissa kehittämisohjelmaan kuuluvissa projekteissa on tuotettu. Tarve näille palveluille on ollut ja tulee jatkossakin olemaan ilmeinen eri puolella Suomea. Kyselyn avulla selvitettiin myös kehittämisohjelmaan kuuluvien projektien tulosten valmiusastetta. Kaikista kyselyvastaajista 7,3 % koki, että heidän edustamansa projektin tuloksista on valmistunut lokamarraskuuhun 2011 mennessä 30 % tai vähemmän suhteessa projektille asetettuihin tavoitteisiin. Alle kuudesosa (14,7 %) vastaajista koki, että heidän edustamansa projektin tuloksista on valmistunut 31-60 % ja 39,6 % koki tulosten valmistuneen 61-90 prosenttisesti. Edustamansa projektin tuloksia piti yli 90 prosenttisesti valmiina 12,6 % kaikista kyselyvastaajista. Noin neljännes (25,7 %) kaikista vastaajista ei puolestaan osannut arvioida edustamansa projektin tulosten valmiusastetta. Tarkasteltaessa kyselyvastaajien näkemyksiä projektikohtaisten tulosten valmiusasteesta projektin alkamisvuoden, päättymisvuoden, projektin maantieteellisen toiminta-alueen sekä vastaajan aseman mukaan, ilmeni luokkien vastausten välillä tilastollisesti merkitseviä eroja taustamuuttujien mukaan. Kyselyvastaukset on esitetty taulukoissa 1-4 11. Taulukko 1. Kyselyvastaajien näkemykset projektikohtaisten tulosten valmiusasteesta projektin alkamisvuoden mukaan, %-osuudet Projektin alkamisvuosi 30 % tai vähemmän Tulosten valmiusaste 31-60 % 61-90 % Yli 90 % EOS 2008 (n=232) 5,5 % 12,5 % 39,2 % 17,2 % 25,4 % 2009 (n=111) 1,8 % 11,7 % 49,5 % 6,3 % 30,6 % 2010 (n=35) 28,6 % 40,0 % 14,3 % 2,9 % 14,3 % 2011 (n=3) 100 % 11 Kaikissa p=0,000 12

Taulukko 2. Kyselyvastaajien näkemykset projektikohtaisten tulosten valmiusasteesta projektin päättymisvuoden mukaan, %-osuudet Tulosten valmiusaste Projektin 30 % tai päättymisvuosi vähemmän 31-60 % 61-90 % Yli 90 % EOS 2011 (n=74) 12,2 % 13,5 % 27,0 % 18,9 % 28,4 % 2012 (n=245) 1,6 % 11,4 % 47,8 % 12,7 % 26,5 % 2013 (n=62) 24,2 % 29,0 % 22,6 % 4,8 % 19,4 % Taulukko 3. Kyselyvastaajien näkemykset projektikohtaisten tulosten valmiusasteesta projektin maantieteellisen toiminta-alueen mukaan, %-osuudet Projektin maantieteellinen toiminta-alue Pohjois-Suomi (n=57) Länsi-Suomi (n=112) Etelä-Suomi (n=144) Valtakunnallinen (n=68) 30 % tai vähemmän Tulosten valmiusaste 31-60 % 61-90 % Yli 90 % EOS 10,5 % 42,1 % 26,3 % 21,1 % 3,6 % 15,2 % 44,6 % 13,4 % 23,2 % 7,6 % 8,3 % 40,3 % 11,8 % 31,9 % 19,1 % 30,9 % 27,9 % 1,5 % 20,6 % Taulukko 4. Kyselyvastaajien näkemykset projektikohtaisten tulosten valmiusasteesta vastaajan aseman mukaan, %-osuudet Vastaajan asema projektissa Projektihenkilöstö (n=105) Ohjausryhmän jäsen (n=91) Yhteistyökumppani tai sidosryhmän edustaja (n=185) 30 % tai vähemmän Tulosten valmiusaste 31-60 % 61-90 % Yli 90 % EOS 8,6 % 21,9 % 50,5 % 13,3 % 5,7 % 3,3 % 14,3 % 59,3 % 9,9 % 13,2 % 8,6 % 10,8 % 23,8 % 13,5 % 43,2 % Kyselyssä vastaajia pyydettiin myös arvioimaan, onko heidän edustamansa projektin tuloksilla mahdollisuuksia juurtua pysyväksi toiminnaksi. Kaikista vastaajista 64,8 % koki, että tuloksilla on mahdollisuus juurtua soveltuvin osin pysyväksi toiminnaksi ja 34,9 % sellaisenaan. Vain yksi vastaaja koki, ettei tuloksilla ole lainkaan mahdollisuuksia juurtua pysyväksi toiminnaksi. Vuonna 2011 päättyvien projektien edustajista 51,4 % koki tulosten olevan mahdollista juurtua sellaisenaan. Vuonna 2012 päättyvien projektien osalla vastaava luku oli 30,7 % ja vuonna 2013 päättyvien 31,7 %. Erot ovat tältä osin myös tilastollisesti merkitseviä 12. 12 p=0,028 13

Osana kehittämisohjelman toimenpiteiden ja prosessien arviointia projektihenkilöstölle esitettiin kyselyssä kysymys: Mikäli edustamanne projekti aloitettaisiin nyt alusta, mitä tekisitte toisin? Kysymykseen saatiin 74 vastausta. Vastausten kirjo tähän kysymykseen oli hyvin vaihteleva ja niiden luokittelu sisällöllisiin kokonaisuuksiin osoittautui haasteelliseksi. Karkeasti luokiteltuna vastaukset voidaan jakaa kahteen luokkaan: 1) projektien tavoitteita, niiden täsmentämistä ja seurantaa koskevat vastaukset ja 2) projektien toteutusta ja toimenpiteitä koskevat vastaukset. Projektien tavoitteisiin liittyen muutamat vastaajat toivat esille, että heti projektin alkuvaiheessa olisi tullut panostaa voimakkaammin siihen, että kaikki mukana olevat toimijat (henkilöt ja organisaatiot) ymmärtäisivät ja sisäistäisivät projektihakemuksen ja -suunnitelman yhdenmukaisesti. Kyse on siis hankeidean sisäistämisestä, mikä pitää sisällään myös budjetin asettamat raamit ja mahdollisuudet. Eräs vastaaja peräänkuulutti projektin alkuvaiheessa pidettävää ideointiseminaaria, jossa työstettäisiin konkreettisia sisältöjä projektille. Muutamat vastaajat myös korostivat, että projektin tavoitteita, niiden etenemistä sekä resurssien käyttöä ja kohdentamista olisi tullut seurata systemaattisemmin ja tarvittaessa tehdä rohkeammin täsmennyksiä tavoitteisiin. Tavoitteisiin nähden vähäisiksi koetut henkilöstöresurssit nostettiin myös parissa vastauksessa esille. Projektien toimenpiteitä ja toteutusta koskevissa vastauksissa korostettiin voimakkaampaa panostamista projektissa mukana olevien toimijoiden, projektien taustaorganisaatioiden esimiesten ja johdon sekä kuntapäättäjien sitouttamiseen. Olemme käsitelleet kyseistä teemaa ja sen merkitystä tulosten juurruttamisen kannalta lähes poikkeuksetta kaikissa arviointihankkeen aikana tuotetuissa väliraporteissa. Toinen keskeinen teema liittyi tiedottamiseen ja markkinointiin projektien toimenpiteistä ja sisällöistä. Tässä kohden peräänkuulutettiin aktiivisuutta ja ennen kaikkea panostamista siihen jo projektin alkuvaiheesta lähtien. Eräs yksittäinen vastaaja nosti aiheellisesti esille, että keskeneräisistä asioista ei ole välttämättä perusteltua tiedottaa. Muita avovastauksissa esille nousseita yksittäisiä teemoja olivat: työelämän (erityisesti yritysten) kytkeminen voimakkaammin mukaan kehittämistyöhön ja kohderyhmäksi, panostaminen projektihenkilöstön koulutukseen koskien (ESR-)projektityötä, voimakkaampi yhteistyö rahoittajan edustajan kanssa heti projektin alkuvaiheesta lähtien sekä voimakkaampi panostaminen hakevaan toimintaan (mentäisiin heti alusta alkaen sinne, missä ihmisiä liikkuu; työpaikoille, kirjastoihin, te-toimistoihin ym. yleisökohteisiin ). 3.2 Kehittämisohjelmaa koordinoivat projektit 3.2.1 Yleisesti Kehittämisohjelmaa koordinoi kaksi projektia: Aikuisohjauksen koordinaatioprojekti sekä LAITURI-projekti. Aikuisohjauksen koordinaatioprojektin tehtävänä on tukea muita kehittämisohjelman projekteja sekä koota niissä syntyviä tuloksia, hyviä käytäntöjä ja levittää niitä valtakunnallisesti. Projektin toteuttaja on Jyväskylän ammattikorkeakoulun ammatillinen opettajakorkeakoulu. LAITURI-projekti aloitti syksyllä 2010 toimintansa osana valtakunnallista kehittämisohjelmaa. Projektin tavoitteena on vahvistaa ja tukea verkostomaisesti tuotettavien tieto-, neuvonta- ja ohjauspalvelujen kehittämistä, suunnittelua ja toteuttamista. Projektia toteuttaa Koulutus- ja kehittämiskeskus Salmia. Seuraavissa kappaleissa tarkastellaan kyselyyn vastanneiden projektipäälliköiden ja muiden projektityöntekijöiden näkemyksiä näiden kahden koordinaatioprojektin toiminnasta. 14

Loka-marraskuussa toteutetussa kyselyssä tarkasteltiin, miten tyytyväisiä projektipäälliköt ja muut projektityöntekijät ovat olleet Aikuisohjauksen koordinaatioprojektin ja LAITURI-projektin toimintaan vuonna 2011. Vastauksia analysoitiin keskiarvoittain asteikolla 1-5 13. Kuten kuviosta 4 voidaan havaita, ovat projektitoimijat suhteellisen tyytyväisiä Aikuisohjauksen koordinaatioprojektin toimintaan. Projektipäälliköt suhtautuvat sen toimintaan hieman muita projektityöntekijöitä positiivisemmin. Suhtautuminen LAITURIprojektin toimintaa kohtaan sen sijaan on jonkin verran kriittisempää. Muiden projektityöntekijöiden kokemukset LAITURI-projektin toiminnasta olivat hieman projektipäälliköitä positiivisempia, tosin erot ovat hyvin marginaalisia eivätkä ole tilastollisesti merkitseviä. Miten tyytyväinen olette Aikuisohjauksen koordinaatioprojektin toimintaan vuoden 2011 aikana? (n=51) 3,51 3,78 3,64 Miten tyytyväinen olette LAITURI-projektin toimintaan vuoden 2011 aikana? (n=67) 2,89 3,09 2,98 1 2 3 4 5 Projektipäällikkö Muu projektityöntekijä Yhteensä Kuvio 4. Projektihenkilöstön tyytyväisyys Aikuisohjauksen koordinaatio-projektin sekä LAITURI-projektin toimintaan vuoden 2011 aikana, keskiarvot asteikolla 1-5. Vastauksia tarkasteltiin myös sen mukaan, kuinka monessa projektissa vastausten keskiarvo ylitti hyvän rajan eli arvon 3,5. Aikuisohjauksen koordinaatioprojektin osalla kahdessa projektissa kolmesta (24 projektia, vastaukset saatiin tähän kysymykseen 36 projektista) vastausten keskiarvo ylitti arvon 3,5. LAITURI-projektin kohdalla sen sijaan vain kolmanneksessa projekteissa vastausten keskiarvo ylitti arvon 3,5 (7 projektia, vastaukset saatiin tähän kysymykseen 38 projektista). Kyselyvastauksia voi selittää se, että LAITURI-projekti on aloittanut toimintansa vasta vuonna 2010 eikä näin ollen ole kaikille projektitoimijoille vielä tuttu toimija. Kyselyssä projektitoimijoilta selvitettiin myös, näyttäytyykö Aikuisohjauksen koordinaatioprojektin ja LAITURI-projektin välinen työnjako selkeänä. Vastausten perusteella vain alle puolet projektitoimijoista kokee työnjaon olevan selkeä (kuvio 5). Projektipäälliköille näiden kahden projektin välinen työnjako näyttäytyy huomattavasti selkeämpänä kuin muille projektityöntekijöille, mutta projektipäälliköistäkin vain hieman yli puolet pitää työnjakoa selkeänä. 13 1=erittäin tyytymätön, 2=jokseenkin tyytymätön, 3=siltä väliltä, 4=jokseenkin tyytyväinen, 5=erittäin tyytyväinen 15

Projektipäällikkö (n=34) 52,9 % 47,1 % Muu projektityöntekijä (n=31) 35,5 % 64,5 % Yhteensä (n=65) 44,6 % 55,4 % 0 % 20 % 40 % 60 % 80 % 100 % Kyllä Ei Kuvio 5. Projektihenkilöstön vastaukset kysymykseen: Onko Aikuisohjauksen koordinaatioprojektin sekä LAITURI-projektin välinen työnjako mielestänne riittävän selkeä, %-osuudet Avovastausten perusteella näiden kahden projektin tavoitteet ja toimenpiteet eivät näyttäydy selkeinä. Etenkin LAITURI-projektin tehtävät ja tavoitteet ovat jääneet monelle hyvin epäselviksi. Osa projektitoimijoista ei ollut kuullut koko LAITURI-projektin olemassaolosta. Vaikka projektien välistä työnjakoa on esitelty eri tilaisuuksissa, ei projektien välinen ero ole silti avautunut kyselyyn vastanneille projektityöntekijöille. Aikuisohjauksen koordinaatioprojektin sekä LAITURI-projektin välistä työnjakoa ja vastuualueita tulisikin kyselyvastaajien mielestä selkeyttää vielä huomattavasti ja siitä tulisi myös tiedottaa kentälle. Avovastauksissa Aikuisohjauksen koordinaatioprojektin ja LAITURI-projektin välistä työnjakoa kommentoitiin mm. seuraavasti: Vaikea hahmottaa rajoja Laiturin toiminta on jäänyt täysin hämärän peittoon. En oikeastaan tiedä mitä Laituri tekee, vaikka olen ollut heidän esitystään kuulemassa seminaarissa 2 kertaa. En osaa sanoa onko työnjako projekteille itselleen selkeä, ulospäin ei aina ole. 3.2.2 Aikuisohjauksen koordinaatioprojekti Kyselyssä tiedusteltiin projektipäälliköiltä ja muilta projektityöntekijöiltä, miten hyvin Aikuisohjauksen koordinaatioprojekti on onnistunut tavoitteiden mukaisissa tehtävissä. Mitta-asteikko kysymyksissä oli 1-4 14. Vastausten perusteella Aikuisohjauksen koordinaatioprojekti on onnistunut parhaiten kehittämisohjelmaan kuuluvien projektien keskinäisen verkostoitumisen edistämisessä. Melko hyvin sen koetaan myös onnistuneen kehittämisohjelmassa syntyneiden tulosten ja hyvien käytäntöjen yhteen 14 1=Heikosti, 2=Tyydyttävästi, 3=Hyvin, 4=Kiitettävästi 16

kokoamisessa. Heikoimmin Aikuisohjauksen koordinaatioprojektin nähdään onnistuneen kehittämisohjelmaan kuuluvien projektien tukemisessa ja ohjauksessa koskien strategista ja sisällöllistä kehittämistä. Kuten jo edellä tuotiin esille, projektipäälliköillä on jonkin verran positiivisemmat näkemykset Aikuisohjauksen koordinaatioprojektin toimintojen onnistumisesta kuin muilla projektityöntekijöillä. Tämä voi osaltaan selittyä sillä, että yleensä projektipäälliköt ovat tiiviimmin yhteydessä koordinaatioprojektiin, mm. he osallistuvat useammin järjestettyihin tilaisuuksiin. Tosin tilastollisesti merkitsevä ero vastaajaryhmien välillä oli vain yhdessä väittämässä. Kuviossa 6 on esitetty keskiarvojen avulla projektityöntekijöiden arviot Aikuisohjauksen koordinaatioprojektin aikaansaannoksista suhteessa sille asetettuihin tavoitteisiin. Kehittämisohjelmaan kuuluvien projektien keskinäisen verkostoitumisen edistäminen* Aikuisohjauksen toimijoiden keskinäisen yhteistyön lisääminen Kehittämisohjelmaan kuuluvien projektien tukeminen ja ohjaus strategisessa ja sisällöllisessä kehittämisessä Kehittämisohjelmassa syntyneiden tulosten ja hyvien käytäntöjen kokoaminen yhteen Kehittämisohjelmassa syntyneiden tulosten ja hyvien käytäntöjen valtakunnallinen levittäminen 3,12 2,65 2,87 2,7 2,39 2,54 2,38 2,24 2,31 2,88 2,53 2,71 2,64 2,33 2,48 1 2 3 4 Projektipäälliköt Muut projektityöntekijät Yhteensä Kuvio 6. Projektityöntekijöiden arviot Aikuisohjauksen koordinaatioprojektin aikaansaannoksista, keskiarvot asteikolla 1-4 15 Kyselyvastauksia tarkasteltiin myös sen mukaan, kuinka monessa projektissa kysymyskohtainen vastausten keskiarvo oli vähintään 3 (=hyvin). Myös tässä tarkastelussa kehittämisohjelmaan kuuluvien projektien keskinäisen verkostoitumisen edistäminen koetaan Aikuisohjauksen koordinaatioprojektin merkittävimmäksi onnistumiseksi (23 projektissa vastausten keskiarvo yli arvon 3, vastaukset saatiin 37 projektista). Ja heikoiten, kuten keskiarvovertailussakin, on vastaajien näkökulmasta onnistuttu kehittämisohjelmaan kuuluvien projektien tukemisessa ja ohjauksessa koskien strategista ja sisällöllistä kehittämistä (14 projektissa vastausten keskiarvo yli arvon 3, vastaukset saatiin 37 projektista). Kuviossa 7 15 Kuvioon on merkattu tähdellä kysymykset, joissa ilmeni tilastollisesti merkitseviä eroja taustamuuttujien luokkien vastausten välillä. 17

on esitetty kysymyksittäin projektihenkilöstön suhtautuminen Aikuisohjauksen koordinaatioprojektin toteutuksen onnistumista koskeviin kysymyksiin (niiden projektien lukumäärä, joissa vastausten keskiarvo oli asteikolla 1-4 mitattuna vähintään 3). Kehittämisohjelmaan kuuluvien projektien keskinäisen verkostoitumisen edistäminen 23 Kehittämisohjelmassa syntyneiden tulosten ja hyvien käytäntöjen kokoaminen yhteen 16 Aikuisohjauksen toimijoiden keskinäisen yhteistyön lisääminen 15 Kehittämisohjelmassa syntyneiden tulosten ja hyvien käytäntöjen valtakunnallinen levittäminen 15 Kehittämisohjelmaan kuuluvien projektien tukeminen ja ohjaus strategisessa ja sisällöllisessä kehittämisessä 14 0 10 20 30 40 Kuvio 7. Projektit, joissa vastausten keskiarvot Aikuisohjauksen koordinaatioprojektin aikaansaannoksia koskeviin kysymyksiin olivat vähintään 3, lukumäärä Kyselyn avovastaukset tukevat melko hyvin kuvioissa 6 ja 7 esitettyjä tuloksia. Tiedusteltaessa projektitoimijoilta minkälaista tukea heidän edustamansa projekti on saanut Aikuisohjauksen koordinaatioprojektilta (vastauksia saatiin 60 kpl), pidettiin yhtenä merkittävänä asiana juuri kehittämisohjelmaan kuuluvien projektien keskinäistä verkostoitumista. Verkostoitumista ovat edesauttaneet erilaiset yhteiset tapaamiset, kuten teemaryhmien tapaamiset, projektipäällikkötapaamiset sekä etenkin Opin ovi-klinikat. Opin ovi-klinikoilla alueelliset projektit ovat voineet jakaa kokemuksiaan muille toimijoille, mitä pidettiin verkostoitumisen ja oppimisen kannalta erittäin hyödyllisenä. Myös Aikuisohjauksen koordinaatioprojektin järjestämät verkostovalmennukset saivat paljon kiitosta. Aikuisohjauksen koordinaatioprojektilta on lisäksi saatu paljon ajankohtaista tietoa mm. siitä, mitä asioita kehittämisohjelmassa on meneillään. Vastauksissa nostettiin esille myös koordinaatioprojektilta saatu tekninen tuki oman projektin nettisivujen ylläpitoon. Projektipäällikköjen klinikkapäivät ovat tarjonneet monipuolista asiasisältöä, isommat seminaarit ovat luoneet hyvää yhteenkuuluvuutta ja aikuisohjauksen ammatillisuutta Verkostovalmennussarja on ollut hyvä tuki Oman projektin nettisivujen päivittämiseen ja siihen liittyviin kysymyksiin on aina saanut hyvin tukea ja apua koordinaatioprojektilta Vastaajilta tiedusteltiin myös, mitä toiveita heillä on jatkossa Aikuisohjauksen koordinaatioprojektin suhteen (vastauksia saatiin 48 kpl). Vastaajat toivovat ennen kaikkea, että Aikuisohjauksen 18

koordinaatioprojekti panostaisi vielä enemmän alueellisissa projekteissa saavutettujen tulosten ja hyvien käytäntöjen yhteen keräämiseen sekä niiden levittämiseen ja tiedottamiseen valtakunnallisesti. Vastaajat myös toivovat, että verkostoitumista edistettäisiin jatkossakin muun muassa alueellisten tapaamisten muodossa. Osa vastaajista kritisoi Aikuisohjauksen koordinaatioprojektia liian Jyväskyläkeskeiseksi. He toivovat, että tilaisuuksia järjestettäisiin eri puolella Suomea. 3.2.3 LAITURI-projekti Verkostoitumisen edistäminen jatkossakin on erittäin tärkeää. Hyvien käytäntöjen ja tulosten kokoamista yhteen vielä selkeämmällä tavalla. Alueellisten hyvien käytäntöjen mahdollisimman tehokas levittäminen valtakunnallisesti sekä välineitä/ideoita toiminnan juurruttamiseen. Kyselyssä vastaajia pyydettiin arvioimaan asteikolla 1-4 16, miten hyvin LAITURI-projekti on kyennyt tukemaan tieto-, neuvonta- ja ohjauspalvelujen kehittämistä ja toteuttamista heidän edustamansa projektin toiminta-alueella. Kuviosta 8 voidaan havaita, etteivät vastaajat koe tämän toimenpiteen onnistuneen kovinkaan hyvin. 17 henkilöä vastasi, etteivät LAITURI-projektin toimenpiteet kohdistuneet heidän edustamansa projektin toiminta-alueelle. Projektipäällikkö (n=21) 2,1 Muu projektityöntekijä (n=23) 2 Yhteensä (n=44) 2 1 2 3 4 KUVIO 8. Projektinhenkilöstön arviot, miten hyvin LAITURI-projekti on kyennyt tukemaan tieto-, neuvonta- ja ohjauspalvelujen kehittämistä ja toteuttamista edustetun projektin toiminta-alueella, keskiarvot asteikolla 1-4 Kyselyvastauksia tarkasteltiin myös sen mukaan, kuinka monessa projektissa vastausten keskiarvo ylitti arvon 3. Vain seitsemässä projektissa vastausten keskiarvo oli yli arvon 3 (vastauksia saatiin 30 projektista). Kyselyvastaajilta tiedusteltiin myös, mitä tai millaista tukea heidän edustamansa projektin on saanut LAITURI-projektilta (vastauksia saatiin 51 kpl). Monet vastaajat totesivat, etteivät he osaa sanoa, ovatko he 16 1=Heikosti, 2=Tyydyttävästi, 3=Melko hyvin, 4=Kiitettävästi 19

hyötyneet LAITURI-projektista tai etteivät he koe hyötyneensä projektista mitenkään. Osa vastaajista koki LAITURI-projektin aloittaneen toimintansa aivan liian myöhäisessä vaiheessa. Merkittävimmäksi hyödyksi vastauksissa nousi esille teematyöryhmät, joiden koettiin olevan varsin onnistuneita. Vastaajat olivat saaneet myös apua verkostoitumiseen ja materiaalien levittämiseen. Kysyttäessä vastaajilta mitä toiveita heillä on LAITURI-projektin suhteen (vastauksia 37), totesivat monet, etteivät he osaa sanoa, sillä he eivät tunne projektia tarpeeksi hyvin. Moni toivoi projektilta aktiivisempaa suuntautumista ja läpinäkyvämpää tiedottamista projektien suuntaan. Projektilta toivottiin myös sujuvampaa työotetta, ettei tulisi päällekkäisiä sähköposteja, virheellisiä päivämääriä jne. Myös tapahtumien toivotaan olevan entistä koordinoidumpia ja niillä toivotaan olevan selkeä tavoite ja päämäärä. Teematyöryhmätyöskentelyyn kaivataan jämäkkyyttä. Teematyöryhmien työ ja hyvät käytännöt tulisi vastaajien mukaan koota yhteen ja niitä tulisi levittää mm. päättäjien suuntaan. 3.3 NUOVE neuvonta- ja ohjauspalveluiden kehittämisprojekti 3.3.1 Taustaa Kehittämisohjelmaan kuuluu kolme laaja-alaista osaohjelmaa, joista kahdessa toteutuksen päävastuu on ollut NUOVE-projektilla ( sähköisten palvelujen kehittäminen erityisesti neuvontatoiminnassa aikuiskoulutuksen osuvuuden ja suunnitelmallisuuden parantamiseksi sekä ohjaustyön arviointi ja tutkimus ). Projektin toteuttamisesta on vastannut työ- ja elinkeinoministeriö (Työllisyys- ja yrittäjyysosasto 31.8.2011 asti, 1.9.2011 lähtien Tieto-osasto). NUOVE-projekti jakaantuu kolmeen osioon: sähköisten koulutusneuvonta- ja uraohjauspalvelujen kehittäminen verkossa, ohjauksen arviointivälineiden ja menetelmien tutkimusosio sekä kehittämisohjelman arviointitutkimus (=tämä arviointitutkimus). Projektin keskeisimpinä tavoitteina on ollut: kehittää nykyisiä ja tuottaa uusia koulutusneuvonnan ja uraohjauksen sähköisiä palveluja kehittää uusia toimintamalleja ko. työ- ja elinkeinohallinnon palveluihin yhteistyössä opetushallituksen ja CIMO:n kanssa tuottaa uusia työvälineitä ja -menetelmiä neuvonta- ja ohjauspalvelujen seurantaan, suunnitteluun ja arviointiin valtakunnallisella ja alueellisella tasolla Lisäksi kehittämisohjelman strategia-asiakirjassa on vastuutettu NUOVE-projektille (joko yksin tai yhdessä muiden toimijoiden kanssa) seuraavat toimenpiteet ohjelmatason tavoitteiden saavuttamiseksi: Luodaan valtakunnalliset arviointikriteerit, joiden avulla arvioidaan TNO-palvelujen ja alueellisten verkostojen toimivuutta (tutkimusosio yhdessä kehittämistiimin kanssa) Tuotetaan tietoa TNO-palvelujen koordinoinnin ja aluehallinnon tueksi (tutkimusosio yhdessä kehittämistiimin kanssa) Luodaan valtakunnallinen koulutusneuvonnan ja ohjauksen selkokielinen sisäänmenosivusto/portaali sekä monikanavaiset sähköiset palvelut Luodaan alueellista ohjaustyötä joustavasti kehittävä työpajojen, foorumien ja vaikuttavuuden seurannan kokonaisuus (tutkimusosio yhdessä tämän arviointitutkimuksen kanssa) Arvioidaan alueilla tehtävää kehittämistyötä (=tämä arviointitutkimus) Arvioidaan verkoston toimintaa ja kehitetään sitä jatkuvasti (tutkimusosio yhdessä alueellisten projektien kanssa) 20

Kytketään tutkimus- ja arviointiprojektit 3A ja 3B valtakunnalliseen kehittämisyhteistyöhön Tunnistetaan ja kuvataan prosessit (tutkimusosio) Kuvataan ja arvioidaan jo olemassa olevia sekä kehitettäviä käytäntöjä (tutkimusosio yhdessä alueellisten projektien sekä koordinaatioprojektin kanssa) Tehdään ohjauksen ja neuvonnan yhteiskunnalliset, taloudelliset ja alueelliset hyödyt näkyväksi (tutkimusosio yhdessä tämän arviointitutkimuksen, kehittämistiimin sekä alueellisten projektien kanssa) Kehitetään laadunvarmistusvälineet mittaamaan poikkihallinnollisen yhteistyön toimivuutta ja vaikuttavuutta (tutkimusosio) Valmistetaan eri ohjaus- ja neuvontatehtävissä oleville henkilöille kompetenssikuvaukset (tutkimusosio) Tunnistetaan ja kuvataan kustannustehokkaita prosesseja ja työmuotoja. Kartoitetaan nykytilanne. (tutkimusosio yhdessä alueellisten projektien kanssa) Totesimme arvioinnin I vaiheen loppuraportissa NUOVE-projektista mm. seuraavaa: Projektilla on keskeinen rooli koko valtakunnallisessa kehittämisohjelmassa: Projektin vastuulla on sähköisten ohjaus- ja neuvontapalveluiden kehittäminen koko kehittämisohjelman tasolla. Projektin toteutuksen haasteena on ollut mm. projektin eri osioiden linkittäminen toisiinsa siten, että kokonaisuus olisi osallistujille, eri organisaatioille ja ulkopuolisille mahdollisimman selkeä. NUOVEn alkuperäisen projektisuunnitelman mukaiset tavoitteet koskien sähköisten palveluiden kehittämisaikataulua osoittautuivat epärealistisiksi. Projekti tarvitsee jatkossa myös voimakkaampaa tukea ja selkeitä toimintaa ohjaavia linjauksia työja elinkeino- ja opetus- ja kulttuuriministeriön sekä opetushallituksen johtavilta virkamiehiltä. Rahoittajan tekemän arvion mukaan NUOVE-projektia ei voida toteuttaa projektisuunnitelman mukaisesti. Rahoittaja informoi asiasta 5.9.2011 ja edellytti projektilta tarvittavia korjaustoimenpiteitä. Asiaa käsittelevässä työ- ja elinkeinoministeriön ohjeessa 17 todetaan, että rahoittaja tekee uuden rahoituspäätöksen päättää hankkeen 31.12.2011. Projektin keskeyttämistä esitettiin mm. NUOVEprojektin tilaamassa kartoituksessa koskien sähköiset palvelut -osion työmenetelmiä ja toimintaympäristöä. Raportissa todetaan mm., että projektin keskeyttämistä koskevan esityksen taustalla on aiheellinen uhka siitä, että NUOVE:n kehittämistoimintaan varatut tuet käytetään ilman, että projekti on kuitenkaan riittävän merkittävästi kyennyt edistämään sähköisten TNO-palveluiden tilaa. Perusteltuina esitykselle olivat mm. seuraavat havainnot: projektin toteutuksen ja tuotteiden jääminen jälkeen suunnitelluista aikatauluista, epäselvyydet projektihenkilöstön rooleissa ja vastuissa, kehitettävien palveluiden irrallisuus rakenteista, yhteistyökäytäntöjen epäselvyys TE- ja opetushallinnon toimijoiden kesken, projektihenkilöstön sisäisen koheesion heikkous, haasteet vaatimusmäärittelyissä, ATK-osaamisen puute sekä projektin taloudellinen ylibudjetointi. 18 17 Työ- ja elinkeinoministeriö. OHJE 12.9.2011. NUOVE neuvonta- ja ohjauspalveluiden kehittämisprojektin päättämistoimet. Dnro TEM/828/578/2008. 18 NUOVE-projektin sähköiset palvelut -osion työmenetelmien ja toimintaympäristön kartoitus ja toimenpidesuositukset vuosille 2011-2013. Hanketaito Oy. Elokuu 2011. 21