Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalvelujen valtakunnallisen kehittämisohjelman arviointi Toinen väliraportti 19.8.2010 NUOVE neuvonta- ja ohjauspalveluiden kehittämisprojekti Kuntoutussäätiö Innokuntoutus
Sisällys 1 Johdanto...2 2 Arviointitehtävä ja arvioinnin eteneminen...3 2.1 Arvioinnin kohdentuminen...3 2.2 Väliraportissa hyödynnetyt aineistot ja menetelmät...4 2.3 Arvioinnin seuraavat vaiheet...5 3 Havaintoja arviointiaineiston pohjalta...7 3.1 Koordinaatio- ja seurantaryhmän toiminta...7 3.2 Kehittämisohjelmatiimin toiminta...9 3.3 Itsearviointityöpajojen tuotoksia...11 4 Yhteenveto ja kehittämisehdotukset...15 Lähteet...19 Liitteet...20 1
1 Johdanto Kuntoutussäätiö toteuttaa Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalvelujen valtakunnallisen kehittämisohjelman arvioinnin vuosina 2009 2010. Arvioinnin toteuttaminen perustuu työ- ja elinkeinoministeriön (myöhemmin tilaajan) sekä Kuntoutussäätiön keskinäiseen sopimukseen. Arviointi on osa NUOVE neuvonta- ja ohjauspalveluiden kehittämisprojektia ja se toteutetaan alkuperäisen työsuunnitelman mukaisesti kahdessa vaiheessa. Toistaiseksi työ- ja elinkeinoministeriön ja Kuntoutussäätiön kesken on sovittu ensimmäisen vaiheen toteuttamisesta ja sisällöistä vuosina 2009 2010. Arviointihanke on tähän mennessä edennyt työsuunnitelman mukaisesti. Vuosina 2009 2010 painopiste on kehittämisohjelmaan kuuluvien projektien toimenpiteiden ja prosessien arvioinnissa. Kehittämisohjelman arvioinnin ensimmäinen väliraportti valmistui helmikuussa 2010. Siinä tarkasteltiin kehittämisohjelman ja siihen kuuluvien projektien koherenssia, relevanssia, toimenpiteitä ja prosesseja, alustavia tuotoksia ja tuloksia, Aikuisohjauksen koordinaatioprojektia, Ohjauksen arviointivälineiden ja menetelmien tutkimusosiota sekä projektitason itsearviointia. Ensimmäisessä väliraportissa nostimme mm. esille sen, että kehittämisohjelmalle on olemassa selkeä yhteiskunnallinen tilaus, mutta ohjelma on iso ja vaikeasti hahmotettava kokonaisuus, josta ei ole tiedotettu riittävästi valtakunnallisella tasolla. Kehittämisohjelmaan kuuluvien projektien tavoitteiden todettiin olevan varsin hyvin linjassa kehittämisohjelman strategiassa mainittujen tavoitteiden/osa-alueiden kanssa ja projektien toimenpiteiden kohdistamisen suhteessa asetettuihin tavoitteisiin arvioitiin onnistuneen kohtuullisen hyvin. 1 Tässä toisessa väliraportissa esitetään keskeisimmät arviointihavainnot ja johtopäätökset ajanjaksolla maaliskuu elokuu 2010 kerätyn aineiston pohjalta. Väliraportissa hyödynnetyt aineistot ja menetelmät on kuvattu luvussa 2.2. Tilaajan kanssa sovitun mukaisesti väliraportissa tarkastellaan toimenpiteiden ja prosessien tehokkuuden ja tarkoituksenmukaisuuden näkökulmista koordinaatio- ja seurantaryhmän toimintaa (luku 3.1), kehittämisohjelmatiimin toimintaa (luku 3.2) sekä tuodaan esille keskeisimmät havainnot ja tuotokset tähän mennessä toteutetuista projektikohtaisista itsearviointiprosesseista (luku 3.3). Lisäksi raportissa esitetään täsmennetty suunnitelma arvioinnin seuraavista vaiheista vuonna 2010 (luku 2.3). Laaja, kaikkiin arviointikysymyksiin vastaava väliraportti toimitetaan tilaajalle joulukuussa 2010. 1 Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalvelujen valtakunnallisen kehittämisohjelman arviointi. Väliraportti 25.2.2010. Kuntoutussäätiö, Innokuntoutus. 2
2 Arviointitehtävä ja arvioinnin eteneminen 2.1 Arvioinnin kohdentuminen Työsuunnitelman mukaisesti arvioinnin kohteena on koko valtakunnallinen kehittämisohjelma, sisältäen: valtakunnallisen koordinaatio- ja seurantaryhmän toiminnan valtakunnallisen kehittämisohjelmatiimin toiminnan kehittämisohjelman Aikuisohjauksen koordinaatioprojektin toiminnan Aikuisohjaus työelämän voimavarana osa-ohjelman toiminnan o OPIN OVI -alueprojektit o STUDIO -projekti o ERKKERI -projektit NUOVE neuvonta- ja ohjauspalvelujen kehittämisprojektin toiminnan o Koulutusneuvonnan- ja uraohjauspalveluiden kehittäminen verkossa osio o Ohjauksen laadun arviointitutkimusosio Arvioinnin tavoitteena on tuottaa tietoa valtakunnallisen kehittämisohjelman ja siihen kuuluvien projektien: Koherenssista (tavoitteiden, toimintasuunnitelmien sekä osittain myös toimenpiteiden sisällöllinen yhteneväisyys keskenään sekä suhteessa kansallisiin politiikkoihin ja politiikkaohjelmiin, hallinnonalakohtaisiin strategioihin ja toimintasuunnitelmiin) Relevanssista (tavoitteiden ja toimintasuunnitelmien vastaavuus ja tarkoituksenmukaisuus suhteessa kohderyhmän edustajien (erityisesti alueiden edustajat, projektitoimijat, yksilöt sekä työnantajat) tarpeisiin) Toimenpiteistä ja prosesseista Tuotoksista ja tuloksista Vaikuttavuudesta Hyödystä ja kestävyydestä 3
Vuosina 2009 2010 painopiste on kehittämisohjelmaan kuuluvien projektien toimenpiteiden ja prosessien arvioinnissa. Tässä väliraportissa tarkastellaan 1.) koordinaatio- ja seurantaryhmän toimintaa, 2.) kehittämisohjelmatiimin toimintaa sekä 3.) raportoidaan keskeisimmät havainnot ja tuotokset tähän mennessä toteutuneista projektikohtaisista itsearviointityöpajoista. 2.2 Väliraportissa hyödynnetyt aineistot ja menetelmät Tätä väliraporttia varten on kerätty aineistoa koordinaatio- ja seurantaryhmän jäsenten haastatteluiden, kehittämisohjelmatiimin jäsenille suunnatun itsearviointikyselyn sekä projektikohtaisten itsearviointikyselyiden ja erityisesti työpajojen avulla. Koordinaatio- ja seurantaryhmän jäsenten haastatteluita toteutettiin huhti toukokuun välisenä aikana puhelimitse yhteensä 17 kpl. Lista haastatelluista henkilöistä on raportin liitteenä. Pyydettäessä haastattelukysymykset toimitettiin haastateltaville henkilöille etukäteen. Haastattelukysymykset koskivat 1.) koordinaatio- ja seurantaryhmän toimintaa, 2.) kehittämisohjelmatiimin toimintaa sekä 3.) yleisesti valtakunnallista kehittämisohjelmaa. Haastatteluista tehtiin muistiinpanot tietokoneelle. Haastatteluiden tuottama aineisto on analysoitu laadullista sisällönanalyysiä hyödyntäen. Tässä väliraportissa raportoidaan keskeisimmät havainnot koordinaatio- ja seurantaryhmän toiminnan sekä kehittämisohjelmatiimin toiminnan osalta. Yleisesti koko valtakunnallista kehittämisohjelmaa koskevia havaintoja käydään alustavasti läpi ja työstetään koordinaatio- ja seurantaryhmän ns. sparrauspäivässä (28.9.2010) sekä kehittämisohjelmatiimin jäsenille suunnatussa itsearviointityöpajassa, jonka ajankohta sovitaan erikseen tilaajan kanssa. Valtakunnallista kehittämisohjelmaa koskevat havainnot raportoidaan varsinaisesti kokonaisuudessaan joulukuun raportissamme. Kehittämisohjelmatiimin jäsenille suunnattu itsearviointikysely toteutettiin kesäkuun (viikoilla 23-25) aikana. Käytännössä jokaiselle kehittämisohjelmatiimin varsinaiselle jäsenelle lähetettiin sähköpostiviesti, joka sisälsi linkin kyselyyn vastaamiseksi sekä saatekirjeen. Varsinainen kysely toteutettiin Webropol-ohjelmaa hyödyntäen. Vastauksia karhuttiin kaksi kertaa. Kyselyyn vastasi kahdeksan kehittämisohjelmatiimin jäsentä (vastausprosentti n. 73). Kysely toimi samalla ohjelmatason itsearviointimallin pilotointina. Itsearviointimallin sisältöjä on työstetty arviointitiimin ja tilaajan edustajien kesken arviointihankkeen edetessä. Itsearviointikysely koostui kahdeksasta eri osiosta: 1.) Kehittämisohjelman tavoitteet, 2.) Kehittämisohjelmatiimin työskentely, 3.) Koordinaatio- ja seurantaryhmän työskentely, 4.) Kehittämisohjelman toiminnan organisointi ja resurssit, 5.) Kehittämisohjelman toimenpiteet ja toteutus, 6.) Yhteistyöverkosto, 7.) Viestintä ja tiedottaminen ja 8.) Tulokset ja vaikuttavuus. Tässä väliraportissa raportoidaan osioiden 2 ja 3 keskeisimmät tulokset. Muiden osioiden tulokset raportoidaan erillisessä kehittämisohjelmatiimin jäsenille suunnatussa itsearviointityöpajassa, johon viitattiin jo edellä. 4
Itsearviointikyselyn jokainen osio piti sisällään yksittäisiä väittämiä sekä yhden avokysymyksen. Väittämissä vastausten mitta-asteikko oli 1-5. Kyselyn tuottama määrällinen aineisto on analysoitu aritmeettisia keskiarvoja hyödyntäen. Kyselyn tulokset raportoidaan kolmannessa pääluvussa sanallisesti. Avokysymyksissä kehittämisohjelmatiimin jäseniä pyydettiin kuvaamaan oma näkemyksensä kunkin osion nykytilanteesta tai siihen liittyvistä kehittämistarpeista. Lisäksi avokysymyksissä oli mahdollista perustella vastauksiaan väittämä-muotoisiin kysymyksiin. Kyselyn tuottama laadullinen aineisto (avovastaukset) on analysoitu sisällön analyysiä hyödyntäen. Raportin liitteissä (liitteet 2 ja 3) on esitetty kehittämisohjelmatiimin sekä koordinaatio- ja seurantaryhmän toiminnan onnistumista mittaavien väittäminen tulokset kuvioiden avulla. Projektikohtaisia itsearviointikyselyitä ja -työpajoja on toteutettu tähän mennessä kolme kpl. Tässä väliraportissa tuodaan esille arviointitiimin omia havaintoja itsearviointimallin toimivuudesta ja kehittämistarpeista sekä itsearviointityöpajoissa ja kyselyissä esille nousseet yleiset huomiot. Itsearviointimallin keskeinen periaate on, ettei itsearviointikyselyiden tuloksia raportoida projektikohtaisesti. Ajantasainen lista projektitason itsearviointien toteuttamisesta on toimitettu tilaajalle erikseen. 2.3 Arvioinnin seuraavat vaiheet Täsmennetyn työsuunnitelman mukaisesti kehittämisohjelman arvioinnin seuraavat vaiheet ovat: Projektikohtaiset itsearviointikyselyt- ja työpajat (elo-marraskuu) o Kussakin työpajassa käydään projektikohtaiset itsearvioinnin tulokset läpi ja työstetään ehdotuksia toiminnan kehittämiseksi. Kehittämisohjelmatiimin itsearviointityöpaja (ajankohta sovitaan erikseen tilaajan kanssa) Osallistuminen Opin Ovi klinikalle (1.9.2010) Koordinaatio- ja seurantaryhmän sparrauspäivä (28.9.2010) Kehittämisohjelman arviointiseminaari II, (2.-3.11.2010) o Seminaari järjestetään Opin Ovi klinikan yhteydessä. Arviointiseminaarille on varattu puoli päivää. o Alustavan suunnitelman mukaan seminaarissa: esitellään havaintoja, johtopäätöksiä ja kehittämisehdotuksia arviointiaineiston pohjalta sekä testataan niiden paikkaansa pitävyyttä testataan arviointikehikkoa ja sen toimivuutta esitellään projektien hyviä käytäntöjä toiminnan sekä itsearvioinnin osalta 5
kerätään arviointiaineistoa teemakohtaisten workshopien sekä kyselyn avulla o Seminaarin sisältö täsmentyy syksyn aikana. Aineiston kokonaisanalyysi ja raportointi (joulukuu) o Arvioinnin ensimmäisen vaiheen loppuraportti luovutetaan tilaajalle 9.12.2010 mennessä. 6
3 Havaintoja arviointiaineiston pohjalta 3.1 Koordinaatio- ja seurantaryhmän toiminta Koordinaatio- ja seurantaryhmä nimitettiin tehtäväänsä 1.11.2006. Koordinaatio- ja seurantaryhmä on asetettu kehittämään ja seuraamaan aikuisopiskelun tietopalvelun, neuvonnan ja ohjauksen toimenpideohjelmaa (TM 365/2006). 2 Lisäksi koordinaatio- ja seurantaryhmä toimii Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelman ohjausryhmänä. Koordinaatio- ja seurantaryhmän puheenjohtajina toimivat työmarkkinaneuvos Teija Felt työja elinkeinoministeriöstä ja opetusneuvos Raija Meriläinen opetus- ja kulttuuriministeriöstä. 3 Koordinaatio- ja seurantaryhmässä on 27 jäsentä, jotka edustavat 20 eri organisaatiota. Koordinaatio- ja seurantaryhmän asettamista koskevissa virallisissa asiakirjoissa ei ole yksilöidysti määritelty koordinaatio- ja seurantaryhmän tehtäviä. 23.11.2007 pidetyssä koordinaatio- ja seurantaryhmän kokouksessa koordinaatio- ja seurantaryhmän tehtäviksi määriteltiin seuraavat tehtävät 4 : Kehittää ja seurata aikuisopiskelun tietopalvelun, neuvonnan ja ohjauksen kansallista toimintaa. ESR-kehittämisohjelman koordinaatio. Ohjata ja seurata kehittämisohjelman toteutumista ministeriötasolla. Valvoa, että kehittämisohjelman rahoitus suuntautuu kansallisen kehittämispolitiikan kannalta keskeisiin tavoitteisiin. Arvioida projektikokonaisuuden tuloksia suhteessa kehittämisohjelman tavoitteisiin. Määritellä kunkin projektihaun valintakriteerit ja valinnan perusteet sekä vahvistaa välittävän toimielimen tekemän esityksen rahoitettaviksi projekteiksi. Hyväksyä kehittämisohjelman viestintä- ja levittämissuunnitelma sekä muut kehittämisohjelman toiminnan ja vaikuttavuuden kannalta keskeiset suunnitelmat. 2 Opetusministerin ja työministerin asettaman koordinaatioseurantaryhmän asettaminen ja kehittämisohjelmatiimin asettaminen. 12.6.2008. TEM223:00/2008. 3 Asettamiskirje 2.10.2009. Opetusministeriö ja työ- ja elinkeinoministeriö. Dnro: OPM52/040/2008. TEM024:00/2008. 4 Kokousmuistio koordinaatio- ja seurantaryhmän kokouksesta 23.11.2007 7
Käsitellä kaksi kertaa vuodessa kehittämisohjelman hankkeiden etenemistä kuvaavat yhteenvedot. Seurata rahoituksen jakautumista eri teemojen ja alueiden välillä. Osa koordinaatio- ja seurantaryhmän jäsenistä koki, että ryhmän rooli ja tehtävät ovat selkeästi määriteltyjä. Kuitenkin myös useat jäsenet kokivat, ettei ryhmän rooli ja tehtävät ole vielä täsmällisesti määritelty, eivätkä ne ole heille täysin selkiytyneet. Myöskään koko Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelma tai sen sisällöt eivät näyttäydy kaikille ryhmän jäsenille selkeinä. Haastatellut henkilöt toivoivatkin, että koordinaatio- ja seurantaryhmän tehtävänkuvaa ja roolia vielä täsmennettäisiin. Myös kehittämisohjelmatiimin ja koordinaatio- ja seurantaryhmän välistä työnjakoa tulisi tarkentaa, sillä tällä hetkellä se esiintyy osalle jäsenistä epäselvänä. Keskeisimmiksi koordinaatio- ja seurantaryhmän tehtäviksi ryhmän jäsenet mainitsevat kehittämisohjelman ohjauksen ja koordinoinnin sekä kannanotot esille tuleviin asioihin. Ryhmän roolina nähdään myös valvovana elimenä toimiminen. Koordinaatio- ja seurantaryhmän tulee seurata sitä, tehdäänkö kehittämisohjelmassa niitä asioita, joita on luvattu. Tarvittaessa koordinaatio- ja seurantaryhmä tarkentaa kehittämisohjelman suuntaa ja antaa kehittämisehdotuksia. Koordinaatio- ja seurantaryhmä toimii myös korkeimpana asiantuntijaelimenä kehittämisohjelmassa. Osa koordinaatio- ja seurantaryhmän jäsenistä kokee, että ryhmän tehtävät ovat perusteltuja, mutta toistaiseksi sen käytännössä tuoma hyöty kehittämisohjelmalle on ollut vähäinen. Monen koordinaatio- ja seurantaryhmän jäsenen mielestä ryhmän toiminta ja käsitellyt asiat ovat olleet tähän mennessä aika ylätasolla, eikä vielä ole riittävästi päästy kiinni konkretiaan ja käytännön asioihin. Koordinaatio- ja seurantaryhmän toivotaankin jatkossa keskittyvän entistä enemmän koordinointiin, eikä pelkästään seurantaan. Koordinaatio- ja seurantaryhmä voisi haastateltavien mukaan myös olla vielä toteutunutta enemmän suuntaa antava toimielin. Joidenkin mielestä koordinaatio- ja seurantaryhmän tulisi myös tehdä enemmän kansallisia linjauksia, mutta toistaiseksi niitä ei ole tehty. Toisaalta osa haastatelluista nosti esille, että koordinaatio- ja seurantaryhmässä katsotaan kehittämisohjelman kokonaisuutta, ja että ryhmän toiminta on jämäköittänyt kehittämisohjelmaa mm. tuomalla näkemyksiä ja määrittämällä suuntaviivoja ohjelman toteutukseen. Lisäksi esille nostettiin osallistuminen kehittämisohjelman strategian luomiseen sekä koko ohjelman tunnetuksi tekeminen ryhmän jäsenten omien verkostojen kautta. Koordinaatio- ja seurantaryhmässä on yhteensä 27 jäsentä, jotka edustavat 20 eri tahoa. Niin haastattelu- kuin kyselyaineiston perusteella voidaan todeta, että oleelliset tahot ovat edustettuina ryhmässä. Useiden eri tahojen edustus koetaan Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin -kehittämisohjelman kannalta tärkeänä, jotta eri näkemykset tulevat esille riittävän monipuolisesti. Koordinaatio- ja seurantaryhmässä työelämälähtöisyys sekä tieto-, neuvonta-, ohjauspalvelut kohtaavat toisensa. Ryhmän monialaisuus nähdäänkin erittäin positiivisena asiana, samoin kuin työ- ja elinkeinoministeriön sekä opetus- ja kulttuuriministeriön keskinäinen yhteistyö. Tämä siitä huolimatta, että työ- ja elinkeinoministeriön sekä opetus- ja kulttuuriministeriön 8
toimintatavat ovat hyvin erilaisia ja tuovat näin ollen lisähaastetta koordinaatio- ja seurantaryhmän toimintaan sekä yleisemmin myös koko kehittämisohjelman toteutukseen. Arviointiaineiston perusteella liikutaan aivan niillä rajoilla, onko koordinaatio- ja seurantaryhmän koko jo liian suuri. Kokouksissa ei synny samanlaista ryhmädynamiikkaa kuin pienemmässä ryhmässä syntyisi, eikä panos näin ollen ole sama kuin pienemmällä ryhmällä. Vain harva koordinaatio- ja seurantaryhmän jäsen haluaisikaan enää kasvattaa ryhmän kokoa. Joidenkin mielestä ryhmästä puuttuu edustus yliopistolta, tutkimuspuolelta, nuorten koulutuksen puolelta sekä ohjauksen kouluttajilta. Vaikka koordinaatio- ja seurantaryhmän jäsenten koetaan yleisesti olevan aktiivisia ja sitoutuneita kehittämisohjelman teemoihin, ryhmän suuri koko aiheuttaa myös sen, etteivät kaikki jäsenet ole yhtä sitoutuneita ja aktiivisia ryhmän toiminnassa. Osa haastatelluista totesi, että osallistumisaktiivisuus ryhmän kokouksiin voisi olla nykyistä parempi ja ote entistä keskustelevampi. Koordinaatio- ja seurantaryhmän jäsenet kokevat, että ryhmä kokoontuu riittävän usein. Joidenkin mielestä olisi mielekästä kokoontua useamminkin, mutta tämän ei ajallisesti koeta olevan mahdollista. Aineistosta nousi esille, että kokousten lisäksi tulisi ottaa enemmän käyttöön myös muita viestintäkeinoja kuten seminaareja, koulutuksia ja sähköistä yhteydenpitoa. Tällä tavoin Koordinaatio- ja seurantaryhmän jäsenet pysyisivät paremmin perillä kehittämisohjelman etenemisestä ja ajankohtaisista asioista. Osa jäsenistä koki, ettei heillä ole riittävää tuntumaa ja käsitystä siitä mitä kentällä tapahtuu. 28.9.2010 pidettävä koordinaatio- ja seurantaryhmän sparrauspäivä vastaa osaltaan tähän haasteeseen. 3.2 Kehittämisohjelmatiimin toiminta Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelman toteutuksen tueksi asetettiin 12.6.2008 opetus- ja kulttuuriministeriön (tuolloin opetusministeriön) ja työ- elinkeinoministeriön yhteinen kehittämisohjelmatiimi. Tiimi valitsi keskuudestaan puheenjohtajan ja sihteerin siten, että molemmat ministeriöt kantavat vastuun kehittämisohjelmatiimin toiminnasta. 5 Pääsääntöisesti sekä kehittämisohjelmatiimin että koordinaatio- ja seurantaryhmän jäsenet näkevät jaetun johtajuuden sitouttaneen molemmat ministeriöt kehittämisohjelman toteutukseen. Kehittämisohjelmatiimin tai koordinaatio- ja seurantaryhmän asettamista koskevissa virallisissa asiakirjoissa ei ole yksilöidysti määritelty kehittämisohjelmatiimin tehtäviä. Käytännössä kehittämisohjelmatiimin tehtävissä on korostunut koordinaatio- ja seurantaryhmän kokousten valmistelu sekä vuoden 2009 aikana kehittämisohjelman strategian valmistelu. Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelman strategia-asiakirjan mukaan kehittämisohjelmatiimin vastuulla ovat joko yksin tai yhteistyössä muiden ohjelmatoimijoiden kanssa mm: valtakunnallisen tiedottamisen ja viestinnän parantaminen, 5 TEM223:00/2008; TEM024:00/2008; OPM52/040/2008 9
valtakunnallisten arviointikriteerien (joiden avulla arvioidaan TNO-palveluiden ja alueellisten verkostojen toimivuutta) luominen, tiedon tuottaminen TNO-palveluiden koordinoinnin ja aluehallinnon tueksi, erilaisten toimintatapojen ja mallien kehittäminen, tuottaminen, kokoaminen sekä levittäminen työorganisaatioiden osaamisen tueksi, vastuun- ja työnjaon toimivuuden varmistaminen TNO-palveluiden kansallisella ja alueellisella koordinoinnilla, poikkihallinnollisten ja moniammatillisten yhteistyöverkostojen rakenteiden, kehittämisvaiheessa olevien ja tarjolla olevien palveluiden näkyväksi tekeminen, valtakunnallisen ja alueellisen ennakointitiedon tulkitseminen ja hyödyntäminen TNOpalveluiden kehittämisen näkökulmista, PK-yritysten ja työorganisaatioiden kanssa tehtävän yhteistyön varmistaminen osaksi koulutus- ja työhallinnon organisaatioiden toimintatapaa, ohjaus- ja neuvontapainotteisten seminaarien järjestäminen verkostojen johdolle, edellytysten luominen alueverkostojen ohjausstrategioiden ja organisaatioiden ohjaussuunnitelmien rakentamiseksi sekä ohjauksen ja neuvonnan yhteiskunnallisten, taloudellisten ja alueellisten hyötyjen näkyväksi tekeminen. 6 Kysely- ja haastatteluaineistojen perusteella kehittämisohjelmatiimin tehtävät eivät näyttäydy vielä riittävän selkeästi määriteltyinä kaikille sen jäsenille. Muun muassa työnjaossa ja tehtävien vastuuttamisessa koordinaatio- ja seurantaryhmän, kehittämisohjelmatiimin sekä Aikuisohjaukseen koordinaatioprojektin kesken koetaan olevan parannettavaa. Prosessikuvausten ja pienryhmien perustamisen arvioidaan kuitenkin selkiyttävän tilannetta jatkossa. Kehittämisohjelmatiimin jäsenet kuitenkin korostivat, että alkuvaiheen jälkeen tiimin toiminta on tehostunut. Eräs kehittämisohjelmatiimin jäsen kommentoi asiaa seuraavasti: Yleisesti ottaen tiimin työskentely on koko ajan kehittynyt parempaan suuntaan. Kokoustahdin tiivistäminen ja pienryhmien (johonkin osa-alueeseen keskittyvien) perustaminen on lisännyt tehokkuutta ja tuloksellisuutta Kehittämisohjelmatiimin kuuluu 11 jäsentä: kuusi työ- ja elinkeinoministeriöstä, yksi opetusja kulttuuriministeriöstä, kaksi ELY-keskuksista, yksi aluehallintovirastosta sekä kehittämisohjelmaan kuuluvien Nuove-projektin sekä Aikuisohjauksen koordinaatioprojektin projektipäälliköt. Ottaen huomioon, että kehittämisohjelmatiimin ja koko kehittämisohjelman toiminta pohjautuu kahden ministeriön välisen jaetun johtajuuden malliin, näyttää opetus- ja kulttuuriministeriön edustus kehittämisohjelmatiimissä vähäiseltä. Arviointiaineiston valossa kehittämisohjelmatiimissä on kuitenkin mukana riittävästi asiantuntevia henkilöitä, eikä tiimin jäsenten lukumäärää ole tarpeen lisätä jatkossa. Eräs kehittämisohjelmatiimin jäsen 6 Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelma. Kehittämisohjelman strategia. 10
kommentoi asiaa seuraavasti: Tällä kokoonpanolla pystyy toimimaan joustavasti ja lyhyellä aikavälillä. Kehittämisohjelmatiimin jäsenet ovat pääsääntöisesti hyvin sitoutuneita tiimin toimintaan. Toisaalta aineistosta nousi esille näkemys, että tapauskohtaisesti voitaisiin harkita, tulisiko oppilaitosten tai työelämäjärjestöjen edustajia kutsua kuultavaksi käsiteltävän aiheen mukaan kehittämisohjelmatiimin kokouksiin. Ongelmaksi nousevat tässä tapauksessa rajalliset aikaresurssit. Kehittämisohjelmatiimi kokoontuu noin kerran kuukaudessa kahden tunnin ajaksi, eikä aikaa ole ollut riittävästi kaikkien asioiden käsittelyyn. Käytössä olevan ajan riittämättömyyttä kommentointiin mm. seuraavasti: Kehittämistiimi on ohjelmassa erittäin keskeinen toimija ja sen kokouksissa on paljon asiaa. Usein kokoukselle varattu aika jää liian lyhyeksi ja osaan asioista ei pystytä perehtymään riittävän perusteellisesti. Enemmän aikaa tulisi olla yhdessä reflektointiin ja tulosten kriittiseen arviointiin, jotta saataisiin myöskin eväitä ohjelman toteutumisesta tuleviin linjauksiin ja hyvien käytäntöjen tunnistamiseen sekä niiden edelleen levittämiseen. Tapaamisten määrää (noin kerran kuukaudessa) pidettiin yleisesti ottaen varsin sopivana, mutta kokousten pidentämistä esimerkiksi tunnilla tulisi ainakin harkita. Kuusi kehittämisohjelmatiimin jäsentä kuluu myös Nuove-projektin ohjausryhmään. Muutamat kehittämisohjelmatiimin jäsenet kokevat, että tiimin kokoukset ovat ajoittain painottuneet liikaa juuri Nuove- ja Aikuisohjauksen koordinaatioprojektien asioiden käsittelyyn. Kehittämistiimin kokouksiin kaivataankin enemmän strategisen tason kysymysten käsittelyä ja työskentelyä niiden parissa, eikä niinkään yksittäisten hankkeiden tai aikataulujen käsittelyä. Myös kokousten läpivientiin kaivattiin ammattimaisempaa otetta. Eräs kehittämisohjelmatiimin jäsen nosti esille, että tässä vaiheessa ohjelmakautta kehittämistiimin tulisi saada selvä kokonaiskuva ohjelman toteutumisesta ja loppuohjelmakauden hyödyntämisestä niin, että kehittämisohjelman tavoitteet mahdollisimman hyvin saavutettaisiin. Tähän tarvitaan koottua tietoa ja aikaa tietojen puntaroimiseen sekä jatkosuunnitelmien tekemiseen. Suurin osa koordinaatio- ja seuranryhmän jäsenistä oli hyvin tyytyväisiä kehittämisohjelmatiimin työskentelyyn, eikä heillä ollut esittää siihen liittyen merkittäviä kehittämisideoita tai tarpeita. Toisaalta vain osa koordinaatio- ja seuranryhmän jäsenistä koki tuntevansa kehittämisohjelmatiimin toimintaa riittävän syvällisesti. Yksittäisissä esille nousseissa kehittämisehdotuksissa korostettiin mm. tiiviimmän yhteydenpidon merkitystä koordinaatio- ja seurantaryhmän sekä kehittämisohjelmatiimin kesken. Muutamat koordinaatio- ja seurantaryhmän jäsenistä kaipasivatkin nykyistä enemmän ajantasaista tietoa, missä ohjelmassa mennään ja mitä mahdollisia haasteita on tulossa. Kehittämisohjelmatiimin oman arvion sekä koordinaatio- ja seurantaryhmän jäsenten haastatteluiden perusteella kehittämisohjelmatiimi on onnistunut koordinaatio- ja seurantaryhmän kokousten valmistelussa sekä laajemmin myös koordinaatio- ja seuranryhmän toiminnan tukemisessa varsin hyvin. 3.3 Itsearviointityöpajojen tuotoksia Toimeksiantoomme sisältyy olennaisena osana kehittämisohjelman ja siihen kuuluvien projektien itsearviointimenetelmien ja käytäntöjen kehittäminen. Ensimmäisessä väliraportissamme totesimme, että kehittämisohjelmaan kuuluvien projektien 11
itsearviointikäytännöt vaihtelevat erittäin paljon. Noin puolet projekteista oli toteuttanut itsearvioinnin lokakuuhun 2009 mennessä ja projektitasolla oli havaittavissa kiinnostusta itsearvioinnin systemaattiseen hyödyntämiseen oman toiminnan kehittämisessä. 7 Projektitason itsearviointimallia on kehitetty arviointihankkeen aikana kerätyn aineiston pohjalta yhteistyössä arviointitiimin, tilaajan edustajien ja kehittämisohjelmaan kuuluvien projektien kanssa. Projektitason itsearviointimallissa on taustalla Kuntoutussäätiön suunnittelema koko kehittämisohjelman arvioinnin viitekehys, joka pitää sisällään elementtejä mm. Euroopan komission yleisestä ohjelma-arvioinnin viitekehyksestä, Euroopan laatupalkintomallista (EFQM-malli) sekä CAF-itsearviointimallista. Lisäksi mallissa on huomioitu Manner-Suomen ESR-ohjelman arviointisuunnitelma. Projektitason itsearviointimalli pilotoitiin Jyväskylässä huhtikuun alussa 2010 järjestetyllä OpinOviklinikalla. Arviointitiimi keräsi tilaisuudessa palautetta ja itsearviointimallia muokattiin palautteen perusteella, jotta se palvelisi mahdollisimman hyvin kehittämisohjelmaan kuuluvien projektien tarpeita. Haasteena oli luoda sisällöltään laaja ja monipuolinen erilaisille toimijoille soveltuva, mutta kuitenkin toteutukseltaan kevyt itsearviointimalli. Kehitetty itsearviointimalli muodostaa viitekehyksen projektitoiminnan kehittämiselle pyrkimättä silti tarkasti ohjailemaan, millaisia toimintatapoja projektien/organisaatioiden tulisi soveltaa. Mallin lähtökohtana on ajatus, että projektitasolla tavoitellut tulokset saavutetaan: selkeän ja realistisen kohderyhmän määrittelyn ja tavoitteiden asettelun, oikein kohdistettujen resurssien ja osaavan henkilöstön, onnistuneiden toimenpiteiden ja toteutuksen, toimivan yhteistyöverkoston sekä viestinnän ja tiedotuksen avulla. Projektitason itsearviointimalli koostuu seitsemästä osiosta: 1. Projektin kohderyhmän määrittely, 2. Projektin tavoitteet, 3. Projektin resurssit ja henkilöstö, 4. Projektin toimenpiteet ja toteutus, 5. Projektin yhteistyöverkosto, 6. Projektin viestintä ja tiedottaminen ja 7. Projektin tulokset ja vaikuttavuus. Osioilla 1 (Projektin kohderyhmän määrittely) ja 2 (Projektin tavoitteet) on kytkentä EFQM- ja CAF-mallien osioon toimintaperiaatteet ja strategia. Osiot 3 6 liittyvät projektin toimintaan. Osioilla 3 6 on suora kytkentä EFQM- ja CAFmallien osioihin johtajuus, henkilöstö, kumppanuudet ja resurssit ja prosessit. Nyt kehitetyssä itsearviointimallissa johtajuutta tarkastellaan osana projektin toimenpiteitä ja toteutusta sekä resursseja ja henkilöstöä yhtenä kokonaisuutena. 7 Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalvelujen valtakunnallisen kehittämisohjelman arviointi. Väliraportti 25.2.2010. Kuntoutussäätiö, Innokuntoutus. 12
Osio 7 liittyy projektin tuloksiin ja vaikuttavuuteen (EFQM- ja CAF-mallien mukaiset) osa-alueet: 6 asiakastulokset, 7 henkilöstötulokset, 8 yhteiskunnalliset tulokset sekä 9 keskeiset suorituskykytulokset). Jokainen itsearviointimallin osio pitää sisällään yksittäisiä väittämiä sekä yhden tai useamman avokysymyksen. Väittämissä vastausten mitta-asteikko on 1 4 8, mikä pakottaa vastaajan ottamaan kantaa puolesta tai vastaan kuhunkin mitattavaan asiaan. Itsearvioinmalliin sisältyvät avokysymykset mahdollistavat projektien erityispiirteiden sekä varsinaiseen substanssiin liittyvien kysymysten ja kehittämistarpeiden tarkastelun. Itsearvioinnin käytännön toteuttamiseen osallistuvat koko projektihenkilöstö sekä ns. avainhenkilöt projektin ohjausryhmästä ja mahdollisista kehittämisryhmistä. Itsearviointi toteutetaan sähköisen kyselyn sekä projektin toimintapaikkakunnalla järjestettävän itsearviointityöpajan avulla. Kukin itsearviointiin osallistuva henkilö vastaa kyselyyn itsenäisesti tahollaan, henkilökohtaisten näkemystensä perusteella. Vastausajan päätyttyä arviointitiimi analysoi kyselyn tulokset, minkä jälkeen ne käydään yhdessä läpi vastaajien kanssa. Itsearviointityöpajaan kutsutaan kaikki kyselyyn osallistuneet henkilöt, ja siellä pyritään valitsemaan projektille muutama keskeinen kehittämiskohde, joihin projektihenkilöstön on hyvä kiinnittää erityishuomiota projektin edetessä. Itsearviointeja toteutetaan sekä projektikohtaisesti että joidenkin samalla alueella toimivien projektien osalta myös kahden projektin yhteisenä prosessina (esim. Lapin OpinOvi -projektit). Samalla alueella toimivilla kehittämisohjelmaan kuuluvilla projekteilla on joissakin tapauksissa yhteiset ohjaus- ja sidosryhmät, joten heidän osaltaan itsearviointiprosessin yhdistäminen on koettu mielekkääksi ja projektien resursseja säästäväksi menettelyksi. Keväällä 2010 arviointitiimi oli yhteydessä kaikkiin kehittämisohjelmaan kuuluviin projekteihin, ja tiedusteli projektien halukkuutta osallistua tuetun itsearvioinnin toteutukseen. Osa projekteista koki, ettei tarvetta itsearvioinnille ollut, mutta pääasiassa vastaanotto oli myönteistä. Osa kehittämisohjelmaan kuuluvista projekteista oli myös tehnyt tai tekemässä itse- ja vertaisarviointia itsenäisesti, joten eivät siksi kokeneet osallistumista tarpeelliseksi. Osa projekteista päättää mahdollisesta tuettuun itsearviointiin osallistumisestaan elo syyskuun aikana. Kaiken kaikkiaan noin puolet projekteista osallistuu kehittämisohjelman arviointitutkimuksen osana toteutettavaan tuettuun itsearviointiin vuoden 2010 aikana. Ajantasainen lista projektitason itsearviointien toteuttamisesta on toimitettu tilaajalle erikseen. Itsearvioinnin kantava ajatus on ollut tarjota kehittämisohjelmaan kuuluville projekteille hyvin kevyen intervention avulla työkaluja kehittää ja tarkastella omaa toimintaansa ja sitä kautta tukea heidän tavoitteidensa saavuttamista. Menettely myös välillisesti tukee tätä kautta kehittämisohjelman tavoitteiden saavuttamista. Kunkin itsearviointiprosessiin osallistuneen projektin arviointitulokset on luovutettu kyseisen projektin henkilöstön käyttöön, eikä projektikohtaisia tuloksia tulla kehittämisohjelman arviointitutkimuksen raporteissa esittelemään. Tämän luottamuksellisen menettelyn tarkoitus on ollut kannustaa itsearviointiin osallistuvia projekteja itsekriittisyyteen ja rehellisyyteen omien kehittämistarpeidensa osalta. Arvioinnin väliraporteissa itsearviointien tuloksia tullaan esittelemään läpileikkauksenomaisesti. 8 1=Toteutuu/on toteutunut heikosti, 2=Toteutuu/on toteutunut tyydyttävästi, 3=Toteutuu/on toteutunut hyvin, 4=Toteutuu/on toteutunut kiitettävästi 13
Maaliskuu elokuun puoliväli 2010 välisenä ajanjaksona itsearviointityöpajoja on järjestetty kolme kappaletta ja useita itsearviointiprosesseja on parhaillaan käynnissä. Tähän mennessä saatujen kokemusten perusteella projektien yleisiä kehittämiskohteita ovat olleet palautteen kerääminen projektin kohderyhmiltä sekä tiedottaminen. Kohderyhmältä kerätty palaute on avainasemassa projektin toiminnan kehittämisessä, joten palautteen keräämisen systematisointi sai huomiota niin kyselyvastauksissa kuin työpajoissa käydyissä keskusteluissa. Sekä sisäinen että ulkoinen tiedottaminen koettiin useissa projekteissa riittämättömänä. Joissakin tapauksissa myös projektin taustaorganisaation sekä ohjausryhmän sitoutuminen projektiin ja sen tavoitteisiin on koettu riittämättömäksi. Kaiken kaikkiaan projektitason itsearviointia varten kehitetty malli on arviointitiimin sekä tähän mennessä osallistuneiden projektien mielestä ollut toimiva ja tarkoituksenmukainen. Saadun palautteen perusteella itsearviointiprosessin läpikäyminen ei ole tuntunut projekteista liian raskaalta tai aikaa vievältä. Itsearvioinnin toteuttaminen on pakottanut projektitoimijat ja keskeiset sidosryhmät tarkastelemaan projektin toimintaa rakentavan kriittisesti ja yhteisen sapluunan mukaisesti. Osa projekteista tulee todennäköisesti tekemään muutoksia omaan toimintaansa itsearvioinnin myötä. Joillekin projekteille itsearviointi on antanut vahvistusta siihen, että asetut tavoitteet ja toimintatavat ovat tarkoituksenmukaisia. Niiden pohjalta on edelleen perusteltua jatkaa projektin toteutusta. Itsearvioinnin hyödyllisyyttä projekteille on hedelmällisintä tarkastella pitkällä aikavälillä, joten tässä vaiheessa ei ole vielä systemaattisesti kerätty palautetta lukuun ottamatta työpajojen yhteydessä käytyjä keskusteluja. Itsearvioinnin seuranta ja palautteen kerääminen projekteilta noin vuoden kuluttua itsearvioinnin toteutuksesta olisi ensiarvoisen tärkeää arvioitaessa mallin hyödyllisyyttä laajemmin. Myös itsearviointiin osallistuneet projektit ovat itse toivoneet seurantaa. Ne projektit, jotka toteuttivat itsenäisesti itse- ja vertaisarvioinnin, kohtasivat arviointityössään myös haasteita. Keskusteluissa projektipäälliköiden kanssa nousi esille 9, että oman mallin kehittäminen ja arviointiprosessin läpivieminen osoittautui projekteille odotettua työläämmäksi. Toisaalta myös koetut hyödyt prosessista olivat odotettua suuremmat. Itsenäisesti toteutetun itse- ja vertaisarvioinnin tehneet projektit kokivat saaneensa prosessista konkreettia sisältöjä toimintansa kehittämiseen. Toisin sanoen, itsearviointi täytti tehtävänsä ja toimi myös oppimiskokemuksena. 9 Keskustelut ko. projektipäälliköiden kanssa (itse- ja vertaisarvioinnista ja sen tuloksista kertova raportti ei ole ollut arviointitiimin käytössä) 14
4 Yhteenveto ja kehittämisehdotukset Tausta Väliraportissa on tarkasteltu toimenpiteiden ja prosessien tehokkuuden ja tarkoituksenmukaisuuden näkökulmista koordinaatio- ja seurantaryhmän toimintaa, kehittämisohjelmatiimin toimintaa sekä tuotu esille keskeisimmät havainnot ja tuotokset tähän mennessä toteutetuista projektikohtaisista itsearviointiprosesseista. Laajempi, kaikkiin arviointikysymyksiin vastaava väliraportti toimitetaan tilaajalle työsuunnitelman mukaisesti joulukuussa 2010. Tulokset Koordinaatio- ja seurantaryhmä on monialainen ryhmä, joka antaa Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelmalle linjauksia ja suuntaviivoja ja seuraa, että kehittämisohjelmassa tehdään niitä asioita, joita on luvattu. o Yleisesti ottaen koordinaatio- ja seurantaryhmän roolia ja tehtäviä pidetään perusteltuina, mutta niitä tulisi vielä selkeyttää ja täsmentää. o Erityistä huomiota tulee kiinnittää koordinaatio- ja seurantaryhmän sekä kehittämisohjelmatiimin välisen työnjaon selkeyttämiseen sekä tiedonkulun tehostamiseen. Koordinaatio- ja seurantaryhmä kokoontuu muutaman kerran vuodessa. Pääsääntöisesti kokoustahtia pidetään tarkoituksenmukaisena. o Kokouksiin kaivataan enemmän keskustelevaa otetta. Myös kokousten välistä yhteydenpitoa tulisi tehostaa (esimerkiksi sähköpostin välityksellä). o Kokoustahtia ei ole syytä tiukentaa, mutta kokousten kestoa voisi mahdollisesti pidentää, jotta aikaa keskustelulle jäisi enemmän. Koordinaatio- ja seurantaryhmässä on varsin kattava kokoonpano ja oleelliset tahot ovat siinä hyvin edustettuina. Etenkin työelämän edustajien mukana olo on tärkeää, jotta työelämän tarpeet tulevat huomioiduksi kehittämisohjelman tavoitteissa ja toimenpiteissä. Koordinaatio- ja seurantaryhmän jäsenet näkivät pääsääntöisesti olevansa itse aktiivisia ja sitoutuneita ryhmän toimintaan. Toki näin isossa ryhmässä sitoutumisen ja aktiivisuuden aste vaihtelee. Haastatteluiden perusteella vain osa koordinaatio- ja seurantaryhmän jäsenistä pystyi ottamaan kantaa kehittämisohjelmaa koskeviin kysymyksiin muuten kuin yleisellä 15
tasolla. Kaikilla koordinaatio- ja seurantaryhmän jäsenillä ei vaikuta olevan riittävästi tietoa kehittämisohjelman sisällöistä ja käytännön toteutuksesta. Kehittämisohjelmatiimi on keskeisessä asemassa koko Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelman toteutuksessa. Tiimi toimii eräänlaisena linkkinä keskeisimpien ohjelmatoimijoiden ja rahoittajaviranomaisten välillä. Kehittämisohjelmatiimin toiminta on sitouttanut työ- ja elinkeinoministeriötä sekä opetus- ja kulttuuriministeriötä yhteisesti kehittämään tieto-, neuvonta- ja ohjauspalveluita. Opetus- ja kulttuuriministeriö (yksi varsinainen jäsen) on selvästi aliedustettuna kehittämisohjelmatiimissä suhteessa työ- elinkeinoministeriöön (kuusi jäsentä), mutta tähän mennessä kerätyn arviointiaineiston valossa se ei näyttäydy ongelmana. Kuusi kehittämisohjelmatiimin varsinaista jäsentä (mukaan lukien Nuove-projektin sekä Aikuisohjauksen koordinaatioprojektin projektipäälliköt) kuuluu myös Nuoveprojektin ohjausryhmään. Jäsenten kaksoisrooli on saattanut osaltaan johtaa siihen, että kehittämistiimin kokouksissa Nuove-projektin sekä Aikuisohjauksen koordinaatioprojektin asioiden käsittely on saanut liikaa painoarvoa. o Kehittämisohjelmatiimi on nimensä mukaisesti olemassa koko ohjelmaa varten, joten työskentelyn ja käsiteltävien asioiden tulisi myös painottua sen mukaisesti. o Muutamat kehittämisohjelmatiimin jäsenet peräänkuuluttivatkin entistä enemmän koko ohjelmatason strategisten kysymysten tarkastelua. Tähän mennessä kehittämisohjelmatiimi on toiminut käytännössä pitkälti kehittämisohjelman työrukkasena, joten aikaa kokonaisuuden ja sen etenemisen tarkasteluun ei ole jäänyt riittävästi. Erityistä huomiota tulisi kiinnittää ohjelmatason sisäisen ja ulkoisen viestinnän kehittämiseen. Viestintää tulisi tehostaa kansalaisten ja työantajien suuntaan sekä tulevien hankehakujen valmisteluun. Sisäisessä viestinnässä pitäisi varmistaa, että viesti kulkee kehittämisohjelman päättäviltä elimiltä kentälle ja päinvastoin. o Ohjelmatason viestinnän on tuettava projektikohtaista viestintää siten, että keskiössä ovat tieto-, neuvonta- ja ohjauspalvelut sekä niiden saatavuus eivätkä yksittäisten projektien tai koko kehittämisohjelman tavoitteet. Tulee myös pitää mielessä, että suurin osa kehittämisohjelmaan kuuluvista projekteista päättyy voimassa olevien projektipäätösten mukaan vuoden 2011 lopussa. Osa kehittämisohjelmaan kuuluvista projekteista on ilmaissut halukkuutensa sekä alueella olevan tarpeen mahdolliselle jatkoprojektille. o Kehittämisohjelmatiimin tulisi tarkastella kriittisesti, millaisille projekteille ja millä alueilla tai valtakunnallisesti on aitoa tarvetta tieto-, neuvonta- ja ohjauspalveluiden kehittämiseen. Arvioinnin seuraavien vaiheiden aineistonkeruuta ja raportointia pyritään kohdentamaan siten, että se palvelisi entistä paremmin myös tulevien hankehakujen valmistelua. 16
o Jatkoa ajatellen on hyvin oleellista, että kaikilla kehittämisohjelmatiimin jäsenillä on selkeä kokonaiskuva kehittämisohjelmasta sekä tieto-, neuvonta- ja ohjauspalveluiden kehittämisen haasteista. Haasteena on kuitenkin työelämän tarpeiden ja vaatimusten ennakointi, kuten jo edellisessä väliraportissamme totesimme 10. Kehittämisohjelmatiimin jäsenet ovat pääsääntöisesti sitoutuneita tieto-, neuvonta- ja ohjauspalveluiden kehittämiseen. o Kehittämisohjelmatiimin kokoonpanoon ei ole tarpeen tehdä merkittäviä muutoksia, jotta sen toiminta säilyy jatkossakin joustavana. o Toimintansa aloittaneet Laituri-projektin projektipäällikön osallistumista kehittämisohjelmatiimiin voidaan kuitenkin pitää perusteltuna ottaen huomioon projektin tehtävät ja rooli koko kehittämisohjelmassa. 11 o Tapauskohtaisesti tulisi harkita, olisiko oppilaitosten tai työelämäjärjestöjen edustajia tarkoituksenmukaista kutsua kuultavaksi käsiteltävän aiheen mukaan kehittämisohjelmatiimin kokouksiin. Kehittämisohjelmatiimi tapaa noin kerran kuukaudessa. Kokoustahti näyttäytyy tiimin jäsenten näkökulmasta tällä hetkellä sopivalta. Kehittämisohjelmatiimi on hyvin keskusteleva, eikä kokousaika (noin kaksi tuntia) ole aina riittänyt kaikkien asioiden käsittelyyn. o Tapaamisten ajankäyttöä tuleekin pyrkiä tehostamaan sekä niiden pidentämistä (tarpeen mukaan esimerkiksi tunnilla) ainakin harkita. Kehittämisohjelmatiimin tehtävät eivät näyttäydy vielä täysin selkeinä kaikille sen jäsenille. Koordinaatio- ja seurantaryhmän kokouksissa käsiteltävien asioiden valmistelun myötä kehittämisohjelmatiimillä on keskeinen rooli koko ohjelman toimintojen suuntaamisessa. Kehittämisohjelmatiimi on onnistunut koordinaatio- ja seurantaryhmän kokousten valmistelussa yleisesti ottaen hyvin. 10 Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalvelujen valtakunnallisen kehittämisohjelman arviointi. Väliraportti 25.2.2010. Kuntoutussäätiö, Innokuntoutus. 11 EURA 2007, EU:n rakennerahastojen tietohallintojärjestelmä: Laituri-projektin hakemus hyväksyttiin koordinaatio- ja seurantaryhmän kokouksessa 8.6.2010. Laituri-projektin tavoitteena on vahvistaa ja tukea verkostomaisesti tuotettavien tieto-, neuvonta- ja ohjauspalvelujen kehittämistä, suunnittelua ja toteuttamista. Lisäksi projektisuunnitelmaan on kirjattu, että projektilla on neljä päätulosta: 1. ELY-alueilla toteutuvat TNOpalveluiden palvelumallit kehittyvät kehittämisohjelman tavoitteiden suuntaisesti, 2. ELY:jen alueellisista aikuisohjauksen toimijoista ( projektihenkilöstö, ELY-keskuksten TNO palveluiden kehittäjät, TE-toimistojen henkilöstö, oppilaitosten henkilöstö sekä elinkeinoelämän edustajat) muodostuu alueellinen yhteistyö- ja kehittäjäverkosto, joka pohjautuu olemassa oleviin yhteistyöverkostoihin, 3. Alueelliset aikuisohjauksen toimijat saavat sisällöllistä kehittämisen tukea TNO- toimintojensa laadukkaassa verkostomaisessa tuottamisessa sekä 4. Alueiden aikuisohjauksen strategiat tukevat alueella tapahtuvaa TNO-palveluiden suunnittelua, yhteistoimintaa, tiedonmuodostusta, seurantaa ja arviointia. ; Opin Ovi uutiskirje 3/2010. 17
Tuettu projektien itsearviointi on otettu projektien keskuudessa hyvin vastaan. Valtaosa kehittämisohjelmaan kuuluvista projekteista on halunnut osallistua itsearviointiprosessiin ja on myös kokenut sen hyödylliseksi. Yleisiä kehittämiskohteita kehittämisohjelmaan kuuluvien projektien keskuudessa ovat olleet palautteenkeruu projektin kohderyhmiltä, tiedottaminen (sekä projektin sisäinen että ulkoinen) sekä taustaorganisaation ja ohjausryhmän sitouttaminen projektiin ja sen tavoitteisiin. Projektitason itsearviointimallin hyödyllisyyttä tai vaikutuksia on vaikea arvioida vielä tässä vaiheessa. Seuranta ja systemaattinen palautteenkeruu itsearviointiprosessista nousevat avainasemaan luodun mallin hyödyllisyyttä arvioitaessa. Vuonna 2011 toteutettavissa projektitason itsearvioinneissa tulee keskittyä tulosten ja vaikuttavuuden arviointiin erityisesti toimintansa päättävien projektien osalta. o Nyt käytössä olevaan itsearviointimalliin on perusteltua lisätä projektikohtaiset kysymykset tavoitteiden saavuttamisesta. Näin projektikohtaiset erityispiirteet saadaan huomioitua ja nostettua mukaan tarkasteluun. o Lisäksi arviointitiimin, tilaajan sekä Aikuisohjauksen koordinaatioprojektin edustajien tulee yhdessä tarkastella, onko itsearviointimallin tuloksia ja vaikuttavuutta koskevaan osioon perusteltua lisätä kysymyksiä joko sellaisenaan tai sovellettuna Aikuisohjauksen koordinaatioprojektin valmistelemasta synoptisen ohjauksen arviointimatriisista. o Oleellista on, ettei kehittämisohjelmassa kerätä päällekkäistä tietoa eri toimijoiden tahoilta. 18
Lähteet EURA 2007, EU:n rakennerahastojen tietohallintojärjestelmä. Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelma. Kehittämisohjelman strategia. Osuvuutta ja kysyntälähtöisyyttä aikuisopiskeluun tieto-, neuvonta- ja ohjauspalvelujen valtakunnallisen kehittämisohjelman arviointi. Väliraportti 25.2.2010. Kuntoutussäätiö, Innokuntoutus. Työ- ja elinkeinoministeriö. TEM024:00/2008. Osuvuutta ja kysyntälähtöisyyttä aikuisopiskelun tieto-, neuvonta- ja ohjauspalveluihin kehittämisohjelma: Koordinaatio- ja seurantaryhmän toimikauden pidentäminen, koordinaatio- ja seurantaryhmän ja kehittämisohjelmatiimin kokoonpano 2009-2013. Työ- ja elinkeinoministeriö. TEM223:00/2008 / Opetusministeriö OPM52/040/2008 Opetusministerin ja työministerin asettaman koordinaatio- ja seurantaryhmän (73/040/2006) täydentäminen ja kehittämisohjelmatiimin asettaminen. 12.6.2008 Kokousmuistio koordinaatio- ja seurantaryhmän kokouksesta 23.11.2007 Asettamiskirje 2.10.2009. Opetusministeriö ja työ- ja elinkeinoministeriö. Dnro: OPM52/040/2008. TEM024:00/2008. Opin Ovi uutiskirje 3/2010. 19
Liitteet Liite 1. Väliraporttia varten haastatellut henkilöt Felt Teija, työ- ja elinkeinoministeriö Karlsson Ulla-Jill, opetus- ja kulttuuriministeriö Karvinen Esa, Ammatillisen Aikuiskoulutuksen Liitto AKKL r.y. Kasurinen Helena, työ- ja elinkeinoministeriö Koivumäki Kai, työ- ja elinkeinoministeriö Laine Marjaana, valtion työmarkkinalaitos Lamppu Veli-Matti, Suomen Yrittäjät Lempinen Petri, STTK Liljeström Markku, Suomen Ammattiliittojen Keskusjärjestö SAK Lohikoski Paula, ELY-keskus Luopajärvi Timo, Ammattikorkeakoulujen rehtorineuvosto Arene ry. Meriläinen Raija, opetus- ja kulttuuriministeriö Ollas-Airinen Sonja, aluehallintovirasto Pöyhönen Simo, Akava Rossi Merja, ELY-keskus Suomalainen Heikki, Elinkeinoelämän keskusliitto EK Yli-Suomu Riikka-Maria, kunnallinen työmarkkinalaitos 20
Liite 2. Kehittämisohjelmatiimin jäsenten suhtautuminen kehittämisohjelmatiimin toimintaa koskeviin väittämiin (n=8), ka asteikolla 1-5 (1=On toteutunut erittäin huonosti, 5=On toteutunut erittäin hyvin) Kehittämisohjelmatiimi on onnistunut toiminnassaan tavoitteiden mukaisesti 3,50 Kehittämisohjelmatiimin toiminta tukee aidosti koordinaatio- ja seurantaryhmän toimintaa 4,00 Kehittämisohjelmatiimin ja koordinaatio- ja seurantaryhmän keskinäinen yhteistyö on toimivaa 3,63 Kehittämisohjelmatiimin jäsenet ovat riittävän sitoutuneita työskentelyyn 4,13 Kehittämisohjelmatiimin jäsenillä on riittävästi aikaa käytössään kehittämistiimin työskentelyyn 2,75 Kehittämisohjelmatiimissä on mukana riittävästi asiantuntevia henkilöitä 4,25 Kehittämisohjelmatiimin tehtävät on määritelty selkeästi 3,25 1 2 3 4 5 21
Liite 3. Kehittämisohjelmatiimin jäsenten suhtautuminen koordinaatio- ja seurantaryhmän toimintaa koskeviin väittämiin (n=8), ka asteikolla 1-5 (1=On toteutunut erittäin huonosti, 5=On toteutunut erittäin hyvin) Koordinaatio- ja seurantaryhmän työskentely tukee aidosti kehittämisohjelman toteutusta 3,25 Koordinaatio- ja seurantaryhmän työskentely on tehokasta 3,25 Koordinaatio- ja seurantaryhmän jäsenet ovat riittävän sitoutuneita kehittämisohjelman tavoitteiden saavuttamiseen 3,63 Koordinaatio- ja seurantaryhmässä ovat edustettuina oleelliset tahot 4,13 1 2 3 4 5 22