Ei vain tätä päivää varten. OK-opintokeskuksen ja sen jäsenjärjestöjen vuosien koulutushankkeiden jälkikäteisarviointi

Transkriptio

1 Ei vain tätä päivää varten OK-opintokeskuksen ja sen jäsenjärjestöjen vuosien koulutushankkeiden jälkikäteisarviointi

2 Sisällysluettelo 1. Tiivistelmä 3 2. Johdanto, tausta ja asetelma 4 3. Toteutus, menetelmät ja aineistot 6 4. Tulosten yleinen esittely Tapaukset 25 5.a. Mannerheimin Lastensuojeluliitto: Vaikuttava toiminnan johtaminen 25 5.b. Lounais-Suomen 4H-piiri: 4H-kehityskeskustelu 27 5.c. Moninaisuuteen ja maahanmuuttoon liittyvät hankkeet 30 5.d. Opintokeskuksen kokemukset Johtopäätökset ja suositukset Lopuksi Lähteet: 36 Liite 1. Arvioinnissa mukana olleet hankkeet 37 Kirjoittaja Marion Fields Taitto Jarmo Siira Kannen kuva Andrzej Pobiedziński (Sarej). OK-opintokeskus 2013

3 1. Tiivistelmä Tämän arviointiraportin tarkoituksena on ollut selvittää ja arvioida OK-opintokeskuksen ja sen jäsenjärjestöjen vuosina yhteistyössä toteuttamien ja päättyneiden opetusministeriön ja Opetushallituksen rahoittamien hankkeiden pitkäkestoisia vaikutuksia. Hankkeissa on kehitetty erilaisia koulutusmalleja järjestöjen käyttöön. Arviointi kohdistui hankkeiden suoriin hyödynsaajiin: hankkeiden toteuttajiin, osallistujiin ja opintokeskuksen henkilöstöön. Arviointia varten tavoitettiin tällä aikajaksolla päätökseen viedyistä 18 hankkeesta 15. Niistä yhteensä 22 työntekijää osallistui arviointiin. Kahdeksasta hankkeesta voitiin tavoittaa myös hankkeessa koulutettuja vapaehtoisia tai työntekijöitä (N=128). Kaksi hanketta valittiin lähempään tarkasteluun: Mannerheimin Lastensuojeluliiton vaikuttava toiminnan johtaminen ( ) ja Lounais-Suomen 4H-piirin kehityskeskusteluhanke ( ). Lisäksi hyödynnettiin maahan muuttaneiden henkilöiden kanssa toteutettujen koulutushankkeiden seurantakokouksen antia. Arvioinnin viitekehyksenä oli Max Peberdyn kolmen universaalin arviointikysymyksen malli, josta varsinaiset arviointikysymykset johdettiin. Arviointitieto kerättiin huhti-syyskuussa 2012 webropol-kyselyiden sekä yksilö- ja ryhmähaastattelujen avulla. Lisäksi arvioinnissa hyödynnettiin mukana olleiden hankkeiden loppuraporttien ja loppukyselyiden antia. Peberdyn mallin asettamien teemojen mukaan tulokset osoittivat seuraavaa: 1. Teimmekö mitä lupasimme? Sekä järjestöt että OK-opintokeskus ovat onnistuneet hankkeissa tuottamaan koulutuksia ja hankepalveluita, joihin on oltu tyytyväisiä. Erityisen tyytyväisiä voidaan olla hankkeissa kehitettyjen koulutusmallien ja muiden tuotteiden käytettävyyteen ja kestävyyteen: lähes kaikissa hankkeissa niistä oli yhä valtaosa käytössä. Juurruttaminen on sujunut melko hyvin, joskin pitkäkestoisten ja isojen hankkeiden kohdalla se on koettu toimivammaksi kuin pienissä ja/tai lyhyissä hankkeissa. Opintokeskus on koettu positiivisena toimijana, joskin hankehallinnon määrää kritisoitiin. 2. Saimmeko aikaan muutosta? Hankkeiden jälkeen toiminnassa oli koettu positiivisia muutoksia. Hankkeessa koulutettujen henkilöiden arviot olivat hieman vähemmän optimistisia kuin työntekijöiden. Samoin suurissa hankkeissa koettu muutos oli positiivisempi. Opintokeskuksessa muutos on koskenut erityisesti kykyä ohjata järjestöjä. Toisaalta tulosten hyödyntämisessä opintokeskuksen sisällä ja ulkoisessa viestinnässä olisi voinut olla systemaattisempaa 3. Teimmekö oikeita asioita? Kaikki ovat kokeneet toiminnan kannattavaksi, mikä on erinomainen tulos. Opeteltavaa riittää vielä esimerkiksi hallintokäytäntöjen ja viestinnän suhteen. Suurin osa hanketoiminnassa opituista asioista tuntuu olleen hyödyksi kaikille vastaajaryhmille. Ei-aiotuista oppimistuloksista tärkein lienee yhteisöllisyyden lisääntyminen. Tuloksista on johdettu strategisia ja toiminnallisia suosituksia järjestöille, opintokeskukselle ja rahoittajille. Ne liittyvät erityisesti hankkeen elinkaaren pitkittämiseen juurruttamisvaiheeseen asti ja siihen liittyviin toimenpiteisiin erityisesti pienten toimijoiden kohdalla. 3

4 2. Johdanto, tausta ja asetelma Tämän arvioinnin tavoitteena oli selvittää vuosina OK-opintokeskuksen vuosina yhteistyössä jäsenjärjestöjensä kanssa toteuttamiensa koulutushankkeiden pitkäkestoisia vaikutuksia. Näitä hankkeita ovat rahoittaneet opetusministeriö ja Opetushallitus, ja ne ovat kuuluneet kansalaisvaikuttamisen ja suuntaviivaopintojen ohjelmien alle. Hankkeita on opintokeskuksessa ja jäsenjärjestöissä kutsuttu OK-hankkeiksi, joiksi ne on nimetty myös tässä raportissa. Kuten raportin nimikin, Ei vain tätä päivää varten, osoittaa, koulutus on kansalaisjärjestössä tulevaisuuden aktiivista kansalaisuutta rakentavaa toimintaa. Sitä toteutetaan sen takia, että vapaaehtoiset ja henkilöstö voisivat paremmin toteuttaa yhdistyksen tai järjestön perustehtävää (Fields 2005). Koulutushankkeissa on erityisesti kehitetty malleja, joita järjestö voisi hyödyntää vielä pitkään hankkeen jälkeenkin. Toisaalta kansalaistoiminta elää nopeiden muutosten aikaa, jolloin myöskään koulutusta ei voida kerrallaan kehittää esimerkiksi kymmeneksi vuodeksi eteenpäin. Vapaan sivistystyön koulutushankkeiden pitkäkestoisia vaikutuksia ei ole juurikaan selvitetty oppilaitoksissa, ja OKopintokeskuksessa olikin pitkään käyty keskustelua jälkikäteisarvioinnin tarpeellisuudesta. Tavoitteena on selvittää, saivatko suurimmaksi osaksi suhteellisen lyhytkestoiset ja pienmuotoiset hankkeet muutosta aikaan järjestöissä sekä sitä, miten ne ovat vaikuttaneet OK-opintokeskuksen toimintaan. Taustalla on ollut tarve toiminnan hyödyn selvittämisestä. Aikarajauksen perusteet ovat seuraavat: 1) hankkeet on toteutettu ennen vuonna 2010 käynnistyneen Laatu- ja kehittämisohjelman alkua, 2) niistä on jo sen verran aikaa, että niillä on tai ei ole pitkäkestoisia vaikutuksia, 3) hankkeista ei ole niin pitkää aikaa, ettei ainakin osaa mukana olleista koulutetuista olisi mahdollista tavoittaa, 4) hankkeista on suhteellisen yhtenäisesti tietoa OK-opintokeskuksen hankehallinnointiin näinä vuosina käyttämässä Optima-tietojärjestelmässä. Ennen vuotta 2010 käynnistyneitä, mutta vasta vuonna 2010 tai myöhemmin päättyneitä hankkeita ei arvioinnissa ole mukana. Yksi hankkeista oli käynnistynyt jo vuonna 2005 ja se päätettiin vuonna 2007, muut käynnistyivät vuosien 2007 ja 2009 välillä. Arvioinnin viitekehyksenä toimi useissa kansalaisjärjestöjen hankkeiden arvioinneissa sovellettu Max Peberdyn kolmen universaalin kysymyksen malli (ks. Soste 2013), jossa arviointia varten laadittavat arviointikysymykset ja arvioinnin kohteilta kysyttävät asiat liittyvät seuraavaan kolmeen teemaan: 1. Teimmekö mitä lupasimme? (Toimintojen taso); 2. Saimmeko aikaan muutosta? (Vaikutukset ja vaikuttavuus); 3. Teimmekö oikeita asioita? (Strateginen relevanssi). Malliin palataan seuraavassa luvussa. Jälkikäteisarviointia ei pitkällä viipeellä (tässä tapauksessa jopa lähes viisi vuotta hankkeen päättymisestä) useinkaan tehdä, vaan tämäntyyppinenkin arviointi liittyy yleensä projektin päättymisen hetkeen. Projekteissa mukana olevat henkilöt eivät yleensä välttämättä halua muistella vanhoja, vaan siirtyä teenpäin. Lisäksi pitkällä aikavälillä aika voi kullata muistot, jolloin hankkeen merkitystä voidaan joko yli- tai aliarvioida. Lisäksi sekä järjestön että vapaaehtoisen elämässä tapahtuu muutoksia, jotka vaikuttavat juurruttamiseen. elämäntilanne muuttuu, työntekijät vaihtuvat jne. Vastaajien esittämiä käsityksiä onkin syytä tarkastella tämä asia mielessä. (Ks. esim. Virtanen 2007; Nelson 2005.) Järjestökoulutuksen aikaansaamaan muutokseen toiminnassa, joka on koulutuksen onnistumisen ydin, ei kuitenkaan yleensä päästä käsiksi arvioinneissa. Jos koulutuksen arviointia ajatellaan tunnetun Kirkpatrickin (1976) nelijaon mukaan (reaktiot-oppiminen-käyttäytyminen-tulokset/vaikutukset), niin tulosten, nelostason arviointia tehdään harvoin, muun muassa koska se koetaan työlääksi. 4

5 Tämän takia koulutushankkeen onnistumiselle pitkällä aikavälillä hankkeen elinkaaren jälkeen on löydettävissä hyvin vähän valmiita kriteerejä. Tämän raportin tehtävänä onkin paitsi kuvata hankkeiden tulosten hyödynnettävyyttä hankkeiden jälkeen, myös pohtia sitä, millainen on pitkällä aikavälillä onnistunut koulutushanke. Voidaan kuitenkin todeta hanketoiminnan onnistuneen kokonaisuutena, jos: Tuotoksista on vielä ainakin puolet käytössä Sekä osallistujat että järjestöjen ja opintokeskuksen työntekijät pystyvät kertomaan konkreettisista muutoksista, joiden avulla toimintaa on voitu kehittää ja toiminnasta on opittu jotain Hanketoimintaan lähtemisen todetaan vielä jälkikäteen olleen kannattavaa Opintokeskuksen toiminta on koettu onnistuneeksi Arvioinnin toteutti suunnittelija Marion Fields. Hän toimi arvioinnin ajanjaksolla hankekoordinaattorina opintokeskuksessa. Suurimmassa osassa mukana olleita hankkeita arvioinnin tekijä oli mukana välillisesti järjestäen toteuttajille hankevalmennuksia ja toteuttaen hankkeiden vuotuisen raportoinnin ja arvioinnin. Hän on ollut mukana ohjaamassa neljää em. hankkeista, mutta yhtäkään näistä ei valittu tapausarviointiin, että arvioijan omat käsitykset hankkeiden toteutumisesta eivät näkyisi voimakkaasti taustalla. Arvioija tuntee kuitenkin kaikki mukana olleet hankkeet, joten hänen rooliaan voisi luonnehtia läheiseksi ulkopuoliseksi. Haastattelujen litteroinnissa arvioijaa avusti OK-opintokeskuksen harjoittelija Elina Ylönen. Arvioija haluaa kiittää kaikkia mukana olleita järjestöä, niiden henkilökuntaa ja vapaaehtoisia sekä OK-opintokeskuksen henkilökuntaa hyvästä yhteistyöstä. Lisäksi Elina Ylöselle kuuluu erityiskiitos työpanoksesta arviointiaineiston käsittelyvaiheessa, jota ilman tämä raportti tuskin olisi valmistunut. Tämän raportin taittoi OK-opintokeskuksen multimediasuunnittelija Jarmo Siira, jolle kuuluu kiitokset raportin ulkoasusta. 5

6 3. Toteutus, menetelmät ja aineistot Keitä oli mukana? Arviointiin saatiin osallistujat mukaan niin, että kaikista niistä järjestöistä, joissa tiedettiin vielä olevan työntekijä, joka oli toteuttamassa hanketta, kysyttiin kiinnostusta osallistua jälkikäteisarviointiin. Lisäksi kysyttiin, onko hankkeessa koulutettuja opiskelijoita mahdollista vielä tavoittaa. Yhteensä ajanjakson aikana toteutettiin 18 tähän arviointiin soveltuvaa hanketta, joista yksi jätettiin pois, koska työntekijöiden tiedettiin vaihtuneen, ja kahta toteuttajaa ei saatu tavoitettua. Mukana oli siis 15 hanketta, joista saatiin mukaan työntekijän näkemykset (yhteensä 22 työntekijää vastasi). Lisäksi kahdeksassa hankkeessa pystyttiin myös tavoittamaan koulutettuja. Arvioinnin kohteena olivat OK-hankkeiden suorat hyötyjät. Alla oleva kuvio esittää yksinkertaisen mallin OK-hankkeiden hyödynsaajista. Suorat hyötyjät on merkitty tavallisilla nuolilla, epäsuorat hyötyjät katkoviivoilla. Kuvio 1. OK-hankkeiden hyödynsaajat Tästä kuviosta voidaan johtaa, että suoraan OK-hankkeista hyötyvät järjestöissä hanketyöntekijät, muut relevantit työntekijät sekä hankkeissa koulutetut vapaaehtoiset tai työntekijät. He ovat joko työskennelleet hankkeen parissa ja/ tai opiskelleet uusia taitoja niiden aikana. Useina vuosina tehdyissä hankkeiden loppuarvioinneissa on havaittu, että yhden hankekoulutuksessa koulutetun vapaaehtoisen antamasta panoksesta hyötyy osallistujien arvion mukaan noin 10 muuta henkilöä. Heidät kuitenkin luetaan tässä epäsuoriksi hyödynsaajiksi, joten he eivät ole tässä arvioinnissa edustettuina. Opintokeskuksessa suorat hyötyjät ovat hankkeita ohjanneet työntekijät, jotka lähinnä ovat saaneet uutta ammattitaitoa. Lisäksi opintokeskusta tarkastellaan tässä hankkeessa myös organisaation tasolla. OK-hankkeiden toteuttajat ovat laatineet joka vuosi hankkeelleen toimintasuunnitelman. Vuonna 2007 suunnitelmat olivat lähinnä konkreettisiin koulutuksiin liittyviä taulukoita, mutta vuonna 2008 suunnittelu uudistettiin niin, että toimenpiteet erotettiin koulutuskalenteriin ja hankkeen toteuttanut järjestö laati sekä määrällisiä että laadullisia tavoitteita koko hankkeelle, koulutukselle, järjestön kehittämiselle ja aktiiviselle kansalaisuudelle. Näistä suunnitelmista ja arvioijan aikaisemmasta kokemuksesta on syntynyt käsitys onnistuneesta koulutushankkeesta, joka ohjaa tätä arviointia. 6

7 Suurimmaksi osaksi hankkeelle liitetyt tavoitteet olivat konkreettisia (on otettu käyttöön uusi koulutusjärjestelmä, on koulutettu X määrä vapaaehtoisia). Muutamassa hankkeessa on kuvattu myös toivottu/odotettu muutos toiminnassa (esim. vertaistoiminta on kehittynyt) tai hankkeen tuottama muutos toimintaympäristössä (esim. suvaitsevaisuuden lisääntyminen). Koska vapaan sivistystyön tehtävänä on myös yksilöille kehittymisen ja oppimisen mahdollisuuksia, onnistuneessa hankkeessa on edistetty oppimista ja aktiivista kansalaisuutta. Oppijan kohdalla tavoitteiksi on useimmin mainittu osaaminen kansalaisena, aiempaa aktiivisempi/osaavampi toiminta ja siihen liittyvä osallisuus sekä hyvinvointikokemukset. Nämä ovat myös linjassa sen kanssa, mitä vaikutuksia järjestötoimintaan liittyvään vapaan sivistystyön koulutukseen vahvasti on (Manninen & Luukannel 2008). Opintokeskuksen kannalta onnistuneeseen hankkeeseen on liittynyt kyvykkyys tällaisten tulosten edistäjänä esim. ohjaamisen lautta. Näin ollen arvioinnissa keskitytään muutamaan asiaan: Tuotosten (koulutukset, mallit, aineistot) hyödyntäminen hankkeen jälkeen Muutokset toiminnassa ja oppiminen Vapaaehtoisten kokemat muutokset ja oppiminen Opintokeskuksen taloudellinen tuki hankkeille vaihteli eurosta euroon vuosittain. Opintokeskus ei ollut varsinaisesti hankkeiden rahoittaja, vaan myös toteuttaja, joka jakoi osan saamastaan rahoituksesta eteenpäin. Tässä tapauksessa se on siis toteuttanut osan hanketoiminnasta järjestöjen kanssa. OK-hankkeessa jäsenjärjestön omavastuu oli 50 %. Arvioinnissa pienet hankkeet on luokiteltu niin, että opintokeskuksen tuki oli alle , keskisuurten ja suurten yli vuodessa. Tämä arviointi ei perustu kustannustehokkuuden toteamiseen, mutta tapausvertailuun on otettu mukaan suuri ja pieni hanke, jotta voidaan vertailla, onko hankkeen taloudellisten resurssien ja pitkäkestoisen hyödynnettävyyden välillä yhteyttä. Kaksi hanketta valittiin lähempään tapaustarkasteluun: Mannerheimin Lastensuojeluliiton vaikuttava toiminnan johtaminen (VJK) esimerkkinä isosta hankkeesta ja Lounais-Suomen 4H-piirin Kehityskeskustelu johtamisjärjestelmässä esimerkkinä pienestä hankkeesta. Valinnan taustalla oli se, että loppuarvioinneissa molempien hankkeiden on todettu tuottaneen hyviä tuloksia koosta riippumatta. Arvioinnissa on haluttu pohtia hankkeen laajuuden vaikutusta tulosten hyödyntämiseen, koska aihe on puhuttanut opintokeskusta pitkään. Näistä hankkeista on kerätty muita enemmän tietoa. Lisäksi hyödynnetään opintokeskuksen ja sen jäsenjärjestöjen yhdessä toteuttamien maahanmuuttajahankkeiden seurantatapaamisesta kertynyttä aineistoa. Hankkeen yhteistyökumppanin nimen mukaan aakkosittain hankkeet löytyvät liitteestä 1. 7

8 Arviointikysymykset ja -asetelma Tässä arvioinnissa sovellettiin brittiläisen pitkän linjan kansalaisjärjestöhankkeiden arvioijan Max Peberdyn kehittämää kolmen universaalin kysymyksen mallia, jota on erityisesti hyödynnetty suomalaisten kansalaisjärjestöjen tekemissä kehitysyhteistyöhankkeissa. Malli on todettu käyttökelpoiseksi siitä syystä, että sen avulla voidaan yhdistää toteuttajien ja asiakkaiden näkökulma ja nivoa analyysi tuloksista organisaation toiminnan kehittämiseen. Kolmen universaalin kysymyksen mallia on tässä hyödynnetty niin, että sen teemoista ja hankkeiden toimintasuunnitelmista ja muista lähteistä johdetusta ymmärryksestä käsin on johdettu tähän arviointiin liittyvät omat kysymykset ja kohderyhmät, joihin mikäkin kysymys kohdistettiin: 1. Teimmekö mitä lupasimme? (Toimintojen taso) 1. Ovatko hankkeissa aikaansaadut mallit ja materiaalit yhä käytössä? (toteuttajat) 2. Ovatko hankkeiden juurruttaminen ja tulosten levittäminen sujuneet odotetusti? (kaikki) 3. Miten OK-opintokeskus toteutti lupaamansa palvelut? (Kaikki) 2. Saimmeko aikaan muutosta? (Vaikutukset ja vaikuttavuus) 4. Miten hankkeet ovat muuttaneet vapaaehtoisten ja järjestöjen toimintaa? (kaikki) 5. Miten hankkeet ovat muuttaneet OK-opintokeskuksen toimintaa? (opintokeskus) 3. Teimmekö oikeita asioita? (Strateginen relevanssi) 6. Onko hanketoiminta ollut kannattavaa? (kaikki) 7. Mitä parannettavaa OK-hankkeissa on? (kaikki) 8. Mitä koulutuksiin osallistuneet opiskelijat, järjestöt ja opintokeskus ovat voineet oppia hankkeista? (kaikki) Tässä arvioinnissa keskitytään tuloksiin ja hankkeiden vaikutuksiin niiden elinkaaren jälkeen. Kaikista hankkeista on saatavilla niiden loppuraportti, joka on toteuttajien arvioon perustuva. Tämän lisäksi vuodesta 2008 hankkeessa koulutetuille on toteutettu yhtenäinen loppukysely. Näitä hyödynnetään tässä arvioinnissa soveltuvin osin. Kattavaa arviointia varten hankittiin sekä laadullista että määrällistä tietoa. Verkkokysely oli kevyt ja helppo tapa tavoittaa suuri joukko osallistujia ja toteuttajia, joskin sitä käytettäessä vastausprosentti jää usein varsin pieneksi. Näin oli nytkin. OK-opintokeskuksen käyttämä Webropol-kyselyjärjestelmä ei anna tietoa siitä, saavuttaako viesti todellisuudessa vastaajan, vai joutuuko viesti roskapostisuodattimeen, joten vastausprosentit ovat lähinnä viitteellisiä. Vastaukset analysoitiin SPSS-ohjelmistolla, joka mahdollisti paremman ristiintaulukoinnin ja muutenkin tarkemman analysoinnin. Laadullista tietoa hankittiin myös haastattelujen avulla ja järjestetyn työkokouksen muistiota hyödyntäen. Haastattelut olivat semistrukturoituja niin, että lähtökohtana kaikissa oli kolmen universaalin kysymyksen malli, mutta kohderyhmän ja hankkeen mukaan kysymyksiä vaihdeltiin, eikä niitä välttämättä aina kysytty samassa järjestyksessä. 8

9 Laadullinen aineisto luokiteltiin teemoittain niin, että samassa vastauksessa nostettiin esiin useita teemoja, ne luokiteltiin kaikki erikseen. 1. Hankkeiden toteuttajien näkemykset kerättiin Webropol-kyselyn avulla huhtikuussa 2012 (22/45 vastaajaa, vastausprosentti 49) (liite 2) 2. Hankkeissa koulutettujen kerättiin Webropol-kyselyn avulla huhtikuussa 2012 (128/406 vastaajaa, vastausprosentti 32) (Liite 3) 3. Lisäksi tapauskohtaiseen arviointiin osallistuneissa hankkeissa toteutettiin haastatteluja seuraavasti: Mannerheimin Lastensuojeluliitto huhti-kesäkuu 2012 (2 toteuttajahaastattelua, 1 osallistujahaastattelu, jossa 2 henkilöä), Lounais-Suomen 4H-piiri huhtikuu 2012 (1 toteuttajahaastattelu, 3 osallistujahaastattelua). Näissä arvioinneissa hyödynnetään myös webropol-kyselyn tuloksia 4. Maahanmuuttajahankkeiden kohdalla hyödynnetään lähinnä järjestetyssä työkokouksessa aiempina vuosina OK-hankkeita toteuttaneiden kumppaneiden nostamia teemoja, koska sähköiseen kyselyyn vastasi tässä kategoriassa liian harva. 5. OK-opintokeskuksen henkilökunnan näkemykset kerättiin elokuussa 2012 Webropol-kyselyllä (7/11 vastaajaa, vastausprosentti 64, liite 4) ja kahden ryhmähaastattelun avulla (johtoryhmä ja hankkeita toteuttaneet työntekijät). Näillä menetelmillä kerätyt tiedot antavat käytettävissä oleviin resursseihin nähden riittävän kuvan hankkeiden pitkäkestoisista vaikutuksista ja tulosten hyödynnettävyydestä. 9

10 4. Tulosten yleinen esittely Tässä luvussa esitellään tuloksia järjestöjen ja koulutusten osallistujien näkökulmasta arviointikysymysten kautta. Kuten aiemmin on esitetty, hankkeissa koulutetut vapaaehtoiset (N=128) ja hankkeita toteuttaneet järjestöjen työntekijät (N=45) vastasivat Webropol-kyselyyn huhtikuussa Aineistot analysoitiin SPSS-ohjelmistolla, jolloin voitiin mm. vertailla tuloksia erilaisten taustamuuttujien avulla. Näitä vertailuja esitellään silloin, jos eri vastaajaryhmien välille nousee eroavaisuuksia. Hankkeittain eriteltynä ei tuloksia tässä raportissa esitellä muuten kuin tarkempien tapausselvitysten kohdalla, koska vastaajaryhmät ovat pieniä ja vastaajien henkilöllisyys voi siten paljastua. Työntekijöitä pyydettiin ilmoittamaan seuraavat taustatekijät: Hankkeen kesto vuosina (1-3 v.) (1 v. n=5; 2v. n=10; 3 v. n=5) Hankkeen päättymisvuosi ( ) (2007 n=4; 2008 n=4; 2009 n=12) Onko hankkeesta vastannut työntekijä yhä järjestön palveluksessa (k/e) (k n=16, e n= 4) Hankkeen taloudellista kokoa (ks. edellinen luku) (pieni n=19; keskisuuri n=2, suuri n=3) Koulutuksiin osallistuneita pyydettiin kertomaan: sukupuoli (nainen n=114; mies n=12) ikä (alle 35 vuotta n=24; n=35; v. n= 34; v. n=20; yli 65 v. n=12) vapaaehtoistoiminnan kesto (1-5 v. n=17; 5-10 v. n= 49; yli 11 v. n=59). TEEMA 1. TEIMMEKÖ MITÄ LUPASIMME? Arviointikysymys 1. Ovatko hankkeissa aikaansaadut mallit ja materiaalit yhä käytössä? Vastaajia (hankkeiden toteuttajat) pyydettiin listaamaan tuotokset määrällisesti, kuvaaman ne ja kertomaan, moniko niistä on yhä käytössä. Tuotokset vaihtelivat hyvin pienestä (esite) hyvin laajaan (pitkä kurssikokonaisuus), joten ne eivät ole täysin yhteismitallisia. Useimmin mainittiin kaksi tuotosta (esim. koulutusrunko ja koulutusmateriaali). vastausten jakauma oli seuraava: 1 n=4 (1 laaja kokonaisuus, johon sisältyy materiaaleja, kurssirunkoja jne. n=2) 2 n=5 3 n=3 4 n= 3 5 n=1 9 n=1 yli 10 n=1 Kuten luvussa kaksi pohdittiin, vapaaehtoistoiminta elää nopeiden muutosten aikaa, ja koska hankkeista on kulunut jo useampi vuosi, hyvä taso olisi, jos yli puolet tuotoksista olisi yhä käytössä. Tämä tavoite saavutettiin ja ylitettiinkin, sillä yli puolet (n=14) tähän kysymykseen vastanneesta 20 vastaajasta kertoi kaikkien tuotteiden olevan yhä käytössä kolme heistä täsmensi vastauksessaan, että niitä on päivitetty. Kaksi vastaaja kertoi, että puolet tuotteista on käytössä, ja neljä ei kertonut tässä kohtaa arviotaan. Hankkeen kestolla, koolla ja päättymisajankohdalla ei ollut tässä yhteydessä vaikutusta. Voidaan siis arvioida, että hankkeiden toimintasuunnitelmissa mainitut mallit on saatu vietyä pitkäkestoiseen käyttöön. 10

11 Arviointikysymys 2. Ovatko hankkeiden juurruttaminen ja tulosten levittäminen sujuneet odotetusti? Tämä kysymys kohdistui kaikkiin ryhmiin. Hankkeen juurruttaminen koostuu monista osa-alueista: on koulutusta, tiedottamista ja monia muita tapoja viedä hankkeen tulokset käytäntöön. Järjestöjen henkilöstö vastasi näihin kysymyksiin. Osallistujilta kysyttiin juurruttamisesta yleisemmällä tasolla, ja sitten tarkemmin heidän taitojensa kehittymiseen ja hyödyntämiseen liittyen. Opintokeskuksen työntekijöiden vastaukset koskevat hanketulosten juurruttamista yleisellä tasolla. Juurruttamisen menetelmiä valittiin valmiista luettelosta, johon vastaajat saivat myös lisätä muita menetelmiä. Menetelmiä on käytetty seuraavasti: 18 mainintaa: juurruttamissuunnitelma 17 mainintaa: vapaaehtoisten yhteiset kurssit; hankkeessa tuotettujen aineistojen jakaminen 14 mainintaa: koulutettujen vapaaehtoisten ohjaus; vapaaehtoisten tai yhdistysten neuvonta esim. puhelim. 11 mainintaa: vapaaehtoisten perehdyttäminen 10 mainintaa: tiedottaminen tuloksista järjestön lehdessä 9 mainintaa: tiedottaminen tuloksista järjestön kotisivulla tai sosiaalisessa mediassa; henkilöstökoulutus 8 mainintaa: räätälöidyt koulutukset, joissa henkilökunta esim. vierailee yhdistyksessä 5 mainintaa: tulosten esittely esim. messuilla 4 mainintaa: tulosten esittely jäsenille esim. vuosikokouksessa Muita mainittuja tapoja oli viisi, joista jokainen mainittiin kerran. Jokainen näistä olisi sopinut yllä mainittuun listaan, joten niitä ei käsitellä sen lähemmin. Hankkeen juurruttaminen ei ole ollut pelkästään järjestön tehtävä, vaan OK-opintokeskuksen henkilökunta on ollut siinä myös jonkin verran mukana. Seitsemästä kyselyyn vastanneesta työntekijästä neljä kertoo kirjoittaneensa hankkeesta opintokeskuksen hankesivuille käytännössä kuitenkin kaikki ovat tätä tehneet, koska se kuuluu hanketta ohjaavan työntekijän tehtäviin. Neljä vastaajaa on kouluttanut ohjaamaansa järjestöä hankkeen aiheeseen liittyneessä koulutuksessa hankkeen päätyttyä, kaksi pitänyt seurantapalavereja ja yksi kirjoittanut järjestön lehteen. Opintokeskuksen sisällä neljä työntekijää on hyödyntänyt itse ohjaamansa hankkeen tuloksia koulutuksessa, kolme on hyödyntänyt toisen työntekijän ohjaaman hankkeen tuloksia koulutuksissa ja kolme on hyödyntänyt hankkeita toiminnan suunnittelussa. Juurruttamistoimenpiteistä koottiin suurempia kokonaisuuksia, joiden onnistumista arvioitiin. Yhteenveto löytyy alla olevasta taulukosta, josta käy ilmi, että osa-alueiden onnistumisen välillä on jonkin verran eroja. 11

12 Taulukko 1. Hankkeiden toteuttajien arvio juurruttamisen osa-alueiden toteutumisesta Juurruttamisen osa-alue Juurruttaminen yleensä 7 35 % Hankkeessa tuotettujen aineistojen käyttö Erittäin hyvin 8 42 % Koulutuksen vakiinnuttaminen 8 40 % Vapaaehtoisten sitouttaminen 2 11 % Toiminnan nostaminen jäsenten tietoisuuteen Toiminnan nostaminen ulkopuolisten tietoisuuteen Hankkeessa synnytettyjen verkostojen ylläpito 7 35 % 0 0 % 4 20 % 9 45 % 7 36 % 5 25 % % 9 45 % 8 40 % 6 30 % Melko hyvin Ei hyvin eikä huonosti 2 10 % 2 11 % 3 15 % 3 15 % 2 10 % 7 35 % 6 30 % Melko huonosti 2 10 % 2 11 % 4 20 % 2 11 % 2 10 % 4 20 % 4 20 % Erittäin huonosti 0 0 % 0 0 % 0 0 % 0 0 % 0 0 % 1 5 % % Yhteensä (n + %) % % % % % % % Kuten tästä taulukosta voidaan havaita, hankkeiden toteuttajat uskovat juurruttamisen sujuneen varsin hyvin. Erityisen hyvin on onnistunut aineistojen käyttö ja henkilöstön työnjako. Sen sijaan ulkoinen tiedotus ja verkostojen ylläpito ovat onnistuneet muita osa-alueita selvästi heikommin. Hankkeiden taustamuuttujien mukaan muuten ei ollut suurta eroa, mutta pitkäkestoisia (3 vuotta) hankkeita toteuttaneet vastaajat olivat hieman muita positiivisempia vapaaehtoisten sitouttamisen ja jäsenten tietoisuuden herättämisen suhteen. Tämä johtunee yksinkertaisesti siitä, että näissä hankkeissa on ollut enemmän aikaa, ja erityisesti tietoisuuden herättäminen esimerkiksi uudesta toimintamuodosta järjestön sisällä on aiempien arviointien mukaan hidasta. Opintokeskuksen työntekijöiden sekä johtoryhmän ryhmähaastatteluista sen sijaan kävi ilmi, että opintokeskuksen työntekijät ovat kokeneet juurruttamisen edistyneen järjestön kannalta paremmin suurissa hankkeissa, ehkä siksi, että niissä on tehty yhdessä isompia sitoumuksia toteuttamiseen, eikä tulosten juurruttaminen ole vain yhden henkilön vastuulla. Toisaalta niissä muutos on myös näkynyt opintokeskukseen päin selvemmin. Hankkeissa koulutettujen osallistujien kannalta juurruttamisessa on kaksi toimijaa: liitto tai piiri, joka hankkeen toteutti, ja piiri tai yhdistys, jossa vapaaehtoinen itse toimii. 70 % vastaajista (n=88) uskoi juurruttamisen toteutuneen liitossa tai piirissä vähintään melko hyvin ja myös 62 % (n=78) kokee sen toteutuneen omassa yhdistyksessä hyvin. Näin ollen järjestöjen työntekijöiden ja koulutuksiin osallistuneiden lähinnä vapaaehtoisten toimijoiden käsitykset ovat yhtenevät. Koska yhdistyksiin juurruttaminen näkyy olleen haastavampaa, on vielä hyvä kirjoittaa lyhyesti syistä, joita osallistujat ovat eritelleet juurruttamisen hyvälle/heikolle onnistumiselle: Onnistumisen syynä on muun muassa nähty se, että on saatu uutta toimintaa ja toimintaan uusia materiaaleja ja työkaluja, joiden hyödyntämiseen on saatu perehdytys. Varsin moni vastaaja kertoi, että juurruttaminen on edennyt, jos vapaaehtoiset ovat innostuneet koulutuksesta ja sen annista on ollut helppoa ja mielekästä kertoa muillekin. Hyvä koulutuksen laatu, organisointi ja tarpeeseen vastaavuus se myös edistävät juurruttamista. Toiminnan painopiste on ollut kouluttaa nuoremmille partiolaisille sekä yhdistysten että ihmisten johtamista ja juurruttaa hyviä käytäntöjä. Toiminnan menestyksekäs toteuttaminen on näkyvillä sitä kautta, että hallinnollisia ongelmia ei juurikaan ole enää koulutusten jälkeen ja sitä kautta, että järjestön strategiset tavoitteet kulkevat paikallisyhdistyksiin. (osallistuja, mies, v., mukana yli 11 v.) Olemme perustaneet hyvin toimivan käsityökerhon, jossa olen neuvonut saamiani oppeja muille. Tärkeänä pidän sitä, että nekin jotka eivät käsillään pysty tekemään mitään, tulevat mukaan viihtymään (vaihtoehtona on yksin kotona istuminen). Olemme jossain määrin tehneet käsitöitä myyjäisiin ja omiin tilaisuuksiimme. Ihan jokainen osallistuja on tullut innolla mukaan, koska yhdessä tekeminen on heistä ollut hauskaa. (osallistuja, nainen, yli 65 v., ollut mukana 1-5 v.) Toisaalta juurruttamista haittaavia tekijöitä ovat huonosti sujuva viestintä ja muiden yhdistystoimijoiden vastustus. Samoin se, että yhdistyksestä on ollut mukana vain yksi henkilö, voi hidastaa juurruttamista, etenkin kun vapaaehtoistoimijoiden vaihtuvuus on korkea: 12

13 Kun yhdistyksen puheenjohtaja vaihtuu pitäisi uusi saada aina myös koulutukseen. (Osallistuja, nainen, v., ollut mukana 6-10 v.) Oppimisen hyödyntäminen on tärkein tapa, jolla koulutettu vapaaehtoinen voi viedä hankkeen tuloksia eteenpäin. Siihen kuuluu myös ohjaus ja muita täydentäviä toimintoja, joista osa oli mainittu juurruttamistoimenpiteiden luettelossa: Taulukko 2. Koulutukseen osallistujien käsityksiä koulutuksen hyödynnettävyydestä ja täydennyksestä Arvioitava asia Olen voinut hyödyntää koulutusta toiminnassa Olen joutunut täydentämään osaamista muilla tavoin Olen saanut riittävästi täydennystä koulutukseen Olen saanut riittävästi ohjausta toimintaani varten Täysin samaa mieltä % 6 5 % % % Osin mieltä % % % % samaa Osin eri mieltä % % % % Täysin mieltä 1 1 % % 8 6 % 7 6 % eri Yhteensä (n + %) % % % % Nämä tulokset olivat myös varsin rohkaisevia. Erityisesti se, että ohjausta koettiin saatavan tarpeeksi, on tärkeää, koska ohjauksen tarpeesta ja siihen liittyvästä osaamisesta on OK-opintokeskuksen jäsenjärjestöjen keskuudessa puhuttu viime aikoina runsaasti. Tulokset ristiintaulukoitiin vastaajien taustan mukaan. Muuten ei erityisiä eroja noussut esiin, mutta osaamisen täydennyksen tarpeen ja erityisesti saatavuuden suhteen huomattavia eroja oli mukaan, kuinka kauan vastaaja on toiminut vapaaehtoisena: kun jopa 84 % (n=48) 11 vuotta tai pidempään toimineista osallistujista oli vähintään osin sitä mieltä, että täydennystä osaamiseen on ollut riittävästi tarjolla, vain 12 % (n=6) 1-5 vuotta toimineista oli samaa mieltä. He myös kokivat muita useammin tarvitsevansa lisää täydennystä osaamiseensa (50 % oli prosenttia vähintään osin tätä mieltä), mutta olivat kuitenkin tyytyväisiä saamansa ohjauksen laajuuteen. Juurruttamisen onnistumisesta kertoo myös se, että yli puolet vastaajista (n=13) arvioi, että hankkeessa koulutetuista vapaaehtoisista oli yli puolet yhä toiminnassa mukana. Hankkeiden toteuttajien mielestä hankkeen juurruttamista ovat edistäneet muun muassa se, että aihe on kiinnostanut jäseniä ja yhdistyksiä, ja ne ovat ottaneet uuden toiminnan omakseen (2 vastaajaa). Hanke on lisäksi esimerkiksi lisännyt tietoisuutta koulutuksen merkityksestä järjestön sisällä (2 vast.). Tärkein juurruttamista estänyt tekijä oli rahoituksen tai muiden resurssien puute (5 vast.). Vaikka OK-hankkeet ovat pieniä ja niitä varten ei yleensä järjestöön palkata lisähenkilökuntaa, ne kuitenkin mahdollistavat keskittymisen tiettyyn aiheeseen. Kun hanke loppuu, pitää etsiä joko uusi rahoitus ja tuottaa uutta toimintaa, tai sitten miettiä uudet keinot: Perhekahvilatoimintaa ja perheiden muuta vertaistukea kehitetään järjestössä jatkuvasti. Henkilöstömäärää ei voi lisätä, joten joka vuosi täytyy löytää toiminnalle jokin kehittämisen pääpainopistealue. Kaikkea ei voi jatkokehittää, juurruttaa ja levittää samanaikaisesti. (Hankkeen toteuttaja) Henkilöstön vaihtuvuutta pidettiin haastavana asiana (4 mainintaa) ja vaihtumattomuutta hyvänä (1 vastaaja). OKopintokeskuksessa hankkeita ohjanneet työntekijät olivat sitä mieltä, että yksittäisen työntekijän lisäksi tarvitaan koko järjestön ja sen johdon sitoutuminen juurruttamisvaiheessa: se, mitä [työntekijän nimi] sanoi siitä [hankkeen nimi], niin se oli niinku koko järjestön juttu (Opintokeskuksen työntekijä) Mallien levittämistä voi järjestöjen sisällä hankaloittaa yhden opintokeskuksen työntekijän mielestä kilpailuasetelma esimerkiksi piirien välillä. Jos yksi kehittää hankkeessa toimivan mallin, toinen ei välttämättä haluakaan ottaa sitä käyttöön. Toinen työntekijä arvioi tämän johtuvan resurssipulasta. Koulutettujen mielestä juurruttamisen onnistuminen näkyy siinä, että hankkeessa kehitetty toiminta on käynnissä, siihen on saatu uusia ideoita, ja vapaaehtoiset ovat yhä mukana. Juurruttamista heidän osaltaan taas haittaa se, että vapaaehtoistoimijat eivät kentällä ehdi tehdä sitä haluamallaan tavalla: Koulutuksessa sai paljon työkaluja toimintaan. Koska kyseessä on kuitenkin vapaaehtoistyö, ei juurruttamista ole voinut tehdä niin systemaattisesti kun toivoisi. (osallistuja, nainen, v, ollut mukana yli 11 v.) 13

14 Opintokeskuksen sisällä tulosten juurruttaminen ja levittäminen ovat sujuneet suhteellisen hyvin, mutta kyselyyn vastanneiden työntekijöiden mielestä se voisi olla systemaattisempaa. Opintokeskuksen rooli voisi olla myös selkeämpi: OK:n kannalta juurruttaminen järjestöissä tapahtuu hitaasti riippuen järjestön toimintakulttuurista ja sisäisistä prosesseista. Hankkeissa on varmaan ollut tuloksia, joita olisi voitu juurruttaa enemmänkin OK:n kautta esim. yhdistystoiminnan kehittämiseen ja vapaaehtoistoimintaan liittyvä koulutus. Myös alueilla olisi voitu enemmän näkyä hankkeiden tiimoilta. useat OK:n nykyiset koulutukset esim. ohjaus-, vaikuttamis- ja johtamiskoulutus osaltaan vievät OK:n kautta tärkeitä asioita eteenpäin. OK tukee ja kannustaa juurruttamisessa, aktiivisempi roolikin voisi olla. Seuranta voisi olla systemaattisempaa. (opintokeskuksen työntekijä) Keskimäärin OK-hankkeiden juurruttaminen ja tulosten levittäminen olivat sujuneet hyvin, mutta muutama asia nousi esiin: Ulkoiseen tiedottamiseen ja verkostojen ylläpitoon tulisi keskittyä jo hankkeen aikana, kun opintokeskus ohjaa järjestöä. Tiedotus ja verkostoituminen nousivat esiin myös keväällä 2012, kun OK-opintokeskus selvitti jäsenjärjestöjensä koulutus- ja osaamistarpeita (Fields 2012), joten niiden suhteen järjestössä on aito tarve. Uusien vapaaehtoisten perehdytykseen tulee varata resursseja myös hankkeen jälkeen, että he saavat vietyä osaamisensa kentälle. Tämä koskee erityisesti lyhyempiä hankkeita. Hankkeen tulosten vieminen kentälle tulee suunnitella myös sellaisessa tilanteessa, jossa rahoitus tai muut resurssit ovat pienet. Opintokeskuksen sisällä on selvennettävä tulosten juurruttamisen ja levittämisen rooleja ja tehtäviä, vaikka henkilöstö onkin näissä jo mukana. Arviointikysymys 3. Miten OK-opintokeskus toteutti lupaamansa palvelut? OK-opintokeskuksen palveluita on pohdittu vuosittain hankkeiden loppuraporteissa. Niissä on oltu keskimäärin hyvin tyytyväisiä opintokeskukseen ja sen palveluihin. Ainoat kriittiset kommentit ovat koskeneet hallinnon määrää, joka on yllättänyt etenkin pienten hankkeiden toteuttajat. Lisäksi rahoituspäätösten myöhäinen ajankohta johtaa siihen, että hankkeissa tulee kiire. Tähän ei opintokeskus kuitenkaan ole voinut vaikuttaa. Hankehallintoa on opintokeskuksessa vuosittain tarkasteltu, mutta sen keventämiseen on yhä tarpeita. Hankkeiden koulutuksiin osallistuneet saivat merkitä luettelosta, miten he kokivat opintokeskuksen läsnäolon hankkeessa. 125 vastaajaa vastasi kysymykseen, ja vastausten jakaumat näkyvät alla olevassa kuviossa: Kuvio 2. Hankkeissa koulutettujen käsitys OK-opintokeskuksen roolista hankkeessa 14

15 Suurimmaksi osaksi (85 vastaajaa) OK koettiin positiiviseksi toimijaksi. Sen osuus rahoituksesta on myös havaittu kentällä. Vaikka opintokeskus on osallistunut hankkeen ohjaukseen kiinteästi, tämä ei ole näkynyt useinkaan vapaaehtoisille asti. Monessa tähän arviointiin osallistuneen hankkeen koulutuksessa on myös ollut kouluttaja opintokeskuksesta, mitä ei tässä vaiheessa ole välttämättä muistettu. Hankkeiden toteuttajia taas pyydettiin arvioimaan eri yhteistyökumppanien osuutta hankkeen onnistumisessa. OKopintokeskus ja järjestöjen omat piirit ja yhdistykset koettiin tärkeimmiksi (15 vastaajaa koki opintokeskuksen roolin erittäin tärkeäksi ja 16 omien jäsenyhteisöjen roolin erittäin tärkeäksi). Muita kumppaneita oli ollut vähän, ja niiden merkitys vaihteli suuremmin. Opintokeskuksen johtoryhmän mietti sitä, että osassa hankkeita opintokeskuksen rooli oli aika pieni, mutta että nyt on laatu- ja kehittämistoiminnan kautta palattu tilanteeseen, jossa opintokeskuksen sisällöllinen rooli on isompi, mikä voi myös näkyä myöhemmin tuloksissa: ne oli niinku sellasia tavallaan siellä alussa me oltiin paljon mukana ja kouluttamassa ja sit siinä välissä oltiin niin hallinnollisia et mehän äärimmäisen pikkusen oltiin siellä ja nythän me ollaan niinku uudestaan taas lähetty siihen et me ollaan mukana, mikä on tässä niin kun niin kun lake-linjausten mukastakin, että me ollaan oikeesti siellä tekemässä et me ei olla vaan rahoittajia siinä. (Opintokeskuksen johtoryhmän jäsen) OK-opintokeskuksessa hankkeita toteuttaneet työntekijät ja opintokeskuksen johtoryhmä arvioivat toimintaa myös jonkin verran byrokraattiseksi, ja että hankepalveluita opittiin tuottamaan tänä ajanjaksona vähä vähältä. Kuten eräs johtoryhmän jäsen totesi. Ne synty ihan vaan pakosta. Hankeraportointiin ja -hallintoon liittyvät tehtävät veivät osalta henkilökuntaa runsaasti aikaa, ja he näyttivät järjestöihin päin välillä byrokraateilta ohjaajan sijasta etenkin, jos järjestö itse ei hoitanut tilityksiä ja muita velvoitteita ajallaan. Aikatauluista huolehtiminen jäi joissain tapauksissa vahvasti opintokeskuksen henkilöstön harteille, mikä saattoi viedä aikaa pois ohjaamiselta. Seuranta- ja muu ohjaustoiminta on kuitenkin tuonut myös ryhtiä: niissä mun vetämissä hankkeiss niin mun mielestä se prosessi yleensä se eteneminen on kyllä hyötyny siitä että meillä on ollu esimerkiks näitä seurantatapaamisia ja palavereita sun muita että et kyl mä oon jotenki kokenu, että et kyl se on jollain lailla semmosta selkärankaa tuonu siihen et niil on aina ollu et ne seuraavaks kysyy jo että missä me mennään ja näin poispäin (opintokeskuksen työntekijä) Hankkeita ohjanneet opintokeskuksen työntekijät pohtivat myös, että näkyikö opintokeskus tarpeeksi koulutettaville, mutta kuten yllä olevasta kuviosta voidaan tulkita, tämä huoli on ollut turha. Opintokeskuksen johtoryhmä pohti haastattelussaan lyhyesti myös sitä, että onko opintokeskus toiminut rahoittajaan nähden lupaustensa mukaan. Käytetyt puheenvuorot olivat tässä yhteydessä positiivisia. Näistä vastauksista voidaan päätellä, että OK-opintokeskus on ollut tärkeä kumppani hankkeissa ja näkynyt positiivisessa valossa. Loppuraporttien valossa se nähdään myös luotettavana. Kehitettävää sillä on lähinnä hallinnon keventämisessä, mitä näitä hankkeita seuranneina vuosina on pystytty jonkin verran tekemään. TEEMA 2. SAIMMEKO AIKAAN MUUTOSTA? Hankkeen kaltaisen kehittämistoiminnan aikaansaama muutos on eräs tärkeimmistä asioista toteutumisen kannalta. Tässä arvioinnissa koetaan hyväksi tulokseksi, jos valtaosa vastaajista on pystynyt havaitsemaan muutosta toiminnassa. Mutta millaisia muutokset olivat? Arviointikysymys 4: Miten hankkeet ovat muuttaneet vapaaehtoisten ja järjestöjen toimintaa? Tätä kysymystä kysyttiin lähinnä organisaation kannalta, mutta joissakin kohdin myös vapaaehtoisten toiminnan muutos nousee esiin. Hankkeiden toteuttajilta ja mukana olevilta koulutetuilta kysyttiin tässä kohtaa samoja kysymyksiä. Vastaajan piti valita kahden ääripäässä olevan vastausvaihtoehdon välistä janalta omaa mielipidettä lähinnä oleva vastaus. Vastaajaryhmittäin tulokset on esitetty seuraavassa taulukossa keskiarvioittain. Vastauksen arvo 1 vastaa täysin vasemmalla puolella olevaa väitettä ja arvot 1,1-3,9 viittaavat myös vasemmalle. Arvo 4 on neutraali. Arvot 4,1-7,0 viittaavat oikealla olevaa vaihtoehtoa kohti. Kolme viimeistä kysymystä kysyttiin vain hankkeiden toteuttajilta, koska vapaaehtoisilla koulutettavilla ei niistä välttämättä ole tietoa. 15

16 Taulukko 3. Vastaajien arvioita hankkeen tuomasta muutoksesta. Hanke on Työntekijät ka. Osallistujat ka. muuttanut toimintaa parempaan 2,0 2,6 muuttanut toimintaa huonompaan suuntaan suuntaan auttanut vapaaehtoisten sitouttamista 2,2 2,7 vaikeuttanut vapaaehtoisten sitouttamista helpottanut työnjakoa työntekijöiden ja vapaaehtoisten välillä 6 mainintaa: kiinnostus toimintaan/aktiivisuus on lisääntynyt 16 2,7 3,0 hankaloittanut työnjakoa työntekijöiden ja vapaaehtoisten välillä parantanut koulutuksen laatua 1,9 2,8 heikentänyt koulutuksen laatua edistänyt koulutuksen sovellettavuutta toimintaan lisännyt yhteenkuuluvaisuuden tunnetta vaikuttanut positiivisesti päätöksentekoon vaikuttanut positiivisesti asenteisiin (esim. koulutushalukkuus, avoimuus) lisännyt uskoa järjestötoiminnan tulevaisuuteen helpottanut työnjakoa henkilöstön kesken 2,0 2,7 hankaloittanut koulutuksen sovellettavuutta toimintaan 2,2 2,3 vähentänyt yhteenkuuluvaisuuden tunnetta 2,7 2,5 vaikuttanut negatiivisesti päätöksentekoon 2,2 2,6 vaikuttanut negatiivisesti asenteisiin (esim. koulutushalukkuus, avoimuus) 2,2 2,5 vähentänyt uskoa järjestötoiminnan tulevaisuuteen 2,7 hankaloittanut työnjakoa henkilöstön kesken helpottanut koulutuksen hallinnointia 2,9 hankaloittanut koulutuksen hallinnointia edistänyt kouluttajien 2,3 haitannut kouluttajien toimintaedellytyksiä toimintaedellytyksiä Näistä vastauksista voi tulkita, että hankkeita toteuttaneet työntekijät ovat kautta linjan tyytyväisempiä järjestössään tapahtuneeseen muutokseen. Tässä työntekijöiden määrän vähäisyys saattaa toki vaikuttaa tulokseen, mutta mistä tämä johtuu? On mahdollista, että koska työntekijät ovat sisällä järjestön toiminnassa jokapäiväisessä työelämässään, he joko havaitsevat enemmän asioita, jotka ovat muuttuneet, tai sitten he saattavat hieman yliraportoida muutoksia, koska he ovat toteuttaneet hankkeet ja näkevät ne omina lempilapsinaan. Yhteen asiaan koulutuksiin osallistuneet ovat hieman tyytyväisempiä, nimittäin päätöksentekoon, joka koskeekin heitä yhdistysten vapaaehtois- tai luottamustehtävissä toimivina yleensä enemmän kuin työntekijöitä. Yhteenkuuluvuuden tunteen lisääntymisestä molemmat ryhmät olivat samaa mieltä. Ainoa huolestuttava asia näissä vastauksissa oli, että koulutetut eivät ole kokeneet yhä vahvasti koulutuksen laadun ja sovellettavuuden (joka on järjestökoulutuksen laadun olennainen osa) parantuneen kuin työntekijät. Koulutuksiin osallistuneiden henkilöiden taustan (ikä, sukupuoli, toiminnan kesto) ei merkitseviä eroja keskiarvoissa ilmennyt. On huomattava, että vaikka eroja syntyikin ryhmien välillä, myös osallistujat ovat havainneet positiivista kehitystä yhdistyksessään ja järjestössään. Työntekijät ovat kuitenkin heitä vielä tyytyväisempiä. Syy löytyy ehkä yltä: vapaaehtoisten toiminta on muun elämän takia satunnaisempaa, jolloin juurruttamista ei kyetä yksin tekemään. Vastaajia pyydettiin seuraavaksi pohtimaan muutoksen syitä ja seurauksia sekä sitä, miten muutos näkyy. Työntekijät raportoivat jälleen osallistujia enemmän havainneensa muutoksia, mikä johtunee siitä, että he työskentelevät koulutusasioiden kanssa työssään päivittäin. Vastaajaryhmittäin ja -teemoittain vastaukset jakautuivat seuraavasti. on huomattava, että aina ei ollut mahdollista erottaa syytä ja seurausta toisistaan, joten tuloksia on luettava sen mukaan. HANKKEIDEN TOTEUTTAJAT (13 vastasi) Muutoksen syitä: 2 mainintaa: uusi koulutusjärjestelmä on käytössä; järjestön toimijoiden osaaminen on vahvistunut 1 maininta: Järjestössä on omaksuttu uusia prosessitoiminnan tapoja Muutoksen seurauksia: Positiiviset:

17 3 mainintaa: yhtenäisyys on lisääntynyt järjestössä; koulutuksen suunnitelmallisuus on kehittynyt 1 maininta: hallinto on kehittynyt, jäsenistön kuuleminen ja sitouttaminen on edistynyt, hankkeessa kehitetty toiminta on valtavirtaistunut, toimintaan on saatu uusi painopiste, johtaminen on vahvistunut, yhdistystoimintaa on saatu kehitettyä. Negatiiviset: 1 maininta: resurssit eivät ole riittäneet toiminnon jalkauttamiseen kunnolla. Esimerkki koetusta muutoksesta: Hankkeessa uudistettiin järjestön ohjaajakoulutus H-kerhoa ovat 4H-toiminnan ydin, joten ohjaajakoulutus on meille ensiarvoisen tärkeää. Hankkeen ansiosta ohjaajakoulutuksen uudistustyöhön saatiin mukaan laajalti kentän asiantuntemus, joten myös lopputulos oli onnistunut ja on kestänyt aikaa. Hankkeessa syntyneet tuotteet ovat edelleen käytössä, joten muutos näkyy kaikissa järjestön ohjaajakoulutuksissa. (hankkeen toteuttaja) 17

18 HANKKEISSA KOULUTETUT (66 vastasi) Muutoksen syitä: 6 mainintaa: yhdistystoiminnan osaaminen on lisääntynyt; koulutetut vapaaehtoiset saavat aikaan parempaa toimintaa, on saatu hyviä käytäntöjä tai toimintatapoja omaan käyttöön 5 mainintaa: koulutettu on kokenut oman varmuutensa kasvaneen Muutoksen seurauksia: Positiiviset: 13 mainintaa: kiinnostus toimintaan/aktiivisuus on lisääntynyt 8 mainintaa: oman työn/vapaaehtoistoiminnan arvostus on kasvanut 6 mainintaa: parempi työnjako yhdistyksessä 5 mainintaa: toiminnan ilo lisääntynyt 4 mainintaa: koulutuksen merkitys on tiedostettu ja/tai laatu parantunut; yhtenäisyys on lisääntynyt järjestössä; toiminta on aiempaa suunnitelmallisempaa 3 mainintaa: ihmisten erilaisuuden huomioiminen parantunut; avoimuus ja keskustelu lisääntyneet; kentän ääni kuuluu järjestössä; päätöksenteko on kehittynyt; luottamushenkilöiden vaihtuvuus on lisääntynyt ja vienyt toimintaa eteenpäin 2 mainintaa: tiedottaminen on parantunut; toiminnan jatkuvuus on parantunut; vuorovaikutus on kehittynyt; mukaan saatu nuoria; kokeiluinto on kasvanut; toimintaan sitoutuminen on aiempaa helpompaa; 1 maininta: vapaaehtoisten ohjaaminen on helpompaa, oma motivaatio on lisääntynyt Negatiiviset: 8 mainintaa: en osaa sanoa (mm. koska muutoksia on tullut muutenkin kuin hankkeen kautta) 6 mainintaa: muutosta ei ole ollut, tai se on vähäistä 2 mainintaa: osa toimijoista vastustaa muutosta, joten on syntynyt kahtiajakoa Esimerkkejä koetusta muutoksesta: Vaikka kokouksissa on paljon asiaa tunnelma pysyy iloisena ja positiivisena. - Hallituksen jäsenet ovat olleet mukana monissa koulutuksissa ja ymmärtävät niiden tärkeyden. - Positiivinen ilmapiiri näkyy myös ulospäin ja olemme saaneet siitä palautetta ympäristöstä. - Toiminnastamme tiedottaminen on tärkeää ja sitä yritämme edelleen parantaa. (osallistuja, nainen, v., ollut mukana 6-10 v.) Vapaaehtoisjohtajat uskaltavat nyt johtaa paremmin yhdistystään, koska he ovat oppineet lukemaan hallituksen jäsenten motiiveja. Johtaminen ja toiminta ovat jämäköityneet, mikä näkyy myös aktivoitumisessa piirin suuntaan. (osallistuja, nainen, v., ollut mukana yli 11 v.) Toiminnan muutosta ei ole ollut vaan uusien ideoiden saamisesta toimintaamme - askarteluun. Yhteisöllisyyttä ja yhteenkuuluvuutta se toki on edistänyt. (osallistuja, nainen, yli 65 v., ollut mukana yli 11 v.) Teemoja vertailtiin osallistujaryhmien kesken myös sukupuolen, iän ja vapaaehtoistoiminnan keston mukaan. Muuten ei suuria eroja voitu havaita, mutta vastaajien ikä erotteli vastauksia positiivinen-negatiivinen muutos -akselilla: alle 35-vuotiaista vastaajista kukaan ei raportoinut negatiivisesta muutoksesta, ettei osaa sanoa tai että muutos ei näy. Hankkeita toteuttaneen henkilöstön ja koulutettujen havaitsemat muutokset ovat varsin yhteneväiset. koulutus tuo aktiivisuutta, osaamista ja suunnitelmallisuutta sekä vahvistaa yhteenkuuluvuutta. Vapaaehtoisten toiminnassa se on myös toiminnan ilon ja avoimuuden edistäjä. Suurin osa yllä esitetyistä teemoista koskee yhdistystä tai järjestöä, ja yhteisöllisyys on usein läsnä, kun puhutaan järjestötoiminnassa oppimisesta. Yksilön toimintaa koskeva muutos on kuitenkin myös havaittavissa: se koskee sitä, että uusi osaaminen on mahdollista muuntaa hyväksi toiminnaksi, ja erityisesti näistä teemoista nousi esiin toimintavarmuus. Tämä on linjassa vuosittain tehdyn hankkeiden loppukyselyn kanssa: eräs tärkeimmistä silloin mainituista asioista on ollut juurikin varmuus omasta tekemisestä. Suuri osa positiivisista teemoista (esim. suunnitelmallisuus, toimintainto) ovat näkyneet myös loppukyselyissä. Mikä muutoksen taustalla on? Hankkeiden toteuttajia pyydettiin arvioimaan, onko nykyisen tilan taustalla enemmän hanke vai muut tekijät ja kuinka todennäköisesti he olisivat kehittäneet kyseistä toimintaa ilman hanketta. Suurin vastaajaryhmä (n=9) arvioi, että hanke on ollut hieman muita tekijöitä tärkeämpi, neljä vastaajaa arvioi, että hanke oli muita tekijöitä huomattavasti tärkeämpi. Vain yksi vastaaja arvioi muiden seikkojen olleen hanketta hieman merkittävämpi, muut eivät osanneet sanoa. Yhdeksän vastaajaa arvioi, että toiminto olisi heidän järjestössään ehkä käytössä, jos hanketta ei olisi ollut. Kahdeksan vastaajaa arvioi, että tämän olisi melko tai erittäin epätodennäköistä, ja yhteensä viiden mielestä se olisi melko tai erittäin todennäköistä. Tämän perusteella voidaan arvioida, että hankkeilla on ollut merkitystä. 18

19 OK-opintokeskuksen työntekijöiden haastattelussa nousi esiin, että pitkäkestoisen muutoksen taustalla on hanke, jossa jo suunnitteluvaiheessa on tehty huolellista työtä. Työntekijöiden mielestä pitkäkestoinen muutos on paitsi koulutusmallien hyödyntämistä, myös jonkin uuden hankkeessa kehitetyn toiminnan tunnettuutta. Myös ainoa enemmän kuin yhden vastaajan havaitsema negatiivinen muutos on sellainen, joka on havaittu myös välittömästi hankkeen päätyttyä tehdyissä loppukyselyissä: muutoksen vieminen yhdistyksiin voi olla hankalaa ja se voi aiheuttaa vastustusta. Onkin havaittava, että monet lyhyellä aikavälillä havaittavat muutokset kantavat myös hankkeen jälkeen. Tähän arviointikysymykseen voidaan vastata, että muutos on vaikea asia hahmotettavaksi. Vain reilut puolet koulutukseen osallistuneista henkilöistä kuvaili muutosta, eivätkä kaikki työntekijätkään tähän kyenneet. Kuitenkin vastauksista voidaan havaita muutoksen olleen valtaosalle positiivinen asia, jolloin hankkeet ovat vieneet järjestöjä ja niiden jäsenyhteisöjen toimintaa haluttuun suuntaan. Tämä tuntuu kuitenkin olevan työntekijöille vielä selkeämpää kuin vapaaehtoisille. Muutama asia nousi vastauksista esiin: Jos halutaan, että hankkeen tuomat muutokset ja kehitys näkyvät myös vapaaehtoisille, niistä tulee avoimesti tiedottaa ja ne tulee tehdä näkyviksi. Tällä saattaa olla vapaaehtoisia innostava vaikutus. Jos hankkeiden loppuarviointikäytäntöä jatketaan, niiden tuloksia kannattaa käydä tarkasti läpi, jotta sekä positiiviset että negatiiviset tulokset voidaan havaita, ensimainittuja vahvistaa ja jälkimmäisiin valmistautua. Nämä tulokset saattavat ennakoida myös pitkäkestoista muutosta. Arviointikysymys 5: Miten hankkeet ovat muuttaneet OK-opintokeskuksen toimintaa? Tämän kysymyksen kohteena oli OK-opintokeskuksen henkilöstö, mutta myös eräästä toisen tapauskohtaisen tarkastelun kohteena olleen hankkeen haastattelusta nousi tähän liittyvä huomio, joka voidaan sisällyttää tähän. Opintokeskuksen henkilökunnasta kolme arvioi, että hanke on muuttanut opintokeskuksen toimintaa ja käytäntöjä jonkin verran, 1 valitsi vaihtoehdon erittäin paljon, 2 vaihtoehdon vain vähän ja 1 vaihtoehdon ei lainkaan. Tästä ei siis ole vahvaa yksimielisyyttä. Työntekijöiden mielestä toimintatapojen muutos näkyy voimakkaammin jäsenjärjestöissä kuin opintokeskuksessa. Hankkeita ohjanneista työntekijöistä yksi kertoi opintokeskuksen ja jäsenistön suhteen muuttuneen asiakkuudesta kumppanuuteen. Tätä korosti myös opintokeskuksen johtoryhmä haastattelussaan. Heidän mielestään opintokeskuksen maine on parantunut, ohjaamisen laatu on parantunut ja hanke on syventänyt kumppanuutta. Tämä asia nousi sivujuonteena myös eräässä hankkeen toteuttajan kanssa tehdyssä haastattelussa. Haastateltavan mielestä hanketoiminta on vahvistanut opintokeskuksen myönteistä kehittymistä. näitten hankkeitten kautta OK tuntee paremmin jäsenkenttäänsä. Et kylhän se et meiän niinku se tuntemus me ollaan päästy sinne järjestöjen prosesseihin myös ihan toisella tavalla. Avautunu tavallaan ne vähän se järjestöjen maailma sieltä sisältäpäin käsin myös. (opintokeskuksen johtoryhmän jäsen) Henkilöstöltä kysyttiin muutoksesta samantyylinen muutokseen liittyvä kysymyspatteristo kuin muillekin. Tässä tulokset esitetään vastaajien lukumäärän mukaan, eikä lasketa keskiarvoja, koska vastaajia oli vähän. vastaukset on myös ryhmitelty niin, että positiiviset havainnot (arvot 1-3) ja negatiiviset (arvot 5-7) on ryhmitelty omiksi ryhmikseen. 19

20 Taulukko 4. OK-opintokeskuksen henkilöstön näkemyksiä hankkeiden tuomasta muutoksesta Hankkeet ovat positiiviset (n) neutraalit (n) negatiiviset (n) olleet hyödyksi OK:lle olleet haitaksi OK:lle olleet hyödyksi järjestöille olleet haitaksi järjestöille helpottaneet järjestöjen ohjaamista hankaloittaneet järjestöjen ohjaamista parantaneet järjestöjen koulutuksen laatua parantaneet OK:n koulutusten laatua lisänneet minun ja työtovereideni ammattitaitoa lisänneet OK:n tunnettuutta jäsenjärjestöissä lisänneet OK:n tunnettuuta jäsenistön ulkopuolella lisänneet hankkeita toteuttaneiden järjestöjen tunnettuutta OK-yhteisön keskuudessa lisänneet hankkeita toteuttaneiden järjestöjen tunnettuutta OK-yhteisön ulkopuolella heikentäneet järjestöjen koulutuksen laatua heikentäneet OK:n koulutusten laatua heikentäneet minun ja työtovereideni ammattitaitoa vähentäneet OK:n tunnettuutta jäsenjärjestöissä vähentäneet OK:n tunnettuuta jäsenistön ulkopuolella vähentäneet hankkeita toteuttaneiden järjestöjen tunnettuutta OK-yhteisön keskuudessa vähentäneet hankkeita toteuttaneiden järjestöjen tunnettuutta OK-yhteisön ulkopuolella Näistä vastauksista käy ilmi, että suurimmaksi osaksi hankkeet on opintokeskuksessa hankkeita ohjanneiden työntekijöiden mielestä koettu hyödyllisiksi, ja erityisesti ne ovat kehittäneet jäsenjärjestöjen toimintaa. Hankkeiden tulosten levittäminen opintokeskuksen jäsenistön ulkopuolelle kaipaa kuitenkin enemmän työtä, jos niitä esimerkiksi halutaan käyttää julkisuuskuvan kirkastamiseen. Opintokeskus on tähän asti levittänyt tietoa hankkeista kotisivuillaan ja järjestämällä hankefoorumeita, joissa tuloksia on esitelty kiinnostuneille. Ne eivät ole työntekijöiden mielestä olleet tehokkaita keinoja. Kyselyssä useampi työntekijä mainitsi hyvänä keinona julkisuuskuvan kirkastamiseen myöhemmin vuonna 2011 hankkeiden tulosten esittelyssä testatut hankevideot, ja toivoivat lisää samanlaisia menetelmiä käyttöön. Opintokeskuksen kannalta toiminnan muutos ei ole ollut yhtä näkyvää kuin järjestöissä. Osittain syy on ollut ehkä juurruttamisen epäjärjestelmällisyydessä, mistä puhuttiin aiemmin tässä raportissa. Opintokeskus on vuosina kuitenkin korostanut voimakkaasti jäsenjärjestöjen kehittymistä, joten tulos lienee melko odotettu. Nykyisessä hanketoiminnassaan opintokeskus on ottanut voimakkaammin kantaa tulosten hyödyntämiseen. 20 Teema 3: Teimmekö oikeita asioita? Tämän teeman alla pohditaan hanketoiminnan kannattavuutta ja hankkeista oppimista. Oppiminen on toisaalta myös hankkeen tulos, mutta koska se voidaan järjestötoiminnassa nähdä strategisena resurssina (Fields 2005), sitä käsitellään tämän teeman yhteydessä. Arviointikysymys 6: Onko hanketoiminta ollut kannattavaa? Tähän kysymykseen on melko helppo vastata kyllä, koska käsityksen jakavat kaikki vastaajaryhmät: 90 % (n=112/125) koulutuksiin osallistuneista oli sitä mieltä, että mukaan kannatti lähteä (9 % (n=12) eos; 1 % (n= ei) 100 % (n=22) koulutusten toteuttajista oli sitä mieltä, että hanke kannatti toteuttaa 4/6 opintokeskuksen työntekijöistä oli sitä mieltä, että opintokeskuksen on kannattanut toteuttaa hankkeita (2/6 eos, 0/6 ei) Opintokeskuksen johtoryhmä totesi haastattelussaan yksimielisesti, että toiminta on kannattanut.