Arvioinnin työpaja 16.1.2018 3/3 hot topics Tervetuloa
Mitä kuuluu?
Tähän asti opittua: konkreettisuuden Musta-Pekka ilmiö
Missä kolme kohtaa, siellä on neljä käsitystä arvioinnista
Kun sanon arviointi, tarkoitanko arviointia, raportointia vai tulokset esiin viestintää? Kenelle? Kustannus-hyöty? Ajoitus Tuotos oikea arviointi Päätöksentekoon, akateeminen yhteisö Mukana jos mukana arviointikysymykses sä Ennen jälkeen, muutoksen ehdoilla Raportti, laskelma, malli, toimenpidesuositus kehittämisarviointi Itselle, muille alan toimijoille Mukana, resurssit kokonaisuutena ei vain raha raportointi Rahoittaja/ille Rahoittaja tietää jo valmiiksi Toimintana jatkuvaa, tiedonkeruu jaksottaista tai jatkuvaa Rahoittajan määräämää Raportti, käytäntö, osaamista, hiljaista tietoa Määrämittainen raportti tulokset esiin Ohjelmalle, rahoittajalle, suurelle yleisölle, taustajärjestölle Ei tarpeen Kun tuloksia on tullut, vapaasti ja usein hankkeen loppuun Esite, video, lehtijuttu
Oma rivini tehtävä 1 oikea arviointi 31 lähinnä siksi, että päättely on tärkeää kehittävä arviointi 25 lähinnä siksi, että haluamme myös tukea teitä ammatillisessa kehittymisessä raportointi 42 lähinnä siksi, että STEA on yhteinen nimittäjämme ja rahoita ja unohda aika on ohi tulokset esiin 2 siksi, että viestintäpaja on sitten huomenna ja siellä tämä saa olla vaikka 98%
Tuotos Oikea arviointi Musta laatikko Kehittävä arviointi Tulos oikea arviointi
8 Arvioinnin tyypillisiä ongelmia: Herne patjan alla oireyhtymä Jos tiedät että arviointia periaatteessa pitäisi tehdä, mutta se jää aina pinon alimmaiseksi. Arviointi on herne patjan alla, kuin sadun prinsessalla
9 Arviointi herneenä nenässä Jos arviointi suorastaan kiukuttaa, ei tunnu yhtään luontevalta ja tuntuu häiritsevän varsinaista tekemistä Arviointi loukkaa järjestöautonomiaa
Tuotokset ja suoritteet Onko jotain tekemistä meidän kanssa? Jos suoritteita ei olisi, ne pitäisi ehdottomasti keksiä. Koska (tänään) hankkeet vastaavat rajallisin resurssein rajattomiin tarpeisiin
Verkostotapaamiset 1/17-3/20 500 450 400 350 Koordinaatiohankkeen suoritteita 300 250 200 150 100 50 0 117 118 218 318 119 219 319 120 220 320 Hankkeita tavoite Hankkeita toteutunut Osallistujia tavoite Osallistujia toteutunut
seen by 4500 Kee aloituskuvan näkyvyys ensimmäisen viikon aikana 4000 3500 3000 2500 2000 1500 1000 500 0 31.10. kello 10 31.10. kello 15 1.11. 2.11. 3.11. 4.11. 5.11. 6.11. 7.11. ajankohta
120 100 80 60 40 20 0 2018 2019 2020 naista lasta tukihenkilöä koulutettu
Miten pidämme kirjaa suoritteista? Mitä tarkoittavat rutiini, joulukalenterit ja kertynyt kuorma?
400 350 300 250 200 150 100 50 0 2018 2019 2020 ei mitään yhteisvaikutusta rutiini kuorma joulukalenteri viesti
250 200 150 100 50 0 2017 2018 2019 2020 Vapaaehtoisia yhteensä Uusia
Tulokset ja muutos
Oletko ehkä kuullut suutarin lapsen kengistä? Koordinaatiohankkeen tulos on se, että ohjelmassa mukana olevat hankkeet löytävät uusia, hyviä tapoja toimia yhdessä muiden hankkeiden ja järjestöjen kanssa.
Vaikeasti suoraan mitattavia/todennettavia tavoitteita ja jos mitataan, onko enää sama tavoite? Tulee nähdyksi Tulee kuulluksi Ehkäistään ennalta Voimaantuu Hyvinvointi kohenee Pahoinvoinnin uhka pienenee Osallisuus lisääntyy Tietoisuus lisääntyy Ymmärrys lisääntyy Perheet voimaantuvat
Vähän helpommin mitattavia uusi yhteistyömalli lapsiperheiden tukemiseksi syntyy Perheille syntyy uusia yhteisöjä Perheiden keskinäinen auttaminen on lisääntynyt Jatkuvuus turvataan puheiden sijasta resurssivarauksilla Yhdistykseen saadaan lisää koke musasiantuntijoita. Koulumenestys on parantunut Koulutetaan jokaiselle naiselle vapaaehtoinen tukihenkilö
vähintään kymmenellä eri paikkakunnalla lasten ja perheiden parissa toimivien ymmärrys koetun väkivallan ja sukupolvelta toiselle siirtyvien käyttäytymistapojen yhteydestä on lisääntynyt. Hankkeen toiminnassa mukana olleet ovat kokeneet saaneensa työtavoista apua lapsina, vanhempina ja/tai ammattilaisina, lasten ja perheiden turvallisuuden tunne on lisääntynyt ja osallistuminen kehittämistyöhön on koettu hyödyllisenä.
Kehittää pysyvä, konkreettinen palvelu kohderyhmälle sekä luoda kokonaiskuva tilanteesta Luoda edellytyksiä lapsen edun mukaisten perheen jälleenyhdistämisten lisäämiseksi lastensuojelun perhehoidossa #munperheet
suoritteita paljon (tai tavoitteen mukaan) tulokset hyviä Olimme hyviä tai onnekkaita (hukkumiset ja jäätelö) tulokset huonoja Kobrat! suoritteita vähän ylipalvelu tehottomuus? Projektin suunnittelussa ja/tai toteutuksessa meni jotain pahasti pieleen Jokin muu kuin toiminta sai aikaan tulokset?
Attribuutio Deadweight Mikä osuus tuloksesta on arvioitavan asian aiheuttamaa? Mitä olisi tapahtunut joka tapauksessa Esim. yhteydenpito tuloksena. Jos tuttavuus on edellytys osallistumiselle. Lastensuojelu, koulu, päivähoito, KELA Esim. motivoituneimmat valikoituvat, talouskasvu ja työllisyysprojektit jne. Drop off Miten pitkään vaikutus kestää? Tuloksen ja vaikutuksen kesto on eri, ylisukupolvisuus yms.
Miten tuloksesta voi saada tietoa
Monimutkaiset asiat pysyvät monimutkaisina, vaikka haluaisi vain vähän arvioida Important lesson is that if you are finding Outcome measures hard work and frustrating, you are probably on the right track. (Nowland- Foreman)
Asiakaspalautteesta arviointi vasta alkaa suoritteita paljon suoritteita vähän tulokset hyviä tulokset huonoja Vastanneista 40 % piti tapahtumaa liian lyhyenä, 20 % sopivan mittaisena ja 40 % liian pitkänä. Keskimäärin siis tapahtuma oli sopivan mittainen?
Hyvät mittarit ovat joskus liian yksinkertaisia ollakseen uskottavia ja liian lähellä tullakseen huomatuksi
ohjelmassa mukana olevat hankkeet löytävät uusia, hyviä tapoja toimia yhdessä muiden hankkeiden ja järjestöjen kanssa. Verkostotapaamiset hankkeita edustettuna (ka) Julkaisut, videot tai muut, jossa kolme tai useampia hankkeita 2018 2019 2020 23 23 23 2 2 3 Yhteisiä esiintymisiä messuilla ja seminaareissa 4 4 5 Yhteisiä toimintoja, joissa kolme tai useampia hankkeita 2 2 2 Verkostotapaamiset osallistujia 45 45 45
Kauden satoa Leiritoiminta: kysytään asiakasperheiltä suoraan suunnitelman mukaisten tavoitteiden etenemisestä Sataperhe, indikaattorit Lähiöinnostajat: Kerätyn datan kierrättäminen tarinoiksi, tarinat videoiksi, blokeiksi jne. Yhteiset kyselyt, joista saadaan suurempi vastaajajoukko, laadukkaammilla kysymyksillä ja pienemmällä vaivalla. Myydyt materiaalit (#munperheet)
Tuloksia voidaan seurata maakuntatasoisesti valituilla yleisillä hyvinvointi-indikaattoreilla. (Sataperhe) Arjessa selviytymistä arvioidaan perheiden palautteiden ja perheille suunnattujen kyselyjen avulla (Finnfami, toivosta turvaa) Hyödynnetään seiskamallia webropol-kyselyssä (#munperheet) Kootaan tunnuslukuja (osallistujamäärät, materiaalien myynti) Hankepäiväkirjat, muistiot, kyselyt, haastattelut, palautteet, tilastotieto (etkl) Hankepäiväkirja nettipohjaiseen formaattiin (Kaikkien )
Vertaisarviointia muiden ohjelman hankkeiden kanssa (#munperheet)
Ennen/jälkeen päiväkirja Kysely Monitaho ( asiakas ja ohjaaja) Valmis mittaristo kontrolliryhmä asiakkaat arvioivat suoraan tavoitteita raati Indikaattorit Seuranta havainnointi Suhteutetaan perusjoukkoon
Tämän arvioinnin lisäksi arviointia perheiden kokemuksista tehdään ohjelmatasolla erilaisin tavoin (haastattelut, kartoitukset).
menestystarinoita tai ainakin ihan hyvin menneitä juttuja
Keneltä perheesi ottaisi mieluiten vastaan apua ja tukea eri tilanteissa olettaen, että perheesi olisi jossakin seuraavista tilanteissa läheiseltä (sukulainen, ystävä) vapaaehtoiselta/vertaiselta (esim. järjestön kouluttama vertaistukija) ammattiauttajalta kun tarvitsen apua rajojen osoittamiseksi lapselleni 36 24 40 kun perheeni tarvitsee keskusteluapua arjen haasteiden pohdintaan 28 30 42 kun tarvitsen keskusteluapua vanhempana jaksamiseen 28 32 39 kun tarvitsen apua lapsen netin/pelien liikakäyttöön liittyen 24 34 43 kun lastani epäillään ilkivallasta 14 28 58 kun lapseni tarvitsee tukiopetusta/läksykerhoa 9 37 53 kun epäilen lapsellani olevan oppimisvaikeuksia 4 7 89 kun tarvitsen lainopillista neuvontaa lasta ja perhettä koskevissa asioissa 2 6 93 Vastaajat = 1065 0 10 20 30 40 50 60 70 80 90 100 %
Olen täysin eri mieltä Olen jokseenkin eri mieltä On tärkeää, että voi toimia sitoutumatta uskonnollisesti tai poliittisesti (n184) En osaa sanoa Olen jokseenkin samaa mieltä Suostuisin ottamaan vastaan apua vain poliittisesti ja uskonnollisesti sitoutumattomalt a taholta (perheet) Olen täysin samaa mieltä 0% 10% 20% 30% 40% 50% 60% 70% 80%
70,00% kurssilla saamani käytännön vinkit havainnoida motoriikan haasteisiin liittyviä asioita 60,00% 58,51% 57,56% 50,00% 40,00% 38,31% 30,00% 23,53% 20,00% 15,97% 10,00% 0,00% Aion hyödyntää paljon Olen hyödyntänyt paljon Aion hyödyntää jonkin verran Olen hyödyntänyt jonkin verran 3,04% Aion hyödyntää vähän Olen hyödyntänyt vähän 0,14% En aio hyödyntää lainkaan 2,94% En ole hyödyntänyt lainkaan
Mitkä seuraavista kuvaavat syitä, jotka vaikuttivat siihen, että osallistuitte toimintaan? Neuvot ja ohjaus Sattuma ja utelias Antaminen Hinta,laatu, etäisyys Seura Apua ja tukea Tekemistä 0% 5% 10% 15% 20% 25% 30% 35% 40%
Toivottavaa, että eväät elämään - hankekokonaisuuden koordinaatiosta vastaava taho (käyty keskustelua LSKL:n kanssa ) voisi luoda yhtenäiset käytännöt hankkeiden seurantaan ja arviointiin.
ettei toiminta leimaudu syrjäytyneiden perheiden toiminnaksi, sillä se ei houkuttele ketään osallistumaan.
Mitä tästä voisi päätellä? Ehkä että arviointi toimii Kun se on rajattu niin, että sen voi toteuttaa annetuilla resursseilla Kun suoritteet ja tulokset osataan erotella toisistaan. Mistä ei voi puhua, siitä spekuloidaan Kun arvioidaan ensisijaisesti projektia ja toissijaisesti jotain muuta Kun mitataan jotain, mikä on olemassa, mieluummin kuin jotain, mikä ehkäistiin Kun tunnistetaan helpot mittarit päivittäisestä toiminnasta Kun ollaan realisteja, rehellisiä, ja uteliaita - eikä päätetä tuloksia ennalta
Laadullista aineistoa voisi hyödyntää paljon enemmän, mutta mieluiten siten kuin laadullista aineistoa hyödynnetään kuinka moni kysymyksistä, miten ja miksi kysymyksiin Jos ei kerrottaisikaan, että 70 % perheistä koki koulun vieraaksi paikaksi vaan siitä, miten he päätyivät kokemaan sen vieraaksi Pääsy tällaisiin mekanismeihin on järjestöjen vahvuus, miksi ei kertoisi siitä? Kenelle muulle maahanmuuttajat, väkivaltaiset vanhemmat, vammaisten lasten vanhemmat jne edes suostuvat puhumaan?