Arvioinnin työpaja /3 hot topics

Transkriptio

1 Arvioinnin työpaja /3 hot topics Tervetuloa

2 Mitä kuuluu?

3 Tähän asti opittua: konkreettisuuden Musta-Pekka ilmiö

4 Missä kolme kohtaa, siellä on neljä käsitystä arvioinnista

5 Kun sanon arviointi, tarkoitanko arviointia, raportointia vai tulokset esiin viestintää? Kenelle? Kustannus-hyöty? Ajoitus Tuotos oikea arviointi Päätöksentekoon, akateeminen yhteisö Mukana jos mukana arviointikysymykses sä Ennen jälkeen, muutoksen ehdoilla Raportti, laskelma, malli, toimenpidesuositus kehittämisarviointi Itselle, muille alan toimijoille Mukana, resurssit kokonaisuutena ei vain raha raportointi Rahoittaja/ille Rahoittaja tietää jo valmiiksi Toimintana jatkuvaa, tiedonkeruu jaksottaista tai jatkuvaa Rahoittajan määräämää Raportti, käytäntö, osaamista, hiljaista tietoa Määrämittainen raportti tulokset esiin Ohjelmalle, rahoittajalle, suurelle yleisölle, taustajärjestölle Ei tarpeen Kun tuloksia on tullut, vapaasti ja usein hankkeen loppuun Esite, video, lehtijuttu

6 Oma rivini tehtävä 1 oikea arviointi 31 lähinnä siksi, että päättely on tärkeää kehittävä arviointi 25 lähinnä siksi, että haluamme myös tukea teitä ammatillisessa kehittymisessä raportointi 42 lähinnä siksi, että STEA on yhteinen nimittäjämme ja rahoita ja unohda aika on ohi tulokset esiin 2 siksi, että viestintäpaja on sitten huomenna ja siellä tämä saa olla vaikka 98%

7 Tuotos Oikea arviointi Musta laatikko Kehittävä arviointi Tulos oikea arviointi

8 8 Arvioinnin tyypillisiä ongelmia: Herne patjan alla oireyhtymä Jos tiedät että arviointia periaatteessa pitäisi tehdä, mutta se jää aina pinon alimmaiseksi. Arviointi on herne patjan alla, kuin sadun prinsessalla

9 9 Arviointi herneenä nenässä Jos arviointi suorastaan kiukuttaa, ei tunnu yhtään luontevalta ja tuntuu häiritsevän varsinaista tekemistä Arviointi loukkaa järjestöautonomiaa

10 Tuotokset ja suoritteet Onko jotain tekemistä meidän kanssa? Jos suoritteita ei olisi, ne pitäisi ehdottomasti keksiä. Koska (tänään) hankkeet vastaavat rajallisin resurssein rajattomiin tarpeisiin

11 Verkostotapaamiset 1/17-3/ Koordinaatiohankkeen suoritteita Hankkeita tavoite Hankkeita toteutunut Osallistujia tavoite Osallistujia toteutunut

12 seen by 4500 Kee aloituskuvan näkyvyys ensimmäisen viikon aikana kello kello ajankohta

13 naista lasta tukihenkilöä koulutettu

14 Miten pidämme kirjaa suoritteista? Mitä tarkoittavat rutiini, joulukalenterit ja kertynyt kuorma?

15 ei mitään yhteisvaikutusta rutiini kuorma joulukalenteri viesti

16 Vapaaehtoisia yhteensä Uusia

17 Tulokset ja muutos

18 Oletko ehkä kuullut suutarin lapsen kengistä? Koordinaatiohankkeen tulos on se, että ohjelmassa mukana olevat hankkeet löytävät uusia, hyviä tapoja toimia yhdessä muiden hankkeiden ja järjestöjen kanssa.

19 Vaikeasti suoraan mitattavia/todennettavia tavoitteita ja jos mitataan, onko enää sama tavoite? Tulee nähdyksi Tulee kuulluksi Ehkäistään ennalta Voimaantuu Hyvinvointi kohenee Pahoinvoinnin uhka pienenee Osallisuus lisääntyy Tietoisuus lisääntyy Ymmärrys lisääntyy Perheet voimaantuvat

20 Vähän helpommin mitattavia uusi yhteistyömalli lapsiperheiden tukemiseksi syntyy Perheille syntyy uusia yhteisöjä Perheiden keskinäinen auttaminen on lisääntynyt Jatkuvuus turvataan puheiden sijasta resurssivarauksilla Yhdistykseen saadaan lisää koke musasiantuntijoita. Koulumenestys on parantunut Koulutetaan jokaiselle naiselle vapaaehtoinen tukihenkilö

21 vähintään kymmenellä eri paikkakunnalla lasten ja perheiden parissa toimivien ymmärrys koetun väkivallan ja sukupolvelta toiselle siirtyvien käyttäytymistapojen yhteydestä on lisääntynyt. Hankkeen toiminnassa mukana olleet ovat kokeneet saaneensa työtavoista apua lapsina, vanhempina ja/tai ammattilaisina, lasten ja perheiden turvallisuuden tunne on lisääntynyt ja osallistuminen kehittämistyöhön on koettu hyödyllisenä.

22 Kehittää pysyvä, konkreettinen palvelu kohderyhmälle sekä luoda kokonaiskuva tilanteesta Luoda edellytyksiä lapsen edun mukaisten perheen jälleenyhdistämisten lisäämiseksi lastensuojelun perhehoidossa #munperheet

23 suoritteita paljon (tai tavoitteen mukaan) tulokset hyviä Olimme hyviä tai onnekkaita (hukkumiset ja jäätelö) tulokset huonoja Kobrat! suoritteita vähän ylipalvelu tehottomuus? Projektin suunnittelussa ja/tai toteutuksessa meni jotain pahasti pieleen Jokin muu kuin toiminta sai aikaan tulokset?

24 Attribuutio Deadweight Mikä osuus tuloksesta on arvioitavan asian aiheuttamaa? Mitä olisi tapahtunut joka tapauksessa Esim. yhteydenpito tuloksena. Jos tuttavuus on edellytys osallistumiselle. Lastensuojelu, koulu, päivähoito, KELA Esim. motivoituneimmat valikoituvat, talouskasvu ja työllisyysprojektit jne. Drop off Miten pitkään vaikutus kestää? Tuloksen ja vaikutuksen kesto on eri, ylisukupolvisuus yms.

25 Miten tuloksesta voi saada tietoa

26 Monimutkaiset asiat pysyvät monimutkaisina, vaikka haluaisi vain vähän arvioida Important lesson is that if you are finding Outcome measures hard work and frustrating, you are probably on the right track. (Nowland- Foreman)

27 Asiakaspalautteesta arviointi vasta alkaa suoritteita paljon suoritteita vähän tulokset hyviä tulokset huonoja Vastanneista 40 % piti tapahtumaa liian lyhyenä, 20 % sopivan mittaisena ja 40 % liian pitkänä. Keskimäärin siis tapahtuma oli sopivan mittainen?

28 Hyvät mittarit ovat joskus liian yksinkertaisia ollakseen uskottavia ja liian lähellä tullakseen huomatuksi

29 ohjelmassa mukana olevat hankkeet löytävät uusia, hyviä tapoja toimia yhdessä muiden hankkeiden ja järjestöjen kanssa. Verkostotapaamiset hankkeita edustettuna (ka) Julkaisut, videot tai muut, jossa kolme tai useampia hankkeita Yhteisiä esiintymisiä messuilla ja seminaareissa Yhteisiä toimintoja, joissa kolme tai useampia hankkeita Verkostotapaamiset osallistujia

30 Kauden satoa Leiritoiminta: kysytään asiakasperheiltä suoraan suunnitelman mukaisten tavoitteiden etenemisestä Sataperhe, indikaattorit Lähiöinnostajat: Kerätyn datan kierrättäminen tarinoiksi, tarinat videoiksi, blokeiksi jne. Yhteiset kyselyt, joista saadaan suurempi vastaajajoukko, laadukkaammilla kysymyksillä ja pienemmällä vaivalla. Myydyt materiaalit (#munperheet)

31 Tuloksia voidaan seurata maakuntatasoisesti valituilla yleisillä hyvinvointi-indikaattoreilla. (Sataperhe) Arjessa selviytymistä arvioidaan perheiden palautteiden ja perheille suunnattujen kyselyjen avulla (Finnfami, toivosta turvaa) Hyödynnetään seiskamallia webropol-kyselyssä (#munperheet) Kootaan tunnuslukuja (osallistujamäärät, materiaalien myynti) Hankepäiväkirjat, muistiot, kyselyt, haastattelut, palautteet, tilastotieto (etkl) Hankepäiväkirja nettipohjaiseen formaattiin (Kaikkien )

32 Vertaisarviointia muiden ohjelman hankkeiden kanssa (#munperheet)

33 Ennen/jälkeen päiväkirja Kysely Monitaho ( asiakas ja ohjaaja) Valmis mittaristo kontrolliryhmä asiakkaat arvioivat suoraan tavoitteita raati Indikaattorit Seuranta havainnointi Suhteutetaan perusjoukkoon

34 Tämän arvioinnin lisäksi arviointia perheiden kokemuksista tehdään ohjelmatasolla erilaisin tavoin (haastattelut, kartoitukset).

35 menestystarinoita tai ainakin ihan hyvin menneitä juttuja

36 Keneltä perheesi ottaisi mieluiten vastaan apua ja tukea eri tilanteissa olettaen, että perheesi olisi jossakin seuraavista tilanteissa läheiseltä (sukulainen, ystävä) vapaaehtoiselta/vertaiselta (esim. järjestön kouluttama vertaistukija) ammattiauttajalta kun tarvitsen apua rajojen osoittamiseksi lapselleni kun perheeni tarvitsee keskusteluapua arjen haasteiden pohdintaan kun tarvitsen keskusteluapua vanhempana jaksamiseen kun tarvitsen apua lapsen netin/pelien liikakäyttöön liittyen kun lastani epäillään ilkivallasta kun lapseni tarvitsee tukiopetusta/läksykerhoa kun epäilen lapsellani olevan oppimisvaikeuksia kun tarvitsen lainopillista neuvontaa lasta ja perhettä koskevissa asioissa Vastaajat = %

37 Olen täysin eri mieltä Olen jokseenkin eri mieltä On tärkeää, että voi toimia sitoutumatta uskonnollisesti tai poliittisesti (n184) En osaa sanoa Olen jokseenkin samaa mieltä Suostuisin ottamaan vastaan apua vain poliittisesti ja uskonnollisesti sitoutumattomalt a taholta (perheet) Olen täysin samaa mieltä 0% 10% 20% 30% 40% 50% 60% 70% 80%

38 70,00% kurssilla saamani käytännön vinkit havainnoida motoriikan haasteisiin liittyviä asioita 60,00% 58,51% 57,56% 50,00% 40,00% 38,31% 30,00% 23,53% 20,00% 15,97% 10,00% 0,00% Aion hyödyntää paljon Olen hyödyntänyt paljon Aion hyödyntää jonkin verran Olen hyödyntänyt jonkin verran 3,04% Aion hyödyntää vähän Olen hyödyntänyt vähän 0,14% En aio hyödyntää lainkaan 2,94% En ole hyödyntänyt lainkaan

39 Mitkä seuraavista kuvaavat syitä, jotka vaikuttivat siihen, että osallistuitte toimintaan? Neuvot ja ohjaus Sattuma ja utelias Antaminen Hinta,laatu, etäisyys Seura Apua ja tukea Tekemistä 0% 5% 10% 15% 20% 25% 30% 35% 40%

40 Toivottavaa, että eväät elämään - hankekokonaisuuden koordinaatiosta vastaava taho (käyty keskustelua LSKL:n kanssa ) voisi luoda yhtenäiset käytännöt hankkeiden seurantaan ja arviointiin.

41 ettei toiminta leimaudu syrjäytyneiden perheiden toiminnaksi, sillä se ei houkuttele ketään osallistumaan.

42 Mitä tästä voisi päätellä? Ehkä että arviointi toimii Kun se on rajattu niin, että sen voi toteuttaa annetuilla resursseilla Kun suoritteet ja tulokset osataan erotella toisistaan. Mistä ei voi puhua, siitä spekuloidaan Kun arvioidaan ensisijaisesti projektia ja toissijaisesti jotain muuta Kun mitataan jotain, mikä on olemassa, mieluummin kuin jotain, mikä ehkäistiin Kun tunnistetaan helpot mittarit päivittäisestä toiminnasta Kun ollaan realisteja, rehellisiä, ja uteliaita - eikä päätetä tuloksia ennalta

43 Laadullista aineistoa voisi hyödyntää paljon enemmän, mutta mieluiten siten kuin laadullista aineistoa hyödynnetään kuinka moni kysymyksistä, miten ja miksi kysymyksiin Jos ei kerrottaisikaan, että 70 % perheistä koki koulun vieraaksi paikaksi vaan siitä, miten he päätyivät kokemaan sen vieraaksi Pääsy tällaisiin mekanismeihin on järjestöjen vahvuus, miksi ei kertoisi siitä? Kenelle muulle maahanmuuttajat, väkivaltaiset vanhemmat, vammaisten lasten vanhemmat jne edes suostuvat puhumaan?