Arvioinnin työpaja /3

Transkriptio

1 Arvioinnin työpaja /3 Tervetuloa

2 Missä kolme kohtaa, siellä on neljä käsitystä arvioinnista

3 Kun sanon arviointi, tarkoitanko arviointia, raportointia vai tulokset esiin viestintää? Kenelle? Kustannus-hyöty? Ajoitus Tuotos oikea arviointi Päätöksentekoon, akateeminen yhteisö Mukana jos mukana arviointikysymykses sä Ennen jälkeen, muutoksen ehdoilla Raportti, laskelma, malli, toimenpidesuositus kehittämisarviointi Itselle, muille alan toimijoille Mukana, resurssit kokonaisuutena ei vain raha raportointi Rahoittaja/ille Rahoittaja tietää jo valmiiksi Toimintana jatkuvaa, tiedonkeruu jaksottaista tai jatkuvaa Rahoittajan määräämää Raportti, käytäntö, osaamista, hiljaista tietoa Määrämittainen raportti tulokset esiin Ohjelmalle, rahoittajalle, suurelle yleisölle, taustajärjestölle Ei tarpeen Kun tuloksia on tullut, vapaasti ja usein hankkeen loppuun Esite, video, lehtijuttu

4 Oma rivini tehtävä 1 oikea arviointi 31 lähinnä siksi, että päättely on tärkeää kehittävä arviointi 25 lähinnä siksi, että haluamme myös tukea teitä ammatillisessa kehittymisessä raportointi 42 lähinnä siksi, että STEA on yhteinen nimittäjämme tulokset esiin 2 siksi, että viestintäpaja on sitten huomenna ja siellä tämä saa olla vaikka 98%

5 5 Arvioinnin tyypillisiä ongelmia: Herne patjan alla oireyhtymä Jos tiedät että arviointia periaatteessa pitäisi tehdä, mutta se jää aina pinon alimmaiseksi. Arviointi on herne patjan alla, kuin sadun prinsessalla

6 6 Arviointi herneenä nenässä Jos arviointi suorastaan kiukuttaa, ei tunnu yhtään luontevalta ja tuntuu häiritsevän varsinaista tekemistä Arviointi loukkaa järjestöautonomiaa

7 Hankkeemme keskeinen tuotos/suorite/suoritteet ovat:

8 Verkostotapaamiset 1/17-3/ Koordinaatiohankkeen suoritteita Hankkeita tavoite Hankkeita toteutunut Osallistujia tavoite Osallistujia toteutunut

9 seen by 4500 Kee aloituskuvan näkyvyys ensimmäisen viikon aikana kello kello ajankohta

10 Leiritoiminta: täysihoitovuorokaudet

11 perhettä henkilöä käyntikertaa perhekummisuhdetta tavoite toteutunut

12 perhettä henkilöä kertaa kk tuntia kerta

13 Kuopio Pori Joensuu Tavoite ryhmä1 r2 r3

14 Miten pidämme kirjaa suoritteista? Mitä tarkoittavat rutiini, joulukalenterit ja kertynyt kuorma?

15 Suoritteet ja kumulatiivisuus ei mitään yhteisvaikutusta rutiini kuorma joulukalenteri

16 Tulokset ja muutos

17 Oletko ehkä kuullut suutarin lapsen kengistä? Koordinaatiohankkeen tulos on se, että ohjelmassa mukana olevat hankkeet löytävät uusia, hyviä tapoja toimia yhdessä muiden hankkeiden ja järjestöjen kanssa.

18 Tuloksia (hakemus) Soppaa ja sympatiaa perheet ovat kanssakäymisissä myös vapaa-ajalla. ylpeys omasta asuinalueesta kasvaa tuotoksena hankkeesta on syntynyt uusia perhekummi- ja ystäväksi maahanmuuttajaäidille suhteita ylisukupolvinen syrjäytyminen todella vähenee näillä Turun erityisen riskialttiilla alueilla

19 Turku, kotinuorisotyö Jos tyttö käy toiminnassa vähintään kaksi kertaa kuukaudessa, vähintään puolen vuoden ajan, hän on kiinnittynyt toimintaan.

20 ee Perheenjäsenet hahmottavat oman toimintansa osana perheen vuorovaikutuksen dynamiikkaa ja osaavat paremmin ottaa huomioo n oman toiminnan vaikutukset muuhun perheeseen. Perheiden arjen hallinta ja kotona selviäminen paranevat Intervention tuloksena perheillä on laajempi käsitys niistä palveluista ja vertaistuen muodoista, joita lähialueilla on tarjolla

21 Leiritoiminta. 80 % osallistuneista vanhemmista kertoo saaneensa ainakin yhden uuden tuttavan hankkeen myötä. 90 % kertoo saaneensa konkreettista tietoa / neuvoja 75 % osallistuneista parisuhteessa olevista vanhemmista kertoo saaneensa tukea parisuhteeseen. 75 % vanhemmista kertoo saaneen sa vertaistukea hankkeen aikana. 90 % osallistuneista lapsista ja nuorista kertoo viihtyneensä leireillä hyvin. Pitkän aikavälin tuloksena on, että 20 % osallistujista on pitänyt yhteyttä toisiinsa ainakin kaksi vuotta leirille o- sallistumisen jälkeen.

22 suoritteita paljon (tai tavoitteen mukaan) tulokset hyviä Olimme hyviä tai onnekkaita (hukkumiset ja jäätelö) tulokset huonoja Kobrat! suoritteita vähän ylipalvelu tehottomuus? Projektin suunnittelussa ja/tai toteutuksessa meni jotain pahasti pieleen Jokin muu kuin toiminta sai aikaan tulokset?

23 Attribuutio Deadweight Mikä osuus tuloksesta on arvioitavan asian aiheuttamaa? Mitä olisi tapahtunut joka tapauksessa Esim. yhteydenpito tuloksena. Jos tuttavuus on edellytys osallistumiselle. Lastensuojelu, koulu, päivähoito, KELA Esim. motivoituneimmat valikoituvat, talouskasvu ja työllisyysprojektit jne. Drop off Miten pitkään vaikutus kestää? Tuloksen ja vaikutuksen kesto on eri, ylisukupolvisuus yms.

24 Miten tuloksesta voi saada tietoa

25 Monimutkaiset asiat pysyvät monimutkaisina, vaikka haluaisi vain vähän arvioida Important lesson is that if you are finding Outcome measures hard work and frustrating, you are probably on the right track. (Nowland- Foreman)

26 Asiakaspalautteesta arviointi vasta alkaa suoritteita paljon suoritteita vähän tulokset hyviä tulokset huonoja Vastanneista 40 % piti tapahtumaa liian lyhyenä, 20 % sopivan mittaisena ja 40 % liian pitkänä. Keskimäärin siis tapahtuma oli sopivan mittainen?

27 Hyvät mittarit ovat joskus liian yksinkertaisia ollakseen uskottavia ja liian lähellä tullakseen huomatuksi

28 ohjelmassa mukana olevat hankkeet löytävät uusia, hyviä tapoja toimia yhdessä muiden hankkeiden ja järjestöjen kanssa. Verkostotapaamiset hankkeita edustettuna (ka) Julkaisut, videot tai muut, jossa kolme tai useampia hankkeita Yhteisiä esiintymisiä messuilla ja seminaareissa Yhteisiä toimintoja, joissa kolme tai useampia hankkeita Verkostotapaamiset osallistujia

29 Asiakkaita pyydetään vastaamaan ohjausta vertaisja kummitoimintaa koskeviin kyselyihin kahdesti vuodessa (IrtiH) Teemahaastattelut eri toimijoille (perheet, vapaa ehtoiset, työntekijät, kumppanit, "mahdollistajat", asiantuntijat, tutkija t) Yhteensä teemahaastattelua/ vuosi - > Osa haastatteluista tarinoitetaan joko artikkelei ksi tai videoiksi. (Puolivälinkangas)

30 Jokaisen leirijakson jälkeen osallistujat ja työntekijät antavat palautetta, jonka avulla toimin taa kehitetään jo hankkeen aikana. Tämän lisäksi hankepäällikkö haastatt elee osallistujia ja havainnoi toiminta a leirien aikana ja kehittää toimintaa ete enpäin arvioinnin pohjalta. Hankkeen lopuksi osallistujat saavat osallistua ha nkkeen arviointiin, jossa käydään läpi mm. hakemuksen kohdassa tulokset eriteltyjä arviointi-indikaattoreita (Leiritoiminta )

31 Hankkeen tuloksia mitataan vertaamalla lähtötilannetta ryhmistä ko ettuun hyötyyn niin osallistujien kuin ohjaajien taholta. Tavoitteiden kautta luodaan alku-, välija loppukyselyt ryhmiin osallistuneille. Mallia otetaan ELOISA:sta, jossa vaikuttavuuden arviointiin käytetään systemaattisesti kerättävää osallistujien kokemustietoa. (A-klinikkasäätiö)

32 Kotinuorisotyön seuranta ja arviointi: 1) Palaute kohderyhmältä. Työn tekijöillä on havainnointipäiväkirja, josta näkee yhden asiakkaan kehittymisen. Lomakkeet haastatteluja varten. 2) Vanhemmilta ja sisaruksilta kysytään palaute kotinuorisotyön asiakkuuden päättyessä ALISA: Tiedonkeruu (esim. Webropolkyselyt) hankkeen kohderyhmissä; lasten ja nuorten parissa, sairastuneiden vanhempien parissa sekä heitä kohtaa vien ammattilaisten parissa

33 Ennen/jälkeen päiväkirja Kysely Monitaho ( asiakas ja ohjaaja) Valmis mittaristo (ee) kontrolliryhmä asiakkaat arvioivat suoraan tavoitteita raati Tarinaksi kuvaaminen tai kirjoittaminen Seuranta havainnointi Suhteutetaan perusjoukkoon (ee)

34 Tämän arvioinnin lisäksi arviointia perheiden kokemuksista tehdään ohjelmatasolla erilaisin tavoin (haastattelut, kartoitukset).

35 menestystarinoita tai ainakin ihan hyvin menneitä juttuja

36 Keneltä perheesi ottaisi mieluiten vastaan apua ja tukea eri tilanteissa olettaen, että perheesi olisi jossakin seuraavista tilanteissa läheiseltä (sukulainen, ystävä) vapaaehtoiselta/vertaiselta (esim. järjestön kouluttama vertaistukija) ammattiauttajalta kun tarvitsen apua rajojen osoittamiseksi lapselleni kun perheeni tarvitsee keskusteluapua arjen haasteiden pohdintaan kun tarvitsen keskusteluapua vanhempana jaksamiseen kun tarvitsen apua lapsen netin/pelien liikakäyttöön liittyen kun lastani epäillään ilkivallasta kun lapseni tarvitsee tukiopetusta/läksykerhoa kun epäilen lapsellani olevan oppimisvaikeuksia kun tarvitsen lainopillista neuvontaa lasta ja perhettä koskevissa asioissa Vastaajat = %

37 Olen täysin eri mieltä Olen jokseenkin eri mieltä On tärkeää, että voi toimia sitoutumatta uskonnollisesti tai poliittisesti (n184) En osaa sanoa Olen jokseenkin samaa mieltä Suostuisin ottamaan vastaan apua vain poliittisesti ja uskonnollisesti sitoutumattomalt a taholta (perheet) Olen täysin samaa mieltä 0% 10% 20% 30% 40% 50% 60% 70% 80%

38 70,00% kurssilla saamani käytännön vinkit havainnoida motoriikan haasteisiin liittyviä asioita 60,00% 58,51% 57,56% 50,00% 40,00% 38,31% 30,00% 23,53% 20,00% 15,97% 10,00% 0,00% Aion hyödyntää paljon Olen hyödyntänyt paljon Aion hyödyntää jonkin verran Olen hyödyntänyt jonkin verran 3,04% Aion hyödyntää vähän Olen hyödyntänyt vähän 0,14% En aio hyödyntää lainkaan 2,94% En ole hyödyntänyt lainkaan

39 Mitkä seuraavista kuvaavat syitä, jotka vaikuttivat siihen, että osallistuitte toimintaan? Neuvot ja ohjaus Sattuma ja utelias Antaminen Hinta,laatu, etäisyys Seura Apua ja tukea Tekemistä 0% 5% 10% 15% 20% 25% 30% 35% 40%

40 Toivottavaa, että eväät elämään - hankekokonaisuuden koordinaatiosta vastaava taho (käyty keskustelua LSKL:n kanssa ) voisi luoda yhtenäiset käytännöt hankkeiden seurantaan ja arviointiin.

41 ettei toiminta leimaudu syrjäytyneiden perheiden toiminnaksi, sillä se ei houkuttele ketään osallistumaan.

42 Mitä tästä voisi päätellä? Ehkä että arviointi toimii Kun se on rajattu niin, että sen voi toteuttaa annetuilla resursseilla Kun suoritteet ja tulokset osataan erotella toisistaan. Mistä ei voi puhua, siitä spekuloidaan Kun arvioidaan ensisijaisesti projektia ja toissijaisesti jotain muuta Kun mitataan jotain, mikä on olemassa, mieluummin kuin jotain, mikä ehkäistiin Kun tunnistetaan helpot mittarit päivittäisestä toiminnasta Kun ollaan realisteja, rehellisiä, ja uteliaita - eikä päätetä tuloksia ennalta

43 Laadullista aineistoa voisi hyödyntää paljon enemmän, mutta mieluiten siten kuin laadullista aineistoa hyödynnetään kuinka moni kysymyksistä, miten ja miksi kysymyksiin Jos ei kerrottaisikaan, että 70 % perheistä koki koulun vieraaksi paikaksi vaan siitä, miten he päätyivät kokemaan sen vieraaksi Pääsy tällaisiin mekanismeihin on järjestöjen vahvuus, miksi ei kertoisi siitä? Kenelle muulle maahanmuuttajat, väkivaltaiset vanhemmat, vammaisten lasten vanhemmat jne edes suostuvat puhumaan?