Arvioinnin työpaja 16.1.2018 3/3 Tervetuloa
Missä kolme kohtaa, siellä on neljä käsitystä arvioinnista
Kun sanon arviointi, tarkoitanko arviointia, raportointia vai tulokset esiin viestintää? Kenelle? Kustannus-hyöty? Ajoitus Tuotos oikea arviointi Päätöksentekoon, akateeminen yhteisö Mukana jos mukana arviointikysymykses sä Ennen jälkeen, muutoksen ehdoilla Raportti, laskelma, malli, toimenpidesuositus kehittämisarviointi Itselle, muille alan toimijoille Mukana, resurssit kokonaisuutena ei vain raha raportointi Rahoittaja/ille Rahoittaja tietää jo valmiiksi Toimintana jatkuvaa, tiedonkeruu jaksottaista tai jatkuvaa Rahoittajan määräämää Raportti, käytäntö, osaamista, hiljaista tietoa Määrämittainen raportti tulokset esiin Ohjelmalle, rahoittajalle, suurelle yleisölle, taustajärjestölle Ei tarpeen Kun tuloksia on tullut, vapaasti ja usein hankkeen loppuun Esite, video, lehtijuttu
Oma rivini tehtävä 1 oikea arviointi 31 lähinnä siksi, että päättely on tärkeää kehittävä arviointi 25 lähinnä siksi, että haluamme myös tukea teitä ammatillisessa kehittymisessä raportointi 42 lähinnä siksi, että STEA on yhteinen nimittäjämme tulokset esiin 2 siksi, että viestintäpaja on sitten huomenna ja siellä tämä saa olla vaikka 98%
5 Arvioinnin tyypillisiä ongelmia: Herne patjan alla oireyhtymä Jos tiedät että arviointia periaatteessa pitäisi tehdä, mutta se jää aina pinon alimmaiseksi. Arviointi on herne patjan alla, kuin sadun prinsessalla
6 Arviointi herneenä nenässä Jos arviointi suorastaan kiukuttaa, ei tunnu yhtään luontevalta ja tuntuu häiritsevän varsinaista tekemistä Arviointi loukkaa järjestöautonomiaa
Hankkeemme keskeinen tuotos/suorite/suoritteet ovat:
Verkostotapaamiset 1/17-3/20 500 450 400 350 Koordinaatiohankkeen suoritteita 300 250 200 150 100 50 0 117 118 218 318 119 219 319 120 220 320 Hankkeita tavoite Hankkeita toteutunut Osallistujia tavoite Osallistujia toteutunut
seen by 4500 Kee aloituskuvan näkyvyys ensimmäisen viikon aikana 4000 3500 3000 2500 2000 1500 1000 500 0 31.10. kello 10 31.10. kello 15 1.11. 2.11. 3.11. 4.11. 5.11. 6.11. 7.11. ajankohta
Leiritoiminta: täysihoitovuorokaudet 3000 2500 2000 1500 1000 500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
450 400 350 300 250 200 150 100 50 0 perhettä henkilöä käyntikertaa perhekummisuhdetta tavoite toteutunut
50 45 40 35 30 25 20 15 10 5 0 perhettä henkilöä kertaa kk tuntia kerta
Kuopio Pori Joensuu Tavoite 35 30 25 20 15 10 5 0 ryhmä1 r2 r3
Miten pidämme kirjaa suoritteista? Mitä tarkoittavat rutiini, joulukalenterit ja kertynyt kuorma?
Suoritteet ja kumulatiivisuus 400 350 300 250 200 150 100 50 0 2018 2019 2020 ei mitään yhteisvaikutusta rutiini kuorma joulukalenteri
Tulokset ja muutos
Oletko ehkä kuullut suutarin lapsen kengistä? Koordinaatiohankkeen tulos on se, että ohjelmassa mukana olevat hankkeet löytävät uusia, hyviä tapoja toimia yhdessä muiden hankkeiden ja järjestöjen kanssa.
Tuloksia (hakemus) Soppaa ja sympatiaa perheet ovat kanssakäymisissä myös vapaa-ajalla. ylpeys omasta asuinalueesta kasvaa tuotoksena hankkeesta on syntynyt uusia perhekummi- ja ystäväksi maahanmuuttajaäidille suhteita ylisukupolvinen syrjäytyminen todella vähenee näillä Turun erityisen riskialttiilla alueilla
Turku, kotinuorisotyö Jos tyttö käy toiminnassa vähintään kaksi kertaa kuukaudessa, vähintään puolen vuoden ajan, hän on kiinnittynyt toimintaan.
ee Perheenjäsenet hahmottavat oman toimintansa osana perheen vuorovaikutuksen dynamiikkaa ja osaavat paremmin ottaa huomioo n oman toiminnan vaikutukset muuhun perheeseen. Perheiden arjen hallinta ja kotona selviäminen paranevat Intervention tuloksena perheillä on laajempi käsitys niistä palveluista ja vertaistuen muodoista, joita lähialueilla on tarjolla
Leiritoiminta. 80 % osallistuneista vanhemmista kertoo saaneensa ainakin yhden uuden tuttavan hankkeen myötä. 90 % kertoo saaneensa konkreettista tietoa / neuvoja 75 % osallistuneista parisuhteessa olevista vanhemmista kertoo saaneensa tukea parisuhteeseen. 75 % vanhemmista kertoo saaneen sa vertaistukea hankkeen aikana. 90 % osallistuneista lapsista ja nuorista kertoo viihtyneensä leireillä hyvin. Pitkän aikavälin tuloksena on, että 20 % osallistujista on pitänyt yhteyttä toisiinsa ainakin kaksi vuotta leirille o- sallistumisen jälkeen.
suoritteita paljon (tai tavoitteen mukaan) tulokset hyviä Olimme hyviä tai onnekkaita (hukkumiset ja jäätelö) tulokset huonoja Kobrat! suoritteita vähän ylipalvelu tehottomuus? Projektin suunnittelussa ja/tai toteutuksessa meni jotain pahasti pieleen Jokin muu kuin toiminta sai aikaan tulokset?
Attribuutio Deadweight Mikä osuus tuloksesta on arvioitavan asian aiheuttamaa? Mitä olisi tapahtunut joka tapauksessa Esim. yhteydenpito tuloksena. Jos tuttavuus on edellytys osallistumiselle. Lastensuojelu, koulu, päivähoito, KELA Esim. motivoituneimmat valikoituvat, talouskasvu ja työllisyysprojektit jne. Drop off Miten pitkään vaikutus kestää? Tuloksen ja vaikutuksen kesto on eri, ylisukupolvisuus yms.
Miten tuloksesta voi saada tietoa
Monimutkaiset asiat pysyvät monimutkaisina, vaikka haluaisi vain vähän arvioida Important lesson is that if you are finding Outcome measures hard work and frustrating, you are probably on the right track. (Nowland- Foreman)
Asiakaspalautteesta arviointi vasta alkaa suoritteita paljon suoritteita vähän tulokset hyviä tulokset huonoja Vastanneista 40 % piti tapahtumaa liian lyhyenä, 20 % sopivan mittaisena ja 40 % liian pitkänä. Keskimäärin siis tapahtuma oli sopivan mittainen?
Hyvät mittarit ovat joskus liian yksinkertaisia ollakseen uskottavia ja liian lähellä tullakseen huomatuksi
ohjelmassa mukana olevat hankkeet löytävät uusia, hyviä tapoja toimia yhdessä muiden hankkeiden ja järjestöjen kanssa. Verkostotapaamiset hankkeita edustettuna (ka) Julkaisut, videot tai muut, jossa kolme tai useampia hankkeita 2018 2019 2020 23 23 23 2 2 3 Yhteisiä esiintymisiä messuilla ja seminaareissa 4 4 5 Yhteisiä toimintoja, joissa kolme tai useampia hankkeita 2 2 2 Verkostotapaamiset osallistujia 45 45 45
Asiakkaita pyydetään vastaamaan ohjausta vertaisja kummitoimintaa koskeviin kyselyihin kahdesti vuodessa (IrtiH) Teemahaastattelut eri toimijoille (perheet, vapaa ehtoiset, työntekijät, kumppanit, "mahdollistajat", asiantuntijat, tutkija t) Yhteensä 10-15 teemahaastattelua/ vuosi - > Osa haastatteluista tarinoitetaan joko artikkelei ksi tai videoiksi. (Puolivälinkangas)
Jokaisen leirijakson jälkeen osallistujat ja työntekijät antavat palautetta, jonka avulla toimin taa kehitetään jo hankkeen aikana. Tämän lisäksi hankepäällikkö haastatt elee osallistujia ja havainnoi toiminta a leirien aikana ja kehittää toimintaa ete enpäin arvioinnin pohjalta. Hankkeen lopuksi osallistujat saavat osallistua ha nkkeen arviointiin, jossa käydään läpi mm. hakemuksen kohdassa tulokset eriteltyjä arviointi-indikaattoreita (Leiritoiminta )
Hankkeen tuloksia mitataan vertaamalla lähtötilannetta ryhmistä ko ettuun hyötyyn niin osallistujien kuin ohjaajien taholta. Tavoitteiden kautta luodaan alku-, välija loppukyselyt ryhmiin osallistuneille. Mallia otetaan ELOISA:sta, jossa vaikuttavuuden arviointiin käytetään systemaattisesti kerättävää osallistujien kokemustietoa. (A-klinikkasäätiö)
Kotinuorisotyön seuranta ja arviointi: 1) Palaute kohderyhmältä. Työn tekijöillä on havainnointipäiväkirja, josta näkee yhden asiakkaan kehittymisen. Lomakkeet haastatteluja varten. 2) Vanhemmilta ja sisaruksilta kysytään palaute kotinuorisotyön asiakkuuden päättyessä ALISA: Tiedonkeruu (esim. Webropolkyselyt) hankkeen kohderyhmissä; lasten ja nuorten parissa, sairastuneiden vanhempien parissa sekä heitä kohtaa vien ammattilaisten parissa
Ennen/jälkeen päiväkirja Kysely Monitaho ( asiakas ja ohjaaja) Valmis mittaristo (ee) kontrolliryhmä asiakkaat arvioivat suoraan tavoitteita raati Tarinaksi kuvaaminen tai kirjoittaminen Seuranta havainnointi Suhteutetaan perusjoukkoon (ee)
Tämän arvioinnin lisäksi arviointia perheiden kokemuksista tehdään ohjelmatasolla erilaisin tavoin (haastattelut, kartoitukset).
menestystarinoita tai ainakin ihan hyvin menneitä juttuja
Keneltä perheesi ottaisi mieluiten vastaan apua ja tukea eri tilanteissa olettaen, että perheesi olisi jossakin seuraavista tilanteissa läheiseltä (sukulainen, ystävä) vapaaehtoiselta/vertaiselta (esim. järjestön kouluttama vertaistukija) ammattiauttajalta kun tarvitsen apua rajojen osoittamiseksi lapselleni 36 24 40 kun perheeni tarvitsee keskusteluapua arjen haasteiden pohdintaan 28 30 42 kun tarvitsen keskusteluapua vanhempana jaksamiseen 28 32 39 kun tarvitsen apua lapsen netin/pelien liikakäyttöön liittyen 24 34 43 kun lastani epäillään ilkivallasta 14 28 58 kun lapseni tarvitsee tukiopetusta/läksykerhoa 9 37 53 kun epäilen lapsellani olevan oppimisvaikeuksia 4 7 89 kun tarvitsen lainopillista neuvontaa lasta ja perhettä koskevissa asioissa 2 6 93 Vastaajat = 1065 0 10 20 30 40 50 60 70 80 90 100 %
Olen täysin eri mieltä Olen jokseenkin eri mieltä On tärkeää, että voi toimia sitoutumatta uskonnollisesti tai poliittisesti (n184) En osaa sanoa Olen jokseenkin samaa mieltä Suostuisin ottamaan vastaan apua vain poliittisesti ja uskonnollisesti sitoutumattomalt a taholta (perheet) Olen täysin samaa mieltä 0% 10% 20% 30% 40% 50% 60% 70% 80%
70,00% kurssilla saamani käytännön vinkit havainnoida motoriikan haasteisiin liittyviä asioita 60,00% 58,51% 57,56% 50,00% 40,00% 38,31% 30,00% 23,53% 20,00% 15,97% 10,00% 0,00% Aion hyödyntää paljon Olen hyödyntänyt paljon Aion hyödyntää jonkin verran Olen hyödyntänyt jonkin verran 3,04% Aion hyödyntää vähän Olen hyödyntänyt vähän 0,14% En aio hyödyntää lainkaan 2,94% En ole hyödyntänyt lainkaan
Mitkä seuraavista kuvaavat syitä, jotka vaikuttivat siihen, että osallistuitte toimintaan? Neuvot ja ohjaus Sattuma ja utelias Antaminen Hinta,laatu, etäisyys Seura Apua ja tukea Tekemistä 0% 5% 10% 15% 20% 25% 30% 35% 40%
Toivottavaa, että eväät elämään - hankekokonaisuuden koordinaatiosta vastaava taho (käyty keskustelua LSKL:n kanssa ) voisi luoda yhtenäiset käytännöt hankkeiden seurantaan ja arviointiin.
ettei toiminta leimaudu syrjäytyneiden perheiden toiminnaksi, sillä se ei houkuttele ketään osallistumaan.
Mitä tästä voisi päätellä? Ehkä että arviointi toimii Kun se on rajattu niin, että sen voi toteuttaa annetuilla resursseilla Kun suoritteet ja tulokset osataan erotella toisistaan. Mistä ei voi puhua, siitä spekuloidaan Kun arvioidaan ensisijaisesti projektia ja toissijaisesti jotain muuta Kun mitataan jotain, mikä on olemassa, mieluummin kuin jotain, mikä ehkäistiin Kun tunnistetaan helpot mittarit päivittäisestä toiminnasta Kun ollaan realisteja, rehellisiä, ja uteliaita - eikä päätetä tuloksia ennalta
Laadullista aineistoa voisi hyödyntää paljon enemmän, mutta mieluiten siten kuin laadullista aineistoa hyödynnetään kuinka moni kysymyksistä, miten ja miksi kysymyksiin Jos ei kerrottaisikaan, että 70 % perheistä koki koulun vieraaksi paikaksi vaan siitä, miten he päätyivät kokemaan sen vieraaksi Pääsy tällaisiin mekanismeihin on järjestöjen vahvuus, miksi ei kertoisi siitä? Kenelle muulle maahanmuuttajat, väkivaltaiset vanhemmat, vammaisten lasten vanhemmat jne edes suostuvat puhumaan?