Arvioinnin työpaja 5.12. Tervetuloa
Mitä tänään. Onko arviointievankeliumi totta? Miksi arviointi on niin vaikeaa? Projekteittain eriytyvä osa ja kysymykset menestystarinoita Liikaa dioja ja hyvää salaatteja Taukoja Oman projektin arvioinnin pohdintaa Ankkurit arkeen teemalla, parasta ennen 1.1.2020 STEA vastaa STEA:n kannasta, mutta ohjelma esittää tyhmät kysymykset Työpajojen tulevaisuuden kannalta palautetta Rahat takaisin, jos päivä on täysin hyödytön
Miten suhtautua arviointievankeliumiin Päästä luokaltaan ja suorittaa sen, mitä siihen vaaditaan Arviointi ulkokohtaisena vaatimuksena Decoupling Arviointi tehdään kahtena viimeisenä päivänä ennen raportointia Olla luokan priimus Ottaa todesta, että arviointia tehdään itseä eikä toisia varten Arviointi päivittäisenä asenteena työhön Valaistuskertomukset: ensin luulin, sitten ymmärsin VOIDAANKO SAADA HYVÄÄ JÄLKEÄ PIENELLÄ VAIVALLA?
4 Herne patjan alla oireyhtymä Jos tiedät että arviointia periaatteessa pitäisi tehdä, mutta se jää aina pinon alimmaiseksi. Arviointi on herne patjan alla, kuin sadun prinsessalla
5 Arviointi herneenä nenässä Jos arviointi suorastaan kiukuttaa, ei tunnu yhtään luontevalta ja tuntuu häiritsevän varsinaista tekemistä Arviointi loukkaa järjestöautonomiaa
Yleensä kouluttaja tietää paljon arvioinnista, mutta ei mitään teidän projekteista. Tänään toisella taktiikalla.
Miksi arviointi tuntuu (joskus) niin vaikealta? Kymmenen askeleen ohjelma (koska nykyään kaiken on oltava kymmenen askeleen ohjelman muodossa)
Selitys 1, se on oikeasti vaikeaa. Monimutkaiset asiat pysyvät monimutkaisina, vaikka haluaisi vain vähän arvioida Important lesson is that if you are finding Outcome measures hard work and frustrating, you are probably on the right track. (Nowland- Foreman)
Vrt. perustulokokeilu. Laskennassa viimeiset 10 % teettää 90% vaivasta, voisiko sen jättää kulkematta? Esimerkiksi SROI, kaikkine puutteineen, on jonkinlainen vastaus tähän.
Tämä on kokeilu Tähän tulee kaikenlaista kivaa sisältöä Selitys 2. Jokainen on erityistapaus, mutta systeemit tehdään massoille
STEA tukee lähes 900 järjestöä. On aika selvää, että koko koneistoa ei ole viritetty mitään yksittäistä toimintaa varten Ja mikä pahinta, missään ei ehkä ole juuri teitä varten laadittuja mittareita, indikaattoreita jne
Selitys 3 Vaikuttavuuden osoittaminen on niin kovin vaikeaa.
Jos hellekesä on avattu, miksi Erkillä on tuulipuku päällä? Ota se pois, niin et tarvitse magnesiumia!
Selitys 4, asiakaspalautteesta arviointi vasta alkaa Vastanneista 40 % piti tapahtumaa liian lyhyenä, 20 % sopivan mittaisena ja 40 % liian pitkänä. Keskimäärin siis tapahtuma oli sopivan mittainen?
Esimerkki loistavasta palautteesta, jolla ei ole juuri mitään arvoa arvioinnissa Tunsimme tervetulleiksi 9 8 7 6 5 Emme olleet tervetulleita,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0
Selitys 5. Hyvät mittarit ovat liian yksinkertaisia ollakseen uskottavia ja liian lähellä tullakseen huomatuksi
Vapaaehtoiset: Vapaaehtoiset ovat itsessään tulos, mitä he vielä sen lisäksi tekevät on bonusta (oma kanta, ei sido STEAa). Avoin toiminta: Kun paikalle tuleminen on täysin vapaaehtoista, itse paikalle tuleminen kertoo paljon siitä, että ihmiset kokevat hyötyvänsä toiminnasta. Työntekijät: vaihtuvuus, sairauspoissaolot, hakijamäärät tehtäviin jne. Onko teidän toiminnassa hyviä mittareita, jotka ovat liian arkisia ja lähellä huomattavaksi? Esimerkiksi kysyntä!
Selitys 6 Ollaan liian kunnianhimoisia, pitääkö arviointi sulkea pois arvioinnista, että se on uskottavaa?
Laadullista aineistoa voisi hyödyntää paljon enemmän, mutta mieluiten siten kuin laadullista aineistoa hyödynnetään kuinka moni kysymyksistä, miten ja miksi kysymyksiin Jos ei kerrottaisikaan, että 70 % perheistä koki koulun vieraaksi paikaksi vaan siitä, miten he päätyivät kokemaan sen vieraaksi Pääsy tällaisiin mekanismeihin on järjestöjen vahvuus, miksi ei kertoisi siitä? Kenelle muulle maahanmuuttajat, väkivaltaiset vanhemmat, vammaisten lasten vanhemmat jne edes suostuvat puhumaan?
Selitys 7 On kymmeniä ja satoja aatteita, mutta vain yksi vaikuttavuus
Siitä että tarkoittaa hyvää, ei seuraa, että toiminta on hyvää. Ja edes siitä, että toiminta on hyvää ei seuraa, että se on vaikuttavaa.
Selitys 8 Arvioidaan ihmisiä kun voisi arvioida projektia
Jos ei mitattaisi masennusta, vaan jotain, mikä kertoo sen poissaolosta, adjektiiveista verbeihin
Selitys 9. Tehdään arviointia, mutta tehdäänkin viestintää?
Silloin kun tulokset on annettu jo valmiiksi, ei pidä ihmetellä, jos menetelmiäkin tuntuu olevan niukasti. Jos mikään ei selitä epäonnistumisia, selittääkö mikään onnistumisiakaan?
Selitys 10. Kävin aivan mahtavassa koulutuksessa ja kaikki muuttui viikoksi. Arviointi ei asetu arkeen, vaikka menetelmät olisivat sinällään hyviä
Arviointi voi olla hankalaa, mutta se on mahdollista. Se voi olla jopa hyödyllistä.
Mitä tästä voisi päätellä? Ehkä että arviointi toimii Kun se on rajattu niin, että sen voi toteuttaa annetuilla resursseilla Kun suoritteet ja tulokset osataan erotella toisistaan. Mistä ei voi puhua, siitä spekuloidaan Kun arvioidaan ensisijaisesti projektia ja toissijaisesti jotain muuta Kun mitataan jotain, mikä on olemassa, mieluummin kuin jotain, mikä ehkäistiin Kun tunnistetaan helpot mittarit päivittäisestä toiminnasta Kun ollaan realisteja, rehellisiä, ja uteliaita - eikä päätetä tuloksia ennalta
menestystarinoita tai ainakin ihan hyvin menneitä juttuja
Keneltä perheesi ottaisi mieluiten vastaan apua ja tukea eri tilanteissa olettaen, että perheesi olisi jossakin seuraavista tilanteissa läheiseltä (sukulainen, ystävä) vapaaehtoiselta/vertaiselta (esim. järjestön kouluttama vertaistukija) ammattiauttajalta kun tarvitsen apua rajojen osoittamiseksi lapselleni 36 24 40 kun perheeni tarvitsee keskusteluapua arjen haasteiden pohdintaan 28 30 42 kun tarvitsen keskusteluapua vanhempana jaksamiseen 28 32 39 kun tarvitsen apua lapsen netin/pelien liikakäyttöön liittyen 24 34 43 kun lastani epäillään ilkivallasta 14 28 58 kun lapseni tarvitsee tukiopetusta/läksykerhoa 9 37 53 kun epäilen lapsellani olevan oppimisvaikeuksia 4 7 89 kun tarvitsen lainopillista neuvontaa lasta ja perhettä koskevissa asioissa 2 6 93 Vastaajat = 1065 0 10 20 30 40 50 60 70 80 90 100 %
Olen täysin eri mieltä Olen jokseenkin eri mieltä On tärkeää, että voi toimia sitoutumatta uskonnollisesti tai poliittisesti (n184) En osaa sanoa Olen jokseenkin samaa mieltä Suostuisin ottamaan vastaan apua vain poliittisesti ja uskonnollisesti sitoutumattomalt a taholta (perheet) Olen täysin samaa mieltä 0% 10% 20% 30% 40% 50% 60% 70% 80%
70,00% kurssilla saamani käytännön vinkit havainnoida motoriikan haasteisiin liittyviä asioita 60,00% 58,51% 57,56% 50,00% 40,00% 38,31% 30,00% 23,53% 20,00% 15,97% 10,00% 0,00% Aion hyödyntää paljon Olen hyödyntänyt paljon Aion hyödyntää jonkin verran Olen hyödyntänyt jonkin verran 3,04% Aion hyödyntää vähän Olen hyödyntänyt vähän 0,14% En aio hyödyntää lainkaan 2,94% En ole hyödyntänyt lainkaan
Mitkä seuraavista kuvaavat syitä, jotka vaikuttivat siihen, että osallistuitte toimintaan? Neuvot ja ohjaus Sattuma ja utelias Antaminen Hinta,laatu, etäisyys Seura Apua ja tukea Tekemistä 0% 5% 10% 15% 20% 25% 30% 35% 40%
Hankkeittain eriytyvät
Verkostotapaamiset 1/17-3/20 500 450 400 Koordinaatiohankkeen suoritteita 350 300 250 200 150 100 50 0 117 118 218 318 119 219 319 120 220 320 Hankkeita tavoite Hankkeita toteutunut Osallistujia tavoite Osallistujia toteutunut
HDL Kummiperhetoiminta ja Yhteiset Lapsemme Alaikäisillä turvapaikanhakijoilla on hyvät mahdollisuudet integroitua Kummiperhe tarjoaa perheenomaisen ympäristön ja mahdollisuuden oppia kieltä ja kulttuuria pojalle (!) Halukkaita kummiperheitä on, mutta toiminta kaipaa koordinaatiota Pojilla on taipumusta viettää aikaansa omankielisten seurassa, jolloin kielitaito ja kulttuurintuntemus ei kehity
Voisiko olennaiset suoritteet ilmaista tiiviisti?
Jatkuu Turvapaikanhakijoiden palautetta toiminnasta kerätään, työntekijät kysyvät nuoren mielipidettä kummisuhte esta tutustumisjakson jälkeen Onko tähän olemassa mittari? Tai ettei ihan indikaattori? Voidaanko keskeiset tavoitteet kuvata mitattavina asioina esim. Kummisuhde jatkunut vuoden Tapaa perhettä 2 krt/kk tai useammin Aloittanut uuden harrastuksen/opinnot Suomen kielen taito kohentunut huomattavasti Osallistunut tapahtumiin juhliin tms.
HDL/YL: tavoitteet perhearkeen tutustuminen, kulttuuriin tutustuminen, kielitaito, kotoutumisen edellytykset. Tukisuhteet (200) onnistuminen 60 50 40 30 20 10 0 Ei yhtään Yksi Kaksi Kolme Neljä Kaikki
Veturointi
350 300 250 200 150 100 50 0 1 2 3 4 Oulu tapaamisia tavoite Oulu tapaamisia toteutunut Oulu ryhmätoiminnassa tavoite Oulu ryhmätoiminnassa toteutunut
Veturointi Jatkohanke, tavoitteissa mukana malliin liittyviä (Veturointi), vetureiden ohjaamiseen liittyviä, vetureihin liittyviä ja tuettaviin nuoriin liittyviä. VETURIT, työllistyminen vahvistetaan voimavaroja, itsetuntemusta, tunteiden käsittelyä, osallisu uden ja turvallisuuden tunnetta, tulevaisuutta?? toissijainen Kokemusasiantuntemusta arvostetaan ja ammattilaiset kokevat toiminn an hyödyttävän nuoria ja tuovan lisäarvoa omalle työlle. -> mikä saa ammattilaiset arvostamaan kokemusasiantuntijuutta? toissijainen
VETURIT JA NUORET, ensisijainen? nuoren tukeminen läheissuhteissa ja erilaisiin yhteisöihin liittymisessä Nuoret sekä tarvittaessa perheet/lähiverko stot saavat tukea, kannustusta ja tietoa itselleen/nuorelle tärkei siin ja toimintakykyä tukeviin asioihin (esim. arjenhallinta, sosiaaliset suhteet, terveys, opiskelu- ja työelämä, vanhemmuus, vapaaaika) ja nuoren/perheen/lähiverkoston omat voimavarat vahvistuvat. Mikä tässä kohtaamisessa on erityistä? Minkälaisena toimintana onnistunut veturointi ilmenee? Kysyntä? Pysyminen? Positiivinen kiinnittyminen veturiin?
Linkki
Linkki projektin tavoitteet ja toteuma 160 140 120 100 80 60 40 20 0 Koulun edustajat Virastot Perheitä joista erikseen kohder Kouluja ja päiväkoteja Tulkkaus tilaisuudet Tulkkaus perhe-koulu Palveluohjaus perheet tavoite toteutunut
Linkki Helsingissä 7500 vieraskielistä lasta kouluissa/päiväkodeissa Tarvitsevat ja kysyvät tukea paljon muuhunkin kuin kouluun Koulun henkilökunta ei ehdi eikä osaa kaikkea neuvontaa antaa, ja aina kyse ei ole edes tiedosta On erityisiä ryhmiä, joiden kosketus suomalaiseen kulttuuriin on erityisen ohut Kulttuuritulkkauksella saadaan välitettyä tietoa säädöksistä ja kulttuurista kunkin omalla kielellä Mahdollisuus hyvin keveisiin tiedonkeruumenetelmiin
Romanomissio
2018 kevät 140 120 100 80 60 40 20 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 tapaamisia suunnitelma toteutunut
Kontaktit suoritteena Lastensuojeluilmoitukset ja poissaolot mittarina? Ovatko tarpeeksi hyviä? Wilma arviointitiedon tuottajana? Mitä muuta, mitä on tapahtunut, kun tekemänne työ on onnistunut? Suhteessa romaniyhteisöön? Suhteessa instituutioihin? Ostopalvelusopimus tavoitteena???
Loiste
60 50 40 30 20 10 0 tavoite toteutui tavoite toteutui tavoite toteutui tavoite toteutui tavoite toteutui Työpajat tiivis Työpajat kevyt Perhetapaamiset perheitä Käyntikerrat Verkkoperheet
Lapsi ei voi odottaa
100 80 60 40 20 0 2018 2019 2020 Yksilötyö lapsia T lapsia toteutunut Ryhmätoiminta T Ryhmät toteutunut Kartoittava työ T kartoittava toteutunut
Lapsen tilanne kartoitetaan työskentelyn alussa (yksilöja ryhmätoiminta). Kysely toistetaan lopussa. Turvallisuussuunnitelmat miten hyödyntää arvioinnissa. Suorite vai tulos? Miten kaikki mahdolliset tietosuoja-asiat vaikuttavat arvioinnin toteutukseen? Miten toimii lapsi, joka ei pelkää ja joka tietää saavansa apua?
Vahvistu vanhempana
90 80 70 60 50 40 30 20 10 0 Perheitä Henkilöitä Hakeneita perheitä tavoite toteutunut
Perheenjäsenten tunne itsemääräämisestä lisääntyy - he kokevat hallitsevansa arkea aiempaa paremmin Mitä tapahtuu, millaista toimintaa syntyy, kun tunne itsemääräämisestä lisääntyy? Palvelut vastaavat perheiden tarpeita ja perheet hyötyvät saamastaan tuesta ja palvelusta. Mitä tapahtuu kun palvelut vastaavat tarpeita? Lähiihmisten vuorovaikutus perheen kanssa paranee Sama kysymys, mitä tapahtuu, kun
Terveisiä joulupukille