Arvioinnin työpaja 5.12.

Transkriptio

1 Arvioinnin työpaja Tervetuloa

2 Mitä tänään. Onko arviointievankeliumi totta? Miksi arviointi on niin vaikeaa? Projekteittain eriytyvä osa ja kysymykset menestystarinoita Liikaa dioja ja hyvää salaatteja Taukoja Oman projektin arvioinnin pohdintaa Ankkurit arkeen teemalla, parasta ennen STEA vastaa STEA:n kannasta, mutta ohjelma esittää tyhmät kysymykset Työpajojen tulevaisuuden kannalta palautetta Rahat takaisin, jos päivä on täysin hyödytön

3 Miten suhtautua arviointievankeliumiin Päästä luokaltaan ja suorittaa sen, mitä siihen vaaditaan Arviointi ulkokohtaisena vaatimuksena Decoupling Arviointi tehdään kahtena viimeisenä päivänä ennen raportointia Olla luokan priimus Ottaa todesta, että arviointia tehdään itseä eikä toisia varten Arviointi päivittäisenä asenteena työhön Valaistuskertomukset: ensin luulin, sitten ymmärsin VOIDAANKO SAADA HYVÄÄ JÄLKEÄ PIENELLÄ VAIVALLA?

4 4 Herne patjan alla oireyhtymä Jos tiedät että arviointia periaatteessa pitäisi tehdä, mutta se jää aina pinon alimmaiseksi. Arviointi on herne patjan alla, kuin sadun prinsessalla

5 5 Arviointi herneenä nenässä Jos arviointi suorastaan kiukuttaa, ei tunnu yhtään luontevalta ja tuntuu häiritsevän varsinaista tekemistä Arviointi loukkaa järjestöautonomiaa

6 Yleensä kouluttaja tietää paljon arvioinnista, mutta ei mitään teidän projekteista. Tänään toisella taktiikalla.

7 Miksi arviointi tuntuu (joskus) niin vaikealta? Kymmenen askeleen ohjelma (koska nykyään kaiken on oltava kymmenen askeleen ohjelman muodossa)

8 Selitys 1, se on oikeasti vaikeaa. Monimutkaiset asiat pysyvät monimutkaisina, vaikka haluaisi vain vähän arvioida Important lesson is that if you are finding Outcome measures hard work and frustrating, you are probably on the right track. (Nowland- Foreman)

9 Vrt. perustulokokeilu. Laskennassa viimeiset 10 % teettää 90% vaivasta, voisiko sen jättää kulkematta? Esimerkiksi SROI, kaikkine puutteineen, on jonkinlainen vastaus tähän.

10 Tämä on kokeilu Tähän tulee kaikenlaista kivaa sisältöä Selitys 2. Jokainen on erityistapaus, mutta systeemit tehdään massoille

11 STEA tukee lähes 900 järjestöä. On aika selvää, että koko koneistoa ei ole viritetty mitään yksittäistä toimintaa varten Ja mikä pahinta, missään ei ehkä ole juuri teitä varten laadittuja mittareita, indikaattoreita jne

12 Selitys 3 Vaikuttavuuden osoittaminen on niin kovin vaikeaa.

13 Jos hellekesä on avattu, miksi Erkillä on tuulipuku päällä? Ota se pois, niin et tarvitse magnesiumia!

14 Selitys 4, asiakaspalautteesta arviointi vasta alkaa Vastanneista 40 % piti tapahtumaa liian lyhyenä, 20 % sopivan mittaisena ja 40 % liian pitkänä. Keskimäärin siis tapahtuma oli sopivan mittainen?

15 Esimerkki loistavasta palautteesta, jolla ei ole juuri mitään arvoa arvioinnissa Tunsimme tervetulleiksi Emme olleet tervetulleita,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0

16 Selitys 5. Hyvät mittarit ovat liian yksinkertaisia ollakseen uskottavia ja liian lähellä tullakseen huomatuksi

17 Vapaaehtoiset: Vapaaehtoiset ovat itsessään tulos, mitä he vielä sen lisäksi tekevät on bonusta (oma kanta, ei sido STEAa). Avoin toiminta: Kun paikalle tuleminen on täysin vapaaehtoista, itse paikalle tuleminen kertoo paljon siitä, että ihmiset kokevat hyötyvänsä toiminnasta. Työntekijät: vaihtuvuus, sairauspoissaolot, hakijamäärät tehtäviin jne. Onko teidän toiminnassa hyviä mittareita, jotka ovat liian arkisia ja lähellä huomattavaksi? Esimerkiksi kysyntä!

18 Selitys 6 Ollaan liian kunnianhimoisia, pitääkö arviointi sulkea pois arvioinnista, että se on uskottavaa?

19 Laadullista aineistoa voisi hyödyntää paljon enemmän, mutta mieluiten siten kuin laadullista aineistoa hyödynnetään kuinka moni kysymyksistä, miten ja miksi kysymyksiin Jos ei kerrottaisikaan, että 70 % perheistä koki koulun vieraaksi paikaksi vaan siitä, miten he päätyivät kokemaan sen vieraaksi Pääsy tällaisiin mekanismeihin on järjestöjen vahvuus, miksi ei kertoisi siitä? Kenelle muulle maahanmuuttajat, väkivaltaiset vanhemmat, vammaisten lasten vanhemmat jne edes suostuvat puhumaan?

20 Selitys 7 On kymmeniä ja satoja aatteita, mutta vain yksi vaikuttavuus

21 Siitä että tarkoittaa hyvää, ei seuraa, että toiminta on hyvää. Ja edes siitä, että toiminta on hyvää ei seuraa, että se on vaikuttavaa.

22 Selitys 8 Arvioidaan ihmisiä kun voisi arvioida projektia

23 Jos ei mitattaisi masennusta, vaan jotain, mikä kertoo sen poissaolosta, adjektiiveista verbeihin

24 Selitys 9. Tehdään arviointia, mutta tehdäänkin viestintää?

25 Silloin kun tulokset on annettu jo valmiiksi, ei pidä ihmetellä, jos menetelmiäkin tuntuu olevan niukasti. Jos mikään ei selitä epäonnistumisia, selittääkö mikään onnistumisiakaan?

26 Selitys 10. Kävin aivan mahtavassa koulutuksessa ja kaikki muuttui viikoksi. Arviointi ei asetu arkeen, vaikka menetelmät olisivat sinällään hyviä

27 Arviointi voi olla hankalaa, mutta se on mahdollista. Se voi olla jopa hyödyllistä.

28 Mitä tästä voisi päätellä? Ehkä että arviointi toimii Kun se on rajattu niin, että sen voi toteuttaa annetuilla resursseilla Kun suoritteet ja tulokset osataan erotella toisistaan. Mistä ei voi puhua, siitä spekuloidaan Kun arvioidaan ensisijaisesti projektia ja toissijaisesti jotain muuta Kun mitataan jotain, mikä on olemassa, mieluummin kuin jotain, mikä ehkäistiin Kun tunnistetaan helpot mittarit päivittäisestä toiminnasta Kun ollaan realisteja, rehellisiä, ja uteliaita - eikä päätetä tuloksia ennalta

29 menestystarinoita tai ainakin ihan hyvin menneitä juttuja

30 Keneltä perheesi ottaisi mieluiten vastaan apua ja tukea eri tilanteissa olettaen, että perheesi olisi jossakin seuraavista tilanteissa läheiseltä (sukulainen, ystävä) vapaaehtoiselta/vertaiselta (esim. järjestön kouluttama vertaistukija) ammattiauttajalta kun tarvitsen apua rajojen osoittamiseksi lapselleni kun perheeni tarvitsee keskusteluapua arjen haasteiden pohdintaan kun tarvitsen keskusteluapua vanhempana jaksamiseen kun tarvitsen apua lapsen netin/pelien liikakäyttöön liittyen kun lastani epäillään ilkivallasta kun lapseni tarvitsee tukiopetusta/läksykerhoa kun epäilen lapsellani olevan oppimisvaikeuksia kun tarvitsen lainopillista neuvontaa lasta ja perhettä koskevissa asioissa Vastaajat = %

31 Olen täysin eri mieltä Olen jokseenkin eri mieltä On tärkeää, että voi toimia sitoutumatta uskonnollisesti tai poliittisesti (n184) En osaa sanoa Olen jokseenkin samaa mieltä Suostuisin ottamaan vastaan apua vain poliittisesti ja uskonnollisesti sitoutumattomalt a taholta (perheet) Olen täysin samaa mieltä 0% 10% 20% 30% 40% 50% 60% 70% 80%

32 70,00% kurssilla saamani käytännön vinkit havainnoida motoriikan haasteisiin liittyviä asioita 60,00% 58,51% 57,56% 50,00% 40,00% 38,31% 30,00% 23,53% 20,00% 15,97% 10,00% 0,00% Aion hyödyntää paljon Olen hyödyntänyt paljon Aion hyödyntää jonkin verran Olen hyödyntänyt jonkin verran 3,04% Aion hyödyntää vähän Olen hyödyntänyt vähän 0,14% En aio hyödyntää lainkaan 2,94% En ole hyödyntänyt lainkaan

33 Mitkä seuraavista kuvaavat syitä, jotka vaikuttivat siihen, että osallistuitte toimintaan? Neuvot ja ohjaus Sattuma ja utelias Antaminen Hinta,laatu, etäisyys Seura Apua ja tukea Tekemistä 0% 5% 10% 15% 20% 25% 30% 35% 40%

34 Hankkeittain eriytyvät

35 Verkostotapaamiset 1/17-3/ Koordinaatiohankkeen suoritteita Hankkeita tavoite Hankkeita toteutunut Osallistujia tavoite Osallistujia toteutunut

36 HDL Kummiperhetoiminta ja Yhteiset Lapsemme Alaikäisillä turvapaikanhakijoilla on hyvät mahdollisuudet integroitua Kummiperhe tarjoaa perheenomaisen ympäristön ja mahdollisuuden oppia kieltä ja kulttuuria pojalle (!) Halukkaita kummiperheitä on, mutta toiminta kaipaa koordinaatiota Pojilla on taipumusta viettää aikaansa omankielisten seurassa, jolloin kielitaito ja kulttuurintuntemus ei kehity

37 Voisiko olennaiset suoritteet ilmaista tiiviisti?

38 Jatkuu Turvapaikanhakijoiden palautetta toiminnasta kerätään, työntekijät kysyvät nuoren mielipidettä kummisuhte esta tutustumisjakson jälkeen Onko tähän olemassa mittari? Tai ettei ihan indikaattori? Voidaanko keskeiset tavoitteet kuvata mitattavina asioina esim. Kummisuhde jatkunut vuoden Tapaa perhettä 2 krt/kk tai useammin Aloittanut uuden harrastuksen/opinnot Suomen kielen taito kohentunut huomattavasti Osallistunut tapahtumiin juhliin tms.

39 HDL/YL: tavoitteet perhearkeen tutustuminen, kulttuuriin tutustuminen, kielitaito, kotoutumisen edellytykset. Tukisuhteet (200) onnistuminen Ei yhtään Yksi Kaksi Kolme Neljä Kaikki

40 Veturointi

41 Oulu tapaamisia tavoite Oulu tapaamisia toteutunut Oulu ryhmätoiminnassa tavoite Oulu ryhmätoiminnassa toteutunut

42 Veturointi Jatkohanke, tavoitteissa mukana malliin liittyviä (Veturointi), vetureiden ohjaamiseen liittyviä, vetureihin liittyviä ja tuettaviin nuoriin liittyviä. VETURIT, työllistyminen vahvistetaan voimavaroja, itsetuntemusta, tunteiden käsittelyä, osallisu uden ja turvallisuuden tunnetta, tulevaisuutta?? toissijainen Kokemusasiantuntemusta arvostetaan ja ammattilaiset kokevat toiminn an hyödyttävän nuoria ja tuovan lisäarvoa omalle työlle. -> mikä saa ammattilaiset arvostamaan kokemusasiantuntijuutta? toissijainen

43 VETURIT JA NUORET, ensisijainen? nuoren tukeminen läheissuhteissa ja erilaisiin yhteisöihin liittymisessä Nuoret sekä tarvittaessa perheet/lähiverko stot saavat tukea, kannustusta ja tietoa itselleen/nuorelle tärkei siin ja toimintakykyä tukeviin asioihin (esim. arjenhallinta, sosiaaliset suhteet, terveys, opiskelu- ja työelämä, vanhemmuus, vapaaaika) ja nuoren/perheen/lähiverkoston omat voimavarat vahvistuvat. Mikä tässä kohtaamisessa on erityistä? Minkälaisena toimintana onnistunut veturointi ilmenee? Kysyntä? Pysyminen? Positiivinen kiinnittyminen veturiin?

44 Linkki

45 Linkki projektin tavoitteet ja toteuma Koulun edustajat Virastot Perheitä joista erikseen kohder Kouluja ja päiväkoteja Tulkkaus tilaisuudet Tulkkaus perhe-koulu Palveluohjaus perheet tavoite toteutunut

46 Linkki Helsingissä 7500 vieraskielistä lasta kouluissa/päiväkodeissa Tarvitsevat ja kysyvät tukea paljon muuhunkin kuin kouluun Koulun henkilökunta ei ehdi eikä osaa kaikkea neuvontaa antaa, ja aina kyse ei ole edes tiedosta On erityisiä ryhmiä, joiden kosketus suomalaiseen kulttuuriin on erityisen ohut Kulttuuritulkkauksella saadaan välitettyä tietoa säädöksistä ja kulttuurista kunkin omalla kielellä Mahdollisuus hyvin keveisiin tiedonkeruumenetelmiin

47 Romanomissio

48 2018 kevät tapaamisia suunnitelma toteutunut

49 Kontaktit suoritteena Lastensuojeluilmoitukset ja poissaolot mittarina? Ovatko tarpeeksi hyviä? Wilma arviointitiedon tuottajana? Mitä muuta, mitä on tapahtunut, kun tekemänne työ on onnistunut? Suhteessa romaniyhteisöön? Suhteessa instituutioihin? Ostopalvelusopimus tavoitteena???

50 Loiste

51 tavoite toteutui tavoite toteutui tavoite toteutui tavoite toteutui tavoite toteutui Työpajat tiivis Työpajat kevyt Perhetapaamiset perheitä Käyntikerrat Verkkoperheet

52 Lapsi ei voi odottaa

53 Yksilötyö lapsia T lapsia toteutunut Ryhmätoiminta T Ryhmät toteutunut Kartoittava työ T kartoittava toteutunut

54 Lapsen tilanne kartoitetaan työskentelyn alussa (yksilöja ryhmätoiminta). Kysely toistetaan lopussa. Turvallisuussuunnitelmat miten hyödyntää arvioinnissa. Suorite vai tulos? Miten kaikki mahdolliset tietosuoja-asiat vaikuttavat arvioinnin toteutukseen? Miten toimii lapsi, joka ei pelkää ja joka tietää saavansa apua?

55 Vahvistu vanhempana

56 Perheitä Henkilöitä Hakeneita perheitä tavoite toteutunut

57 Perheenjäsenten tunne itsemääräämisestä lisääntyy - he kokevat hallitsevansa arkea aiempaa paremmin Mitä tapahtuu, millaista toimintaa syntyy, kun tunne itsemääräämisestä lisääntyy? Palvelut vastaavat perheiden tarpeita ja perheet hyötyvät saamastaan tuesta ja palvelusta. Mitä tapahtuu kun palvelut vastaavat tarpeita? Lähiihmisten vuorovaikutus perheen kanssa paranee Sama kysymys, mitä tapahtuu, kun

58 Terveisiä joulupukille