Arviointi Mallit -projektin kokeiluissa Peppi Saikku Sanna Blomgren Pekka Karjalainen 18.12.2017
Arviointikokonaisuus Indikaattorityöskentely ja muutoksen arviointi Kokeilujen itsearviointi Kohdennettu arviointi: monialainen yhteistyö ja asiakasosallisuus Asiantuntijatiedon koonti 18.12.2017 2
1) Indikaattorityöskentely ja muutoksen arviointi Yhteinen mittari- ja indikaattorityöskentely Kokeilut määrittelevät itse tuloksiaan kuvaavat mittarit ja osoittavat niiden avulla mahdollista muutosta THL kerää tietoa käytetyistä mittareista ja niiden toimivuudesta sekä muusta meneillään olevasta indikaattorityöstä Seuraava arviointitapaaminen 3/2018 THL arvioi kokeiluilla aikaansaatua muutosta, eli sitä onko toimintamalleja uudistettu ja onko niissä huomioitu projektin tavoitteet Täsmennetty arviointikehikkoa Innokylään tehdyt toimintamallien alustavat kuvaukset (6/2018) keskeinen lähde! Arviointitietoa kokeilujen ohjausryhmiin syksyllä 2018 18.12.2017 3
Arviointikehikko: Työtoiminnasta töihin Tavoite: Kokeilussa on uudistettu osatyökykyisten työllistymistä tukevia toimintamalleja, erityisesti työtoiminnassa Arviointi liikennevaloilla: Toimintamalleja ei ole uudistettu tai se on tehty hyvin heikosti Toimintamalleja on uudistettu, mutta eri näkökulmia ei ole huomioitu riittävästi Toimintamalleja on uudistettu ja eri näkökulmat on huomioitu monipuolisesti 18.12.2017 4
Arvioinnissa Työtoiminnasta töihin -malleja tarkastellaan seuraavista näkökulmista Selviävätkö toimintamallista keskeiset toimijat sekä näiden tehtävät, vastuut ja resurssit? Sisältyykö malliin osatyökykyisen henkilön työllistymismahdollisuuksien ja tuen tarpeen arviointi? Tuetaanko työsuhteiseen työhön kykeneviä osatyökykyisiä henkilöitä työllistymään työ- tai virkasuhteiseen työhön? Onko työhönvalmennuksen tai muun pitkäkestoisen työhön pääsemisen ja työssä pysymisen tuen käyttö osa toimintamallia? Onko mallissa kuvattu työvoimaviranomaisten, sosiaali- ja terveydenhuollon, Kelan, työnantajien sekä muiden tarpeellisten tahojen välisen monialaisen yhteistyön toteuttamistavat sekä palveluohjaus näiden välillä? Onko osatyökykyisten henkilöiden systemaattinen osallistuminen rakennettu osaksi mallia? Ovatko he olleet mukana mallin mukaisen toiminnan suunnittelussa, toteutuksessa ja arvioinnissa? Onko osatyökykyisiä henkilöitä palkkaavien työnantajien tarpeet huomioitu mallissa? Onko toimintamallin mukaista toimintaa arvioitu itsearvioinnin keinoin? Onko uuden toimintamallin käyttöönotosta kokeilussa mukana olevissa maakunnissa sovittu? Onko hahmoteltu seurantaindikaattoreita toiminnan pidempiaikaiseen seurantaan? 18.12.2017 5
Arviointikehikko: Opinnoista töihin Tavoite: Kokeilussa on uudistettu erityistä tukea opinnoissaan tarvitsevien nuorten opinnoista työhön siirtymisen toimintamalleja Arviointi liikennevaloilla: Toimintamalleja ei ole uudistettu tai se on tehty hyvin heikosti Toimintamalleja on uudistettu, mutta eri näkökulmia ei ole huomioitu riittävästi Toimintamalleja on uudistettu ja eri näkökulmat on huomioitu monipuolisesti 18.12.2017 6
Arvioinnissa Opinnoista töihin -malleja tarkastellaan seuraavista näkökulmista Selviävätkö toimintamallista keskeiset toimijat sekä näiden tehtävät, vastuut ja resurssit? Sisältyykö malliin keinoja tunnistaa työelämään siirtyvien opiskelijoiden erityisen tuen tarve? Onko pitkäkestoinen tuki, sen järjestämistapa ja vastuutaho kuvattu osaksi toimintamallia? Onko mallissa kuvattu työvoimaviranomaisten, sosiaali- ja terveydenhuollon, Kelan, työnantajien sekä muiden tarpeellisten tahojen välisen monialaisen yhteistyön toteuttamistavat sekä palveluohjaus näiden välillä? Onko osatyökykyisten henkilöiden systemaattinen osallistuminen rakennettu osaksi mallia? Ovatko he olleet mukana mallin mukaisen toiminnan suunnittelussa, toteutuksessa ja arvioinnissa? Onko osatyökykyisiä henkilöitä palkkaavien työnantajien tarpeet huomioitu mallissa? Onko toimintamallin mukaista toimintaa arvioitu itsearvioinnin keinoin? Onko uuden toimintamallin käyttöönotosta kokeilussa mukana olevissa maakunnissa sovittu? Onko hahmoteltu seurantaindikaattoreita toiminnan pidempiaikaiseen seurantaan? 18.12.2017 7
Arviointikehikko: Osallisuutta tukeva toiminta Tavoite: Kokeilussa on luotu toimintamalli(t) heikossa työmarkkina-asemassa olevien henkilöiden aktiivista osallisuutta tukevaan toimintaan Arviointi liikennevaloilla: Toimintamallia ei ole luotu tai se on tehty hyvin heikosti Toimintamalli on luotu, mutta eri näkökulmia ei ole huomioitu riittävästi Toimintamalli on luotu ja eri näkökulmat on huomioitu monipuolisesti 18.12.2017 8
Arvioinnissa Osallisuutta tukeva toiminta -malleja tarkastellaan seuraavista näkökulmista Selviävätkö toimintamallista keskeiset toimijat sekä näiden tehtävät, vastuut ja resurssit? Sisältyykö malliin keinoja tunnistaa ja löytää ne henkilöt, jotka tarvitsevat osallisuutta ja toimintakykyä tukevaa toimintaa? Onko mallissa varmistettu matala kynnys toimintaan pääsyyn? Ovatko mallissa toiminnan lähtökohtana tukea tarvitsevan henkilön omat tarpeet, toiveet ja vahvuudet? Onko toimintamallissa kuvattu, miten toiminta tukee osatyökykyisten henkilöiden osallisuutta? Onko mallissa kuvattu suhde työllistymistä edistäviin palveluihin ja mahdollisuudet sinne siirtymiseen? Onko mallissa kuvattu työvoimaviranomaisten, sosiaali- ja terveydenhuollon, Kelan, työnantajien, kolmannen sektorin sekä muiden tarpeellisten tahojen välisen monialaisen yhteistyön toteuttamistavat sekä palveluohjaus näiden välillä? Onko osatyökykyisten henkilöiden systemaattinen osallistuminen rakennettu osaksi mallia? Ovatko he olleet mukana mallin mukaisen toiminnan suunnittelussa, toteutuksessa ja arvioinnissa? Onko toimintamallin mukaista toimintaa arvioitu itsearvioinnin keinoin? Onko uuden toimintamallin käyttöönotosta kokeilussa mukana olevissa maakunnissa sovittu? Onko hahmoteltu seurantaindikaattoreita toiminnan pidempiaikaiseen seurantaan? 18.12.2017 9
2) Kohdennettu arviointi Kokeilut ja toimintamallit ylittävät yhteiset teemat: Monialainen yhteistyö ja asiakasosallisuus Vrt. teemat sisältyvät myös muutoksen arviointiin Aineisto kerätään pääosin haastatteluin, tarvittaessa käytetään myös kyselyjä, havainnointia tms. Haastattelut tehdään pääosin touko-kesäkuussa 2018 Hankkeesta riippuen tietoa voidaan kerätä eri tavoin alkuvuodesta alkaen Ajankohdat ja haastateltavat henkilöt sovitaan kokeilukohtaisesti 18.12.2017 10
3) Asiantuntijatiedon koonti Tiedon kokoaminen hyvistä toimintamalleista ja -tavoista osatyökykyisten työllistymisen ja osallisuuden edistämisessä Aineisto: Kotimaisten, valtakunnallisten/ laajojen kehittämishankkeiden julkaisut Kotimaiset selvitykset/ tutkimukset Koonti valmistuu tämän vuoden aikana THL-blogi 1/2018 18.12.2017 11
4) Kokeilujen itsearviointi Itsearviointia tarvitaan toiminnan kehittämiseen, toimintamallien työstämiseen (verstaat) Innokylässä ja tulosten osoittamiseen Kokeiluilla on velvoite tehdä itsearviointia osana hankerahoitusta Muutoksen arvioinnissa (THL) tarkastellaan myös sitä, onko kokeilussa tehty itsearviointia kunkin toimintamallin osalta Kokeilut saavat itse päättää, miten toteuttavat itsearvioinnin, ei valmista saplunaa Itsearviointi tulee jollakin tavalla todentaa: kuvata ja osoittaa 18.12.2017 12
Itsearviointi: a) prosessiarviointi Prosessiarviointi Jatkuva toiminnan arviointi: Teemmekö oikeita asioita? Toimiiko tämä? Mitä mieltä muut ovat? Miten muutamme toimintatapaa? jne. Tätä on jo tehty ja tehdään koko ajan, mutta se tulee myös kirjata ja osoittaa Erilaisia työkaluja voi hyödyntää prosessiarvioinnin tukena, jos niin haluaa, ei ole välttämätöntä Esim. Innokylän arviointimittari (https://www.innokyla.fi/innokylanarviointimittari) Lisää menetelmiä esim. SWOT-analyysi (https://www.soste.fi/elinvoimaiset-jarjestot/kehittaminen-jaarviointi-jarjestoissa/arviointityokaluja-3.html 18.12.2017 13
Itsearviointi: b) tuotosten ja tulosten arviointi Tuotosten ja tulosten arviointi Mitä saimme aikaan? Teimmekö sitä mitä pitikin? Millä mittareilla (määrälliset ja/ tai laadulliset) kokeilu osoittaa tuotoksensa ja tuloksensa? Muutama osuva mittari kussakin teemassa riittää Esimerkkinä jäsentelystä osa Pähee Otteen mittareista syyskuussa 2017 seuraavalla sivulla Valitkaa mittareita, jotka a) ovat saatavilla/ tieto kerättävissä b) eivät ole liian yleisiä (esim. työttömien määrä maakunnassa) > kokeilu ei voi vaikuttaa tähän tällä aikavälillä c) kuvaavat myös kokeilun tuloksia, eivät pelkästään sitä mitä on tehty > tavoitteet auttavat tässä (mikä mittari kertoo, että olemme saavuttaneet tavoitteen tai edenneet sen suuntaan?) 18.12.2017 14
Osallisuutta tukeva toiminta Viestintätiimi *koulutusprosessi Henkilökohtainen budjetointi *pilotti käynnistyy viidelle vammaispalvelun asiakkaalle Toimintakulttuurin muutos/kokeilut yksiköissä TAVOITE *Osaaminen mediatyöstä kasvaa *Asiakastyytyväisyys kasvaa *Henkilöstökoulutuksen myötä toimintakulttuuriin saadaan muutosta MITTARIT Osaamisen alku-ja loppumittaus (alkumittaus tehty kesäkuussa 2017, loppumittaus toukokuussa 2018), arviointiasteikko 1-10 Muutostoiveet kirjataan lokamarraskuussa 2017 asiakastapaamisissa (päivämäärät jo suunniteltu) Pilotin loputtua kerätään haastattelemalla asiakaspalaute kesäkuussa 2018 Alkuarviointi (tehty yksikkökäyntien aikana, henkilöstö tuottanut tietoa, kirjattu ylös) Koulutusprosessin jälkeen lähetetään kysely mukana olleelle henkilöstölle, valitaan satunnaisotos (noin 50:lle henkilölle) Syyskuussa 2018 Työtoiminnoista töihin TAVOITE MITTARIT Työtoiminnoista töihin Palkallinen työllistyminen Tuetusti työllistyneiden lkm kysely 8/2017, 12/2017, 4/2018 ja 9/2018. Vertaisvalmentaja koulutus Työhönvalmennus Vammaispalveluissa toimii vertaisvalmentajia Vammaispalveluissa työhönvalmennuksen maakunnallinen malli Koulutuksiin osallistuneiden määrä 9/2018 vertaisvalmentajina toimivien lkm Alkukartoitus työvalmennuksen toteuttamistavoista toimipaikoissa 10/2017 10/2018 työhönvalmennuksen malli 18.12.2017 15
Arvioinnin aikatauluja kokeilujen näkökulmasta Itsearviointi koko ajan: prosessiarviointi ja mittareiden tuottaman tiedon seuranta esim. piloteissa Arviointitapaaminen 15./16.3.2018: Mitä arviointitietoa kussakin kokeilussa on kerätty? Toimivatko käytetyt mittarit? Miltä tulokset näyttävät? Haastattelut ja muu tiedonkeruu painottuu 5-6/2018 > sovitaan erikseen kunkin kokeilun kanssa tarkemmat ajat Toimintamallien alustavat kuvaukset valmiina juhannuksena 2018 > sisältävät myös itsearvioinnin tuottamaa tietoa mallista Arvioinnin esittely & keskustelut ohjausryhmissä 8-9/2018 > tarkempi tapa sovitaan myöhemmin Arvioinnin tulosten esittely loppuseminaari 10/18, loppuraportti 12/18 18.12.2017 16
Tukea arviointiin Materiaalia koottu pilvipalvelun arviointikansioon: Arviointia koskevista tietopankeista Mittareista ja menetelmistä Arviointipajojen työskentelyn tuloksista https://owncloud.thl.fi Voit myös soittaa tai laittaa sähköpostia: Peppi Saikku, puh. 029 524 7684, peppi.saikku@thl.fi Sanna Blomgren, puh. 029 524 7068, sanna.blomgren@thl.fi Pekka Karjalainen, puh. 029 524 7055, pekka.karjalainen@thl.fi 18.12.2017 17