POIS SYRJÄSTÄ Lasten ja nuorten syrjäytymisen ja ylisukupolvisten ongelmien ehkäiseminen

1 19.9.2014 POIS SYRJÄSTÄ Lasten ja nuorten syrjäytymisen ja ylisukupolvisten ongelmien ehkäiseminen ARVIOINTISUUNNITELMA Hyväksytty ohjausryhmän kokouksessa 29.09.2014

2(12) Sisällysluettelo 1 JOHDANTO - Arvioinnin kohde ja tarkoitus... 3 2 Arviointikysymykset - Mitä ja miten arvioidaan?... 5 2.1 Hankkeessa kehitettävien palveluiden ja toimintamenetelmien vaikutusten arviointi... 6 2.2. Hankkeen kohderyhmien osallisuuden arviointi... 7 2.3 Osaamisen kasvun arviointi... 7 2.4. Palvelumallien hyödynnettävyyden arviointi... 8 3 Arvioinnin vaiheet... 8 3.1 Lähtötila-arviointi... 8 3.2 Väliarvioinnit... 9 3.3 Loppuarviointi... 10 4 Arvioinnin resurssit, aikataulu ja raportointi... 11

3(12) 1 JOHDANTO - Arvioinnin kohde ja tarkoitus Arvioinnin kohde on Satakunnan sairaanhoitopiirin kuntayhtymän hallinnoima Pois syrjästä -hanke. Hankkeen rahoittaja on Sosiaali- ja terveysministeriön Kaste-ohjelma ja sen toteuttamisaika on 1.1.2014 31.10.2016. Hankkeessa ovat mukana Satakunnan sairaanhoitopiirin alueen kunnat sekä Rauma, Salo ja Säkylä omilla kehittämisosioillaan. Hankkeen päätavoitteena on lasten ja nuorten syrjäytymisen ja ylisukupolvisten ongelmien ehkäiseminen peruspalveluja kehittämällä. Tarkoitus on, että hankkeen päätyttyä Satakunnan alueen kunnilla sekä Salon kaupungilla Varsinais-Suomessa on yhtenäiset keinot puuttua erilaisiin ylisukupolvisiin ongelmiin ja kuntien organisaatiot osaavat tehdä verkostoitunutta matalankynnyksen yhteistyötä. Laajempana tavoitteena on, että käyttöönotetut käytänteet ja mallit olisivat siirrettävissä kattavasti myös muihin kaupunkeihin ja kuntiin. Hankeen kohderyhmänä ovat perheet, lapset ja nuoret. Hankekokonaisuudelle asetetut tavoitteet ovat seuraavat: - verkostomaisen yhteistyön kehittäminen - ylisukupolvisten ongelmien ehkäisy Tavoitteiden osatavoitteet hankkeen alueellisissa kehittämisosioissa on esitetty taulukossa 1. Hankeen odotetut vaikutukset ovat seuraavat: Sosiaali- ja terveyspalvelut kohdistuvat paremmin niitä tarvitseville perheille, lapsille ja nuorille. Hoidon ja palvelujen arviointi, ja oikea-aikaisuus on parantunut, ennaltaehkäisy tehostunut. Lasten ja nuorten syrjäytyminen ja ylisukupolvinen syrjäytymiskierre vähenee, kun ammattilaiset tunnistavat varhain perheiden avuntarpeen. Lasten, nuorten ja heidän vanhempiensa ympärillä olevat verkostot ovat vahvistuneet. Vanhemmuutta on tuettu niin, että vanhemmat ovat kyenneet ottamaan vahvemman vastuun lapsista ja nuorista. Lasten, nuorten ja perheiden osallisuus lisääntyy ja he ovat itse mukana kehittämässä hyvinvoivaa elinympäristöä Henkilöstön osaaminen verkostomaisesta yhteistyöstä on kasvanut ja henkilöstöllä on yhteiset toimintamallit käytössä. Tarjottavat moniammatilliset palvelut ovat nivoutuneet yhteen matalan kynnyksen periaatteella ja eri toimijat osaavat arvioida varhaisessa vaiheessa lapsen, nuoren tai vanhempien tuen tarpeen. Palveluiden kustannustehokkuus ja -vaikuttavuus lisääntyvät. On löydetty ja käyttöönotettu malleja, joilla tuetaan vakavasti sairaan aikuispotilaan lapsia. Koulukieltäytymiset ja koulusta erottamiset ovat vähentyneet.

4(12) Mielenterveyden ongelmia ratkaistaan ehkäisevillä toimilla ja korjaavat toimenpiteet ovat vähentyneet. Lasten ja nuorten huostaanotot ja sijoitukset ovat vähentyneet. Alaikäisten ehkäisevä päihdetyö on koordinoitua ja päihteidenkäyttö sekä rikollisuus ovat vähentyneet. Arvioinnin tarkoituksena on tukea hankehallinnon ja alueellisten kehittämisosioiden työtä antamalla ajantasaista palautetta työn tuloksellisuudesta ja tavoitteiden saavuttamisesta. Hankkeen arviointi toteutetaan prosessiarviointina, jolloin arvioinnin ensisijaisena tehtävänä on ohjata kehittämistä laadullisen seuranta- ja arviointitiedon avulla koko hankkeen ajan. Näin saadaan vastauksia siihen, ollaanko kehittämisessä menossa oikeaan suuntaan. Arvioinnin kautta haetaan myös perusteita luotavien toimintamallien hyödyistä ja kustannusvaikutuksista, ja lisätään siten edellytyksiä juurruttaa hankkeen luomia palveluja, toimintamalleja ja työkäytäntöjä osaksi kuntien palveluja. Arviointi kohdistuu sekä hankkeen toteuttamisprosessiin että hankkeen tuloksiin. Erityisinä arviointikohteina ovat: - hankkeessa kehitettävän verkostomaisen yhteistyön onnistuminen ja sen vaikutukset oikea-aikaiseen ja ennaltaehkäisevään työmuotoon - käytettyjen toimintamallien vaikuttavuus ja kustannustehokkuus - asiakkaiden osallisuus - henkilöstön osaaminen Arviointitietoa kerätään hankkeen työntekijöiden, ohjausryhmän, tukiryhmien ja rahoittajan käyttöön. Tavoitteisiin pyritään yhteistyöverkostoja kehittämällä, asiakkaita osallistamalla, henkilökuntaa kouluttamalla ja uusia palvelumuotoja hyödyntämällä. Taulukko 1. Pois syrjästä -hankkeen tavoitteet ja osatavoitteet alueellisissa kehittämisosioissa Tavoitteet Osatavoitteet SATSHP ky Rauma Säkylä Salo Verkostomainen yhteistyö 1 Parannetaan perheiden osallisuutta 2 Kehitetään palvelutarpeen arviointia varhaisen avuntarpeen tunnistamiseksi 3 Kehitetään ammattilaisten osaamista verkostomaisen yhteistyön kehittämiseksi 4 Kehitetään vuorovaikutustaitoja asiakkaan kohtaamisessa ja asiakastyön käytänteitä

5(12) Ylisukupolvisten ongelmien ehkäiseminen 1 Kehitetään menetelmiä ylisukupolvisten ongelmien katkaisemiseksi ja perheiden kokonaisvaltaiseksi auttamiseksi - 2 Otetaan käyttöön menetelmiä vakavasti sairaan aikuispotilaan lapsien tukemiseksi 3 Kehitetään ja/ tai otetaan käyttöön toimintamalleja kouluongelmien estämiseksi 4 Kehitetään matalan kynnyksen päihde- ja mielenterveyspalveluita kouluongelmien ehkäisyn tueksi - 5 Koordinoidaan alaikäisten ehkäisevää päihdetyötä - 2 Arviointikysymykset - Mitä ja miten arvioidaan? Arviointikysymykset kohdistuvat hankkeen tavoitteisiin ja odotettuihin vaikutuksiin. Lisäksi tarkastellaan hankkeessa kehitettyjen toimenpiteiden hyödynnettävyyttä varsinaisessa kehittämistyössä. Arvioinnissa lähdetään liikkeelle siitä, mikä on hankkeen kohderyhmän (kohderyhmien) palveluiden nykytila ja mitä muutoksia (parannuksia) hankkeella pyritään aikaansaamaan palveluiden käytön tavoissa ja palvelujärjestelmässä. Arvioinnin tarkoituksena on selvittää, minkälaisia asiakasvaikutuksia hanketyöllä on. Tavoitteena on myös selvittää, saadaanko hankkeessa käytetyillä toimintamalleilla, koulutuksella ja verkostomaisen yhteistyön kehittämisellä aikaan muutoksia lasten ja nuorten syrjäytymisen ehkäisemiseksi. Oletuksena on, että verkostomaisen yhteistyön kehittäminen ja asiakkaan osallistaminen auttavat luomaan asiakas- ja tarvelähtöisiä sosiaali- ja terveyspalveluita ja vähentävät näin myös erikoissairaanhoidon tarvetta. Tämän johdosta voidaan purkaa nykyisiä, usein hajanaisia ja päällekkäisiä lasten, nuorten ja heidän perheilleen tarkoitettujen palveluiden käyttöä. Oletuksena on niin ikään, että nämä muutokset parantavat kustannustehokkuutta. Arvioinnissa keskitytään neljään kokonaisuuteen: 1) Hankkeessa kehitettyjen palveluiden ja toimintamenetelmien vaikutukset 2) Hankkeen kohderyhmien osallisuuden toteutuminen 3) Hankeorganisaatioiden henkilöstön ja hankehenkilöstön osaamisen kasvu 4) Uusien palvelumallien hyödynnettävyys ja soveltuvuus hankkeen kehittämistyöhön Laadullisen, ohjaavan tiedon lisäksi hankkeen vaikutuksia arvioidaan myös määrällisen tiedon avulla. Hankkeessa arviointia toteutetaan sekä sisäisen että ulkoisen arvioinnin kautta. Kaste- ja laatusuosituksen indikaattorit sekä kuntien palvelutuotantoa koskevat seurantatiedot reagoivat muutokseen hitaasti, joten näitä arviointimalleja käytetään pidemmän aikavälin arvioinnin suorittamisessa.

6(12) Arvioinnin lähtökohtana ovat lähtötilanteet, jotka perustuvat kunnan palveluista ja verkostojen toimivuudesta laadittuihin kuvauksiin sekä verkostomaisen yhteistyön kehittämisen että ylisukupolvisten ongelmien ehkäisyn näkökulmasta. Osa arvioinnista toteutetaan työpajatyyppisenä vertaisarviointina niiden hanketyöntekijöiden kesken, jotka tekevät samoja kehittämisosioita. Hankkeen hanketyöntekijät ovat saaneet ohjeet täyttää hankepäiväkirjaa, näitä merkintöjä hyödynnetään arvioinnissa. Hankkeen yksi keskeisimmistä kehittämistavoitteista ja läpileikkaavista periaatteista on osallistaminen sekä asiakaslähtöinen toiminta. Osallistamisen ja asiakaslähtöisyyden arviointi toteutetaan kyselyin ja haastatteluin koko projektin ajan. Eri oppilaitosten opiskelijoilla on mahdollisuus suorittaa harjoittelujaksoja ja siihen liittyviä opiskelutehtäviä sekä opinnäytetöitä hankkeen kehittämisosioista. 2.1 Hankkeessa kehitettävien palveluiden ja toimintamenetelmien vaikutusten arviointi Hankkeen luomien palveluiden ja toimintamenetelmien vaikutusten selvittämiseksi tarkastellaan niitä muutoksia, joita hanke tuo palvelujärjestelmään. Tarkastelukohteena ovat a) kuinka hyvin hanke on onnistunut luomaan yli hallintokuntien ulottuvia matalan kynnyksen asiakaslähtöisiä palveluita ja palvelumalleja (onko päällekkäisyyksiä kunnan eri toimijoiden välillä) b) miten nämä palvelut vaikuttavat asiakkaisiin c) onko korjaavien toimenpiteiden tarve vähentynyt d) vähentävätkö käyttöön otetut toimintamenetelmät erikoissairaanhoidon käyttöä ja millaisia kustannuksia syntyy verrattuna aikaisempiin toimintatapoihin. Muutoksia arvioidaan asiakkaan (lapsen, nuoren, perheen), henkilöstön ja palvelujärjestelmän näkökulmasta. Asiakkaan tilanteessa tapahtuneita muutoksia tarkastellaan elämänhallintaan (esim. koulupoissaolot, päihteiden käyttö, terveyspalveluiden tarve, lastensuojeluasiakkuudet) liittyvien mittarien avulla. Keskeisenä näkökulmana vaikutusten arvioinnissa on se, miten uudelleen järjestetyt palvelumenetelmät onnistuvat vastaamaan asiakkaiden tarpeisiin: Kokevatko asiakkaat tulleensa autetuiksi oikea-aikaisesti? Johtaako annettu apu muutokseen? Ovatko asiakkaat tyytyväisiä saamaansa palveluun? Asiakkaisiin liittyvää arviointitietoa kerätään haastattelujen, -kyselyjen ja toimintamallien kehittämistyössä kerättävien asiakastietojen avulla. Arvioinnissa voidaan hyödyntää myös asiakasraateja, fokusryhmiä tai käyttää soveltaen bikva-menetelmää. Asiakashaastatteluissa voidaan tarkastella myös sitä, ovatko palvelut asiakkaan näkökulmasta tarkoituksenmukaisia ja toimivatko ne yhden luukun periaatteella. Henkilöstön näkökulmasta tarkastellaan kohderyhmän kanssa työskentelevien ammattilaisten osaamisessa, asenteissa ja työtavoissa tapahtuneita muutoksia. Arviointitietoa kerätään hanketyöntekijöiden itsearviointina sekä laajemmin henkilöstökyselyn avulla. Lisäksi voidaan haastatella tiettyjä avainhenkilöitä. Organisaatioiden ja palvelujärjestelmien näkökulmasta arvioidaan palveluissa ja palveluprosesseissa tapahtuneita muutoksia. Muutoksia tarkastellaan asiakkaan viranomaisverkostojen ja palvelupolkujen avulla, palvelu- ja prosessikuvausten avulla sekä hankkeen ohjausryhmille ja yhteistyötahoille tehtävän kyselyn avulla. Uusien toimintamenetelmien kustannustehokkuuden arvioimiseksi tarkastellaan palvelun käyttäjän aiheuttamia kustannuksia palvelujärjestelmälle ennen uutta palvelumallia ja sen jälkeen. Kustannuksia voidaan arvioida esim. vuositasolla laskemalla erikoissairaanhoidon käyttötarvetta, lastensuojeluilmoitusten ja kodin ulkopuolisten sijoitusten määrä, alaikäisten päihteiden käytöstä aiheutuneita käyntejä sosiaalitoimessa sekä koulupoissaolojen määrää tilastoista.

7(12) Palvelujen vaikutuksia ja kustannustehokkuutta tarkastelevat arviointikysymykset: - Kuinka hyvin hanke on onnistunut luomaan tarve- ja asiakaslähtöisiä palveluita ja toimintamalleja hankkeen kohderyhmille? o Mitkä ovat hankkeen luomien palveluiden vaikutukset? o Miten palvelujen kustannustehokkuus on toteutunut? o Miten asiakastyytyväisyys on toteutunut? - Mitä parannuksia hanke tuo palvelujärjestelmään/ verkostomaiseen yhteistyöhön? o Mitkä ovat hankkeen tuomat muutokset asiakkaan, henkilöstön, organisaation näkökulmasta? o Mitä muutoksia hanke on tuonut osaamisen, prosessin ja palveluiden toimivuuden kannalta? - Miten hanke on vähentänyt korjaavien palveluiden käyttöä? 2.2. Hankkeen kohderyhmien osallisuuden arviointi Hankkeen kohderyhmien ja hankkeessa kehitettyjen palveluiden asiakkaiden osallisuuden toteutumista arvioidaan kahdesta näkökulmasta: ensinnäkin tarkastellaan sitä, miten asiakkaat (kohderyhmä) on otettu / saatu mukaan palvelutarpeen määrittelyyn ja palvelumallin kehittämiseen. Toiseksi tarkastellaan sitä, miten luodut palvelumallit ovat onnistuneet lisäämään kohderyhmän osallisuutta laajemmin omassa asiassaan, esimerkiksi syrjäytymiseen ja elämänhallintaan liittyen. Asiakkaiden osallisuuden toteutumista tarkastelevat arviointikysymykset: - Kuinka hyvin hanke on onnistunut luomaan asiakaslähtöisiä palveluita ja toimintamenetelmiä lapsille, nuorille ja heidän perheilleen? o Miten asiakaslähtöisyys ja osallisuus ovat toteutuneet? o Miten asiakkaat on otettu mukaan palvelutarpeen määrittämiseen ja palvelujen kehittämiseen? - Miten asiakkaat toteuttavat ja pystyvät toteuttamaan osallisuutta omassa asiassaan? 2.3 Osaamisen kasvun arviointi Hankesuunnitelmassa mainittujen odotettujen vaikutuksien nojalla hankkeen odotetaan lisäävän henkilöstön osaamista yli hallintokuntien ulottuvassa verkostomaisen yhteistyön toteutuksessa, käyttöön otettavien toimintamenetelmien hallintaa, hankkeen painoalueiden sisällön osaamista sekä vuorovaikutustaitoja suhteessa asiakkaisiin. Henkilöstöllä tarkoitetaan sekä hankkeen työntekijöitä että hankekuntien sosiaali- ja terveyspalvelujen, sivistystoimen, vahaiskasvatuksen ja kolmannen sektorin työntekijöitä. Hankkeen kohderyhmän näkökulmasta tavoiteltavaa on, että nuoret tulisivat terveystietoisemmiksi ja vanhemmat saisivat tukea vanhemmuuteensa. Osaamisen kasvulla tarkoitetaan hankkeen kohderyhmään (vanhemmat, nuoret ja lapset) liittyvää ammatillista osaamista, jota tarvitaan varhaisen tuen tarpeessa olevien asiakkaiden tunnistamisessa, palveluihin ohjaamisessa ja palveluiden toteuttamisessa. Osaamisalueet liittyvät esimerkiksi vuorovaikutustaitoihin, verkosto-osaamiseen, lasten ja nuorten mielenterveystietouteen, päihteisiin, vanhemmuuteen tukemiseen sekä ylisukupolvisiin ongelmiin liittyvään tietouteen. Kohderyhmän osaamista kasvattaa esimerkiksi vanhempien lisääntynyt tietous sosiaalisesta mediasta tai päihteiden käytöstä. Hanketyöntekijöiden ja kehittämistiimien osalta tarkastellaan myös palvelumuotoilussa ja palveluiden asiakaslähtöisessä suunnittelussa tapahtuvaa osaamisen kasvua. Lisäksi arvioidaan palvelui-

8(12) den johtamisessa tapahtunutta osaamisen kasvua verkostojohtamisen sekä prosessijohtamisen osalta. Arviointitietoa kerätään ensisijaisesti haastatteluiden ja kyselyjen avulla hankkeen lähtötilaarvioinnissa, väli- ja loppuarvioinneissa sekä koulutustilaisuuksien yhteydessä. Henkilöstön ja asiakkaiden osaamisen kasvua tarkastelevat arviointikysymykset: - Mikä on henkilöstön osaamistaso (ja miten se on hankkeen aikana muuttunut) suhteessa hankkeen kohderyhmien palvelutarpeisiin ja ohjaukseen? - Millaiset edellytykset hankeorganisaatioilla on verkostomaisen työn toteutukseen (monialaiseen johtamiseen)? - Minkälaiset taidot vanhemmilla ja nuorilla on suhteessa hankkeen kehittämiskohteisiin? 2.4. Palvelumallien hyödynnettävyyden arviointi Palvelumallien hyödynnettävyyttä arvioidaan tarkastelemalla verkostotyöskentelyä ja menetelmiä, joita hankkeessa on käytetty. Arviointikysymyksinä tarkastellaan miten menetelmät edistävät asiakkaiden osallisuutta, miten innovatiivisia ratkaisuja niiden kautta löydetään ja helpottavatko uudet menetelmät ylihallintokuntien tehtävää yhteistyötä toimintojen päällekkäisyyttä vähentäen. Lisäksi tarkastellaan sitä, voidaanko eri kunnissa ja erityyppisissä kehittämisosioissa soveltaa yhteisiä palvelumalleja. Palvelumallien hyödynnettävyyttä tarkastelevat arviointikysymykset: - Millaisia palvelumalleja (verkostotyöskentelymalleja) ja menetelmiä kehittämistyössä on käytetty? - Miten kokeilluilla tai kehitytetyillä malleilla on onnistuttu kehittämään palveluita ja vähentämään palveluiden päällekkäisyyksiä? - Ovatko käyttöönotetut verkostotyöskentelymallit vähentäneet asiakkaiden luukuttamista? 3 Arvioinnin vaiheet 3.1 Lähtötila-arviointi Hankkeen toiminnan alkuvaiheessa (huhtikuu-elokuu 2014) toteutetaan hankkeen lähtötilaarviointi. Lähtötila-arviossa kuvataan hankkeen kehittämisen kohteena olevan palvelujärjestelmän (verkostot, toimintamallit, toimijat) nykytila. Hankkeen lähtötila-arviossa tarkennetaan kunkin kehittämisosion osalta, mihin asiakasryhmään (vanhemmat, nuoret, lapset) luotava palvelumalli kohdistuu, mitkä ovat asiakasryhmän palvelutarpeita ja miten asiakkaat käyttävä tällä hetkellä palveluita. Palvelujärjestelmä kuvataan esim. kuvaamalla palveluprosesseja. Arviointitieto toimii samalla alueellisten kehittämisosioiden palvelumuotoiluprosessin asiakastietona ja kehitettävien palveluiden ja toimintamallien perusteluna. Palvelujen ja palvelujärjestelmän käytön arviointimenetelmänä käytetään sidosryhmä- tai verkostokarttaa, joko siten, että kuvataan kuvitteellisen asiakkaan käyttämät palvelut, tai ottamalla tarkasteluun yksittäisiä asiakas-caseja (tapauksia) ja kuvaamalla muutaman todellisen asiak-

9(12) kaan palvelut. Hankkeen väli- ja loppuarvioinneissa verrataan hankkeen tuomia muutoksia lähtötila-analyysiin. Lisäksi joissain kehittämisosioissa tehdään asiakas haastatteluja ja/ tai kyselyjä nykytilanteen arvioimiseksi sekä asiakkaan että henkilökunnan näkökulmasta. Alueelliset kehittämisosiot vastaavat tämän hetken olemassa olevan tiedon keräämisestä sekä sidosryhmien, verkostojen ja palvelujärjestelmän kuvaamisesta omien tavoitteidensa, toimintasuunnitelmansa ja palvelumuotoiluprosessin mukaisesti. Lisäksi lähtötila-arviossa tai lähtötilan analyysissa kuvataan hankekuntien nykytilannetta mm. koulukyselyjen tai muiden valmiiden tilasto- ja asiakastietojen sekä tilastoyhteenvetojen avulla. Lähtötila-analyysiin liittyviä tietoja on jo jonkin verran valmiina mm. alueellisten kehittämisosioiden hankesuunnitelmissa. 3.2 Väliarvioinnit Hankkeen väliarvioinnit toteutetaan noin viiden kuuden kuukauden välein joulukuussa 2014, toukokuussa 2015 ja joulukuussa 2015. Väliarvioinneissa tarkastellaan hankkeen tuloksia ja tuotoksia suhteessa tavoitteisiin. Ulkoinen arviointi keskittyy kohderyhmän osallistamiseen ja hankkeessa kehitettyjen/käyttöön otettujen menetelmien, kuten Lapset puheeksi menetelmän juurruttamiseen sekä niihin muutoksiin, mitä menetelmän käyttöönotto on tuonut henkilökunnan osaamiseen. Osallistamisen näkökulmasta tarkastellaan, miten verkostomaisen yhteistyön kehittämisessä lapset, nuoret ja heidän perheensä on osallistettu omassa asiassaan sekä miten lapset, nuoret ja heidän perheensä on otettu mukaan verkostotyöskentelyyn. Juurruttamisen arvioinnissa tarkastellaan Lapset puheeksi -mallin käyttöön ottoa erikoissairaanhoidossa, hankkeessa kehitettyjen/käyttöön otettujen menetelmien soveltuvuutta peruspalveluihin sekä näiden implementoinnin onnistumista peruspalveluiden normaaleihin toimintarakenteisiin. Ensimmäinen ulkoinen väliarviointi tehdään toukokuussa 2015 ja loppuarviointi tehdään huhtikuussa 2016. Väliarvioinneissa tarkastellaan arviointikysymysten kautta sitä, ollaanko alueellisissa kehittämisosioissa menossa oikeaan suuntaan vai jääkö jotain olennaista huomioimatta. Väliarviointitietoa tuottavat ensisijaisesti hankkeen työntekijät, lisäksi hyödynnetään palvelumuotoiluprosessiin ja muuhun kehittämistyöhön liittyneitä asiakas- ja henkilöstökyselyjä sekä haastatteluja. Joulukuussa 2014 tehtävän väliarvioinnin painopiste on verkostomaisen yhteistyön käynnistämisessä ja asiakkaiden osallisuuden mahdollistuminen verkostoissa sekä näiden lähtöarvioiden toteutuksen arvioinnissa. Joulukuun väliarvioinnissa painopisteenä ovat myös hankkeessa kehitettyjen/käyttöön otettujen menetelmien, kuten Lapset puheeksi toimintamallin, lähtötilanteen arviointi sekä lisäksi Lapset puheeksi -koulutuksen käynnistymisen arviointi. Toukokuussa 2015 tarkastellaan etenkin Lapset puheeksi -koulutuksen toteutusta ja tämän toimintamallien viemistä kuntiin. Verkostomaisen yhteistyön osalta toukokuussa 2015 arvioidaan lähinnä kehittämisen vaikutuksia. Ulkoinen arviointi keskittyy keväällä 2015 verkostomaisen yhteistyön osalta lasten, nuorten ja perheiden osallisuuden arviointiin sekä ammattilaisten asenteiden muutosten arviointiin. Kehitettyjen/käyttöön otettujen menetelmien ulkoinen arviointi painottuu niiden muutoksiin, mitä toimintamallien käyttöönotto on tuonut henkilökunnan osaamiseen. Kolmas väliarviointi joulukuussa 2015 painottuu toimintamallien vaikutusten ja verkostomaisen yhteistyön kehittymisen arvioinnin lisäksi henkilöstön osaamiseen sekä palvelujärjestelmän muutoksiin. Tässä vaiheessa molemmissa kehittämisosioissa tulisi joidenkin mallien toteutuksen ja arvioinnin olla siinä vaiheessa, että ne ovat mallinnettavissa toiseen kuntaan tai kaupunkiin niin, että loppuarvioinnissa olisi mahdollisuus arvioida myös mallien siirrettävyyttä ja yleistä toimivuutta.

10(12) Jokaisessa väliarvioinnissa hyödynnetään lisäksi hankkeen alueellisten kehittämisosioiden keskinäistä vertaisarviointia siten, että saman kehittämisosion parissa työskentelevät hanketyöntekijät arvioivat toisiaan. Vertaisarviointia hyödynnetään erityisesti uusien toimintamenetelmien ja verkostomaisen yhteistyön toteutuksen sekä hankeprosessin arvioinnissa. Vertaisarviointi-pareja ovat: - Rauma, Satakunnan sairaanhoitopiiri (verkostomainen yhteistyö) ja Salo nuorten päihde- ja koulupoissaolojen osalta - Säkylä ja Satakunnan sairaanhoitopiiri (verkostomainen yhteistyö) verkostomaisen yhteistyön kehittämisen osalta - Salo ja Satakunnan sairaanhoitopiiri ylisukupolvisten ongelmien ehkäisyn osalta Vertaisarvioinnin tai vertaiskehittämisen kumppaneita voidaan etsiä myös muualla Suomessa tehdyistä hankkeista ja toimintamalleista. Alustavia keskusteluja yhteistyöstä on käyty Hyvinvoiva lapsi ja nuori hankkeen kanssa. Vertaisarvioinnin arviointikysymykset täsmentyvät aina arvioitavan teeman mukaisesti. Vertaisarviointia tarkastelevat yleiset arviointikysymykset: - Miten oma työskentelyni on sujunut jo aiemmin rajatun teeman osalta/ Onnistumiset ja kehitettävät asiat? - Miten vertaisarvioinnin kumppanin työskentely on sujunut tarkasteltavan teeman osalta/ onnistumiset ja kehitettävät asiat? - Mitä yhteneväisyyksiä ja eroja vertaisarvioijilla on tutkittavan teeman osalta? 3.3 Loppuarviointi Hankkeen päätösvaiheessa (kesäkuu-elokuu 2016) toteutetaan lopullinen hankkeen tulosten ja vaikutusten arviointi. Lisäksi hankekunnat arvioivat hankkeen lopullisia vaikutuksia noin vuosi hankkeen päättymisen jälkeen (syksy 2017). Hankkeen loppuarvioinnissa tarkastellaan niitä muutoksia, joita hanke on aikaansaanut verkostomaisen yhteistyön palvelujärjestelmissä. Arvioinnin painopiste on siinä, kuinka hyvin luodut verkostomaiset yhteistyömallit sekä käyttöön otetut toimintamenetelmät kohdentuvat kohderyhmäasiakkaisiin, onko asiakkaan osallisuus sisällytetty palvelumalleihin ja ovatko nämä sisällytettyinä kunnan toimintastrategioihin. Samoin tarkastellaan, vastaavatko uudet toimintamenetelmät asiakkaiden tarpeita ja ovatko uudet toimintamallit pystyneet vähentämään korjaavia palveluita tai erikoissairaanhoidon tarvetta. Yhtenä arvioinnin kohteena on myös henkilökunnan asiakasta osallistavan osaamisen lisäämisen arviointi (pitäen sisällään vuorovaikutustaidot sekä asenteet). Tapahtuneita muutoksia verrataan hankkeen lähtötila-analyysin tietoihin. Tarkasteluun nostetaan erityisesti se, mitkä tekijät ovat olleet ratkaisevia onnistumisen edellytyksiä hankkeen alueellisissa kehittämisosioissa. Loppuarvion tarkoituksena on myös vetää yhteen hankkeen aikaisista kehittämisen tavoista saadut kokemukset ja koota hankkeessa mallinnetut palvelujen kehittämisen käytännöt levittämiskelpoiseen, laajemmin hyödynnettävään muotoon.

11(12) 4 Arvioinnin resurssit, aikataulu ja raportointi Arviointi toteutetaan pääosin hankehallinnon ja alueellisten kehittämisosioiden omana työnä, itsearviointina ja sisäisenä arviointina. Hanketyöntekijöiden arviointiosaamista lisätään koulutuksen avulla. Arviointiprosessin tueksi ostetaan ulkopuolista arviointiosaamista aiemmin esitetyn suunnitelman mukaisesti. Lisäksi arvioinnissa hyödynnetään hankkeen yhteistyökumppaneina toimivien ammatti- ja tiedekorkeakoulujen opiskelijoita opinnäytetöiden ja harjoitustöiden avulla. Hankkeen alueellisten kehittämisosioiden välillä hyödynnetään vertaisarviointia, jossa tavoitteiltaan samantyyppiset hankeosiot arvioivat toistensa työprosesseja ja tuloksia. Vertaisarviointia hyödynnetään erityisesti käyttöön otettavien toimintamenetelmien arvioinnissa sekä hankeprosessin arvioinnissa. Arviointitietona hyödynnetään mahdollisimman paljon verkostomaisen yhteistyön ja ylisukupolvisten ongelmien ehkäisyyn liittyvää tiedonkeruuta: asiakasraateja tai -kyselyitä, asiakas- ja työntekijähaastatteluja sekä verkosto- ja sidosryhmien osaamista. Muu tiedonkeruu hankkeen työntekijöiltä, hankeorganisaatioiden henkilöstöltä, hankkeen ohjausryhmältä, sidosryhmiltä ja yhteistyökumppaneilta toteutetaan hyvin pitkälti kyselyjen, mahdollisesti myös ryhmähaastattelujen, avulla. Ulkoisen arvioinnin hankinta kilpailutetaan vuoden 2014 syksyllä. Ulkoisen arvioinnin avulla tarkastellaan verkostomaisen yhteistyön prosessin osalta lasten, nuorten ja perheiden osallistamista omassa asiassaan sekä muutoksia henkilökunnan asenteissa. Hankkeessa kehitettyjen/käyttöön otettujen toimintamallien, kuten Lapset puheeksi toimintamallin, osalta ulkoinen arviointi keskittyy muutoksiin henkilöstön osaamisessa, asenteissa ja työtavoissa. Lisäksi ulkoisen arvioinnin tavoitteena on lisätä ja tukea hankehenkilöstön arviointiosaamista koulutuksen ja konsultaation muodossa. Arviointiaikataulu on esitetty taulukossa 2. Arviointiraportit nivotaan osaksi hankkeen raportointikäytäntöjä puolivuosittain ja vuositasolla. Taulukko 2. Arviointiaikataulu Aika Arvioinnin vaihe Vastuutaho Huhtikuu Syyskuu 2014 Arviointisuunnitelma ja arviointikysymysten täsmentäminen Hankehallinto Alueelliset kehittämisosiot Syyskuu - Lokakuu 2014 Ulkoisen arvioinnin tarjouspyynnöt Hankehallinto Huhtikuu - syyskuu 2014 Lähtötila-analyysi Hankehallinto Alueelliset kehittämisosiot Asiakasarviointi Toukokuu - lokakuu 2014 Arviointosaamisen lisääminen, hanketyöntekijöiden Hankehallinto

12(12) perehdytys arviointimenetelmiin Ulkopuolinen koulutus Joulukuu 2014 Väliarviointi 1 Hankehallinto Alueelliset kehittämisosiot Sisäinen arviointi Vertaisarvio Toukokuu 2015 Väliarviointi 2 Ulkoinen arviointi Alueelliset kehittämisosiot Sisäinen arviointi Vertaisarvio Väliraportointi Hankehallinto Alueelliset kehittämisosiot Joulukuu 2015 Väliarviointi 3 Alueelliset kehittämisosiot Sisäinen arviointi Vertaisarvio Kesä-elokuu 2016 Loppuarviointi ja loppuraportointi Hankehallinto Ulkoinen arviointi Alueelliset kehittämisosiot Asiakasarviointi Vertaisarvio Syys-marraskuu 2016 Koko hankkeen loppuraportointi Hankehallinto Syyskuu 2017 Jälkiarviointi Hankeorganisaatiot