Kuva: Antero Aaltonen Kasvun tuki vaikuttavan varhaisen tuen tiedonlähde

Kuva: Antero Aaltonen Kasvun tuki vaikuttavan varhaisen tuen tiedonlähde Katja Björklund, Petra Kouvonen ja Kristian Wahlbeck

2 SISÄLLYS JOHDANTO 1. Oikean työmenetelmän löytäminen ja valitseminen Mikä, miksi ja kenelle? 1.1. Mikä on varhaisen vaikuttavan tuen tietolähde 1.2. Kenelle Kasvun tuki on tarkoitettu ja kuinka sitä käytetään 1.3. Miksi Kasvun tuki -tietolähdettä tarvitaan 1.4. Näyttöön perustuva toiminta ja asiakastyö 1.5. Pohjoismaiset tietolähteet esimerkkeinä 2. Työmenetelmien arvioiminen 2.1. Interventioiden sisäänottokriteerit 2.2. Tutkimusnäyttö 2.3. Vaikutuksen vahvuus 2.4. Käyttökelpoisuus 2.5. Luokitus ja arvioinnin yhteenvetotaulukko (Vaikuttavuus) 3. Työmenetelmien arviointiprosessi 3.1. Arviointiprosessin toimijat ja sisältö 3.2. Arviointiprosessin vaiheet 4. Varhaisen tuen menetelmien kokoaminen 5. Varhaisen tuen menetelmien arvioinnin käynnistäminen Lähteet

3 Johdanto 1. Oikean työmenetelmän löytäminen ja valitseminen Mikä, kenelle, kuinka ja miksi? 1.1. Mikä on varhaisen vaikuttavan tuen tietolähde Kasvun tuki on kansallinen, varhaisten ja vaikuttavien, lasten ja heidän perheidensä tukemiseen tarkoitettujen työmenetelmien tietolähde. Sen tehtävänä on arvioida, koordinoida ja levittää tutkimusnäyttöön perustuvaa tietotaitoa. Varhaisella tuella tarkoitetaan tässä yhteydessä sekä mielenterveyden että hyvinvoinnin edistämistä (promootio) että ongelmien ehkäisemistä (preventio). Vaikuttavalla menetelmällä tarkoitetaan tässä tutkimusnäyttöön pohjautuvaa menetelmää, jonka avulla voidaan lapsissa ja tai heidän perheissään aikaansaada toivottuja, positiivisia muutoksia. Näytöllä puolestaan tarkoitetaan tieteellisesti ja teoreettisesti perusteltuja tutkimustuloksia. (ks. esim. Laajasalo & Pirkola, 2012, Jané-Llopis ym. 2010). Kasvun tuki: tarjoaa luotettavaa tietoa lasten ja heidän perheidensä varhaisen tuen menetelmistä tarjoaa arviointikriteeristön lapsille ja lapsiperheille suunnattujen psykososiaalisten menetelmien arvioimiseen esittelee ja suosittelee käyttökelpoisia työmenetelmiä, joiden vaikuttavuudesta ja käytettävyydestä on riittävästi luotettavaa tutkimusnäyttöä tekee työmenetelmien käyttöönoton mahdollisimman helpoksi lasten ja lapsiperheiden parissa työskenteleville ammattilaisille auttaa esimiehiä ja kunnan päättäjiä valitsemaan kustannustehokkaita, tutkittuja ja käyttökelpoisia työmenetelmiä ja kanavoimaan koulutusmäärärahoja tehokkaisiin ja turvallisiin menetelmiin 1.2. Kenelle Kasvun tuki on tarkoitettu ja kuinka sitä käytetään Kasvun tuki tietolähde on tarkoitettu perheiden kanssa työskentelevien kunta- ja järjestötyöntekijöiden käyttöön.

4 Tietolähteen tarkoitus on toimia kanavana, jonka avulla levitetään tietoa ja ymmärrystä vaikuttaviksi todetuista menetelmistä. Se kokoaa ammattiauttajille ja ammattiavun tarjonnasta vastaaville tahoille luotettavaa, kattavaa, ajankohtaista ja käytännönläheistä tietoa siitä, millaisilla työmenetelmillä lapsia ja heidän perheitään voidaan auttaa parhaalla mahdollisella tavalla ja riittävän varhaisessa vaiheessa. Tutkimusnäytön soveltaminen ja käyttö asiakastyössä tarkoittavat sitä, että asiantuntija puntaroi ja käyttää parasta mahdollista saatavilla olevaa tietoa, kokemustaan ja yksittäisen asiakkaan toiveita arvioidessaan ja tehdessään päätöksiä sopivan työmenetelmän valinnasta. Näyttöön perustuva asiakastyö perustuu siis useamman tietolähteen samanaikaiseen, tietoiseen ja systemaattisen käyttöön (www.hotus.fi). 1.3. Miksi Kasvun tuki -tietolähdettä tarvitaan Lapsiperheiden kanssa työskentelevien ammattilaisten voi olla haastavaa löytää ajankohtaista, tiivistettyä ja suoraan käytäntöön sovellettavaa tietoa tarjolla olevista vaikuttavista työmenetelmistä. Tutkimustietoa on kyllä saatavilla, mutta työntekijöiden on vaikea seuloa niistä parhaimmat ja käyttökelpoisimmat, jotka olisivat vielä tutkitusti tehokkaimmat ja vaikuttavimmat. Kun perhe hakee tukea, avunhakijan näkökulmasta on tärkeää, että apua saadaan nopeasti ja se on tehokasta. Perheen ongelmat voivat kasvaa entisestään, jos vanhemmat eivät koe saavansa apua ajoissa tai kokevat avun ja tuen tehottomaksi (Marklund ym. 2010). Yleisesti ottaen, ongelmien ennaltaehkäisyä voidaan aina pitää inhimillisesti parhaana vaihtoehtona. Myös laajemmasta kansantaloudellisesta näkökulmasta katsottuna ennaltaehkäisevät menetelmät ovat hyödyllisiä niiden potentiaalisten taloudellisten hyötyjen vuoksi, vaikkakin kustannusvaikutusten laskeminen on osoittautunut haasteelliseksi (esim. Laajasalo & Pirkola 2012, Jané-Llopis ym. 2010). 1.4. Näyttöön perustuva toiminta ja asiakastyö Mielenterveyttä edistäviin ja ongelmia ehkäiseviin toimenpiteisiin tai menetelmiin liittyvien päätösten olisi pohjauduttava hyvään ja luotettavaan tietoon, kuten esimerkiksi tutkimusnäyttöön, sekä asiakastyössä että palveluita suunniteltaessa. Tutkimusnäyttö perustuu tutkittuun tietoon menetelmän vaikutuksista. Näyttöön perustuva asiakastyö perustuu ajankohtaisen ja parhaan saatavilla olevan tiedon ja menetelmien käyttöön asiakastyössä. Silti, vaikka näyttöön perustuva tieto menetelmän vaikuttavuudesta onkin hoidon ja asiakastyön kannalta olennainen lähtökohta, niin se aina tarkoita sitä, että tieto olisi sovellettavissa yksittäiseen tapaukseen. Näyttöön perustuvan tiedon käyttökelpoisuus on aina arvioitava yksilökohtaisesti ja yhteistyössä asiakkaan kanssa huomioiden asiakkaan mielipiteet ja motivaatiotekijät. Myös ympäristö ja olosuhteet, jossa asiakastyö tapahtuu vaikuttavat päätöksentekoon (www.hotus.fi; www.kaypahoito.fi).

5 Asiakastyössä työntekijän ammattitaito, kokemus, kyky tunnistaa ongelmia ja myötäelämisen taito ovat luonnollisesti merkittävässä roolissa. Näyttöön perustuvassa asiakastyössä työntekijältä vaaditaan lisäksi kykyä tiedon kriittiseen arviointiin ja kykyä tasapainotella ja integroida kaikki asiakkaan kannalta paras saatavilla oleva tieto yhteistyössä potilaan kanssa. Päätöksenteon perusteiden on oltava avoimesti esillä asiakastyössä. Läpinäkyvyys onkin keskeinen osa näyttöön perustuvassa asiakastyössä, ja se helpottaa mm. arviointia ja oppimista. Tutkimustieto kuuluu kaikille ja näin ollen näyttöön perustuvan tiedon ja osaamisen on oltava avoimesti kaikkien saatavilla (www.hotus.fi) Kuva 1. Näyttöön perustuvan asiakastyön ja päätöksenteon osatekijät Hoitotyön tutkimussäätiön ja Käypä hoito -ohjeita mukaillen. Asiakkaan toiveet ja tarpeet Tutkimusnäyttö Näyttöön perustuva asiakastyö ja päätöksenteko Ympäristötekijät Työntekijän ammattitaito ja kokemus 1.5. Pohjoismaiset tietolähteet esimerkkeinä Näytön määrittämisen kriteeristön luomisen lähtökohtana on, että ensin käydään läpi kansainvälinen tutkimus ja kirjallisuus, näyttöön perustuvat, kansalliset ja kansainväliset tietokannat sekä olemassa olevat luokittelukäytännöt (ks. esim. Flay ym. 2005; Jané-Llopis ym. 2010; Veerman & Yperen 2007). Alkuvaiheessa Kasvun tuki tietolähteen pohjana on käytetty erityisesti pohjoismaisista kokemuksia ja arviointiasteikkoja. Hankkeen tieteellinen neuvosto asettaa raamit näytön määrittämiselle.

6 Pohjoismaissa on edetty jo pitkälle perheiden tukemiseen tarkoitettujen työmenetelmien liittyvän tutkimustiedon jakamisessa. Pohjoismaista löytyy tietokantoja ja tietolähteitä, joiden tarkoituksena on seuloa, arvioida, tuottaa ja tiivistää tutkimustietoa helpommin hallittavaan ja helpommin ymmärrettävään muotoon. Norjassa, Tanskassa ja Ruotsissa näyttöön perustuvien ja vaikuttavien menetelmien tietolähteitä ja luokittelujärjestelmiä lasten ja perheiden hyvinvoinnin edistämiseksi on jo käytössä. Vaikka näissä tietolähteissä ja luokittelujärjestelmissä on paljon yhteisiä piirteitä ja kriteereitä, niin kunkin maa on kehittänyt ne omien kansallisten erityispiirteittensä mukaisesti. Järjestelmät tietolähteineen eivät siis ole suoraan siirrettävissä suomalaiseen ympäristöön, mistä syystä Suomeen on kehitteillä oma Kasvun tuki tietolähde. http://www.ungsinn.no/ (Norja) http://www.socialstyrelsen.se/evidensbaseradpraktik/metodguide (Ruotsi) http://vidensportal.socialstyrelsen.dk/ (Tanska) 2. Työmenetelmien arviointi Menetelmien näyttöä arvioitaessa, arvioidaan yleensä kolmea osa-aluetta: tutkimusnäyttöä, vaikutuksia ja käyttökelpoisuutta (ks. esim. Flay ym. 2005; Kellam & Langevin 2003). Suomalaisessa menetelmien arviointimallissa nämä asiat jakautuvat arvioinnissa omiksi osa-alueiksi joita kutakin arvioidaan omalla asteikollaan. Menetelmän kokonaisarvio eli luokitus muodostuu kaikkien osa-alueiden yhteenvetona. Kaikkia työmenetelmiä ei ole tieteellisesti tutkittu. Ne voivat silti olla korkeatasoisia, vaikuttavia ja käyttökelpoisia tai vähintäänkin sisältää elementtejä edellä mainituista (Marklund ym. 2012). Näin ollen on pidetty tärkeänä, että muitakin kuin tutkittuja menetelmiä kutsutaan mukaan menetelmien arviointi- ja kehittämisprosessiin. Tutkimustiedon mukaan vaikuttavilla menetelmillä on tiettyjä yhteisiä ydintekijöitä, joille esim. brittiläinen vanhempaintuen tietokanta perustuu (Marklund ym. 2012), jotka on nimetty Kasvun tuki tietolähteen osalta minimivaatimuksiksi.

7 Kuva 2. Kasvun tuki luokituksen osa-alueet ja menetelmien sisäänottokriteeri Kasvun tuki vaikuttavan varhaisen tuen tiedonlähde Menetelmien sisäänottokriteerit Tutkimusnäyttö ja vaikutuksen vahvuus Ulkoiset käyttöönottokriteerit Menetelmien arviointiprosessi Minimivaatimukset Rajattu kohderyhmä Teoreettinen viitekehys Koulutus Eettisyys 4. Vahva 3. Kohtalainen 2. Heikko 1. Ei näyttöä/ vaikutuksia Käyttökelpoisuus Koulutus Koulutuksen saatavuus Kustannustehokkuus Suomeen soveltuvuus Mitattavuus Arvioinnin vaiheet Menetelmätiedon kokoaminen ja valmistelu Näytön, vaikuttavuuden ja käyttökelpoisuuden arviointi Luokituksen antaminen Tiivistelmä Julkaisu Minimivaatimuksilla tarkoitetaan, että menetelmällä on rajattu kohderyhmä, tutkimukseen pohjautuva teoria sekä selkeästi määritelty koulutus, joiden avulla menetelmää voidaan lähteä alustavasti arvioimaan. Rajatulla kohderyhmällä tarkoitetaan tässä perheitä, joissa on alle 18-vuotiaita lapsia. Tutkimukseen pohjautuva teoria viittaa teoreettiseen viitekehykseen, joka pohjautuu ajankohtaiseen teoria- ja tutkimustietoon lasten ja nuorten kehityksestä. Koulutuksella tarkoitetaan, että työmenetelmään on Suomen oloihin sovellettavaa koulutusta. Tutkimusnäytön arvioinnilla tarkoitetaan. mm. tutkimuksessa käytettyjen tutkimusasetelman ja tutkimuksen toteutuksen arvioimista. Vaikutuksen vahvuuden arvioinnilla tarkoitetaan sen arvioimista missä määrin menetelmä aikaansaa toivottuja vaikutuksia kohderyhmässä. Käyttökelpoisuuden arvioinnilla tarkoitetaan työmenetelmään liittyviä, käytännön kannalta tärkeitä seikkoja, kuten koulutuksen sisällön ja saatavuuteen sekä kustannuksiin, soveltuvuuteen ja toimivuuden mittaamiseen liittyviä seikkoja. Eettisyys. Näytön ja vaikuttavuuden ohella on tärkeää, että menetelmällä on tietty arvopohja, joka noudattaa hoidolle asetettuja yleisiä eettisiä periaatteita. Menetelmän arvopohjaa ja eettisiä periaatteita arvioitaessa arvioidaan mm. sitä, millä toimintaperiaatteilla menetelmää toteutetaan, miten kohderyhmän ääni kuuluu, miten asiakkaan kunnioitus ja tasa-arvoinen kohtelu toteutuu, ts. arvioidaan sitä, missä määrin menetelmän toimintaperiaatteet ovat asiakaslähtöisiä, osallistavia, vuorovaikutuksellisia ja voimaannuttavia. Menetelmän arvopohja arvioidaan erikseen. Työmenetelmien arviointiprosessi on selitetty tarkemmin luvussa 4.

8 2.2. Tutkimusnäyttö Tutkimusasetelma nousee tutkimusnäytön arvioimisessa keskeiselle muiden tutkimusnäytön kriteereiden toimiessa tärkeinä täydentävinä tietoina. Kasvun tuki -luokituksessa on yhdistetty Käypä hoito -suositusten tutkimusnäytön vahvuuden nelijakoa (vahva, kohtalainen, heikko näyttö, ei näyttöä) sekä muissa maissa hyväksi ja käyttökelpoiseksi osoitettua tutkimusnäytön kriteeristöä, mm. pohjoismaiset ja Hollannin (Veerman & Yperen 2007) mallit. Ylimmälle tasolle (vahva näyttö) yltää satunnaistettu, kontrolloitu koe (RCT, randomized controlled trial), jota tutkimusmaailmassa on pidetty tutkimuksen kultaisena standardina (Flay ym. 2005; Jané-Llopis ym. 2010). Tätä tutkimusasetelmaa pidetään luotettavimpana, silloin kuin tietää onko tietty toivottu muutos menetelmän vaikutusta, jossa toinen ryhmä saa tutkittavan menetelmän (intervention) ja toinen ryhmä toimii kontrollina tai saa ns. tavallista hoitoa (treatment as usual) samalla kontrolloiden tuntemattomia ja tunnettuja tekijöitä. Tärkeää on myös huomioida, että tutkimusasetelma, ja menetelmät sopivat tutkittavaan aiheeseen ja vastaavat tutkimuskysymyksiin. Aina ei siis ole mahdollista tai mielekästäkään tutkia menetelmää kontrolloidun ja satunnaistetun tutkimuksen avulla. Tällöin esimerkiksi kohorttitutkimukset tai tapaus-verrokkitutkimukset puoltavat paikkaansa, joskaan näiden tutkimusasetelmassa ei pystytä yhtä hyvin huomioimaan (kontrolloimaan) sitä, onko tavoiteltu muutos kohdejoukossa menetelmän aiheuttamaan. Tutkimus voi suuntautua eteenpäin tai taaksepäin, prospektiivisen tutkimuksen näyttö luokitellaan korkeammalle, taaksepäin suuntautuneen tutkimustulosten ollessa alttiimpia vääristymille (bias). Pelkkä tutkimusasetelman laatu ei ratkaise näytön astetta, vaan näytön tason arvioimiseen siihen liittyy kiinteästi muita näytön kannalta merkittäviä seikkoja, kuten mm. (ks. esim. Käypä hoito-ohjeet, Craig ym. 2008): tutkimuksen eettinen toteutus, tutkimuksen laatu (pätevyys ja otoskoko), tutkimusten määrä, tutkimustulosten yhdenmukaisuus, tutkimustulosten merkittävyys, tutkimustulosten merkityksellisyys (sovellettavuus, yleistettävyys). Nämä kriteerit muodostavat raamit myös suomalaiselle mallille.

9 Kuva 3. Tutkimusnäytön aste ja tutkimusasetelma Tutkimusnäytön aste Tutkimusasetelma 3. VAHVA - satunnaistettu, kontrolloitu verrokkiryhmätutkimus luonnollisissa tai laboratorio-olosuhteissa - näihin perustuvat systemaattiset kirjallisuuskatsaukset 2. KOHTALAINEN - kvasikokeelliset tutkimukset - ei-satunnaistettu verrokkiryhmätutkimus - kohorttitutkimukset, tapaus-verrokki-tutkimukset 1. HEIKKO - tutkimusasetelma ei sisällä verrokkiryhmää - tapaustutkimukset, monitapaustutkimukset EI RIITTÄVÄÄ NÄYTTÖÄ - kokeellisia tutkimuksia menetelmästä ei ole olemassa - laadulliset tutkimukset - asiantuntijanäkemykset, havainnointi, haastattelut, asiakirjaanalyysit Tutkimusnäyttöä esittelevistä tietokannoista erityisen kiinnostavaksi nousevat Norjan Ungsinn- määrittelykäytäntö (www.ungsinn.no), koska Norjassa järjestösektori on kuten Suomessa vahva toimija edistävän ja ehkäisevän työn kentällä. Norjan Ungsinnmalli (Mørch ym. 2008) pohjautuu hollantilaiselle (Veerman & Yperen, 2007) mallille, joissa kummassakin tutkimusnäyttö ja vaikuttavuus on luokiteltu neljälle tasolle. Hollannin mallissa näytön asteet on nimetty seuraavasti: kausaalinen, indikatiivinen, teoreettinen ja kuvaileva näyttö sekä ja vaikuttavuuden asteet: vaikuttava sekä toiminnallisesti, todennäköisesti ja mahdollisesti vaikuttava. Norjan mallissa näytön aste liittyy kiinteästi vaikuttavuuteen ja näytön tasot on nimetty seuraavasti: dokumentoidusti, toiminnallisesti, todennäköisesti ja mahdollisesti vaikuttava. Vaikka tutkimusnäyttö ja vaikuttavuus liittyvätkin kiinteästi toisiinsa, niin suomalaisessa mallissa on päädytty arvioimaan tutkimusnäyttö erillään vaikutuksista. Suomalaisessa mallissa tutkimusnäytön aste ja mentelmän vaikutukset haluttiin erottaa kahdeksi eri aviointiasteikoksi selvyyden vuoksi mm. siitä syystä, että vahvakaan tutkimusnäyttö ei välttämättä takaa vahvaa vaikuttavuutta. Menetelmän vaikutukset voivat vaihdella heikosta voimakkaaseen tai joissain tapauksissa voidaan todeta vahvasta tutkimusnäytöstä huolimatta että menetelmällä ei ole vaikutusta tai, että sen vaikutus voi jopa olla negatiivinen. Myös em. ns. nollatulosten tai negatiivisten vaikutusten

10 esiin tuominen on tärkeää, jotta tuloksettomien tai haitallisten menetelmien käytöstä vältyttäisiin. 2.3. Vaikutusten vahvuus Vaikuttavalta menetelmältä vaaditaan, että sen on osoitettu aikaansaavan toivottuja vaikutuksia kohderyhmässä ja että tutkimusten kohderyhmä on siinä määrin edustava, että vaikutuksen voidaan ajatella olevan yleistettävissä laajemminkin tiettyyn väestönosaan. Lisäksi on tärkeää, että vaikutusten vahvuus on mitattu tarkoituksenmukaisella mittarilla, ts. kohdejoukon hyvinvoinnin kannalta tärkeällä mittarilla (ks. esim. Jané- Llopis ym. 2010, Käypä hoito -ohjeet; Silverman & Hinshaw 2008). Vaikutusten arvioinnissa keskeisiä arvioitavia suureita ovat vaikutusten vahvuus ja suunta (ks. esim. Käypä hoito-ohjeet). Alla kuvataan vaikutusten neliportainen asteikko.

11 Kuva 4. Menetelmän vaikutuksen vahvuus ja kriteerit Vaikutuksen vahvuus Kriteerit 3. VAHVA - Menetelmällä on vahva (suuri) vaikutus kohdejoukkoon, joka vastaa suomalaista kohdeväestöä. - Vaikutus on mitattukohdeväestölle tärkeällä tai merkittävällä tulosmittarilla. - Vaikutuksen suunta on selkeä (ja on epätodennäköistä, että uudet tutkimukset muuttaisivat vaikuttavuusarviota). 2. KOHTALAINEN - Menetelmällä on kohtalainen vaikutus kohdejoukkoon, joka vastaa tai on sovellettavissa suomalaiseen kohdeväestöön. - Vaikutus on mitattu kohdeväestölle tärkeällä/merkittävällä tai kohtalaisen tärkeällä tulosmittarilla. - Vaikutuksen suunta on kohtalaisen selkeä (tuloksissa vähäistä ristiriitaa ja uudet tutkimukset saattavat muuttaa vaikuttavuusarviota). 1. HEIKKO - Menetelmällä heikko vaikutus kohdejoukkoon (joka vastaa huonosti tai ei vastaa suomalaista kohdeyleisöä) - Vaikutus on mitattu mittarilla, joka ei ole kohdeväestölle tärkeä tai merkittävä - Vaikutuksen suunta on heikosti selvillä (tuloksissa paljon ristiriitaa tai niitä on vähän ja uudet tutkimukset todennäköisesti muuttavat vaikuttavuusarviota) EI VAIKUTUSTA - Menetelmällä ei ole vaikutusta (tai sen suunta ja suuruus on epävarma) tai sen vaikutus on haitallinen.

12 2.4. Käyttökelpoisuus Näytön ja vaikutusten lisäksi on tärkeää, että työmenetelmä on käyttökelpoinen ja soveltuu kansallisiin olosuhteisiin ja tarpeisiin. Näitä ulkoisia käyttöönottokriteereitä ovat mm. menetelmän koulutukseen liittyvät tekijät, kustannustehokkuus, toimivuuden mittaamisen mahdolllisuus ja kansallisiin tarpeisiin sopivuus. Myös implementoinnin (juurruttaminen) onnistumista ja pidetään tärkeänä menetelmän käyttökelpoisuuteen vaikuttavana tekijänä. Implementointi ja siihen liittyvät laadulliset arviointimenetelmät on kuitenkin tässä vaiheessa rajattu arviointikriteereiden ulkopuolelle. Käyttökelpoisuuden arviointialueet on valittu näytön arviointiin liittyvän kirjallisuuden pohjalta (Laajasalo & Pirkola, 2012, Jané-Llopis, ym. 2010: Marklund, ym. 2010; Weisz ym. 2005) sekä pohjoismaisten näyttöön perustuvien mallien pohjalta. Kolmiportainen arviointiasteikko mukailee osittain Ruotsissa käytettyä asteikkoa (http://www.socialstyrelsen.se/evidensbaseradpraktik/metodguide) Kuva 5. Käyttökelpoisuuden osatekijät ja arviointiskaalat KÄYTTÖKELPOISUUS Arviointiskaala Koulutus Arvio koulutuksen sisällöstä 0-3 Koulutuksen saatavuus 0-3 Kustannustehokkuus Arvio kustannustehokkuudesta 0-3 Soveltuvuus Mittaaminen/arviointi Arvio Suomen tarpeisiin ja olosuhteisiin soveltuvuudesta Arvio menetelmän toimivuuden mittaamisesta 0-3 0-3 a) Koulutus Menetelmän koulutusta arvioitaessa painotetaan mm. seuraavia koulutuksen ja koulutusmateriaalien sisältöön, toteutukseen ja tarkoituksenmukaisuuteen liittyviä kriteereitä/tekijöitä: - monipuolinen opetustapa (teoriaopetus, työmenetelmäopetus, ryhmätapaamiset, työnohjaus, käytännön harjoittelu) - koulutus sisällöltään selkeä ja tarkoituksenmukainen - koulutuksella selkeät ja tarkoituksenmukainen materiaalit - kouluttajilla riittävä koulutus ja kokemus

13 - koulutukseen on sisällytetty koulutusarviointi - menetelmäuskollisuuden ja -taitojen ylläpitäminen on järjestetty Koulutuksen arviointi: 0 = Koulutusta ja koulutusmateriaalia ei ole mahdollista arvioida, koska tiedot puuttuvat tai ovat riittämättömät 1 = Koulutuksen/koulutusmateriaalin sisällössä, toteutuksessa ja tarkoituksenmukaisuudessa selkeitä puutteita ja ne vaativat uudelleen työstämistä ja selkeyttämistä. 2 = Koulutuksen/koulutusmateriaalin sisällössä, toteutuksessa ja tarkoituksenmukaisuudessa jonkin verran puutteita ja ne vaativat täydennystä. 3 = Koulutus/koulutusmateriaalit ovat sisällöltään ja toteutukseltaan korkeatasoisia ja tarkoituksenmukaisia sekä hyvin toteutettu. b) Koulutuksen saatavuus Koulutuksen saatavuutta arvioitaessa painotetaan mm. seuraavia koulutuksen toteuttamiseen ja saatavuuteen liittyviä kriteereitä/tekijöitä. - koulutusta on helposti ja kattavasti saatavilla - kustannukset ovat kohtuulliset Koulutuksen saatavuuden arviointi: 0 = Koulutuksen saatavuutta ei ole mahdollista arvioida, koska tiedot puuttuvat tai ovat riittämättömät 1 = Koulutuksen saatavuudessa selkeitä puutteita ja ne vaativat uudelleen työstämistä ja selkeyttämistä. 2 = Koulutuksen saatavuudessa jonkin verran työstämistä vaativia puutteita. 3 = Koulutusta on helposti ja kattavasti saatavilla kohtuullisin kustannuksin. c) Kustannustehokkuus Kustannustehokkuus on oma tutkimusalueensa. Menetelmän kustannustehokkuutta arvioitaessa arvioidaan olemassa olevia kotimaisia, pohjoismaisia tai ulkomaisia laskelmia menetelmän kustannustehokkuudesta. Kustannustehokkuuden arviointi 0 = Ei kustannustehokkuutta tai sitä ei ole mahdollista arvioida, koska tiedot puuttuvat tai ovat riittämättömät 1 = Mahdollisesti/todennäköisesti kustannustehokas (Suomessa, pohjoismaissa tai muissa maissa) 2 = Jossain määrin kustannustehokas (Suomessa tai pohjoismaissa) 3 = On kustannustehokas (Suomessa tai pohjoismaissa)

14 d) Kansallisiin tarpeisiin soveltuvuus Tutkimusnäytön lisäksi menetelmän käyttöön ottamisen kannalta on tärkeää, että se soveltuu Suomen olosuhteisiin. Tällä tarkoitetaan laajemmin ottaen, että menetelmälle on kansallinen tarve, miten menetelmä otetaan kentällä vastaan ja/tai kiinnittyy kentän toimintatapoihin ja että, menetelmä on sosiaalipoliittisesti perusteltavissa. Tämän lisäksi soveltuvuutta voidaan arvioida sen pohjalta, että onko menetelmä ollut käytössä Suomessa tai pohjoismaissa. Joissakin maissa, esim. Norjassa se on liitetty näytön tason arviointiin. Suomessa päädyttiin arvioimaan menetelmän kansallisiin olosuhteisiin soveltuvuutta erillisenä, itsenäisenä tekijänä liittämättä sitä varsinaiseen näytön arviointikriteeristöön. Soveltuvuuden arviointi 0 = Soveltuvuutta ei ole mahdollista arvioida, koska menetelmää ei ole käytetty/tutkittu Suomessa tai pohjoismaissa 1 = Soveltuvuus Suomen olosuhteisiin heikko, koska sitä ei ole Suomessa käytetty tai tutkittu, mutta käyttökokemuksia ja/tai tutkimustietoa pohjoismaista löytyy 2 = Soveltuvuus Suomen olosuhteisiin kohtalainen (Jonkun verran käyttö- ja tai tutkimustietoa Suomesta tai pohjoismaista). 3 = Soveltuvuus Suomen olosuhteisiin on hyvä (Paljon/runsaasti käyttö- ja tai tutkimustietoa Suomesta tai pohjoismaista). e) Toimivuuden mittaaminen Menetelmän kouluttamiseen, käyttöön ja levittämiseen on sisäänrakennettuna menetelmän toimivuuden arviointi (mittaaminen) liittyen siihen, miten koulutettavat, menetelmää käyttävät ja kohderyhmä sen kokevat, mikä takaa menetelmän jatkuvan käytännön tason arvioinnin, kehittämisen ja laadunvalvonnan. Menetelmän toimivuuden mittaamisen arviointi 0 = Menetelmän toimivuuden mittaamista ei ole mahdollista arvioida, koska sen kuvaus puuttuu tai arviointitapa on riittämätön 1 = Menetelmän toimivuuden mittaaminen vaatii uudelleen työstämistä ja selkeyttämistä. 2 = Menetelmän toimivuuden mittaaminen vaatii täydennystä. 3 = Menetelmän toimivuuden mittaaminen on toteutettu. f) Yleinen käyttökelpoisuus - Vahvuudet ja heikkoudet - Parannus- ja kehittämisehdotuksia Arvioinnin päätteeksi voidaan menetelmästä koota yhteenvedonomaisesti sen vahvuudet ja heikkoudet sekä antaa parannus- ja kehittämisehdotuksia.

15 2.5. Luokitus ja arvioinnin yhteenvetotaulukko Arviointiprosessin päätteeksi näytön, vaikutuksen ja käyttökelpoisuuden arvioinnit kootaan yhteen kokonaisarvioksi (vaikuttavuus), jonka pohjalta menetelmä sijoitetaan tiettyyn luokkaan 0-3 alla olevan taulukon mukaisesti. Kuva 6. Menetelmien kokonaisarviointi ja luokitus Luokitus 0-3 Näyttö 0-3 Vaikutus 0-3 Kokonaisarvio (Näyttö + vaikutus) Käyttökelpoisuus 0-15 *** 3 2-3 5-6 10 ** 2 1-2 3-4 8-9 * 1 1 2 6-7 0 0 0-1 0-1 5 3. Työmenetelmien arviointiprosessi 3.1. Arviointiprosessin toimijat ja sisältö Menetelmien arviointiprosessia rakennettaessa on haettu mallia sekä pohjoismaisista että kansallisista käytännöistä, joita pyritään soveltamaan Kasvun tuki -toimintaympäristöön soveltuvin osin. Alkuvaiheessa, soveltuvia käytäntöjä haettaessa pyritään mahdollisimman kevyeeseen ja läpinäkyvään arviointimalliin. Arvioinnin ydintyöryhmän muodostavat Kasvun tuki -hankkeen projektikoordinaattori sekä asiantuntijoista koostuva asiantuntijapaneeli, ns. tieteellinen neuvosto. Tieteellisen neuvoston rooli on tukea Kasvun tuki projektikoordinaattoria varhaisen tuen menetelmien arviointikriteeristön kehittämisessä. Tieteellinen neuvosto tekee kokonaisarvion ja päätöksen eri menetelmien luokituksesta projektikoordinaattorin esityksen pohjalta. Neuvosto koostuu kansallisista asiantuntijoista mm. psykologian, psykiatrian sekä kasvatustieteen alueilta (Eeva Aronen, HY; Ilse Julkunen, HY; Mirjam Kalland, HY; Jorma Komulainen, Duodecim; Marjukka Mäkelä, THL; Raija-Leena Punamäki, TaY; Nina Sajaniemi, HY; ja Christina Salmivalli TuY; Päivi Santalahti, THL; Kristian Wahlbeck, SMS). Kasvun tuki tietolähteelle on myös perustettu seurantaryhmä. Seurantaryhmä pyrkii myös tukemaan tietolähteen yhteensovittamista muiden varhaisen tuen ja tutkimusnäyttöön perustuvien palvelujen kehittämistoimien kanssa, sekä vastata suomalaisen

16 mallin etenemisen seurannasta, arvioinnista ja implementoinnin suunnittelusta. Seurantaryhmässä ovat mukana keskeiset kansalliset toimijat, kuten Innokylä, Kuntaliitto ja THL sekä kolme kuntaa (Hämeenlinna, Oulu ja Imatra) jonka toiminnan puitteissa ajan myötä on mahdollista pilotoida tehokkaiden menetelmien implementointia. Hankkeen alkuvaiheen rahoittajat, eli Suomen Mielenterveysseura (SMS), Lastensuojelun Keskusliito (LSKL) ja Onni & Helmi Karttusen säätiö (OHK) sekä ITLA muodostavat hankkeen ohjausryhmän, joka pyrkii takaamaan hankkeen toimintaedellytykset. Hanke on osa ITLAn Lapset, nuoret, perheet satavuotiaassa Suomessa hanketta, joka toimintansa puitteissa kokoaa konkreettisia työvälineitä lasten kasvun tueksi ns. työkalupakiksi. Kasvun tuki - työryhmä Kokoaa näyttöön perustuvia menetelmiä tietolähteeksi Aluksi arvioitavana rajattu määrä, 12 menetelmää ( ks. sivu 18 ) Lisätään vastaavien pohjoismaisten tietolähteiden menetelmäarviot Kasvun tuki projektikoordinaattori Kirjoittaa luonnosyhteenvedon ja tekee alustavan arvion menetelmästä Esittelee luonnosyhteenvedon ja alustavan arvion asiantuntijaryhmälle Asiantuntijaryhmä (Tieteellinen neuvosto) Tekee konsensuspäätöksen menetelmän tutkimusnäytön asteesta, vaikuttavuudesta sekä käyttökelpoisuudesta projektikoordinaatto rin esityksen pohjalta Antaa menetelmälle luokituksen (suosituksen) eli kokonaisarvion em. Tekijöiden pohjalta Kasvun tuki -toimitus Tekee konsensuspäätöksen menetelmän tutkimusnäytön asteesta, vaikuttavuudesta sekä käyttökelpoisuudesta projektikoordinaatto rin esityksen pohjalta Antaa menetelmälle luokituksen (suosituksen) eli kokonaisarvion em. Tekijöiden pohjalta 3.2. Arviointiprosessin vaiheet Menetelmätiedon kokoaminen Arviointiprosessi aloitetaan keräämällä menetelmästä tietoa, jonka pohjalta arvioidaan menetelmää tutkimusnäytön, vaikuttavuuden ja käyttökelpoisuuden näkökulmista. Me-

17 netelmään liittyvä tieto (dokumentaatio) voi olla monessa eri muodossa, mutta sen tulisi olla myös työmenetelmän käyttäjien saatavissa. Tieto voi koostua esim. työmenetelmän manuaalista, siihen liittyvistä raporteista tai (tieteellinen) artikkeleista. Tietoa pyritään hakemaan myös aiheeseen liittyvistä tietokannoista. Tavoitteena on mahdollisimman tarkka, asianmukainen ja objektiivinen arvio. Suomalaisessa mallissa menetelmätiedon kokoaa Kasvun tuki projektikoordinaattori. Arvioitsijat Suomalaisessa mallissa arvioitsijoina toimii asiantuntijapaneeli, ns. tieteellinen neuvosto, jotka edustavat laaja-alaisesti lasten ja perheiden tukemiseen läheisesti liittyviä tieteenaloja. Arviointityössä painotetaan objektiivisuutta ja puolueettomuutta. Arvioitsijana ei näin ollen voi toimia henkilö, joka on esim. ollut mukana menetelmän kehittämisessä, levittämisessä tai kouluttamisessa, tai henkilö, joka edustaa kilpailevaa menetelmää. Sen sijaan on suotavaa, että arvioitsijalla on tietoa ja kokemusta menetelmistä ja niiden taustoista. Sisällöllisen asiantuntemuksen lisäksi on tärkeää, että joku arvioitsijoista edustaa vankkaa psykometriikan osaamista/tuntemusta. Arviointikokous Asiantuntijapaneelin arviointityön pohjana toimivat projektikoordinaattorin esittelemä tiivistelmä menetelmästä ja ehdotus näytön asteesta. Tiivistelmä koostuu kirjallisesta tiivistelmä sekä yhteenvetoasteikosta, johon on koottu yhteen ehdotus menetelmän luokaksi perustuen tutkimusnäytön, vaikuttavuuden ja käyttökelpoisuuteen. Konsensukseen tähtäävä työryhmätyöskentely em. kirjallisine työkaluineen takaavat sen, että arvioitsijat kiinnittävät yhdenmukaisesti huomiota samoihin näytön, vaikuttavuuden ja käyttökelpoisuuden kriteereihin. Lisäksi työryhmän työskentelyä määrittää objektiivisuus ja puolueettomuus. Arvioinnin lopuksi summataan menetelmän vahvuudet ja heikkoudet huomioiden erityisesti menetelmän toimivuutta käytännössä, jonka lisäksi asiantuntijapaneeli voi myös tehdä parannusehdotuksia. Arviointitulosten jatkotyöstäminen Kun asiantuntijapaneeli on käynyt läpi arvioitavan materiaalin, niin Kasvun tuki toimitus tekee arvioista yhteenvetoluonnoksen. Yhteenvetoluonnos luokituksineen lähetetään tarkastettavaksi ja kommentoitavaksi menetelmän edustajalle sekä seurantaryhmälle, mikä antaa mahdollisuuden vielä korjata arvioinnin mahdollisia virheellisyyksiä. Kasvun tuki toimitus työstää menetelmäyhteenvedon luokituksineen lopulliseen muotoonsa huomioiden arvioitsijoiden, mahdollisesti menetelmän edustajan kommentit. Luokituksen laatiminen Näyttöön perustuvien eri menetelmien arvioinnin ja luokitusten tarkoituksena on tukea ammattilaisten päätöksentekoa asiakastyössä. Luokitukset ovat asiantuntijoiden laatimia, tieteellisiin tutkimuksiin perustuvia kannanottoja (suosituksia) erilaisten menetelmien käyttökelpoisuudesta ja vaikuttavuudesta asiakastyössä. Luokituksen tavoitteena on, että asiakkaalle löytyy oikein kohdennettu ja vaikuttava menetelmä, joka on valittu yhteistyössä asiakkaan kanssa, häntä kuullen ja informoiden. Luokitusta voidaan pitää asiantuntijoille suunnattuna, konkreettisena, näyttöön perustuvana työväline.

18 4. Vanhemmuutta tukevien menetelmien kokoaminen Yksi tapa menetelmien vaikuttavuutta arvioitaessa on keskittyä arvioimaan jo käytössä olevien menetelmien vaikuttavuutta. Suomessa tämä työ on lähtenyt liikkeelle Vanhempaintuen verkoston kokouksessa Kuntaliitossa 17.1.2014, jossa päätettiin, että pienempi valmisteluryhmä aloittaa käytössä olevien menetelmien kartoittamisen ja kokoamisen. Ryhmän kokoajana toimi ITLAsta (itsenäisyyden juhlavuoden lastenrahaston säätiö). Valmisteluryhmän toimesta koottiin 12 menetelmän joukko, johon pyrittiin sisällyttämään kattavasti menetelmiä eriasteista tukea tarvitseville perheille. Suomessa käytössä olevista menetelmistä valittiin seuraavat: 1. FHille (Home Instruction Pro-gram for Preschool Children) 2. Ihmeelliset vuodet ohjelma 3. Kannustava vuorovaikutus (ICDP- International Child Development Programme) 4. Multidimensionaalinen perheterapia (MDFT- Multidimensional Family Therapy) 5. Perhevapaalta työelämään -menetelmä 6. Pidä Kiinni- hoitomalli 7. Toimiva Lapsi & Perhe -menetelmä (TLP) 8. Trappan metoden 9. Vahvuutta Vanhemmuuteen -malli 10. Varhaisen vuorovaikutuksen tukeminen (VAVU) 11. Voikukkia vertaistukiryhmämalli 12. Voimaperheet hoito-ohjelma Valmisteluryhmään kuuluivat: Maarit Andersson, Ensi- ja turvakotienliitto; Jessika Gustafsson, Pohjoismainen hyvinvointikeskus; Jukka Huttunen, TuY; Mirjam Kalland, HY; Petra Kouvonen, ITLA; Mia Montonen, FSKC; Aila Puustinen-Korhonen, Kuntaliitto; Johanna Sallinen, Folkhälsan; Päivi Santalahti, THL; Tytti Solantaus, SMS/THL; Salla Toppinen-Tanner, TTL; Kristian Wahlbeck, SMS; Petra Ziliacus, Paraisten kaupunki. 5. Vanhemmuutta tukevien menetelmien arvioinnin käynnistäminen Tutkimusnäytön arviointikriteeristön luomisen jälkeen kartoitetaan ja potentiaalisia menetelmiä, jonka jälkeen ne arvioidaan em. kriteeristöllä. Toimiviksi havaituista menetelmistä kootaan käyttäjäystävällisiä kuvauksia, joiden avulla ammattihenkilöt voivat arvioida sitä, miten menetelmät soveltuvat käytettäväksi käytännön työssä, kunkin työntekijän omilla asiakasryhmillä ja omissa työ- ja toimintaympäristöissään. Kotimaisille menetelmänkehittäjille annetaan kartoituksen lisäksi mahdollisuus hakeutua pilottivaiheen jälkeen mukaan omilla interventioillaan. Ne menetelmät, jotka täyttävät menetelmille asetetut sisäänottokriteerit (minimivaatimukset) otetaan mukaan

19 arvioitaviksi. Tässä vaiheessa huomioidaan myös Kuntaliiton ja ITLAn yhteistyönä koottu, edellisessä luvussa esiteltyjen tutkitusti tehokkaiden vanhemmuuden tuen mallit. Työn tuotoksena työstetään lopuksi opas, joka sisältää paletin menetelmistä, jotka täyttävät tieteelliset kriteerit sekä soveltuvat koulutuksen ja muiden puitteiden osalta implementoitaviksi Suomeen. Tavoitteena on tarjota käyttäjille paras mahdollinen tieto siitä, mihin kussakin ohjelmassa työskentely kohdennetaan ja missä tuloksen tulisi näyttäytyä. Samalla halutaan olla sulkematta pois sellaisia toimenpiteitä, joiden vaikutukset näyttäytyvät vasta pidemmällä aikaperspektiivillä. Opas julkaistaan verkossa ja mikäli mahdollista painotuotteena. Lähtee Flay, B, Biglan, A., Boruch, R.F., Castro, F.G., Gottfredson, D., Kellam, S, Mościcki, E.KSchinke. S.,Valentine, J.C., & Ji, P. Standards of Evidence: Criteria for Efficacy, Effectiveness and Dissemination. Prevention Science (2005): 6, 151-175. Craig, P., Dieppe, P., Macintyre, S., Michie, S., Nazareth, I. & Petticrew, M. Developing and evaluating complex interventions: the new Medical Research Council guidance. BMJ (2008): 337, 1655-. Jané-Llopis, Katschnig, H, McDaid, D. & Wahlbeck, K. Evidence in public mental health. Comissioning, interpreting and using evidence on mental health disorder prevention: An everyday primer. Instituto Nacional de Saúde Doutot Ricardo Jorge. Lisbon. 2010. Kellam, S.G. & Langevin, D.J. A framework for understanding evidence in prevention reseach and progrms. Prevention Science (2003): 4, 137-153. Laajasalo, T. & Pirkola. S. 2012. Ennen kuin on liian myöhäistä. Ehkäisevän mielenterveystyön toimivia käytäntöjä palvelujärjestelmän kehittäjälle. Terveyden ja hyvinvoinnin laitos, Raportti 47. Helsinki. 2012. Marklund, K., Andershed, A-K., & Andershed, H. Pohjolan lapset. Varhainen tuki perheille [Nordens barn. Tidiga insatser för familjer]. Ineko. Tukholma. 2012. Mørch, W-T., Neymer, Sp, Holth, P. & Eng, H. Ungsinn. Ungsinn. Virksomme tiltak for barn og unges psykiske helse. Kriterier for klassifisering av evidensnivå og dokumentasjonsgrad. Forebyggingsenheten, Universitetet i Tromsø. Tromsø. 2008. Silverman, W.K. & Hinshaw, S.P. The second special issue on evidence-based psychosocial treatments for children and adolescents: A 10-year update. Journal of Clinical Child & Adolescent Psychology (2008): 37, 1-7. Veerman, J.W. & van Yperen, T.A. Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning (2007): 30, 212-221.

20 Weisz, J.R., Sandler, I.N., Durlak, J.A. & Anton, B.S. Promoting and protecting youth mental health through evidence-based prevention and treatment. American Psychologist (2005): 60, 628-648. Muut: http://www.ungsinn.no/ http://www.socialstyrelsen.se/evidensbaseradpraktik/metodguide http://vidensportal.socialstyrelsen.dk/ http://www.kaypahoito.fi/ http://www.hotus.fi/