VIRTUAALISAIRAALA 2.0 HANKKEEN ULKOINEN ARVIOINTI: KYSELY JA HAASTATTELU HANKETYÖNTEKIJÖILLE

Samankaltaiset tiedostot
Sosiaali- ja terveydenhuollon ITratkaisujen

RAISION TERVEYSKESKUKSEN ASIAKASTYYTYVÄISYYSKYSELYN TULOKSET

Tausta tutkimukselle

Virtuaalisairaala 2.0 -hanke PSHP:N HOITOTYÖN ESIMIESPÄIVÄ TIINA VIITALA

Sosiaali- ja terveydenhuollon tiedonhallinnan alueellista kehittämistä ohjaava viitearkkitehtuuri Kuntajohtajakokous

Tietojärjestelmät muutoksessa: Alueiden ja kuntien sote - kokonaisarkkitehtuurityö

Kyselytutkimus sosiaalialan työntekijöiden parissa Yhteenveto selvityksen tuloksista

Terveyskylä, Virtuaalisairaala HETA KOLANEN, KEHITTÄMISPÄÄLLIKKÖ HUS TIETOHALLINTO JA VIRTUAALISAIRAALA 2.0 -HANKE

Ammattilaisten näkemys uusista omahoitopalveluista. Sari Kujala,

Kansalaiskyselyn tulokset

Tieto hyvinvoinnin ja uudistuvien palveluiden tukena

Kansalaisilla hyvät valmiudet sähköisiin terveyspalveluihin

PSSHP Tietohallintostrategia

Tulokset kyselystä Käypä hoito -potilasversioiden kehittämiseksi

Palaute kuvapuhelinpalveluiden toteuttamisesta ammattilaisen näkökulmasta

Tieto hyvinvoinnin ja uudistuvien palveluiden tukena Hannu Hämäläinen, STM

HOITOTYÖN STRATEGIA Työryhmä

Suuntaamo Ryhmätehtävän koonti Nelikenttäkartoitus SWOT

Digitaaliset palvelut tulevat. Katri Tunttunen

Kysely palvelusetelipalveluiden tuottajille 2016

Yhteenveto ryhmätyöskentelystä

SoteDigi Oy. Tilannekatsaus , IHE Finland Marco Halén

Mittarityöpaja. Sosiaalityön mittareiden ja indikaattoreiden kokeilu- ja kehittämishankkeita Esityksen nimi / Tekijä

ProCountorin asiakastyytyväisyyskysely 2009

ODA Omat digiajan hyvinvointipalvelut

Terveyspalvelujen tulevaisuus Suomessa

Hoito- ja hoivapalvelualan tila ja tulevaisuudennäkymät OTE

ProCountor-asiakastyytyväisyyskysely, syksy 2008

VASTAAJAN TAUSTATIEDOT Ympyröi sopivin vaihtoehto tai kirjoita vastauksesi sille varattuun tilaan. 1. Sukupuoleni on 1 nainen 2 mies

Järjestöt digitalisoituvassa yhteiskunnassa. Miten hyödyntää teknologian mahdollisuuksia

Kykyviisari. Työ- ja toimintakyvyn muutosta tukemassa

Tietoisku sähköisten palveluiden kehittämisestä

Ensisijaisesti sähköisesti tarjottavien palvelujen tiekartta

Lääkäriliiton opiskelijatutkimus Tietoja opiskelijoiden työskentelystä lääkärin sijaisena kesällä 2017

Kouvolan perusturvan ja Carean potilasturvallisuuspäivä Annikki Niiranen 1

Moniammatillinen verkosto vuosina : tavoitteet, menetelmät ja tulokset

Varhaiskasvatuspalvelujen laatukyselyn tulokset. Kevät 2014

KUNTOUTUMISTALO VIRTUAALISAIRAALASSA

Kykyviisari. Työ- ja toimintakyvyn itsearviointimenetelmän hyödyntäminen asiakastyössä

VESOTE SEMINAARI Sinikka Pennanen kehittämispäällikkö

Turvallisuuskulttuurikysely

Sote-tieto hyötykäyttöön strategia keskeiset linjaukset (STM)

Sosiaalihuollon digipalvelujen tulevaisuus Terveyskylä esimerkkinä KATARIINA KOHONEN, HUS SOSIAALITYÖ

Kanta-palveluiden rooli uudistusten tukena. Kehittämispäällikkö Anna Kärkkäinen Terveydenhuollon ATK-päivät

Kysely tehtiin loka-marraskuussa 2015 Kohderyhmänä työmarkkinoilla olevat TEKin jäsenet Vastaajia noin , vastausprosentti noin 25 YTN-teemana

Miten integraatiossa yhdessä eteenpäin? Integraatiofoorumi Jaana Räsänen Erityisasiantuntija, STM

Lääketieteen opiskelijoiden kesätyöt Yhteenveto Lääkäriliiton ja SML:n opiskelijakyselyn tuloksista Tiedot on kerätty syksyllä 2016

Sosiaali- ja terveydenhuollon järjestämissuunnitelman arviointi

Sairaanhoitajan työ ja osaaminen tietoyhteiskunnan kehityksessä Sairaanhoitajaliiton sähköisten terveyspalvelujen strategia vuosille

KUMPPANUUSBAROMETRI

SoteDigi Oy tilannekatsaus , SOTE KA -kokous Marco Halén

Yhteentoimivuutta kokonaisarkkitehtuurilla

Kansalaisten ja henkilöstön osaamishaasteet sähköisissä terveyspalveluissa

Sähköinen asiointi. Pohjois-Pohjanmaan sairaanhoitopiiri vt Tietohallintojohtaja Tuomo Liejumäki

Rinnakkaislääketutkimus 2009

TOIVEET, ODOTUKSET JA KOKEMUKSET ELÄKEPÄIVISTÄ

Janette Leppänen Turun ammattikorkeakoulu

Esimiestutkimuksen eri osa-alueiden kokonaisarviot

Mistä valinnanvapaudessa on tai voisi olla kyse?

VESOTE-hanke. UKK-instituutti KKI-ohjelma Diabetesliitto Mielenterveyden keskusliitto STM

TMP Prioriteetti valmiusas 2 STM. 2 Espoo, 3 käyttöönotettav issa. 3 tuotannossa 1 STM,

Julkisen alan työhyvinvointi Toni Pekka Riku Perhoniemi

ONION-hanke. Tiivistelmä

Palvelulaatu. Asiakkaiden käyttökokemukseen vaikuttavat laatutekijät digitaalisissa asiointipalveluissa. Petteri Ohvo,VM/JulkICT

TYÖLLISYYSFOORUMI

Mielekkäät työtehtävät houkuttelevat harjoittelijoita!

Digitalisaation seuranta sosiaali- ja terveydenhuollossa

Kyselytutkimus standardeista ja. Mikko Turku / Kyselytutkimus standardeista ja. niiden käytöstä elintarvikevalvonnassa

Yhteistyöllä yhteisiä yhdenvertaisia palveluja. Maaliskuu 2019

Paja 3, Tampere

KANSALLISEN DIGITAALISEN KIRJASTON KOKONAISARKKITEHTUURI. V3.0 Tiivistelmä

Standardien 2 ja 3 käytäntöön soveltaminen - Alkoholi mini-intervention käyttöönotto

SoteDigi Oy. SoteDigi Oy:n tehtävistä, tämänhetkisestä tilanteesta ja etenemisen stepeistä Tuija Kuusisto

Henkilöstösuunnittelu: mitä, miksi, miten

Kuntien ICT tuki - suunnitelma - JUHTA Tommi Oikarinen

VIRTUAALISAIRAALA 2.0 MERKITTÄVIEN KANSALLISTEN TERVEYSRATKAISUJEN TUKENA Sirpa Arvonen Hankejohtaja

Savonlinnan kaupunki 2013

VAKAVA Valtakunnallinen kokonaisarkkitehtuurin suunnittelun ja kuvaamisen tukiprojekti

Kykyviisari. Työ- ja toimintakyvyn itsearviointimenetelmän hyödyntäminen asiakastyössä

Raision varhaiskasvatuksessa keväällä 2018 huoltajille tehdyn laatukyselyn tulokset

Valtuutetut: hyvinvointi, terveys ja elinvoima tärkeimmät kunnan ja maakunnan yhteistyöalueet

Liikuntapolkua pitkin aktiiviseksi liikkujaksi kehittämishankkeen prosessikuvaus

1. Ohjausta koskeva julkinen päätöksenteko

Verkkoviestintäkartoitus

Innovatiiviset julkiset hankinnat - Tiivistelmä kyselytutkimuksen tuloksista

VIRTUAALISAIRAALAN MOBIILISOVELLUKSET. Aki Puustjärvi ATK-päivät

Katsaus menetelmien arviointiin Suomessa, mitä on saatu aikaan. Risto Roine Professori Itä-Suomen yliopisto Ylilääkäri, HUS ja KYS

Palvelu on helposti saatavaa, asiakaslähtöistä ja turvallista

Turun yliopisto, oikeustieteellinen tiedekunta: Tutkimus paikallisesta sopimisesta

Ammatillisen koulutuksen laatutyöryhmä työskentelee

YKSI LAPSI, YKSI TILANNEKUVA

Kyselyn toteuttaa Kansallinen koulutuksen arviointikeskus (Karvi).

Osaamisen kehittyminen ja sen mittaaminen hoitotyön taitokoulutuksissa

Tutkimus terveydestä, työkyvystä ja lääkehoidosta. Tutkimuksen keskeisimmät löydökset Lehdistömateriaalit

Terveyden edistämisen johtaminen sairaalassa

VEROILLA JA VAROILLA

Asiantuntijaverkostot ja toimialaryhmät osana yhtenäisiä toimintatapoja

Hoito-ohjeet internetiin potilaiden, ammattilaisten ja kansalaisten saataville

15224 standardi johtamisen ja laadukkaan työn tukena auditoijan näkökulma YTL Merja Huikko

Ammattitaitoa yhdessä -kysely Keskeiset tulokset

Transkriptio:

VIRTUAALISAIRAALA 2.0 HANKKEEN ULKOINEN ARVIOINTI: KYSELY JA HAASTATTELU HANKETYÖNTEKIJÖILLE täytyy kyllä ihailla, tuota sitoutumista ja ammattimaista otetta tähän kehittämiseen yksiköissä ja hoitohenkilökunnan puolella 29.10.2018 Kaija Saranto Johanna Lammintakanen Risto Roine Virpi Jylhä Maija Saijonkari Milla Rosenlund Eija Kivekäs 1

Yhteenveto Arvioinnin tarkoituksena oli selvittää Terveyskylä.fi-kehitystyöhön osallistuneiden hanketyöntekijöiden näkemyksiä hankkeessa kehitettyjen sähköisten palvelujen vaikutuksesta omaan työhönsä (järjestelmän toimivuus ja käytettävyys, tiedon laatu, palvelujen toteutettavuus sekä työntekijöiden asenne ja aikomus käyttää palvelua). Lisäksi kartoitettiin teknisten asiantuntijoiden näkemyksiä Terveyskylä.fi-palveluiden yhteentoimivuudesta ja toteutettavuudesta sekä molempien ryhmien kokemuksia kehittämistyön toteutumisesta. Tutkimusaineistot kerättiin hanketyöntekijöille (n=91) kohdistetulla kyselyllä ja teknisten asiantuntijoiden (n=3) haastattelulla elo-syyskuussa 2018. Kyselytutkimuksen vastaajat jakaantuivat sairaaloiden kesken siten, että Helsingin yliopistollisen sairaalan (HUS) ja Oulun yliopistollisen sairaalan (OYS) vastaajia oli yli puolet kaikista vastanneista. Vastaajista yli 60% oli työskennellyt organisaatiossa yli 10 vuotta. Enemmistö vastaajista oli hoitotyöntekijöitä (n=36, 48%), lääkäreitä oli 17% (n=13), erityistyöntekijöitä 16% (n=12) ja muita asiantuntijatehtävissä toimivia 19% (n=14). Kokoaikaisesti hankkeessa oli työskennellyt viidennes (n=20/89), toinen viidennes (n=19/89) osa-aikaisesti ja yli puolet oman työnsä ohella (n=50/89). Hanketyöntekijät kokivat, että he pystyivät hyödyntämään Terveyskylä.fi-palvelun tietoja yksilöllisesti ja palvelun tieto koettiin hyödylliseksi. Hanketyöntekijöiden arvioimana potilaat olivat tyytyväisiä Terveyskylä.fi-palveluihin ja he arvioivat, että potilaat pitivät palveluja hyvänä ideana. Vastaajista puolet arvioi palveluiden vaikuttavan myönteisesti perusterveydenhuollon ja erikoissairaanhoidon työnjakoon. Vielä useampi arvioi palvelujen selkiyttävän ammattilaisten työrooleja ja tehostavan toimintaprosesseja. Terveyskylä.fipalvelujen toimivuus ja järjestelmän laatu arvioitiin valtaosin hyviksi ja vastaajat suosittelivat palvelun käyttöä kollegoilleen. Palveluun kirjautumista pidettiin pääosin helppona ja käyttöliittymä mahdollisti osittain sujuvan ja nopean siirtymisen eri toimintojen välillä. Tekniseltä tuelta toivottiin enemmän ohjeistusta sekä selkeä osoite, johon osoittaa kysymykset ja palautteet. Myös haastateltavat näkivät kehittämiskohteena antamansa teknisen tuen palvelut, jotka olivat heikentyneet talojen määrän kasvaessa. Terveyskylä.fi-palvelun käytettävyys nähtiin ensisijaisena kehittämiskohteena tulevaisuutta ajatellen. Vastauksissa tuotiin esiin, että tietoa ei ollut helppo löytää, polut koettiin liian pitkiksi ja navigointi kömpelöksi. Vastaajat kokivat, että kehittämistyössä ollaan kynnyksellä, josta suuntana on järjestelmän merkittävä laajentaminen. Kehittämiskohteena nähtiin myös palveluiden läpinäkyvyys, ajantasaisuus ja luotettavuus. Luotettavuuden tulisi näkyä siinä, kuka on tekstin tuottanut ja milloin teksti on tuotettu sekä mihin teksti perustuu. Lisäksi talojen rakentamisessa tulisi saada näkyviin kansallinen koordinointi ja yhteistyö, jolloin eri talojen toimintamallit olisivat yhtenäisiä. Vastauksissa nousi esille myös tarve Terveyskylä.fipalvelujen ja potilastietojärjestelmien väliseen integraatioon erityisesti digihoitopolkujen osalta. Yhteistyö muiden kansallisten hankkeiden kanssa koettiin vähäisenä. Vastaajista suurin osa työskenteli hankkeessa työnsä ohella, mikä heijastuu heidän mahdollisuudessaan osallistua ja sitoutua kehittämistyöhön. Ensisijaisissa kehittämiskohteissa mainittiinkin resursointi ja painotettiin kansallisen toimintamallin vaatiman resursoinnin huomioista. 2

Sisältö Yhteenveto... 2 1. Johdanto... 4 2. Arviointiaineisto ja analyysimenetelmät... 6 2.1 Kysely... 6 2.2 Haastattelu... 7 3. Tulokset... 8 3.1 Kysely- ja haastattelututkimukseen osallistuneiden taustatietoja... 8 3.2 Asiakashyöty... 8 3.3 Vaikuttavuus ja laatu... 10 3.4 Yhteentoimivuus... 10 3.5 Toteuttavuus... 13 3.6 Kehittämistyön arviointi... 16 3.7 Teoreettisten mallien tarkastelu... 21 4 Tulosten tarkastelua... 23 5 Johtopäätökset... 26 Lähteet... 27 3

1. Johdanto Itä-Suomen yliopiston Sosiaali- ja terveysjohtamisen laitoksen sosiaali- ja terveydenhuollontietohallinnon professori Kaija Sarannon johtama työryhmä valittiin toteuttamaan Virtuaalisairaala 2.0 hankkeen ulkoista arviointia, joka toteutettiin kysely- ja haastattelututkimuksena hanketyöntekijöille ja asiantuntijoille. Kyselytutkimuksessa selvitettiin yliopistollisten sairaaloiden Terveyskylä.fi-palveluiden kehittämistyöhön osallistuneiden hanketyöntekijöiden näkemyksiä hankkeessa kehitettyjen sähköisten palvelujen vaikutuksesta omaan työhönsä (järjestelmän toimivuus ja käytettävyys, tiedon laatu, palvelujen toteutettavuus sekä työntekijöiden asenne ja aikomus käyttää palveluja). Kyselyllä selvitettiin myös hanketyöntekijöiden arvio potilaiden kiinnostuksesta käyttää Terveyskylä.fipalveluista. Haastatteluissa selvitettiin teknisten asiantuntijoiden näkemyksiä Terveyskylä.fi palveluiden yhteentoimivuudesta ja toteutettavuudesta sekä kokemuksia kehittämistyön toteutumisesta. Sosisaali- ja terveyspalvelujen verkkopalvelujen käyttö oli vuosina 2014 2017 lisääntynyt 58:sta 68 prosenttiin ja tiedonvaihdon sekä etähoidon saatavuus oli lisääntynyt, vaikkakin palvelujen käyttö oli vähäistä. Suomessa toteutetussa Aikuisten terveys-, hyvinvointi- ja palvelututkimuksessa (2017) selvitettiin verkkopalvelujen käyttömääriä, käytön esteitä ja hyötyjä. 10 000 henkilölle suunnatun kyselyn vastausosuus oli 45 %. Itsehoitoa ja palveluun pääsyä koskevien toiminnallisuuksien saatavuus oli parantunut ja niiden käyttö oli laajaa. (Murto ym. 2017.) Vastaajien mielestä palvelujen suurin hyöty oli se, että ne auttoivat muistamaan varatun ajan. Toiseksi palvelut auttoivat säästämään käyntejä ja palveluhakemistot sekä palvelujen vertailutiedot koettiin hyödyllisiksi. Tukea omaan hoitoon osallistumiseen ei koettu niin suurena hyötynä, sillä vain 23 % vastaajista oli täysin samaa meiltä sähköisten palvelujen tuesta oman terveyden ja hyvinvoinnin hoidossa. (Hyppönen ym. 2018.) Tässä arviointitutkimuksessa Virtuaalisairaala 2.0 hanketyöntekijöille ja teknisille asiantuntijoille suunnatun kyselyn ja haastattelun tulokset raportoidaan hankkeessa laaditun arviointikehikon mukaisesti. Tulokset esitetään neljänä kokonaisuutena: a) asiakashyöty, b) vaikuttavuus ja laatu, c) yhteentoimivuus ja d) toteutettavuus. Lisäksi kehittämistyön CAF (Common Assessment Framework) -itsearviointimallin tulokset raportoidaan omana kokonaisuutena. Tähän raporttiin ei sisälly taloudellisten vaikutusten arviointia. Asiakashyöty potilaalle määritellään Virtuaalisairaala 2.0 hankkeen arviointikehikossa digipalvelujen käytön lisääntymisenä, perusterveydenhuollon ja erikoissairaanhoidon saumattoman yhteistyön kehityksenä, palveluohjauksen toteutuksena, palvelujen saavutettavuuden lisääntymisenä, jonotusaikojen lyhentymisenä ja myönteisenä asiakaskokemuksena. Ammattilaiselle asiakashyödyt näkyvät yhtenäisinä toimintamalleina, palveluohjauksessa käytettävinä oirenavigaattoreina ja automatisoituvien työvaiheiden tuomina hyötyinä. Terveyskylä.fi-palvelujen vaikuttavuuden ja laadun odotetaan paranevan yhtenäisten toimintamallien myötä, kun yhteiset toimintakykyarvioinnit, elintapaohjauksen mallit, mittarit 4

ja kyselyt sähköisinä digi-palveluina ovat käytettävissä kansallisesti. Koneoppimisesta ja dataanalytiikasta odotetaan apua työmäärien hallintaan. Hankkeessa on tiedostettu ammattilaisten ja potilaiden tarve uuden opettelusta. Vaikuttavuuden ja laadun paraneminen edistävät ammattilaisten halukkuutta osallistua uudenlaisten palvelujen kehitystyöhön ja ottaa palvelut käyttöön. Muutosta tukemaan tarvitaan valmennusta, ohjausta ja oppaita. Arviointikehikon yhteentoimivuus-kokonaisuuden tavoitteissa ja toimissa korostuu tietojärjestelmien kypsyystaso suhteessa kansalliseen palveluarkkitehtuuriin ja maakuntien ICT-ratkaisuihin. Yhteentoimivuudella tarkoitetaan tiedon sujuvaa vaihtamista ja siirtämistä prosessien ja järjestelmien välillä silloin, kun järjestelmät käyttävät samoja tietoja (VM 2018, Tietohallintalaki 634/2011). Toteutettavuus näkyy ammattilaisille Terveyskylä.fi-palvelujen käytettävyytenä, osaamisena ja perehdyttämisenä sekä vakioituna ja tehokkaana sähköisten palvelujen kehittämisen mallina. Toteuttavuus on yhteistyötä niin ammattilaisten kesken kuin hankkeeseen osallistuneiden yliopistollisten sairaaloiden, alueellisesti perusterveydenhuollon ja erikoissairaanhoidon toimijoiden kesken sekä kansallisena yhteistyönä. Omana osiona arviointiraportissa on CAF-itsearviointimallin mukainen kehittämistyön arvio. CAF on julkisen sektorin organisaatioille tarkoitettu laadun arvioinnin ja kehittämisen työkalu, joka tarkastelee organisaation toimintaa ja suoriutumista kokonaisuutena. CAFitsearviointimallia käytetään tässä tutkimuksessa arvioitaessa kehittämistyön toimintatapoja ja tuloksia. (Parhiala ym. 2015.) 5

2. Arviointiaineisto ja analyysimenetelmät 2.1 Kysely Sähköisen kyselylomakkeen väittämät perustuivat DeLonen ja McLeanin (1992, 2003) sekä Davisin (1989) teknologian käyttöönottoon, käytettävyyteen ja käyttöaikomukseen liittyviin teoreettisiin malleihin. Lisäksi selvitettiin osallistujien kokemuksia kehittämistyöstä hyödyntäen CAF-itsearviointimallia (CAF 2013, Parhiala ym. 2015). Tietojärjestelmien onnistumisen malli (Information Systems Success Model, IS) on yksi kuvaus tietojärjestelmän onnistumisesta ja tehokkuudesta, jonka perusteella tietojärjestelmän merkitystä yksittäisille käyttäjille ja organisaatiolle voidaan arvioida (DeLone ja McLean 1992, 2003). Mallissa tietojärjestelmää arvioidaan kuuden ulottuvuuden kautta: järjestelmän laatu, tiedon laatu, palvelun laatu, käyttäjätyytyväisyys, aikomus käyttää sekä nettovaikutus. Tietojärjestelmän ominaisuudet kuvataan toisiinsa kiinteästi sidoksissa olevina. Silti laadun ulottuvuuksia, kuten järjestelmän laatu, tiedon laatu sekä palvelun laatu, tulee käsitellä ja mitata erikseen, sillä niillä kaikilla on yksin tai yhdessä vaikutus tietojärjestelmän käyttöön ja käyttäjätyytyväisyyteen. Lisäksi tietojärjestelmän nettovaikutukset (mm. lisää potilaskeskeisiä palveluja ja myönteinen vaikutus työnjakoon perusterveydenhuollon ja erikoissairaanhoidon välillä) vaikuttavat osaltaan tietojärjestelmän käyttöön ja käyttäjätyytyväisyyteen. (DeLone & McLean 2003.) Teknologian hyväksymisen mallin (Technology Acceptance Model, TAM) eli TAM-mallin tavoitteena oli selvittää yksilön asenteen vaikutusta tietotekniikan käyttöön sekä aikomusta käyttää tai hylätä tietotekniikan käyttö (Davis 1989). Malli pohjautuu perustellun toiminnan teoriaan (Theory of Reasoned Action, TRA) ja pyrkii selittämään suhteita teknologian käytössä havaittujen ominaisuuksien, tunneperäisten asenteiden ja käyttäjän toimien välillä. Teknologian hyväksyttävyyttä mallissa tarkastellaan koetun hyödyllisyyden (Perceived Usefulness - PU) ja koetun helppokäyttöisyyden (Perceived Ease of Use - PEoU) kautta. Mallissa korostuu suoraa yhteys uskomusten ja aikomusten sekä toiminnan välillä (Davis 1989, King ym. 2006, Wallden ym 2016). CAF-itsearviointimallia käytettiin tässä arvioinnissa kehittämistyön arviointiin. Malli auttaa hahmottamaan kehittämishankkeen vahvuuksia ja kehittämiskohteita. Tässä tutkimuksessa CAF-mallia käytettiin soveltaen mallin osa-alueita, joita olivat johtajuus, henkilöstö, strategia ja toiminnan suunnittelu, prosessit sekä eri osa-alueisiin (kuten henkilöstö, yhteiskuntavastuu, suorituskyky) liittyvät tulokset. (Parhiala ym. 2015, Valtionkonttori 2018.) Kyselylomake koostui kuudesta muuttujajoukosta, joita olivat järjestelmän toimivuus ja käytettävyys, tiedon laatu, palvelujen toteutettavuus sekä työntekijöiden asenne ja aikomus käyttää palveluja. Likert-asteikollisia väittämiä oli 50. Taustamuuttujia selvitettiin 11 kysymyksellä ja yhdessä avoimessa kysymyksessä pyydettiin vastaajia nimeämään ensisijaiset kehittämiskohteet Terveyskylä.fi-palvelun toiminnassa. Kyselylomakkeen alussa kuvattiin osallistujille kerättävän tiedon käyttö, säilytys, tietosuoja ja tietoturva. 6

Kyselylomakelinkki välitettiin sähköpostiviestinä hanketyöntekijöille Virtuaalisairaalahankkeen kehittämispäälliköiden kautta. Saatetekstissä korostettiin tutkimuksen luottamuksellisuutta ja vapaaehtoisuutta sekä ilmoitettiin yhteyshenkilö mahdollisia kysymyksiä varten. Saatteen allekirjoittajina olivat tilaajan ja tuottajan edustajat. Vastaamisaika oli kaksi viikkoa (20.8 4.9) ja muistutuksen jälkeen vastausaikaa jatkettiin 9.9.2018 asti. Kyselyn avasi 93 henkilöä, joista kaksi ei osallistunut kyselyyn. Kyselyn aineisto (n=91) analysoitiin lukumäärä- ja prosenttiosuus-tiedoin. Väittämistä työstettiin faktorianalyysillä summamuuttujat, joita tarkasteltiin suhteessa taustamuuttujiin. 2.2 Haastattelu Haastattelu toteutettiin teemahaastatteluna. Haastattelun teemoina olivat Terveyskylä.fi palvelujen yhteensopivuus, toteutettavuus ja järjestelmän kypsyystaso sekä teknisten asiantuntijoiden kokemukset kehitystyön toteutumisesta. Teemat johdettiin Virtuaalisairaala 2.0 hankkeen arviointikehikosta. Haastatteluiden kohderyhmänä olivat Terveyskylä.fipalvelujen tekniset asiantuntijat. Haastattelukutsu lähetettiin 27.8. viidelle henkilölle, joista neljä vastasi ja yksi suositteli tilalleen toista henkilöä, jolle lähetettiin haastattelukutsu 29.8. Muistutusviesti lähetettiin kahdesti. Kolme teknistä asiantuntijaa lupautui haastatteluun. Teemahaastattelut toteutettiin 13.9. 17.9. käyttäen Skype for Business -sovellusta. Haastateltavien suostumuksella ne nauhoitettiin. Haastattelut kestivät 39 57 minuuttia. Haastattelut litteroitiin sanatarkasti ja analysointiin sisällönanalyysillä. Analyysissa aineistoa tarkasteltiin yhtäläisyyksiä ja eroja etsien ja tiivistäen analysoitavan materiaalin sisältöä luokittelukategorioihin. Haastattelun tulokset analysoitiin ja raportoitiin yhdessä kyselyn avoimen kysymyksen vastausten (n=42) kanssa. 7

3. Tulokset 3.1 Kysely- ja haastattelututkimukseen osallistuneiden taustatietoja Vastaajat jakaantuivat sairaaloiden kesken siten, että HUS:n (Helsingin yliopistollinen sairaala) ja OYS:n (Oulun yliopistollinen sairaala) vastaajia oli yli puolet kaikista (Taulukko 1). Vastaajista naisia oli 88% (n=76/86) ja alempi korkeakoulututkinto tai korkeakoulututkinto oli 80%:lla vastaajista (n=72/89). Alle 35-vuotiaita vastaajista oli 15% (n=14/91) ja työkokemusta terveydenhuollossa puolella vastaajista oli yli 20 vuotta. Vastaajista yli 60% oli työskennellyt organisaatioissa 10 vuotta tai pitempään. Enemmistö vastaajista oli hoitotyöntekijöitä (n=36, 48%), lääkäreitä oli 17% (n=13), erityistyöntekijöitä 16% (n=12) ja muita asiantuntijatehtävissä toimivia 19% (n=14). Taulukko 1. Vastaajien jakautuminen yliopistollisten sairaaloiden kesken Kohderyhmä (N) Osallistui (%) Vastaajien osuus aineistossa (%) Helsingin yliopistollinen sairaala (HUS) 200 28 (14) 30,1 Kuopion yliopistollinen sairaala (KYS) 91 14 (15) 15,1 Oulun yliopistollinen sairaala (OYS) 60 26 (43) 28 Tampereen yliopistollinen sairaala (TAYS) 80 12 (15) 12,9 Turun yliopistollinen sairaala (TYKS) 70 9 (13) 9,7 Puuttuva tieto 4 4,2 Yhteensä 501 93 (18,2) 100 Kokoaikaisesti hankkeessa oli työskennellyt viidennes (n=20/89), toinen viidennes (n=19/89) osa-aikaisesti ja yli puolet oman työnsä ohella (n=50/89). Kolmannes vastaajista oli työskennellyt hankkeessa alle vuoden (n=28/86). Vastaajat olivat osallistuneet kaiken kaikkiaan 29 talon kehittämistyöhön. Terveyskylä.fi-palvelun avoimen puolen kehittämiseen oli osallistunut 65% (n=53/81) ja vastaajista 35% (n=28/81) oli osallistunut digihoitopolkujen kehittämiseen. Kukaan vastaajista ei ollut osallistunut ammattilaisille tarkoitettujen TerveyskyläPRO-palveluiden kehittämiseen. Omassa työssään vastaajat käyttävät taloja ja yli puolet ilmoitti käyttävänsä työssään useampia taloja. Haastatteluun osallistuneista teknisistä asiantuntujoista (n=3) ei raportoida tarkempia taustatietoja vastaajien yksityisyyden suojaamiseksi. 3.2 Asiakashyöty Vastaajat arvioivat, että potilaat tulevat saamaan Terveyskylä.fi-palvelun myötä nopeammin vastauksia kysymyksiinsä (Kuvio 1). Potilaskeskeisyys lisääntyy ja palvelut parantavat potilaan hoitotuloksia. Terveyskylä.fi-palvelun arvioitiin parantavan potilaan ja ammattilaisen 8

vuorovaikutusta. Hanketyöntekijät kokivat, että he pystyivät hyödyntämään Terveyskylä.fipalvelun tietoja yksilöllisesti ja palvelun sisältämä tieto koettiin hyödylliseksi. Potilas saa nopeammin vastauksen kysymyksiinsä 2 6 92 Terveyskylä.fi lisää potilaskeskeisiä palveluja 1 8 91 Palvelu parantaa minun ja potilaan välistä vuorovaikutusta 7 16 77 Palvelu parantaa potilaiden hoitotuloksia 5 34 61 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 %100 % Eri mieltä En eri enkä samaa mieltä Samaa mieltä Kuvio 1. Arvio Terveyskylä.fi-palvelujen potilaskeskeisyydestä ja vaikutuksesta potilaan hoitoon Potilaan kirjaamien tietojen käytettävyyttä arvioi vain harva vastaaja ja tyytyväisiä tietojen löytymiseen palvelusta oli puolet vastaajista. Tiedon käytettävyys arvioitiin Terveyskylä.fipalveluissa kohtalaiseksi (Kuvio 2). Palvelussa esitetty tieto arvioitiin hyödylliseksi ja tietojen esitys selkeäksi. Palvelussa esitetty tieto on hyödyllistä 13 96 Palvelussa saatavilla oleva tieto on esitetty selkeästi 7 3 90 Voin hyödyntää palvelun tietoja yksilöllisesti 3 8 89 Tiedot palvelusta löydän sujuvasti 17 6 77 Löydän potilaan kirjaamat tiedot helposti 9 24 67 0 10 20 30 40 50 60 70 80 90 100 Eri mieltä En samaa enkä eri mieltä Samaa mieltä Kuvio 2. Arvio Terveyskylä.fi-palvelujen tietojen käytettävyydestä 9

Vastaajista puolet (53%, n=40/76) arvioi palveluiden vaikuttavan myönteisesti perusterveydenhuollon ja erikoissairaanhoidon työnjakoon. Vielä useampi (68%, n=57/81) arvioi palvelujen selkiyttävän ammattilaisten työrooleja ja tehostavan toimintaprosesseja. 3.3 Vaikuttavuus ja laatu Terveyskylä.fi-palvelujen toimivuus ja järjestelmän laatu arvioitiin valtaosin hyviksi ja vastaajat suosittelivat palvelun käyttöä kollegoilleen. Palvelujen tieto arvioitiin virheettömäksi, ajantasaiseksi ja yksiselitteiseksi. Valtaosa vastaajista arvioi tiedon olevan näyttöön perustuvaa (Kuvio 3). Palvelun eri osioiden sisältämä tieto on ajantasaista 5 1 95 Palvelun eri osioiden sisältämä tieto on virheetöntä 6 6 88 Palvelun sisältämä tieto on näyttöön perustuvaa 3 12 85 Palvelun eri osioiden sisältämä tieto on yksiselitteistä 10 6 84 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 % Eri mieltä En eri enkä samaa mieltä Samaa mieltä Kuvio 3. Arvio Terveyskylä.fi-palvelun sisältämän tiedon laadusta Avoimissa vastauksissa toivottiin palveluissa painotettavan erityisesti läpinäkyvyyttä, ajantasaisuutta ja luotettavuutta. Luotettavuuden tulisi näkyä siinä, kuka on tiedon tuottaja sekä milloin teksti on tuotettu ja mihin teksti perustuu. Lisäksi talojen rakentamisessa tulisi saada näkyviin kansallinen koordinointi ja yhteistyö, jolloin eri talojen toimintamallit olisivat yhtenäisiä. Esimerkiksi oli nostettu potilaan ohjaaminen päivystykseen. 3.4 Yhteentoimivuus Palvelujen käytön opettelun hankehenkilöt arvioivat helpoksi. Palveluun kirjautumista pidettiin pääosin helppona ja käyttöliittymä mahdollisti sujuvan tai nopean siirtymisen eri toimintojen välillä kohtuullisen hyvin (Kuvio 4). Potilaiden tai ammattilasten kirjaaman tiedon käytettävyyden reilu puolet vastaajista koki joustavaksi. 10

Palvelun käytön opettelu on helppo 13 2 85 Palvelut ovat teknisesti toimineet odotetulla tavalla Palvelut vastaavat mielestäni hyvin niille asetettuja vaatimuksia 13 16 2 6 85 78 Kirjautuminen palveluun on helppoa 25 6 69 Löydän palveluista tarvitsemani toiminnot 19 14 67 Palvelun käyttöliittymä mahdollistaa nopean siirtymisen eri toimintojen välillä 22 22 56 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 % Eri mieltä En eri enkä samaa mieltä Samaa mieltä Kuvio 4. Arvio Terveyskylä.fi-palvelujen käytettävyydestä Terveyskylä.fi-palveluiden tekniseen tukeen vastaajat olivat kohtalaisen tyytyväisiä. Vastaajat kokivat, että he saivat vastauksen kysymyksiinsä kohtuullisen nopeasti ja ymmärrettävästi. Tekniseltä tuelta toivottiin enemmän ohjeistusta sekä selkeä osoite, johon osoittaa kysymykset ja palaute (Kuvio 5). Palvelun liittyvissä ongelmatilanteissa minulle vastataan ymmärrettävästi 17 15 68 Palveluun liittyvissä kysymyksissä minulle vastataan nopeasti 29 11 60 Kun haluan antaa palautetta, tiedän kenelle sen voin lähettää 25 18 57 Teknisen tuen antama ohjeistus on riittävää 33 19 48 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 % Eri mieltä En eri enkä samaa mieltä Samaa mieltä Kuvio 5. Arvio Terveyskylä.fi-palvelujen teknisestä tuesta Terveyskylä.fi-palvelujen arvioitiin toimivan teknisesti miltei odotetulla tavalla. Palvelujen käytettävyys ammattilaisen työssä arvioitiin kohtalaisen hyväksi. Tiedot palveluissa oli esitetty selkeästi ja ne löytyivät sujuvasti. Tietojen käyttöön ammattilaisten työssä oltiin kohtalaisen 11

tyytyväisiä. Kritiikkinä avoimissa vastauksissa tuotiin esiin, että tietoa ei ollut aina helppo löytää, polut koettiin liian pitkiksi ja navigointi kömpelöksi. Avointen vastausten ja haastatteluaineiston perusteella yhteentoimivuutta tarkasteltiin suorituskyvyn, kokonaisarkkitehtuurin, integraatioiden sekä teknisen tuen näkökulmasta (Kuvio 6). Kuvio 6. Yhteentoimivuuden tarkasteluteemat Vastaajat kokivat, että palautteen antamisen virheellisestä tiedosta tai teknisestä virheestä pitäisi olla helpompaa. Epäselvyyttä esiintyi siitä, mitä kautta palautetta asioista annetaan tai mihin kysymyksiä voidaan lähettää. Kehittämiskohteina esitettiin teknisen tuen palvelut, jotka olivat heikentyneet talojen määrän kasvaessa. Kehitystyö olisi huomattavasti joustavampaa, jos teknistä tukea olisi saatavilla enemmän. Myös tekniset mahdollisuudet tulisivat silloin paremmin hyödynnetyksi. Hankkeen käyttöön oli valittu terveydenhuollon integraatioympäristönä laajasti käytössä oleva Health Connect -integraatioalusta. Integraatioalustaa pidettiin tärkeänä, jotta tietojärjestelmien väliset integraatiot voidaan toteuttaa mahdollisimman helposti ja samalla monipuolisesti. jokaisella on vähän omat systeemit (ajanvaraus) siellä, että itse pitäisin kaikkein tärkeimpänä sitä hyvää integraatioalustaa Ainoa integraatio oli tehty HUS:n toimesta Omatietovarantoon. Vastauksissa nousi esille tarve Terveyskylä.fi-palvelujen ja potilastietojärjestelmien väliseen integraatioon erityisesti digihoitopolkujen osalta. Poluilla oleva esitietolomake kirjautuisi automaattisesti potilastietojärjestelmään. 12

Integraatioarkkitehtuurin myötä hankkeessa pyrittiin mahdollistamaan ulkoiset integraatiot ja potilasryhmäkohtaiset kolmannen osapuolen sovellukset. Vastausten perusteella Terveyskylä.fi-palvelun kokonaisarkkitehtuuri oli HUS:n vastuulla. Joitakin muutostarpeita oli tunnistettu ja uusien versioiden tekeminen nähtiin HUS:n tehtävänä. Järjestelmän suorituskykyyn, erityisesti hitausongelmiin ja toimintavarmuuteen kaivattiin muutosta jatkossa. Tulevaisuuden kehittämiskohteena nähtiin erityisesti teknisen toimivuuden parantaminen. nyt tässä vaiheessa on ollut jo suorituskykyongelmia tuolla ympäristössä. Terveyskylä.fi-palvelujen teknologiavalinnat olivat perustuneet yhteensopivuuteen niin nykyisen ympäristön kuin kansallisen ympäristön kanssa. 3.5 Toteuttavuus Kokonaisuudessaan vastaajat olivat tyytyväisiä Terveyskylä.fi-palveluihin ja käyttivät mielellään palvelun toimintoja. Hanketoimijoiden arvioimana potilaat olivat tyytyväisiä Terveyskylä.fi-palveluihin ja he arvioivat, että potilaat pitivät palveluja hyvänä ideana. Vastaajien mukaan palvelu antaa potilaalle mahdollisuuden suurempaan vastuuseen omasta hoidostaan (Kuvio 7). Olen kokonaisuudessaan tyytyväinen palveluihin 7 3 90 Käytän mielelläni palvelun toimintoja 6 6 88 Palvelu antaa potilaalle mahdollisuuden ottaa suuremman vastuun omasta hoidostaan 7 6 87 Potilaat osoittivat, että Terveyskylä.fi-palvelu on hyvä idea 6 17 77 Potilaat ilmaisevat tyytyväisyytensä palveluihin 3 22 75 0 10 20 30 40 50 60 70 80 90 100 Eri mieltä En eri enkä samaa mieltä Samaa mieltä Kuvio 7. Käyttäjätyytyväisyys 13

Haastattelujen ja avointen kysymysten perusteella toteutettavuutta tarkasteltiin palvelujen käytettävyytenä sekä vakioituna ja tehokkaana sähköisten palvelujen kehittämisen mallina (Kuvio 8). Kuvio 8. Käytettävyyden kehittämisen teemat Terveyskylän käyttöliittymän käytettävyyttä toivottiin kehitettävän. Vastaajat arvioivat potilaiden turhautuvan etsiessään tarvitsemaansa tietoa. Lisäksi tunnistautumista ja järjestelmään kirjautumista pidettiin hankalana ja sitä toivottiin helpotettavan esimerkiksi PINkoodin käytöllä pankkitunnusten sijaan. Suoraviivaisempi käyttöliittymä, vielä paljon joudutaan klikkailemaan edes takaisin. Osa vastaajista koki, ettei käytettävyys ollut kehittämistyössä tärkeä asia. Toisaalta myös käyttäjälähtöisen suunnittelun periaatteet nousivat vastauksissa esille. on tehty ensiksi jotain, ja sitten saatu käyttäjältä feedbackiä, ettei tää toimi, ja sit on tehty jotain uutta ja parannettu sitä. Ammattilaisosion kohdalla nousi esiin huoli sisältöjen päällekkäisyydestä esimerkiksi Terveysportin kanssa. Ratkaisuksi esitettiin kansallisesti koordinoidun yhteistyön jatkamista. Vastaajat kokivat, että kehittämistyössä ollaan kynnyksellä, josta suunta voi olla järjestelmän merkittävään laajentumiseen. Käytettävyys kuitenkin nähtiin ensisijaisena kehittämiskohteena tulevaisuutta ajatellen. Palvelujen kehittämistä tarkasteltiin haastattelujen ja avointen kysymysten perusteella sosiaalija terveydenhuollon ammattilaisten roolin, järjestelmän ylläpidon, ohjeistusten sekä vakioidun kehittämismallin kautta (Kuvio 9). 14

Kuvio 9. Palvelujen kehittämisen tarkasteluteemat Kehittämistyö lähti perusajatuksesta, että kehittäjillä oli käytössään yhtenäiset työvälineet ja alusta, johon potilasryhmäkohtaisia hoitopolkuja voitiin rakentaa. Kehittämismallin tavoitteena oli vakioida välineet, joilla tekninen toteutus tehtiin, mutta sisältö vaihteli kohderyhmän mukaisesti. kehittämisen malli lähtee siitä, että rakennettaisiin alusta, johon meidän ammattilaiset itse pystysi rakentaa ne palvelunsa päälle. ympäristö, jossa hyvinkin standardi työkaluilla pystytty rakentaa hoitopolkuja, sehän on koko sen kehittämisen kantava prinsiippi ollut Vastaajat totesivat, että sosiaali- ja terveydenhuollon ammattilaisten ensisijaisena tehtävänä Terveyskylä.fi-palvelujen kehittämisessä tulisi olla sisällöntuotanto ja heidän osaamistaan tulisi hyödyntää prosessien suunnittelussa. Vastaajat kokivat, että ammattilaisten aikaa oli kulunut turhaan teknisten ominaisuuksien hallintaan ja opetteluun. Asiantuntijoiden pitäisi saada keskittyä kirjoittamaan sisältöjä Ei me voida olettaa, että meidän sote-asiantuntijat, terveydenhuollon huippuasiantuntijat istuu kurssilla ja opettelee kirjottaa wordiin käsikirjoituspohjia, että tää lähestymistapa näiden palveluiden kehittämiseen pitäis olla ihan eri. Talojen määrän lisääntyessä myös tarve ohjeille lisääntyi. Vastaajat totesivat, että ohjeistus oli kehittynyt hankkeen aikana ja ensimmäiset talot oli kehitetty erilaisilla ohjeilla kuin nyt tehtiin. Uuden talon perustajalle ihan rautalankaversio mitä kaikkea tulee tehdä, missä järjestyksessä. mitkä kaikki kaavakkeet tulee täyttää jne. Järjestelmän ylläpito ja tietosisällön ajan tasalla pitäminen keskeistä. Tarvitaan vastuutahot sisällölle 15

Vastaajien mukaan pitäisi päästä enemmän jatkuvaan ylläpitoon ja palvelumalliin, jolloin käyttöön tulisi ottaa toisenlaiset toimintamallit ja prosessit kuin pilotointivaiheessa. 3.6 Kehittämistyön arviointi Kehittämistyön hankehenkilöt arvioivat ilmapiiriltään avoimeksi ja työssä kannustettiin ideoimaan. Kehittämistyön koettiin tukevan organisaation toiminnallisia tavoitteita ja vastaavan kansallisen tason Sote-tieto hyötykäyttöön strategian 2020 tavoitteita. Kehittämistyön välineisiin (mm. valmennukset, materiaalit, ohjeet, lomakkeet) hankkeessa toimineet henkilöt eivät olleet tyytyväisiä. Vastaajat arvioivat, että pystyivät hyvin hyödyntämään omaa asiantuntijuuttaan ja ammatillista osaamistaan kehittämistyössä. Potilaiden palautteet huomioitiin kehittämistyössä hyvin, mutta muihin kehittämistyöhön liittyviin palautteisiin reagoitiin vain kohtalaisesti (Kuvio 10). Kehittämistyössä olen pystynyt hyödyntämään omaa asiantuntijuuttani ja ammatillista osaamistani erittäin hyvin 5 5 90 Potilaiden palautteita hyödynnettiin kehittämistyössä 5 10 85 Kehittämistyön tuloksia ja vaikutuksia seurattiin aktiivisesti 20 16 64 Kehitystyön menetelmiä ja toteutusta arvioitiin säännöllisesti 22 16 62 Kehittämistyöhön liittyvään palautteeseen reagoitiin nopeasti 23 21 56 0 10 20 30 40 50 60 70 80 90 100 Eri mieltä En eri enkä samaa mieltä Samaa mieltä Kuvio 10. Hanketyöntekijöiden arvio kehittämistyöstä Säännöllistä kehitystyön menetelmien ja toteutuksen arviointia olisi kaivattu enemmänkin. Yhteistyö ammattiryhmien kesken sekä Virtuaalisairaala-hankkeessa ylipäätään koettiin hyväksi, kuten myös yliopistollisten sairaaloiden välinen yhteistyö (Kuvio 11). 16

Yhteistyö Virtuaalisairaalahankkeessa 4 87 9 Yhteistyö eri ammattiryhmien välillä 6 87 8 Yhteistyö yliopistollisten sairaaloiden välillä 16 73 11 Kehittämistyön tiedonkulku 21 72 7 Yhteistyö muiden sosiaali- ja terveydenhuollon digitalisaatiohankkeiden kanssa 22 31 47 Yhteistyö perusterveydenhuollon ja erikoissairaanhoidon välillä 26 22 52 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 % Huono Hyvä En pysty arvioimaan Kuvio 11. Arvio yhteistyöstä Virtuaalisairaala-hankkeessa Yli puolet vastaajista ei pystynyt arvioimaan yhteistyön onnistumista perusterveydenhuollon ja erikoissairaanhoidon välillä ja joka neljäs vastaajista arvioi sen huonoksi. Myöskään yhteistyötä muiden sosiaali- ja terveydenhuollon digitalisaatiohankkeiden kanssa ei lähes puolet vastaajista kyennyt arvioimaan. Tiedonkulun arvioitiin toimineen kohtaisen hyvin, joskin esitettiin toiveita sen selkeyttämiseksi. Tarpeet kohdistuivat selkeämpiin ohjeisiin esimerkiksi taloa työstettäessä tai lomakkeiden täytössä. Teknisen tuen tavoitettavuus ja tiedonkulku koettiin hitaaksi. Kehittämistyötä tarkasteltiin haastattelun ja avointen vastausten perusteella viiden teeman kautta (Kuvio 12). Lisäksi tässä osiossa raportoidaan vastauksissa esiin nousseet tietosuojaan ja turvaan liittyvät teemat. Kuvio 12. Kehittämistyön teema-alueet 17

Kehittämistyön ilmapiiri koettiin hankkeessa hyväksi ja vastaajien mukaan oli vaikuttanut siihen, että kehittäjäyhteisöllä oli aito halu muuttaa asioita. Myös sosiaali- ja terveydenhuollon ammattilaisten mukaan ottamiseen oli pyritty kaikin keinoin. Kehittäjäverkosto oli hankkeessa huomattavasti isompi kuin tekniikan parissa työskentelevien määrä. täytyy kyllä ihailla, tuota sitoutumista ja ammattimaista otetta tähän kehittämiseen yksiköissä ja hoitohenkilökunnan puolella Hankkeessa on ollut hyvä syke ja tekemisen tahto. On vaikuttanut siltä, että juuri tätä olisi odotettukin. Itse asiantuntijat ovat laatimassa sisältöä ja järjestelmien mahdollisuuksia käsittelee niistä tietävät tahot. Organisatorinen yhteentoimivuus erikoissairaanhoidon ja perusterveydenhuollon välillä koettiin keskeiseksi kehittämiskohdaksi. Joidenkin vastaajien mielestä yliopistosairaaloiden rooli korostui liikaa ja esimerkiksi potilasohjeita tulisi kehittää yhteistyössä perusterveydenhuollon kanssa. Erikoissairaanhoidon ja perusterveydenhuollon toimijoiden työn integrointi yhdeksi toiminnan kokonaisuudeksi Digihoitopolkuihin liittyen toivottiin kuvamateriaalipankkia kehittäjien käyttöön sekä menetelmiä videoiden välitykseen, jotta kuvien ja videoiden käyttäminen helpottuisi. Tämä koettiin yhdeksi keskeiseksi sisällölliseksi tarpeeksi hoitopolkujen laadinnassa. Kehittämisen kohteena nähtiin myös digihoitopolkujen toiminnallisuuksien kehittäminen ja tiedon integrointi potilaskertomusjärjestelmiin. kyllähän ne varmaan noi etäkonsultaatiot ammattilaisten ja asiakkaitten välillä sitten on tulossa pikkuhiljaa tuonne digihoitopoluille Kehittämistyön ohjaavana periaatteena pidettiin potilaiden hoidon laadun ja tulosten parantumista, johon pyrittiin tuottamalla toimivia palveluita. meillä on aika kuitenkin keskeisenä ohjaavana tekijänä ollut se, että saadaan meidän asiakkaille toimivia palveluita Vastauksissa esiintyi myös kritiikkiä kehittämistyön periaatteita kohtaan. Vastaajien mukaan kehittämistyössä ei ole näkynyt kansallisia määrittelyjä, joita kansallisen tason hankkeelta voisi odottaa. Myöskään yhtenäisiä laatukriteereitä esimerkiksi uusien tuotteiden julkaisemiseen ei oltu luotu. Ylipäätänsä kehittämistyötä ohjaavia periaatteita, toimintatapoja ja suosituksia oli ollut vähänlaisesti käytössä. pitää pystyä listaamaan mahdollisimman paljon palveluita, mitä on otettu käyttöön ja mahdollisimman paljon sitä ja tätä ja tuota, että on saanut sisältöä mainospuheisiin. Silläkin hinnalla, että monet erittäin tärkeät asiat on jäänyt sivuseikoiksi. 18

laatu pitäis näkyä myös digihoitopolkujen suunnittelussa, mutta siellä ei oo mitään kriteereitä millekään. Se on lähinnä sitä, että kattellaan, että näyttää ihan kivalta, ja julkaistaan. Ei edes testata, siis mikä on hyvin olennainen osa palvelujen kehittämisessä Vastauksissa toivottiin linjakasta kehittämistä niin, että sairaanhoitopiirien omat prosessit huomioidaan esimerkiksi digihoitopoluilla potilastietoja kerättäessä, jotta tietojen käsittely olisi linjassa organisaation ohjeiden ja arkistonmuodostussuunnitelman kanssa. Sairaanhoitopiirien erilainen asema hankkeessa näkyi vastauksissa erityisesti resurssien kohdalla. Resursseissa oli vastaajien mukaan ollut suuria eroja ja yliopistosairaaloiden hajautettu rahoitus oli hidastanut kehittämistyötä. muilla sairaanhoitopiireillä ei oo ollut mahdollisuutta resursoida sitä yhtä vahvasti kuin ehkä HUSissa on, ja se on näkynyt siinä, että kun se resurssien vähyys on ollut jossain määrin semmonen rajoittava tekijä siinä yhteistyössä Resurssit ovat olleet koko ajan kortilla. Vastauksissa korostui se, että laajan hankkeen aikataulu oli tiukka ja tällä oli ollut seurauksia kehittämistyön tuloksiin. Kiire oli aiheuttanut sen, että kaikkiin kehittämisen osa-alueisiin ei ollut paneuduttu riittävän syvällisesti. Tässä kohden vastauksissa mainittiin erityisesti käytettävyyteen ja tietosuojaan ja turvaan liittyviä seikkoja. on paljon teknisiä asioita, joita ei ihan tässä aikataulussa oo ollut mahdollista miettiä loppuun saakka niin, että niitä on tässä jouduttu matkan varrella säätämään Tietosuojan ja turvan kehittämisen osalta periaatteena oli ollut, että noudatetaan ohjeistuksia tietoturvalliseen kehittämiseen ja sen lisäksi auditoidaan toiminta ja tarvittaessa korjataan, jos puutteita esiintyy. Standardipalveluna kuukausittain skannattiin tietoliikennettä tietoturvauhkien ja haavoittuvuuksien varalta. Periaate on se jatkuvan parantamisen malli siinäkin, että lähdetään siitä, että meillä on hyvä ohjeistus, miten pitää tehdä asioita, ja vielä sitten auditoidaan ja korjaillaan, jos on jotain löydöksiä. Vastauksissa esiintyi kritiikkiä erityisesti toteutetun tietosuoja-auditoinnin tulosten julkistamiseen liittyen. Mainittiin, ettei auditoinnin perusteella korjaavia toimenpiteitä ollut tehty ja asiaa ei otettu vakavasti. Puutteita tietosuojan ja turvan osalta oli hankkeen aikana havaittu ja tiukka aikataulu näkyi vastaajien mukaan siinä, ettei niihin pystytty asianmukaisesti reagoimaan. Jos nyt pilottiaikaa katotaan, niin kyllähän siellä valitettavasti puutteita on, tietoturvan ja tietosuojan osalta. 19

Tässä näkyy just se kiire, mitä alussa just sanoin, että jos meillä olis vaikka vuosi enemmän aikaa, ollut käyttää ja kehittää, niin tälläsiinkin asioihin (puutteet tietosuojassa ja -turvassa) ois ollut mahdollista reagoida. Haastatteluiden ja avointen kysymysten perusteella yhteistyötä hankkeessa tarkasteltiin kolmesta näkökulmasta (Kuvio 13). Kuvio 13. Yhteistyön teema-alueet Hankkeen sisäinen yhteistyö oli vastaajien mukaan oikein hyvää ja hankkeessa mukana olleiden sairaanhoitopiirien välillä yhteistyö toimii teknisellä tasolla kivasti. Kuitenkin vastauksissa erottui vahvasti käsitys, että tämä on HUS:n hanke ja muut osapuolet ovat osin kokenet tiedonkulun puutteelliseksi. Myös pohdittiin siitä, oliko kyse hankkeen vai HUS:n tarpeista esiintyi vastauksissa. Tiedonkulkuun HUSin ulkopuolelle olisi kiinnitettävä huomiota. HUSin tietohallinnon tiloissa työskentelevät henkilöt saavat paljon arvokasta tietoa toisiltaan. Tämä tieto ei välity muihin yliopistosairaaloihin. Yhteistyö muiden kansallisten hankkeiden kanssa oli vastaajien mukaan vähäisempää, samoin yhteistyö perusterveydenhuollon kanssa oli vähäistä. Terveyskylä.fi-palvelu oli vastaajien mukaan puhtaasti erikoissairaanhoidon hanke. Erityisesti toinen hallitusohjelman kärkihanke, Omat digiajan hyvinvointipalvelut (ODA) -projekti nousi vastauksissa esiin, kuten myös organisaatiotason ja lainsäädännön kysymykset perusterveydenhuollon kanssa tehtävälle yhteistyölle. meillä (ODA ja Terveyskylä) on ollut alusta alkaen ollut ihan erilainen teknologiapohja, ja sitten toisaalta taas, ei oo edes lainsäädäntöä, joka oikeesti mahdollistais sen tietojen vaihdon ja ne katkeamattomat hoitoketjut Yhteistyö Kelan kanssa sujui vastaajien mielestä hyvin ja integraatioita omatietovarantoon oli toteutettu hyvässä yhteistyössä. 20

3.7 Teoreettisten mallien tarkastelu Aineiston ennustettavuutta tarkasteltiin tilastollisin testein hanketyöntekijöiden asenteen ja Terveyskylä.fi-palvelujen käytettävyyden osalta. Aineistosta ei noussut esille tilastollisesti merkitseviä eroja asennoitumisesta tai aikomuksessa käyttää Terveyskylä.fi-palveluja. TAMmallin muuttujia analysointiin suhteessa taustamuuttujiin. Koulutus (p=,025) nousi tekijäksi, joka ennustaa vastaajien asennoitumista Terveyskylä.fi-palveluiden koettuun hyödyllisyyteen. Työskentelymuoto hankkeessa (p=,031), eli vaihtoehdot työn ohella, osa-aikaisesti tai kokoaikaisesti, oli tilastollisesti merkitsevä vastaajan aikomuksessa käyttää Terveyskylä.fipalveluja. Työkokemusvuodet terveydenhuollossa (p=,098) olivat tilastollisesti heikosti merkitsevä vastaajien asenteessa Terveyskylä.fi-palveluihin tässä aineistossa. TAM-mallin muuttujien (koettu helppokäyttöisyys, koettu hyödyllisyys, asenne ja aikomus) avulla selvitettiin vastaajien asennoitumista Terveyskylä.fi-palveluja kohtaan ja aikomusta käyttää niitä (Kuvio 14). Aikomus 9,1 27,3 63,6 Asenne 11,5 34,5 54 Koettu hyödyllisyys 7 47,7 45,3 Koetu helppokäyttöisyys 1,2 15,1 51,2 32,6 0 10 20 30 40 50 60 70 80 90 100 Jokseenkin eri mieltä Jokseenkin samaa mieltä En eri enkä samaa mieltä Samaa mieltä Kuvio 14. TAM-mallin muuttujien yhteenveto Vastaajien myönteinen asenne ja aikomus käyttää Terveyskylä.fi-palveluja kohtaan oli selkeä ja vahva. Ohjelmien rajapintoihin liittyvät haasteet sekä hankalaksi koettu kirjautuminen heijastuivat koettuun helppokäyttöisyyteen. DeLonen ja McLeanin tietojärjestelmien onnistumisen (IS) mallin muuttujien (järjestelmän laatu, palvelun laatu, tiedon laatu, aikomus käyttää, käyttäjätyytyväisyys ja nettovaikutus) avulla selvitettiin vastaajien käsityksiä Terveyskylä.fi-palvelusta laadun eri näkökulmista, käyttäjätyytyväisyyttä sekä aikomusta käyttää palvelua jatkossakin. Myös palvelun käytön nettovaikutuksia selvitettiin edellä mainittujen muuttujien avulla (Kuvio 15). 21

Analyysissa mallin muuttujia kuvaavista väittämistä muodostettiin summamuuttujat, joita vasten taustamuuttujat (työtehtävä sairaalassa, työkokemus hankkeessa, työkokemus organisaatiossa, työkokemus terveydenhuollossa, sukupuoli, ikä, kehitystyön painotusalue, hankkeessa työskentelymuoto ja koulutus) analysoitiin. Tilastollisesti merkitseväksi tulosten kannalta analyysissa nousivat taustamuuttujista kehitystyön painotusalue (p=,030), eli avoimen puolen palveluissa tai digihoitopolulla suhteessa järjestelmän laatuun sekä työskentely hankkeessa (kokoaikainen, osa-aikainen, työn ohelle) suhteessa käyttäjätyytyväisyyteen ja aikomukseen käyttää palvelua jatkossakin. Tiedon laatu Aikomus käyttää Käyttäjätyytyväisyys Järjestelmän laatu Nettovaikutus Palvelun laatu 0 10 20 30 40 50 60 70 80 90 100 Eri mieltä Jokseenkin eri mieltä En eri enkä samaa mieltä Jokseenkin samaa mieltä Samaa mieltä Kuvio 15. DeLone ja McLeanin tietojärjestelmän onnistumisen mallin muuttujien yhteenveto Vastaajat pitivät Terveyskylä.fi-palvelujen sisältämää tietoa laadukkaana. Teknisissä ongelmatilanteissa vastaajat kuitenkin toivoivat selkeämpää ohjeistusta ongelmatilanteiden ratkaisemiseksi ja tarkempaa tietoa siitä kenelle palaute tulisi lähettää. Vastaajat olivat valtaosin tyytyväisiä Terveyskylä.fi-palveluihin ja aikoivat käyttää niitä jatkossakin. 22

4 Tulosten tarkastelua Virtuaalisairaala 2.0 hanke on yksi hallituksen käynnistämistä Digitalisoidaan julkiset palvelut kärkihankkeista (Valtioneuvoston kanslia 2015). Hankkeella on edistetty asiakas- ja potilasnäkökulmaa, pyritty lisäämään palveluiden sujuvuutta ja viime kädessä julkisen sektorin tuottavuutta. Myönteisten muutosten taustalla voi nähdä suomalaisten hyvät valmiudet käyttää tietokonetta, joka näkyi virallisissa tilastoissa (Hyppönen ym. 2018). Suomalaisista 73 prosenttia oli hakenut tietoja viranomaisisten tai julkisten palveluiden tuottajien internetsivuilta viimeisen 12 kuukauden aikana (Suomen virallinen tilasto 2017). Asiakashyöty Virtuaalisairaala 2.0 hanke tarjoaa käyttäjille digitaalisen ympäristön ja samalla enemmän vastuuta omasta hyvinvoinnista ja hoidosta. Tämä on nähtävissä myös aiemmissa tutkimuksissa esimerkiksi Amante ym. 2014. Sähköisten sovellusten lähtökohtana on itsehoito, ennalta ehkäisy ja terveyden tukeminen. Hanketyöntekijät arvioivat hyvin yksimielisesti, että Terveyskylä.fi-palvelut tarjoavat ajantasaista, virheetöntä ja yksiselitteistä tietoa kansalaisille. Tiedon laatu on yksi keskeisimmistä edellytyksistä virtuaalisten palvelujen onnistumisessa (DeLone & McLean 2003) Menossa oleva muutos nähtiin myös potilaskeskeisyyttä lisäävänä, mikä vaikuttaa myönteisesti potilaiden ja heidän läheistensä sitoutumiseen, mikä vahvistaa aiempien tutkimusten tuloksia (Ammenwerth ym. 2011, Amante ym. 2014, Kruse ym. 2015). Terveyskylä.fi-palvelujen arvioitiin parantavan potilaan ja ammattilaisen vuorovaikutusta, minkä on tutkimusten perusteella osoitettu lisäävän potilastyytyväisyyttä ja asiakassuhteen pysyvyyttä. Tämä vastaa aiempien tutkimusten tuloksia (Kruse ym. 2015). Terveydenhuollon ammattilaisten arvio omasta työnhallinnastaan ei ollut yhtä myönteinen kuin heidän arvionsa potilaiden saamasta hyödystä. Hiukan yli puolet vastaajista arvioi, että muutos vaikuttaa myönteisesti työnhallintaan. Perusterveydenhuollon ja erikoisairaanhoidon välisen työnjaon koki myönteiseksi puolet vastaajista, mutta toimintamallien kansallisten linjausten suhteen toivottiin enemmän osapuolten välistä yhteistyötä. Vastaavanlaisia tutkimustuloksia julkaistiin Satakunnan Makropilotin arvioinnissa (Ohtonen ym. 2002), kansainvälisissä tutkimuksissa mm. Nguyen ym. 2014, Otte-Trojel ym. 2016, Ross ym. 2016 ja tuorein kotimainen Kujala ja kumppaneiden tutkimus (2018a). Digitalisaation kärkihankkeiden arviointiraportissa (Pyykkö ym. 2018) nostettiin esille vähäinen koordinaatio yli hankkeiden ja hanketoimijoiden huoli mahdollisista päällekkäisyyksistä. Tässä ulkoisessa arvioinnissa hanketyöntekijät olivat myös huolissaan Terveyskylä.fi ja Terveysportin mahdollisista päällekkäisyyksistä. Terveyskylä.fipalveluiden vaikutusta potilaiden hoitotuloksiin hanketyöntekijät eivät vielä pystytty arvioimaan. Ammattilaisten arvio siitä, että tarjottu palvelu vastaa asiakkaan tarpeeseen ja odotuksiin todettiin tärkeäksi tässä tutkimuksessa myös aiemmassa tutkimuksessa (Sohail 2003). Tämän hetkinen muutos Terveyskylä.fi-palveluissa koettiin myönteisenä. Vaikuttavuus ja laatu Kehittämiseen osallistuneiden henkilöiden arvio tiedon laadusta oli myönteinen. Tutkimusten mukaan tiedon laatu vaikuttaa merkittävästi terveydenhuollon ammattihenkilöstön 23

aikomukseen käyttää järjestelmää, järjestelmää kohtaan kokemaan käyttäjätyytyväisyyteen, järjestelmän käyttöön sekä koettuun käytettävyyteen ja hyödyllisyyteen (perceived usefulness). Tutkimuksen tulokset vahvistavat aiempien tutkimusten tuloksia (mm. Petter & Fruhling 2011, Choi ym. 2013; Cho ym. 2015, Tilahun & Fritz 2015, Ojo 2017, Yu & Qian 2018). Ammattilaisten näkökulma tiedon laatuun voi olla täysin erilainen kuin tiedon laatu kuluttajan eli potilaan näkökulmasta (Bliemel & Hassanein 2006; Tao ym. 2017). Potilaiden käsitys tiedon laadusta vaikuttaa mm. siihen, miten hyödylliseksi ja helppokäyttöiseksi sähköisten terveydenhuollon palvelujen käyttö koetaan ja siihen, miten potilaat jatkossa aikovat käyttää erilaisia sähköisiä terveydenhuollon palveluja (Mou & Cohen 2014; Davis 1989; Davis ym. 1989). Palvelun laatu on järjestelmän ja tiedon laadun ohella yksi loppukäyttäjän käyttäjätyytyväisyyteen oleellisesti vaikuttavista sähköisen verkkopalvelun ominaisuuksista. Palvelun laatu voidaan määritellä esimerkiksi sen kautta, että tarjottu palvelu vastaa potilaan tarpeisiin ja odotuksiin (Sohail 2003). Loppukäyttäjät heijastavat palvelun laatua siihen, mitä he haluavat, odottavat saavansa tai olettavat saavansa (Berry ym. 1988.) Hanketyöntekijät arvioivat potilaiden suhtautuvan Terveyskylä.fi-palveluihin myönteisesti ja pitävän palveluja hyvänä ideana. Tutkimuksissa on kiinnitetty huomiota palvelun tuottamaan mielihyvään sekä verkkosivuston tai -palvelun ja käyttäjän väliseen vuorovaikutukseen, mikä on todettu myös aiemmassa tutkimuksessa (Bresolles ym. 2014). Tyytyväisyys terveydenhuollon sähköisen sovelluksen laatuun on merkittävä käyttäjätyytyväisyyden mittari ja siten yksi suositeltavista palautemuodoista Terveyskylä.fi-palveluissa. Tämän vahvistavat aiemmat tutkimukset aiheesta mm. Akter ja kumppanit (2013) sekä Nguyen ja kumppanit (2014). Yhteentoimivuus Kirjautuminen palveluun jakoi näkemyksiä ja kriittisimmät arviot kohdistuivat palvelujen käyttöliittymään ja siirtymiseen eri toimintojen välillä. Aiemmissa tutkimuksissa on todettu, että käyttöliittymän toimivuus tai vasteaika vaikuttavat käyttäjätyytyväisyyteen ja aikomukseen käyttää järjestelmää jatkossa (mm. Bossen ym 2013; Petter & Fruhling 2011, Cho ym. 2015). Virtuaalipalvelujen käyttöönoton alkuvaihe näkyi vastaajien arvioissa siten, että kaikkia toimintoja ei pystytty vielä arvioimaan, esimerkiksi potilaan hoitoa koskevien tietojen hakemista tai hakutoimintojen sujuvuutta. Vastaajien myönteinen asenne muutokseen näkyi hyvin siinä, että he suosittelivat Terveyskylä.fi-palvelujen käyttöä kollegoilleen. Tekniseen tukeen vastaajat olivat vain kohtalaisen tyytyväisiä ja odottivat tekniseltä tuelta enemmän ohjeistusta sekä selkeää osoitetta, johon osoittaa kysymykset ja palautteet. Toteutettavuus Osaaminen ja tekninen tuki ovat aiempien tutkimusten mukaan muutosten ja käyttöönottojen onnistumisessa ensisijaisen tärkeitä, koska puuttuessaan ne hidastavat muutoksen läpivientiä (Nguyen ym. 2014, Ross ym. 2016, Kujala ym. 2018a ja b). Tässä tutkimuksessa vastaajat olivat kokeneet kehittämisilmapiirin erittäin myönteiseksi ja olivat saaneet kannustusta työssään. Teknisissä ongelmissa vastaajat odottivat selkeämpiä vastauksia ja nopeampaa tukea. Kehittämistyön välineisiin ja tiedon kulkuun ei kaikilta osin oltu tyytyväisiä Terveyskylä.fi- 24

palvelujen arvioinnissa. Otte-Trojel ja kumppanit (2015) nostivat esille tiedotuksen ja käytännönläheisen koulutuksen merkityksen niin teknisiin kysymyksiin kuin työnkulkuihin ja ihmisten väliseen kanssakäymiseen liittyen. Virtuaalisairaala 2.0 hankkeessa kanssakäymisen merkitys nousi esille yhteistyön puutteena perusterveydenhuollon ja erikoissairaanhoidon välillä, mutta myös kansallisten sosiaali- ja terveydenhuollon digitalisaatiohankkeiden osalta. Kehittämistyö Kehittämistyön arvioista välittyi hanketyöntekijöiden innostus työhön, jota kuvaa toteamus hankkeessa on ollut hyvä syke ja tekemisen tahto. Vastaajat arvioivat ilmapiirin avoimeksi ja kannustavaksi. Terveyskylä.fi-palvelujen tai yleensä järjestelmän onnistunutta käyttöönottoa tukevat rakenteelliset- ja organisatoriset sekä henkilöstöön ja tekniikkaan liittyvät tekijät. Näihin kuuluvat aiemman tutkimuksen mukaan mm. organisaation tiedonkulkuun, järjestelmien hyväksyntään, ICT-infrastruktuuriin ja järjestelmien käytettävyyteen liittyvät tekijät. (Sligo ym. 2017.) Kehittämistyötä ja järjestelmän käyttöönottoa tukevat organisaation tasolla johdon sitoutuminen ja visio, tuki, annettu palaute ja kyky muutoksiin, riittävä rahoitus ja järjestelmän käytöstä saatavat hyödyt. Virtuaalisairaala-hankkeessa vastaajista suurin osa työskenteli hankkeessa työn ohella, mikä heijastui heidän mahdollisuudessa sitoutua kehitystyöhön. Ensisijaisissa kehittämiskohteissa mainittiinkin usein resursointi ja painotettiin kansallisen toimintamallin vaatiman resursoinnin huomioimista. Kehittämistyön välineisiin ei oltu tyytyväisiä ja tiedonkulkua pidettiin puutteellisena. Aiempien tutkimusten perusteella tiedetään, että kehittämistyötä ja käyttöönottoa edistäviä tekijöitä ovat kehittämistyön suunnittelu ja kattava käyttöönottosuunnitelma, riittävä tiedonkulku niin projektin aikana kuin käyttöönoton jälkeen sekä henkilöstön riittävä käyttökoulutus sekä jatkuva käytön tuki (Nguyen ym. 2014, Ross ym. 2016, Sligo ym. 2017, Kujala ym. 2018). Tämän tutkimuksen vastaajat esittivätkin ratkaisuiksi toiminnan säännöllistä arviointia ja kehittämistyön aktiivista seurantaa. Vastaavanlaisen tulos oli noussut esille Gartnerin Digitalisaation kärkihankkeiden arviointiraportista 2018 (Pyykkö ym. 2018). 25

5 Johtopäätökset Haastatteluissa ja avointen vastausten kuvauksissa nostettiin esiin useita kehittämiskohteita. Kokonaisuutena ulkoisen arvioinnin tulosten perusteella voidaan johtopäätöksissä todeta seuraavaa: - Hanketyöntekijät arvioivat Terveyskylä.fi-palvelujen lisäävän potilaiden osallistumista omaan hoitoonsa, vuorovaikutuksen parantuvan potilaan ja ammattilaisen välillä, ammattilaisten välisen yhteistyön vahvistuvan ja palvelujen laadun vakiintuvan. - Terveyskylä.fi-palvelujen laatuun oltiin tyytyväisiä. Esimerkiksi tiedon laatu koettiin hyväksi ja tietoa pystyttiin hyödyntämään yksilöllisesti. - Hankkeen aikataulu (2016-2018) ei mahdollistanut tuotantokäyttöä laajassa mittakaavassa, minkä johdosta todellisten potilasvaikutusten osoittaminen jää tulevaisuuteen. - Sisällön tuotannon suunnittelun ja teknisen tuen yhteensovittaminen vahvistaa palvelujen käytettävyyttä, nyt yhtenäisten laatukriteerien puute heijastui uusien tuotteiden julkaisemiseen. - Järjestelmän suorituskyvyn, erityisesti hitausongelmiin ja toimintavarmuuteen tulee jatkossa kiinnittää huomiota. Kehittämiskohteina nähtiin erityisesti teknisen toimivuuden parantaminen. - Tietosuojan ja turvan huoli tuli esille hanketyöntekijöiden vastauksissa. Hankkeen aikataulu koettiin kireäksi ja toivottiin enemmän tietoa ja toimenpiteitä tietosuojan ja turvan varmistamiseen. - Yhteistyötä perusterveydenhuollon ja erikoissairaanhoidon välillä tulee tehdä myös kehittämistyön eri tasoilla. Hanketyöntekijöiden arvio oli, että Virtuaalisairaala 2.0 hanke oli HUS keskeinen. - Tietoisuus muista kansallista kehittämishankkeista tarvitsee vahvistusta. - Kansallisen kehittämistyön kulmakiviä ovat säännöllinen tiedottaminen, päivittyvät ohjeistukset ja koulutukset, yhtenäiset toimintamallit, yhteisesti sovittu työnjako ja tarpeenmukainen resursointi. 26