RAY:n avustamat verkkopalvelut katsaus käytännön toteutuksiin ja kehityssuunnitelmiin Keskustelutilaisuus 14.5.2013 RAY, Leppävaara RAY Avustusosasto 1
Ohjelmarunko 12.00-12.10 Tilaisuuden avaus Tuomas Koskela, RAY 12.10-12.45 Verkkovertaistuen tutkimus havaintoja ja suosituksia 12.45-13.15 RAY:n selvitykset järjestöjen verkkopalveluista 13.15-13.30 Tauko 13.30-15.00 Omakohtaiset kokemukset verkkopalvelujen kehittämisestä. Krista Lagus, Akatemiatutkija, Aalto-yliopisto Vesa Kurikka, RAY Järjestöjen edustajat / yleiskeskustelu RAY Avustusosasto 2
Keskustelutilaisuuden tavoitteet 1. Verkkovertaistuen tutkimuksen havaintojen ja suositusten esittely. 2. RAY:n selvitystyön tavoitteiden ja huomioiden läpikäynti. 3. Järjestöjen kokemusten ja toiveiden esiin tuonti. 4. Keskustelu tietotekniikan mahdollisuuksista järjestötoiminnassa. Haasteet, mahdollisuudet, rajoitukset ja oivallukset. RAY Avustusosasto 3
Sähköiset palvelut järjestötoiminnassa Tietotekniikka tarjoaa organisaatioille yhä monipuolisempia mahdollisuuksia tehostaa toimintaansa ja tarjota kohderyhmilleen palveluja uusilla tavoilla. Sosiaali- ja terveysalan järjestöjen sähköiset palvelut ovat osa yleistä tietoyhteiskuntakehitystä. RAY:n avustamien hankkeiden kokoluokat, tuotokset, toteutustavat ja kustannustasot vaihtelevat suuresti. Vuonna 2010 toteutettu selvitys RAY:n avustamista verkkopalveluista antoi yleiskatsauksen tuolloin käytössä oleviin palveluihin. Nyt on käynnissä kaksi jatkoselvitystä, joiden tuloksia hyödynnetään RAY:n avustusperiaatteiden ja -käytäntöjen kehittämisessä: Aalto yliopiston tutkimus keskittyy verkkovertaistuen toteutuksiin valituissa kohteissa. RAY:n sisäinen selvitys perehtyy vuonna 2012 avustusta saaneisiin verkkopalveluihin. Tavoitteena on kerätä tietoa muun muassa: palveluilla tavoiteltavista hyödyistä, toteutuksen ja ylläpidon resursoinnista ja kustannusrakenteista, palveluiden toimivuudesta ja käyttäjälähtöisyydestä sekä toteutettujen ratkaisujen yleiskäyttöisyydestä. RAY Avustusosasto 4
Tunnustuspalkintoja vaikuttavasta järjestötyöstä Pesäpuu ry Exit - pois prostituutiosta ry RAY Avustusosasto 5
Verkkovertaistuen tutkimus havaintoja ja suosituksia RAY-järjestöiltapäivä 14.5.2013 Krista Lagus, Aalto-yliopisto Sekä työryhmä Lassi Haaranen, Tuula Styrman, Juho Saari, Ilkka Tiainen
Taustaa VirtualCoach Hyvinvoinnin polut tutkimushanke 2011-2013 o Teemoja: miten tukea yksilöllistä hyvinvointia kokonaisvaltaisesti, valmentavalla otteella, kehittyneillä data-analyysivälineillä ja sosiaalisen median keinoilla o Seminaari: Vertaisyhteisöt, vertaisdata, vertaistuen välineet kesäkuu 2012 o Kansallinen vertaistukikysely, heinä-elokuu 2012 o Vertaisaivoriihi, syyskuu 2012
Selvityksen näkökulmat
Tutkitut palvelut Perheaikaa: live-chat, nettiryhmä, keskustelupalsta, nettiluento Pelivoimapiiri: Vertaistukipalvelua/neuvonta-palvelua (myös SMS) Tukinet: Keskustelufoorumi, vertaisryhmiä, livetuki (chat) Kohtauspaikka: Keskustelufoorumi Turvakoti: Keskustelupalsta, tietoa, kahdenkeskinen keskustelu
Toteutus Viiden eri järjestön nettipalvelut esikuvaselvityksen kohteina, kattaen eri elämänalueita Teknologinen selvitys: kysely + oma arvio + haastattelut Palveluselvitys: kysely + haastattelut Käyttäjäkysely: 28.3.-28.4. o 263 vastaajaa
Teknologinen selvitys internetvertaistukipalveluista Lassi Haaranen 2013-04-03
Teknologisen selvityksen rakenne - Arviointikriteerien täsmentäminen - Kirjallinen kysely palveluntarjoajille arviointikriteerien perusteella - Tekninen asiantuntija kokeili ja arvioi palveluita - Tarkentavat haastattelut kyselyiden jälkeen
Arviointikriteerit Toteutusteknologiat Skaalautuvuus Toimintavarmuus Rajapinnat ja integroitavuus Kehitys ja ylläpito Mittaus ja käyttäjämäärien tilastointi Käytettävyys ja esteettömyys
Vahvuuksia Valid Xhtml; Mobiili HTML validia Siisti ja nykyaikainen toteutus (myös mobiili) Ohjelmisto avointa lähdekoodia Koordinoijan vaihtuminen käyty kertaalleen onnistuneesti läpi Vaihto toiseen palveluntarjoajan tehty jo kertaalleen onnistuneesti Yhteistyö teknisen toimittajan kanssa toimii erinomaisesti Palvelua tarjolla tekstiviestitse Runsaasti erilaisia palveluita
Haasteita Toteutusteknologiat: Teknisesti haastava, vanhanaikainen ja sekava toteutus; Kuvista puuttuu alttekstit, HTML ei validia; Tehdään mieluummin itse kuin käytetään valmiita ratkaisuja Skaalautuvuus: Toimittajan skaalautuvuus; Tekstiviestiliikenne ei skaalaudu Toimintavarmuus: Yhden toimittajan varassa oleminen; Pienen toimijan varassa oleminen; Tiukasti sidottu tekniseen palveluntarjoajaan Käytettävyys ja esteettömyys: Ei systemaattisesti seurata
Haasteita Kehitys ja ylläpito: Käytettävyyden kehittäminen satunnaista käyttäjäpalautteen perusteella; Toiminnan budjetti kehityksen suhteen
Yleisesti Tekniikka on vain mahdollistaja......kuitenkin teknisen kumppanin valinta on erittäin kriittistä ja vaikuttaa tekniseen laatuun huomattavasti Ero parhaimpien ja huonoimpien toteutusten välillä oli merkittävä Google Analytics ylivoimaisesti suosituin, 4/5 käyttää tai on ottamassa käyttöön
Yleisesti Yhden pienen toimijan varassa oleminen suuri riski useimmilla Myöskin sopivan yhteistyökumppanin löytäminen usein haastavaa Monella suuria haasteita käytettävyyden kehittämisessä
Suosituksia teknisen selvityksen pohjalta 1. Google Analyticsin käyttöönotto Sivustojen kävijämäärien seurannan yhteismitallistamiseen Google Analytics on toimiva ratkaisu. Tämän avulla palveluiden todellisia kävijämääriä voi vertailla keskenään luotettavalla tavalla. Pelkkien kävijämäärien lisäksi tämä palvelu tarjoaa mahdollisuuden seurata millä tavalla käyttäjät liikkuvat sivustolla, joka on arvokasta tietoa käytettävyyttä kehitettäessä.
Suosituksia teknisen selvityksen pohjalta 2. Konsultointia käytettävyyden kehittämiseen Teknisen konsultoinnin ja opastuksen lisäksi käytettävyyden kehitys koettiin haastavaksi. Mahdollisena ratkaisuna tähän on koulutus sekä järjestöjen kesken jaettu resurssi käytettävyyden kehittämiseen.
3. Vertaisohjausta hyvien teknisten ratkaisujen löytämiseen Kaikilla järjestöillä ei ole teknistä osaamista ja resursseja arvioimaan teknisen toimittajan tuottamia ratkaisuja. Jo pienelläkin koulutuksella ja vertaisohjauksella tätä osaamista voi välittää toisille järjestöille. Esimerkiksi sivuston toimimattomien linkkien tarkistaminen on helppoa automaattisten palveluiden avulla, mutta tällaisista palveluista ei olla tietoisia ja useimmilta sivuilta löytyi toimimattomia linkkejä. Suosituksia teknisen selvityksen pohjalta
RAY-Selvitys internet- vertaistukipalveluista: Palvelut Krista Lagus,Tuula Styrman
Palveluselvityksen rakenne Tekninen selvitys palveluselvityksen taustana Arviointikriteerit ja kysely palveluille Haastattelut palveluiden tarjoamisen näkökulmasta Yhteenveto, suositukset
Palveluiden arviointikriteerit Palvelupolku Nettityön periaatteet Vertaisuus vs. ammattilaisuus Yksilöiden väliset vs. ryhmäkeskustelut Internetin ja kasvokkaisen tuen integraatio Laatu ja sen mittaaminen Palvelun potentiaali, kitka, noste Organisaatio
Palvelun luonne: eri tyyppejä Chat ammattilaisen ja asiakkaan välillä Valta ammattilaisilla Ammattilaisohjattu keskusteluryhmä Keskustelua / interaktiivinen / dynaaminen Ammattilaismoderoitu keskustelupalsta Vertaismoderoitu keskustelupalsta Valta vertaisilla Tietopaketit nettisivuilla Tietoa / Vertaiskokemukse t tarinoina netissä
Havaintoja (alustava) - Palvelun luonne: Näyttäisi olevan palveluiden päätyyppejä, mm. - Tasa-arvoinen vertaisfoorumi, jossa ammattilaiset joskus osallistuvat yhteiseen keskusteluun, mutta samanarvoisina, taustalla - Tukipalveluita ammattilaisilta käyttäjille netissä (esim. Livechat, tai kerran päivässä ammattilainen lukee ja vastaa)
Havaintoja (alustava) Palvelupolku: esim. kriisin kautta, diagnoosin juuri saaneet, kun elämäntilanne muuttuu, pitkäaikaisia päivittäisiä käyttäjiä vs. lyhyt käyttöjakso. Useita erilaisia polkuja. Nettityön periaatteet: omat ohjeet, Puheet, NuSuFe, Netiketti Vertaisuus vs. ammattilaisuus: Useammalla siirtymää ammattilaisohjauksesta vapaampaan. Puhtaassa vertaisfoorumissa keskinäinen kontrolli pitää huolta pesän puhtaudesta, jos sille annetaan aito mahdollisuus.
Havaintoja (alustava) Yksilöiden väliset vs. ryhmäkeskustelut: Vaihtelee, osalla suljetut ryhmäkeskustelut tärkeitä, osalla yksärit käyttäjien kesken ei mahdollisia. Osassa yksityiskeskustelut ammattilaisen/koulutetun kanssa tärkeitä. Internetin ja kasvokkaisen integraatio: vähäistä. Usein itseohjautuvaa, paikallisesti ohjautuvaa.
Havaintoja Laatu ja sen mittaaminen: Pääosin seurataan lukemalla käyttäjäpalautteita ja viestejä. Muutamalla ollut kysely. Yksi aikoi tehdä käyttäjäkyselyjä asiakkaille, vapaaehtoisille, kumppanuusjärjestöille sekä työntekijöille. Skaalautuvuus: osa hyvin skaalautuvia. Osalla haasteena resursointi (raha, koulutetut ihmiset) tai tapa jolla palvelu on järjestetty ei skaalaudu.
Kitka, esimerkkejä Vertaiskeskustelufoorumit: Aika yksin/irrallaan muusta organisaatiosta. Toisaalta ehkä etu yhteisölle? Ammattilaischat: Kahdenkeskisten chat-aikojen saatavuus riippuu järjestöjen työntekijöiden aikatauluista Ammattilaisohjattu keskusteluryhmä: Samat käyttäjät rekisteröityvät kaikkiin ryhmiin. Perustaminen ja teemojen valinta tapahtuu järjestöjen/ammattilaisten toimesta, kuuluuko käyttäjän ääni? Tekstiviestipalvelu: Teknologiset/resursoinnin haasteet skaalautuvuuden esteenä
Nostetta, kehitysideoita vastaajilta Netin laajentaminen järjestön muihin toimintamuotoihin Säännölliset chatit, ja Päivystystoiminta (esim. ammattilainen näkyy vihreänä kun on paikalla) Tiiviimpi integrointi ja työnjako eri organisaatioiden välillä: muilta ohjausta tänne, meiltä ohjaustamuualle Suljetut ryhmät voisivat toimia työntekijän työkaluina Enemmän liikkuvaa kuvaa, monimediallisuutta, interaktiivisuutta Korkea profiili: kaikki tietävät että se on olemassa (vrt suomi24), siellä eri ryhmiä Verkkoauttamisen yhteisö, joka jakaisi kokemuksia ja välineitä keskenään
Suosituksia (alustava) Roolitus: Vuorovaikutuksen ammattilainen moderoimaan ja fasilitoimaan vertaiskeskusteluja Hyvä esimerkki: Diabetes.fi Kohtauspaikka Systemaattinen ja yhteismitallinen laadullisen palautteen keruu käyttäjiltä Järjestöjen vertaisfoorumi kokemusten vaihtamiseksi ja parhaiden käytäntöjen levittämiseksi Keskustelufoorumien moderaattorien keskinäinen tuki Keskitetty koulutus ja tuki palvelunkehitykselle, jäsennys palvelutyypeittäin
Käyttäjäkysely 262 vastausta (M=39, N=221) 28.3.-28.4. o 110 Diabetes.fi o 82 Tukinet.net o 35 Facebook o 24 Diabetesliitto o 18 Perheaikaa.fi o 8 Turvakoti.net o 3 Pelivoimapiiri Tulosten analyysi käynnistymässä
RAY:n selvitykset järjestöjen verkkopalveluista Keskustelutilaisuus 14.5.2013 RAY, Leppävaara Vesa Kurikka RAY Avustusosasto 1
Verkkopalveluselvityksen työryhmä Heidi Hakulinen: Terveyden ja sosiaalisen hyvinvoinnin vahvistaminen (sairaus- ja potilasjärjestöt, eläkeläisjärjestöt, invalidit, järjestöjen alueellisen yhteistyön kehittäminen) Kirsi Jylhä: Terveyttä ja sosiaalista hyvinvointia uhkaavien ongelmien ehkäiseminen (aistivammaistyö, ikääntyneet, omaishoito, invalidit, kehitysvammatyö, yleinen terveyden edistäminen, nuoriso-ohjelma) Anne Väisänen: Ongelmia kohdanneiden auttaminen (raittiustyö ja päihdehuollon edistäminen, asunnottomuus, aistivammaistyö) Vesa Kurikka: ICT-hankkeet ja käyttöomaisuushankinnat 2
OSA I: Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys 2010 / Pirjo Kupila 3
Selvityksen lähtökohta ja tavoitteet Tutkimusjoukkona 44 yhdistystä ja 59 avustuskohdetta. Huomio järjestöistä ulospäin suuntautuviin verkkopalveluihin. Tutkimuskohteena kotisivujen lisäksi kansalaisten neuvontaan, tukeen ja ohjaamiseen tehtyjä sivustoja sekä järjestöjen tietopalvelusivustoja. Päätavoitteet: Palveluiden toimivuuden ja käyttäjälähtöisyyden arviointi Selvitys palveluiden kehittämisen ja ylläpidon toteutustavoista Selvitystyön pohjana käytettiin julkisten verkkopalvelujen arviointiin kehitettyä Laatua verkkoon- sekä Terve Suomi kriteeristöjä. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys 2010 4
Palvelutyypit Tieto- ja neuvontapalvelu Koulutuspalvelu tai oppimisympäristö Anonyymi auttamispalvelu Keskustelupalsta tai chat Rekisteri tai tietokanta Verkkokauppa Muu (*) kpl 0 10 20 30 40 (*) = mobiilipeli, vihjepalvelu, arviointityökalu, tapahtumaportaali, yms. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys 2010 5
Verkkopalveluilla tavoiteltavat hyödyt Palveluntuottaja: Tuki strategisten tavoitteiden toteuttamiselle. Kustannussäästöt ja tuottavuuden parantuminen. Imagoedut Palvelujen määrän, laadun ja saatavuuden parantaminen. Uusia toimintamuotoja. Lisätietoa kohderyhmästä. Eri toimijoiden yhteen saattaminen. Käyttäjä: Jaksamisen, toimintavalmiuksien ja osallisuuden lisääntyminen. Mahdollisuus vuorovaikutukseen. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys 2010 6
Teknisen toteutuksen haasteita Järjestöillä on tyypillisesti vain rajoitetusti verkkopalvelujen teknisten työkalujen ja menetelmien osaamista. Oikean teknisen ratkaisun löytäminen ja tekijöiden kilpailuttaminen on usein hidasta ja kallista. Sopimukset, suunnitelmat ja tekijät muuttuvat usein IT-toimialan muutosten seurauksena. Teknisen konsultaation ja toteutuksen lopullisesta hinnasta tuli monelle projektille ikävä yllätys. Kansallisten standardien ja suositusten puute vaikeuttaa rajapintojen rakentamista eri palvelujen välille. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys 2010 7
Verkkopalveluhankkeen sudenkuopat Suunnitteluvaihe jää ylimalkaiseksi. Tavoitteita ei konkretisoida riittävästi, kohderyhmän tarpeita ei kartoiteta, projektia ei resursoida kunnolla ja riskianalyysi on summittainen. Kehittämisvaiheessa tekninen toteutus alkaa hallita projektia ja sen varojen käyttöä. Projektiaikataulu pettää, ja tarvitaan lisärahoitusta. Pahimmassa tapauksessa palvelun rakentaminen jää kokonaan kesken. Juurruttamisvaiheessa palvelun integrointi järjestön rahoitukseen ja toimintaprosesseihin jää vaillinaiseksi. Palvelusta tulee heittopussi, ja käyttäjät kaikkoavat muualle. Saturaatiovaiheessa palvelun käyttö ja kysyntä alkavat hiipua. Alamäkeä nopeuttavat palvelun tehoton seuranta ja hidas reagointi käyttäjien palautteeseen. Välttämättömät kehittämistoimenpiteet viivästyvät eikä uusia yhteistyökumppaneita ja mahdollisuuksia etsitä. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys 2010 8
Johtopäätöksiä ja kehittämissuosituksia Jo suunnitteluvaiheessa on syytä selvittää mitä palvelun ylläpito ja rahoitus vaatii hankekauden päätyttyä. Tehdäänkö oma verkkopalvelu vai mennäänkö sinne, missä ihmiset ovat jo valmiina. Verkko näyttää sopivan hyvin vertaistukeen ja yhteisöllisyyden vahvistamiseen. Käyttäjä toivoo verkkopalveluilta ennen muuta uutta sisältöä. Palvelun käyttöä on seurattava aktiivisesti ja käyttäjien palautetta tulee kerätä. Muutoksiin on reagoitava viipymättä. Huomiota tulisi kiinnittää myös lahjoitusten tekemiseen sekä julkaisujen ja muiden aineistojen myyntiin verkossa. Verkkopalveluja pitäisi pystyä käyttämään useilla kielillä. Etenkin suurimpiin projekteihin tulisi palkata oma menetelmäasiantuntija ohjaamaan teknistä kehittämistyötä. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys 2010 9
OSA II: Vuoden 2013 verkkopalveluselvitysten tavoitteet ja huomiot RAY:n verkkopalveluselvitys 2013 10
Verkkopalveluselvityksen tausta Kohdejoukoksi valittiin 45 verkkopalvelu- / tietotekniikkahanketta, joita vuonna 2012 avustettiin kohdennetuilla toiminta-avustuksilla tai projektiavustuksilla noin 8,5 miljoonalla eurolla. Yleisavustuksilla toteutetut verkkopalvelut sekä viestinnällisen vaikuttamisen ja koulutuksen kohteet rajattiin selvityksen ulkopuolelle. Selvitys toteutetaan RAY:n sisäisenä työnä ja siinä käytetään hyväksi avustushakemuksia, vuosiselvityksiä sekä soveltuvin osin hankkeiden tuloksellisuus- ja vaikuttavuusselvityksiä. Selvityksessä kootaan tietoa muun muassa: toteutuksen ja ylläpidon kustannusrakenteista sekä toteutettujen ratkaisujen yleiskäyttöisyydestä. Palveluiden käytettävyys ja sisältö arvioidaan palveluihin tutustumalla. Laatukriteereinä Valtiovarainministeriön laatimia verkkopalvelujen laatukriteerit. Tuloksia hyödynnetään RAY:n avustusperiaatteiden ja -käytäntöjen kehittämisessä. RAY:n verkkopalveluselvitys 2013 11
ICT-avustusten jakauma 2012 Palvelun tyyppi tai tuotos Kpl Avustus t Palveluntuotanto internetissä, palvelusivusto 20 4239 Portaali 5 691 Nykyisen palvelun laajennus internetiin tai 695 mobiiliympäristöön 3 Tietopalvelu 3 878 Toiminnan kehitys 3 786 Uusi toimintamalli 6 590 Verkkotyökalu 3 374 Verkkopalvelujen käytön edesauttaminen 1 101 Järjestelmäkehitys 1 102 RAY:n verkkopalveluselvitys 2013 12
Selvityksen teemat ja kysymykset 1/2 Palvelun tavoitteet: Miksi palvelua tarvitaan? Mitä etuja tavoitellaan (kustannussäästöt, tuottavuus, uusi palvelumuoto...)? Kohderyhmä? Miten toimintaympäristö on kartoitettu (Vastaavat tai täydentävät palvelut, yhteistyömahdollisuudet)? Palvelulla tavoiteltavat hyödyt: Hyöty tai lisäarvo käyttäjälle / organisaatiolle? Löytääkö käyttäjä etsimänsä tiedon? Palvelun toteutustapa: Sisäinen kehityshanke vs. ostopalvelut Valmisohjelmistot vs. räätälöidyt ratkaisut Hankkeen kustannukset: Henkilötyö, Ostopalvelut, Investoinnit, Muut RAY:n verkkopalveluselvitys 2013 13
Selvityksen teemat ja kysymykset 2/2 Palvelutuotanto ja resursointi: Miten käyttäjäryhmät, käyttäjien tarpeet ja käyttötilanteet on otettu huomioon? Miten sisällöntuotanto on toteutettu? Miten palvelun kehittäminen ja ylläpito on toteutettu? Palvelun sisältö: Onko rakenne jäsennelty tarkoituksenmukaisesti? Vaikuttaako sisältö luotettavalta ja ajantasaiselta? Onko tekstisisältö ymmärrettävää ja luettavaa? Palvelun käyttö: Voiko palvelua käyttää erilaisissa teknisissä ympäristöissä? Tuntuuko käyttö turvalliselta ja luotettavalta? Onko navigointi ja tiedon löytäminen helppoa? Onko käyttöliittymä selkeä, yhdenmukainen ja ymmärrettävä? Palvelun johtaminen: Tukeeko palvelu organisaation strategisia tavoitteita ja lisääkö se toiminnan vaikuttavuutta? Ovatko palveluun liittyvät vastuut ja tehtävänkuvat määritelty? Kumppanuuden rooli toteutuksessa? RAY:n verkkopalveluselvitys 2013 14
Yleisiä huomioita verkkopalveluselvityksestä Tavoitteet ovat pääosin selkeitä: Verkkopalveluilla saadaan järjestölle uusi jakelukanava. Tarjotaan uusia palveluja järjestön kohderyhmälle tai nykyisiä palveluja laajennetulle kohderyhmälle. Mahdollisuus vuorovaikutteisuuteen lisääntyy. Järjestön perustoiminnan tunnettuus paranee ja kynnys yhteydenottoon madaltuu. Toiminnan konkreettiset edut eivät kuitenkaan aina käy ilmi dokumentaatiosta. Toteutustapa vaikuttaa tarkoituksenmukaiselta: Toteutuksen pohjana pääsääntöisesti valmisratkaisuja, jotka sovitetaan hankkeen tarpeisiin. Tietotekniikan mahdollisuuksia sovellettu innovatiivisesti useissa hankkeissa. Yhteistyöverkostoja on käytetty avuksi monien palvelujen toteutuksessa. Käyttöön ja sisältöön liittyvät asiat tuntuvat toimivilta: Käyttöliittymien selkeys ja ymmärrettävyys ovat pääosin hyvällä tasolla. Tekstisisältö on ajantasaista sekä luettavaa ja tuntuu luotettavalta. Kustannukset herättävät kysymyksiä: Mihin budjettien suuri vaihtelu perustuu? Mikä on kustannusten ja hyötyjen suhde? RAY:n verkkopalveluselvitys 2013 15
Kysymyksiä keskustelutilaisuuden osallistujille Miten palvelun käyttöä seurataan? Saadaanko käyttäjiltä palautetta? Miten kohderyhmän tarpeet on selvitetty? Kuinka ajantasaista tieto on? Ovatko käyttäjät olleet mukana suunnittelussa? Mikä on käyttäjien kokemaa hyöty palvelusta ja miten se vastaa käyttäjien tarpeisiin? Miten palvelun kehittäminen ja ylläpito on toteutettu? Onko toiminnalla käytössään riittävät resurssit tavoitteiden saavuttamiseksi? Miten valitut tekniset ratkaisut soveltuvat uusiin tarpeisiin? Tukeeko palvelu organisaation strategisia tavoitteita ja lisääkö se toiminnan vaikutuksia? Miten seurataan? RAY:n verkkopalveluselvitys 2013 16