RAY:n avustamat verkkopalvelut katsaus käytännön toteutuksiin ja kehityssuunnitelmiin

Transkriptio

1 RAY:n avustamat verkkopalvelut katsaus käytännön toteutuksiin ja kehityssuunnitelmiin Keskustelutilaisuus RAY, Leppävaara RAY Avustusosasto 1

2 Ohjelmarunko Tilaisuuden avaus Tuomas Koskela, RAY Verkkovertaistuen tutkimus havaintoja ja suosituksia RAY:n selvitykset järjestöjen verkkopalveluista Tauko Omakohtaiset kokemukset verkkopalvelujen kehittämisestä. Krista Lagus, Akatemiatutkija, Aalto-yliopisto Vesa Kurikka, RAY Järjestöjen edustajat / yleiskeskustelu RAY Avustusosasto 2

3 Keskustelutilaisuuden tavoitteet 1. Verkkovertaistuen tutkimuksen havaintojen ja suositusten esittely. 2. RAY:n selvitystyön tavoitteiden ja huomioiden läpikäynti. 3. Järjestöjen kokemusten ja toiveiden esiin tuonti. 4. Keskustelu tietotekniikan mahdollisuuksista järjestötoiminnassa. Haasteet, mahdollisuudet, rajoitukset ja oivallukset. RAY Avustusosasto 3

4 Sähköiset palvelut järjestötoiminnassa Tietotekniikka tarjoaa organisaatioille yhä monipuolisempia mahdollisuuksia tehostaa toimintaansa ja tarjota kohderyhmilleen palveluja uusilla tavoilla. Sosiaali- ja terveysalan järjestöjen sähköiset palvelut ovat osa yleistä tietoyhteiskuntakehitystä. RAY:n avustamien hankkeiden kokoluokat, tuotokset, toteutustavat ja kustannustasot vaihtelevat suuresti. Vuonna 2010 toteutettu selvitys RAY:n avustamista verkkopalveluista antoi yleiskatsauksen tuolloin käytössä oleviin palveluihin. Nyt on käynnissä kaksi jatkoselvitystä, joiden tuloksia hyödynnetään RAY:n avustusperiaatteiden ja -käytäntöjen kehittämisessä: Aalto yliopiston tutkimus keskittyy verkkovertaistuen toteutuksiin valituissa kohteissa. RAY:n sisäinen selvitys perehtyy vuonna 2012 avustusta saaneisiin verkkopalveluihin. Tavoitteena on kerätä tietoa muun muassa: palveluilla tavoiteltavista hyödyistä, toteutuksen ja ylläpidon resursoinnista ja kustannusrakenteista, palveluiden toimivuudesta ja käyttäjälähtöisyydestä sekä toteutettujen ratkaisujen yleiskäyttöisyydestä. RAY Avustusosasto 4

5 Tunnustuspalkintoja vaikuttavasta järjestötyöstä Pesäpuu ry Exit - pois prostituutiosta ry RAY Avustusosasto 5

6 Verkkovertaistuen tutkimus havaintoja ja suosituksia RAY-järjestöiltapäivä Krista Lagus, Aalto-yliopisto Sekä työryhmä Lassi Haaranen, Tuula Styrman, Juho Saari, Ilkka Tiainen

7 Taustaa VirtualCoach Hyvinvoinnin polut tutkimushanke o Teemoja: miten tukea yksilöllistä hyvinvointia kokonaisvaltaisesti, valmentavalla otteella, kehittyneillä data-analyysivälineillä ja sosiaalisen median keinoilla o Seminaari: Vertaisyhteisöt, vertaisdata, vertaistuen välineet kesäkuu 2012 o Kansallinen vertaistukikysely, heinä-elokuu 2012 o Vertaisaivoriihi, syyskuu 2012

8 Selvityksen näkökulmat

9 Tutkitut palvelut Perheaikaa: live-chat, nettiryhmä, keskustelupalsta, nettiluento Pelivoimapiiri: Vertaistukipalvelua/neuvonta-palvelua (myös SMS) Tukinet: Keskustelufoorumi, vertaisryhmiä, livetuki (chat) Kohtauspaikka: Keskustelufoorumi Turvakoti: Keskustelupalsta, tietoa, kahdenkeskinen keskustelu

10 Toteutus Viiden eri järjestön nettipalvelut esikuvaselvityksen kohteina, kattaen eri elämänalueita Teknologinen selvitys: kysely + oma arvio + haastattelut Palveluselvitys: kysely + haastattelut Käyttäjäkysely: o 263 vastaajaa

11 Teknologinen selvitys internetvertaistukipalveluista Lassi Haaranen

12 Teknologisen selvityksen rakenne - Arviointikriteerien täsmentäminen - Kirjallinen kysely palveluntarjoajille arviointikriteerien perusteella - Tekninen asiantuntija kokeili ja arvioi palveluita - Tarkentavat haastattelut kyselyiden jälkeen

13 Arviointikriteerit Toteutusteknologiat Skaalautuvuus Toimintavarmuus Rajapinnat ja integroitavuus Kehitys ja ylläpito Mittaus ja käyttäjämäärien tilastointi Käytettävyys ja esteettömyys

14 Vahvuuksia Valid Xhtml; Mobiili HTML validia Siisti ja nykyaikainen toteutus (myös mobiili) Ohjelmisto avointa lähdekoodia Koordinoijan vaihtuminen käyty kertaalleen onnistuneesti läpi Vaihto toiseen palveluntarjoajan tehty jo kertaalleen onnistuneesti Yhteistyö teknisen toimittajan kanssa toimii erinomaisesti Palvelua tarjolla tekstiviestitse Runsaasti erilaisia palveluita

15 Haasteita Toteutusteknologiat: Teknisesti haastava, vanhanaikainen ja sekava toteutus; Kuvista puuttuu alttekstit, HTML ei validia; Tehdään mieluummin itse kuin käytetään valmiita ratkaisuja Skaalautuvuus: Toimittajan skaalautuvuus; Tekstiviestiliikenne ei skaalaudu Toimintavarmuus: Yhden toimittajan varassa oleminen; Pienen toimijan varassa oleminen; Tiukasti sidottu tekniseen palveluntarjoajaan Käytettävyys ja esteettömyys: Ei systemaattisesti seurata

16 Haasteita Kehitys ja ylläpito: Käytettävyyden kehittäminen satunnaista käyttäjäpalautteen perusteella; Toiminnan budjetti kehityksen suhteen

17 Yleisesti Tekniikka on vain mahdollistaja......kuitenkin teknisen kumppanin valinta on erittäin kriittistä ja vaikuttaa tekniseen laatuun huomattavasti Ero parhaimpien ja huonoimpien toteutusten välillä oli merkittävä Google Analytics ylivoimaisesti suosituin, 4/5 käyttää tai on ottamassa käyttöön

18 Yleisesti Yhden pienen toimijan varassa oleminen suuri riski useimmilla Myöskin sopivan yhteistyökumppanin löytäminen usein haastavaa Monella suuria haasteita käytettävyyden kehittämisessä

19 Suosituksia teknisen selvityksen pohjalta 1. Google Analyticsin käyttöönotto Sivustojen kävijämäärien seurannan yhteismitallistamiseen Google Analytics on toimiva ratkaisu. Tämän avulla palveluiden todellisia kävijämääriä voi vertailla keskenään luotettavalla tavalla. Pelkkien kävijämäärien lisäksi tämä palvelu tarjoaa mahdollisuuden seurata millä tavalla käyttäjät liikkuvat sivustolla, joka on arvokasta tietoa käytettävyyttä kehitettäessä.

20 Suosituksia teknisen selvityksen pohjalta 2. Konsultointia käytettävyyden kehittämiseen Teknisen konsultoinnin ja opastuksen lisäksi käytettävyyden kehitys koettiin haastavaksi. Mahdollisena ratkaisuna tähän on koulutus sekä järjestöjen kesken jaettu resurssi käytettävyyden kehittämiseen.

21 3. Vertaisohjausta hyvien teknisten ratkaisujen löytämiseen Kaikilla järjestöillä ei ole teknistä osaamista ja resursseja arvioimaan teknisen toimittajan tuottamia ratkaisuja. Jo pienelläkin koulutuksella ja vertaisohjauksella tätä osaamista voi välittää toisille järjestöille. Esimerkiksi sivuston toimimattomien linkkien tarkistaminen on helppoa automaattisten palveluiden avulla, mutta tällaisista palveluista ei olla tietoisia ja useimmilta sivuilta löytyi toimimattomia linkkejä. Suosituksia teknisen selvityksen pohjalta

22 RAY-Selvitys internet- vertaistukipalveluista: Palvelut Krista Lagus,Tuula Styrman

23 Palveluselvityksen rakenne Tekninen selvitys palveluselvityksen taustana Arviointikriteerit ja kysely palveluille Haastattelut palveluiden tarjoamisen näkökulmasta Yhteenveto, suositukset

24 Palveluiden arviointikriteerit Palvelupolku Nettityön periaatteet Vertaisuus vs. ammattilaisuus Yksilöiden väliset vs. ryhmäkeskustelut Internetin ja kasvokkaisen tuen integraatio Laatu ja sen mittaaminen Palvelun potentiaali, kitka, noste Organisaatio

25 Palvelun luonne: eri tyyppejä Chat ammattilaisen ja asiakkaan välillä Valta ammattilaisilla Ammattilaisohjattu keskusteluryhmä Keskustelua / interaktiivinen / dynaaminen Ammattilaismoderoitu keskustelupalsta Vertaismoderoitu keskustelupalsta Valta vertaisilla Tietopaketit nettisivuilla Tietoa / Vertaiskokemukse t tarinoina netissä

26 Havaintoja (alustava) - Palvelun luonne: Näyttäisi olevan palveluiden päätyyppejä, mm. - Tasa-arvoinen vertaisfoorumi, jossa ammattilaiset joskus osallistuvat yhteiseen keskusteluun, mutta samanarvoisina, taustalla - Tukipalveluita ammattilaisilta käyttäjille netissä (esim. Livechat, tai kerran päivässä ammattilainen lukee ja vastaa)

27 Havaintoja (alustava) Palvelupolku: esim. kriisin kautta, diagnoosin juuri saaneet, kun elämäntilanne muuttuu, pitkäaikaisia päivittäisiä käyttäjiä vs. lyhyt käyttöjakso. Useita erilaisia polkuja. Nettityön periaatteet: omat ohjeet, Puheet, NuSuFe, Netiketti Vertaisuus vs. ammattilaisuus: Useammalla siirtymää ammattilaisohjauksesta vapaampaan. Puhtaassa vertaisfoorumissa keskinäinen kontrolli pitää huolta pesän puhtaudesta, jos sille annetaan aito mahdollisuus.

28 Havaintoja (alustava) Yksilöiden väliset vs. ryhmäkeskustelut: Vaihtelee, osalla suljetut ryhmäkeskustelut tärkeitä, osalla yksärit käyttäjien kesken ei mahdollisia. Osassa yksityiskeskustelut ammattilaisen/koulutetun kanssa tärkeitä. Internetin ja kasvokkaisen integraatio: vähäistä. Usein itseohjautuvaa, paikallisesti ohjautuvaa.

29 Havaintoja Laatu ja sen mittaaminen: Pääosin seurataan lukemalla käyttäjäpalautteita ja viestejä. Muutamalla ollut kysely. Yksi aikoi tehdä käyttäjäkyselyjä asiakkaille, vapaaehtoisille, kumppanuusjärjestöille sekä työntekijöille. Skaalautuvuus: osa hyvin skaalautuvia. Osalla haasteena resursointi (raha, koulutetut ihmiset) tai tapa jolla palvelu on järjestetty ei skaalaudu.

30 Kitka, esimerkkejä Vertaiskeskustelufoorumit: Aika yksin/irrallaan muusta organisaatiosta. Toisaalta ehkä etu yhteisölle? Ammattilaischat: Kahdenkeskisten chat-aikojen saatavuus riippuu järjestöjen työntekijöiden aikatauluista Ammattilaisohjattu keskusteluryhmä: Samat käyttäjät rekisteröityvät kaikkiin ryhmiin. Perustaminen ja teemojen valinta tapahtuu järjestöjen/ammattilaisten toimesta, kuuluuko käyttäjän ääni? Tekstiviestipalvelu: Teknologiset/resursoinnin haasteet skaalautuvuuden esteenä

31 Nostetta, kehitysideoita vastaajilta Netin laajentaminen järjestön muihin toimintamuotoihin Säännölliset chatit, ja Päivystystoiminta (esim. ammattilainen näkyy vihreänä kun on paikalla) Tiiviimpi integrointi ja työnjako eri organisaatioiden välillä: muilta ohjausta tänne, meiltä ohjaustamuualle Suljetut ryhmät voisivat toimia työntekijän työkaluina Enemmän liikkuvaa kuvaa, monimediallisuutta, interaktiivisuutta Korkea profiili: kaikki tietävät että se on olemassa (vrt suomi24), siellä eri ryhmiä Verkkoauttamisen yhteisö, joka jakaisi kokemuksia ja välineitä keskenään

32 Suosituksia (alustava) Roolitus: Vuorovaikutuksen ammattilainen moderoimaan ja fasilitoimaan vertaiskeskusteluja Hyvä esimerkki: Diabetes.fi Kohtauspaikka Systemaattinen ja yhteismitallinen laadullisen palautteen keruu käyttäjiltä Järjestöjen vertaisfoorumi kokemusten vaihtamiseksi ja parhaiden käytäntöjen levittämiseksi Keskustelufoorumien moderaattorien keskinäinen tuki Keskitetty koulutus ja tuki palvelunkehitykselle, jäsennys palvelutyypeittäin

33 Käyttäjäkysely 262 vastausta (M=39, N=221) o 110 Diabetes.fi o 82 Tukinet.net o 35 Facebook o 24 Diabetesliitto o 18 Perheaikaa.fi o 8 Turvakoti.net o 3 Pelivoimapiiri Tulosten analyysi käynnistymässä

34 RAY:n selvitykset järjestöjen verkkopalveluista Keskustelutilaisuus RAY, Leppävaara Vesa Kurikka RAY Avustusosasto 1

35 Verkkopalveluselvityksen työryhmä Heidi Hakulinen: Terveyden ja sosiaalisen hyvinvoinnin vahvistaminen (sairaus- ja potilasjärjestöt, eläkeläisjärjestöt, invalidit, järjestöjen alueellisen yhteistyön kehittäminen) Kirsi Jylhä: Terveyttä ja sosiaalista hyvinvointia uhkaavien ongelmien ehkäiseminen (aistivammaistyö, ikääntyneet, omaishoito, invalidit, kehitysvammatyö, yleinen terveyden edistäminen, nuoriso-ohjelma) Anne Väisänen: Ongelmia kohdanneiden auttaminen (raittiustyö ja päihdehuollon edistäminen, asunnottomuus, aistivammaistyö) Vesa Kurikka: ICT-hankkeet ja käyttöomaisuushankinnat 2

36 OSA I: Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys 2010 / Pirjo Kupila 3

37 Selvityksen lähtökohta ja tavoitteet Tutkimusjoukkona 44 yhdistystä ja 59 avustuskohdetta. Huomio järjestöistä ulospäin suuntautuviin verkkopalveluihin. Tutkimuskohteena kotisivujen lisäksi kansalaisten neuvontaan, tukeen ja ohjaamiseen tehtyjä sivustoja sekä järjestöjen tietopalvelusivustoja. Päätavoitteet: Palveluiden toimivuuden ja käyttäjälähtöisyyden arviointi Selvitys palveluiden kehittämisen ja ylläpidon toteutustavoista Selvitystyön pohjana käytettiin julkisten verkkopalvelujen arviointiin kehitettyä Laatua verkkoon- sekä Terve Suomi kriteeristöjä. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys

38 Palvelutyypit Tieto- ja neuvontapalvelu Koulutuspalvelu tai oppimisympäristö Anonyymi auttamispalvelu Keskustelupalsta tai chat Rekisteri tai tietokanta Verkkokauppa Muu (*) kpl (*) = mobiilipeli, vihjepalvelu, arviointityökalu, tapahtumaportaali, yms. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys

39 Verkkopalveluilla tavoiteltavat hyödyt Palveluntuottaja: Tuki strategisten tavoitteiden toteuttamiselle. Kustannussäästöt ja tuottavuuden parantuminen. Imagoedut Palvelujen määrän, laadun ja saatavuuden parantaminen. Uusia toimintamuotoja. Lisätietoa kohderyhmästä. Eri toimijoiden yhteen saattaminen. Käyttäjä: Jaksamisen, toimintavalmiuksien ja osallisuuden lisääntyminen. Mahdollisuus vuorovaikutukseen. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys

40 Teknisen toteutuksen haasteita Järjestöillä on tyypillisesti vain rajoitetusti verkkopalvelujen teknisten työkalujen ja menetelmien osaamista. Oikean teknisen ratkaisun löytäminen ja tekijöiden kilpailuttaminen on usein hidasta ja kallista. Sopimukset, suunnitelmat ja tekijät muuttuvat usein IT-toimialan muutosten seurauksena. Teknisen konsultaation ja toteutuksen lopullisesta hinnasta tuli monelle projektille ikävä yllätys. Kansallisten standardien ja suositusten puute vaikeuttaa rajapintojen rakentamista eri palvelujen välille. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys

41 Verkkopalveluhankkeen sudenkuopat Suunnitteluvaihe jää ylimalkaiseksi. Tavoitteita ei konkretisoida riittävästi, kohderyhmän tarpeita ei kartoiteta, projektia ei resursoida kunnolla ja riskianalyysi on summittainen. Kehittämisvaiheessa tekninen toteutus alkaa hallita projektia ja sen varojen käyttöä. Projektiaikataulu pettää, ja tarvitaan lisärahoitusta. Pahimmassa tapauksessa palvelun rakentaminen jää kokonaan kesken. Juurruttamisvaiheessa palvelun integrointi järjestön rahoitukseen ja toimintaprosesseihin jää vaillinaiseksi. Palvelusta tulee heittopussi, ja käyttäjät kaikkoavat muualle. Saturaatiovaiheessa palvelun käyttö ja kysyntä alkavat hiipua. Alamäkeä nopeuttavat palvelun tehoton seuranta ja hidas reagointi käyttäjien palautteeseen. Välttämättömät kehittämistoimenpiteet viivästyvät eikä uusia yhteistyökumppaneita ja mahdollisuuksia etsitä. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys

42 Johtopäätöksiä ja kehittämissuosituksia Jo suunnitteluvaiheessa on syytä selvittää mitä palvelun ylläpito ja rahoitus vaatii hankekauden päätyttyä. Tehdäänkö oma verkkopalvelu vai mennäänkö sinne, missä ihmiset ovat jo valmiina. Verkko näyttää sopivan hyvin vertaistukeen ja yhteisöllisyyden vahvistamiseen. Käyttäjä toivoo verkkopalveluilta ennen muuta uutta sisältöä. Palvelun käyttöä on seurattava aktiivisesti ja käyttäjien palautetta tulee kerätä. Muutoksiin on reagoitava viipymättä. Huomiota tulisi kiinnittää myös lahjoitusten tekemiseen sekä julkaisujen ja muiden aineistojen myyntiin verkossa. Verkkopalveluja pitäisi pystyä käyttämään useilla kielillä. Etenkin suurimpiin projekteihin tulisi palkata oma menetelmäasiantuntija ohjaamaan teknistä kehittämistyötä. Sosiaali- ja terveysjärjestöjen verkkopalveluselvitys

43 OSA II: Vuoden 2013 verkkopalveluselvitysten tavoitteet ja huomiot RAY:n verkkopalveluselvitys

44 Verkkopalveluselvityksen tausta Kohdejoukoksi valittiin 45 verkkopalvelu- / tietotekniikkahanketta, joita vuonna 2012 avustettiin kohdennetuilla toiminta-avustuksilla tai projektiavustuksilla noin 8,5 miljoonalla eurolla. Yleisavustuksilla toteutetut verkkopalvelut sekä viestinnällisen vaikuttamisen ja koulutuksen kohteet rajattiin selvityksen ulkopuolelle. Selvitys toteutetaan RAY:n sisäisenä työnä ja siinä käytetään hyväksi avustushakemuksia, vuosiselvityksiä sekä soveltuvin osin hankkeiden tuloksellisuus- ja vaikuttavuusselvityksiä. Selvityksessä kootaan tietoa muun muassa: toteutuksen ja ylläpidon kustannusrakenteista sekä toteutettujen ratkaisujen yleiskäyttöisyydestä. Palveluiden käytettävyys ja sisältö arvioidaan palveluihin tutustumalla. Laatukriteereinä Valtiovarainministeriön laatimia verkkopalvelujen laatukriteerit. Tuloksia hyödynnetään RAY:n avustusperiaatteiden ja -käytäntöjen kehittämisessä. RAY:n verkkopalveluselvitys

45 ICT-avustusten jakauma 2012 Palvelun tyyppi tai tuotos Kpl Avustus t Palveluntuotanto internetissä, palvelusivusto Portaali Nykyisen palvelun laajennus internetiin tai 695 mobiiliympäristöön 3 Tietopalvelu Toiminnan kehitys Uusi toimintamalli Verkkotyökalu Verkkopalvelujen käytön edesauttaminen Järjestelmäkehitys RAY:n verkkopalveluselvitys

46 Selvityksen teemat ja kysymykset 1/2 Palvelun tavoitteet: Miksi palvelua tarvitaan? Mitä etuja tavoitellaan (kustannussäästöt, tuottavuus, uusi palvelumuoto...)? Kohderyhmä? Miten toimintaympäristö on kartoitettu (Vastaavat tai täydentävät palvelut, yhteistyömahdollisuudet)? Palvelulla tavoiteltavat hyödyt: Hyöty tai lisäarvo käyttäjälle / organisaatiolle? Löytääkö käyttäjä etsimänsä tiedon? Palvelun toteutustapa: Sisäinen kehityshanke vs. ostopalvelut Valmisohjelmistot vs. räätälöidyt ratkaisut Hankkeen kustannukset: Henkilötyö, Ostopalvelut, Investoinnit, Muut RAY:n verkkopalveluselvitys

47 Selvityksen teemat ja kysymykset 2/2 Palvelutuotanto ja resursointi: Miten käyttäjäryhmät, käyttäjien tarpeet ja käyttötilanteet on otettu huomioon? Miten sisällöntuotanto on toteutettu? Miten palvelun kehittäminen ja ylläpito on toteutettu? Palvelun sisältö: Onko rakenne jäsennelty tarkoituksenmukaisesti? Vaikuttaako sisältö luotettavalta ja ajantasaiselta? Onko tekstisisältö ymmärrettävää ja luettavaa? Palvelun käyttö: Voiko palvelua käyttää erilaisissa teknisissä ympäristöissä? Tuntuuko käyttö turvalliselta ja luotettavalta? Onko navigointi ja tiedon löytäminen helppoa? Onko käyttöliittymä selkeä, yhdenmukainen ja ymmärrettävä? Palvelun johtaminen: Tukeeko palvelu organisaation strategisia tavoitteita ja lisääkö se toiminnan vaikuttavuutta? Ovatko palveluun liittyvät vastuut ja tehtävänkuvat määritelty? Kumppanuuden rooli toteutuksessa? RAY:n verkkopalveluselvitys

48 Yleisiä huomioita verkkopalveluselvityksestä Tavoitteet ovat pääosin selkeitä: Verkkopalveluilla saadaan järjestölle uusi jakelukanava. Tarjotaan uusia palveluja järjestön kohderyhmälle tai nykyisiä palveluja laajennetulle kohderyhmälle. Mahdollisuus vuorovaikutteisuuteen lisääntyy. Järjestön perustoiminnan tunnettuus paranee ja kynnys yhteydenottoon madaltuu. Toiminnan konkreettiset edut eivät kuitenkaan aina käy ilmi dokumentaatiosta. Toteutustapa vaikuttaa tarkoituksenmukaiselta: Toteutuksen pohjana pääsääntöisesti valmisratkaisuja, jotka sovitetaan hankkeen tarpeisiin. Tietotekniikan mahdollisuuksia sovellettu innovatiivisesti useissa hankkeissa. Yhteistyöverkostoja on käytetty avuksi monien palvelujen toteutuksessa. Käyttöön ja sisältöön liittyvät asiat tuntuvat toimivilta: Käyttöliittymien selkeys ja ymmärrettävyys ovat pääosin hyvällä tasolla. Tekstisisältö on ajantasaista sekä luettavaa ja tuntuu luotettavalta. Kustannukset herättävät kysymyksiä: Mihin budjettien suuri vaihtelu perustuu? Mikä on kustannusten ja hyötyjen suhde? RAY:n verkkopalveluselvitys

49 Kysymyksiä keskustelutilaisuuden osallistujille Miten palvelun käyttöä seurataan? Saadaanko käyttäjiltä palautetta? Miten kohderyhmän tarpeet on selvitetty? Kuinka ajantasaista tieto on? Ovatko käyttäjät olleet mukana suunnittelussa? Mikä on käyttäjien kokemaa hyöty palvelusta ja miten se vastaa käyttäjien tarpeisiin? Miten palvelun kehittäminen ja ylläpito on toteutettu? Onko toiminnalla käytössään riittävät resurssit tavoitteiden saavuttamiseksi? Miten valitut tekniset ratkaisut soveltuvat uusiin tarpeisiin? Tukeeko palvelu organisaation strategisia tavoitteita ja lisääkö se toiminnan vaikutuksia? Miten seurataan? RAY:n verkkopalveluselvitys