KUNTIEN JA HUS:N ASIAKAS- JA POTILASTIETOJÄRJESTELMÄN HANKINTA

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 KUNTIEN JA HUS:N ASIAKAS- JA POTILASTIETOJÄRJESTELMÄN HANKINTA Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut (tuotevertailun A osittainen uusinta) Perustelumuistio20150226_TvA_OsUusinta 1(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 Sisällysluettelo 1. Dokumentin tarkoitus 3 2. Tausta 3 3. Ohjelmistokokonaisuuden vastaavuusarvioinnin tavoitteet ja periaatteet 4 4. Ohjelmistokokonaisuuden vastaavuusarvioinnin toteutus 5 5. Ohjelmistokokonaisuuden vastaavuusarvioinnin osa-aluekohtaiset arviointimenettelyt ja tulokset 7 6. Ohjelmistokokonaisuuden vastaavuusarvioinnin lopputulos 12 Ohjelmistokokonaisuuden vastaavuusarvioinnin tulosten liitteet: 12 Perustelumuistio20150226_TvA_OsUusinta 2(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 1. Dokumentin tarkoitus Tässä perustelumuistiossa ja sen liitteissä kuvataan alkuvuodesta 2015 toteutettu ohjelmistomuutoksen vastaavuusarviointi lopputuloksineen. Dokumentissa kuvataan myös vastaavuusarvioinnin osaaluekohtainen toteutustapa. Ohjelmistomuutoksen vastaavuusarvioinnin tarkoituksena oli varmistua siitä, että Apotti-hankkeen toisella neuvottelukierroksella mukana olevan tarjoajan (Epic Systems Corporation) uusi, osin muutettu ohjelmistokokonaisuus on toiminnallisen laajuuden ja laadun, käytettävyyden sekä mukautettavuuden kannalta arvioituna vähintään aiemman ohjelmistokokonaisuuden tasoa vastaava. Arviointitarve perustuu tarjoajan ilmoittamaan muutokseen siinä ohjelmistokokonaisuudessa, jolla tuotevertailu A suoritettiin. 2. Tausta Helsingin, Vantaan ja Kauniaisten kaupungit, Kirkkonummen kunta, Helsingin ja Uudenmaan sairaanhoitopiirin kuntayhtymä (HUS) sekä KL-Kuntahankinnat Oy ovat tehneet sopimuksen sosiaalihuollon, perusterveydenhuollon ja erikoissairaanhoidon yhteisen asiakas- ja potilastietojärjestelmän hankintayhteistyöstä. Hankintayhteistyö on osa APOTTI-hankekokonaisuutta. Hankinnan kohteena on kuntien ja HUS:n käyttöön tuleva sosiaali- ja terveydenhuollon yhteinen asiakas- ja potilastietojärjestelmä. Hankinta toteutetaan hankintalain 25 :n mukaisena neuvottelumenettelynä. Neuvottelujen aikana hankinnan sisältöä ja laajuutta voidaan täsmentää. Hankintalain 26 mukaan hankintayksikön on neuvoteltava tarjoajien kanssa tarjousten mukauttamiseksi hankintailmoituksessa tai tarjouspyynnössä esitettyihin vaatimuksiin. Neuvottelujen tarkoituksena on hankintalain 62 :n mukaisesti parhaan tarjouksen valinta. Neuvottelumenettelyn aikana hankinnan kohde, hankinnalle asetetut tavoitteet ja hankinnan toteutustapa täsmentyvät ja tarjoajat voivat mukauttaa ratkaisujaan vastaamaan neuvotteluissa oppimaansa ja näkemäänsä. Järjestelmähankinnasta julkaistiin hankintailmoitus 1 www.hankintailmoitukset.fi -sivustolla 30.8.2013 sekä korjausilmoitus 1.10.2013. Neuvottelumenettely ja siihen kiinteästi liittyvä tuotevertailu ovat kaksivaiheisia. Ensimmäisen neuvottelukierroksen jälkeen suoritettiin tarjoajien ns. välikarsinta, jossa toiselle neuvottelukierrokselle valittavien tarjoajien tuli täyttää hankinnan kohteen välikarsintavaiheelle asetetut vähimmäisvaatimukset. Tuotevertailun osalta tämä tarkoitti demonstraatioihin perustuvia arviointeja siten, että toiselle neuvottelukierrokselle valittavien tarjoajien tarjoamien sosiaali- ja terveydenhuollon tuotteiden toiminnallinen laajuus ja laatu, käytettävyys ja mukautettavuus ovat hankkeen ja hankinnan tavoitteisiin nähden riittäviä. Hankintarenkaan jäsenorganisaatiot tekivät kukin tahoillaan yhdenmukaisen päätöksen 2 toiselle neuvottelukierrokselle valittavista tarjoajista ensimmäisen vaiheen vähimmäisvaatimuksia ja vertailuperusteita 3 soveltamalla. Toiselle neuvottelukierrokselle valitut toimittajat olivat: CGI Suomi Oy (jäljempänä CGI) Epic Systems Corporation (jäljempänä Epic) Asiakas- ja potilastietojärjestelmän hankintamenettelyn sääntöjen sekä neuvottelumenettelyn tarkoituksen ja siinä noudatettavien menettelykäytäntöjen mukaisesti tarjoajille on annettu tietyin edellytyksin mahdollisuus vaihtaa ohjelmistokokonaisuuttaan tai tehdä siihen muutoksia neuvottelumenettelyn 1 Hankintailmoitus 1.10.2013 2 Helsingissä, Vantaalla, Kauniaisissa, HUS:ssa sekä KL-Kuntahankinnat Oy:ssä päätökset tehtiin 11. elokuuta 2014 ja Kirkkonummella 28. elokuuta 2014. 3 Tuotevertailun A vähimmäisvaatimukset ja vertailuperusteet 3.2.2014 sekä Tuotevertailun A osa-alueiden sisäiset painoarvot 28.2.2014 Perustelumuistio20150226_TvA_OsUusinta 3(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 aikana. Tuotevertailua koskevien periaatteiden 4 mukaisesti tarjoajan tuli käyttää tuotevertailussa lähtökohtaisesti samaa ohjelmistokokonaisuutta, jota tarjoaja tulee tarjoamaan lopullisessa tarjouksessaan. Tarjoaja voi vaihtaa ohjelmistokokonaisuuden tai tehdä siihen olennaisia muutoksia ainoastaan hankintarenkaan luvalla, jolloin uuden ohjelmistokokonaisuuden tuli olla toiminnallisen laajuuden ja laadun, käytettävyyden sekä mukautettavuuden kannalta vähintään alkuperäistä tasoa vastaava. Tarjoaja Epic ilmoitti 14.10.2014 muuttavansa ohjelmistokokonaisuuttaan käytetyn ohjelmistoalustan osalta. Muutoksella on osittaista vaikutusta ohjelmistoalustaan, jolla hankintamenettelyn osana toteutettavan tuotevertailun ensimmäinen vaihe (tuotevertailu A) toteutettiin. Käytännössä Epic ilmoitti käyttävänsä omaa ohjelmistoalustaansa aiempaa laajemmin ohjelmistokokonaisuutensa alustana. Epicin uuden ohjelmistokokonaisuuden alustana käyttämä perusohjelmistoalusta/runko on hankintarenkaan vaatimalla tavalla tuotantokäytössä ja Epic on käyttänyt samaa alustaa jo osana aiempaa ohjelmistokokonaisuuttaan. Edellä kuvattu, ohjelmistomuutoksia koskeva hankintamenettelyn sääntö tarkoittaa käytännössä sitä, että lupa edellyttää aina, että muutettu ohjelmistokokonaisuus on vähintään alkuperäistä tasoa vastaava vastaavuus voidaan tarvittaessa todentaa arvioimalla ohjelmistokokonaisuus tarvittavilta osin uudelleen. Epicin ilmoituksen vastaanotettuaan hankintarengas päätti käyttää tuotevertailun periaatteiden mukaista oikeuttaan arvioida muutetun ohjelmistokokonaisuuden vastaavuus suhteessa tuotevertailu A:ssa käytettyyn ohjelmistokokonaisuuteen, sillä lupaa ohjelmistomuutokseen ei käytännössä voida myöntää pelkän ilmoituksen perusteella, koska vaadittua vastaavuutta ei vielä ilmoituksen perusteella kyetä arvioimaan. Vastaavuusarvioinnin toteuttamiseksi tuotevertailu A päätettiin uusia siltä osin, kuin muutoksella oli vaikutusta Epicin ohjelmistokokonaisuuteen. Päätös ohjelmistokokonaisuuteen tehtävän muutoksen hyväksyttävyydestä tehdään arvioinnin tulosten perusteella. Vastaavuudenarvioinnin suorittamisesta ilmoitettiin tarjoajille 27.10.2014 ja hankkeen ohjausryhmän päätöksen 24.10.2014 mukaisesti käynnistettiin tuotevertailu A:n osittaisen uusinnan ja vastaavuuden arvioinnin valmistelut viipymättä. Vastaavuusarvioinnin tulosten perusteella hankkeen ohjausryhmä tekee hankintarenkaan jäsenille ( hankintayksiköille ) esityksen joko ohjelmistomuutoksen hyväksymiseksi, mikäli muutettu ohjelmistokokonaisuus vastaa tasoltaan aiempaa ohjelmistokokonaisuutta, tai vaihtoehtoisesti ohjelmistomuutoksen kieltämisestä, mikäli muutettu ohjelmistokokonaisuus ei ole aiemmin arvioitua tasoa vastaava. Vastaavuusarvioinnista tullaan esityksen pohjalta tekemään muutoksenhakukelpoinen päätös kussakin hankintayksikössä. Vastaavuusarvioinnin tuloksilla ei ole vaikutusta lopulliseen tarjousvertailuun, kuten ei myöskään alkuperäisen Tuotevertailu A:n tuloksilla. 3. Ohjelmistokokonaisuuden vastaavuusarvioinnin tavoitteet ja periaatteet Alkuperäisen tuotevertailun A tavoitteet Toiminnallisen laajuuden ja laadun arvioinneissa haettiin näyttöä siitä, että tuotteet kattavat hankintarenkaan tarvitsemat keskeiset sosiaali- ja terveydenhuollon toiminnallisuudet ja täyttävät eri käyttäjäryhmien tarpeet. Käytettävyyden arvioinneissa todennettiin, että tuotteiden käytettävyys keskeisissä sosiaali- ja terveydenhuollon toiminnallisuuksissa on riittävää tasoa. Sen alatavoitteina ovat tuloksellisuuden, tehokkuuden ja käyttäjätyytyväisyyden lisääminen sekä asiakas- ja potilasportaalin käytön esteettömyyden ja hyvän käyttökokemuksen edistäminen. 4 Tuotevertailun kuvaus ja toteutussuunnitelma, versio 1.1, 14.2.2014; luku 3 Perustelumuistio20150226_TvA_OsUusinta 4(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 Mukautettavuuden arvioinneissa haettiin näyttöä siitä, että tuotetta voidaan mukauttaa käyttäjien ja käyttäjäorganisaation tarpeisiin ja näiden muutoksiin kustannustehokkaasti ja toimittajariippuvuutta vähentävästi. Vastaavuusarvioinnin periaatteet Tuotevertailua koskevien periaatteiden 5 mukaisesti tarjoajan tuli käyttää tuotevertailussa lähtökohtaisesti samaa ohjelmistokokonaisuutta, jota tarjoaja tulee tarjoamaan lopullisessa tarjouksessaan. Tarjoaja voi vaihtaa ohjelmistokokonaisuuden tai tehdä siihen olennaisia muutoksia ainoastaan hankintarenkaan luvalla, jolloin uuden ohjelmistokokonaisuuden tuli olla toiminnallisen laajuuden ja laadun, käytettävyyden sekä mukautettavuuden kannalta vähintään alkuperäistä tasoa vastaava. Hankintarengas todentaa vastaavuuden arvioimalla ohjelmistokokonaisuus tarvittavilta osin uudelleen (vastaavuusarvioinnin toteutuksen taustoista tarkemmin ks. luku 2). Vastaavuusarvioinnin tuloksilla ei ole vaikutusta lopulliseen tarjousvertailuun, kuten ei myöskään alkuperäisen Tuotevertailu A:n tuloksilla. Vastaavuuden arviointi ja vaikutukset vähimmäisvaatimusten täyttymiseen Tarjoajan Epic muutetun ohjelmistokokonaisuuden vastaavuuden arviointi 6 suhteessa tuotevertailu A:ssa käytettyyn ohjelmistokokonaisuuteen nähden päätettiin todentaa vertailun toteuttavien asiantuntijoiden lausuntojen perusteella seuraavasti: Vastaavuusarvio perustuu tarjoajan Epic tuotevertailu A:n osittaisessa uusinnassa ja tuotevertailu A:ssa keväällä 2014 saavuttamaan tasoon sekä arvioivien asiantuntijoiden kokonaisarvioon vastaavuudesta tuotevertailun A osittaista uusintaa koskevassa laajuudessa (ks. luku 4 jäljempänä). Mikäli arvioinnin perusteella tarjoajan muutettu ohjelmistokokonaisuus vastaa muuttuneilta osin toiminnallisen laajuuden ja laadun, käytettävyyden sekä mukautettavuuden osalta aiempaa tuotevertailua A:ssa käytettyä ohjelmistokokonaisuutta, voidaan luonnollisesti myös tuotevertailu A:han liittyneiden vähimmäisvaatimusten 7 katsoa täyttyväntarjoajan muutetun ohjelmistokokonaisuuden osalta. Jos muutettu ohjelmistokokonaisuus arvioidaan muuttuneilta osin toiminnallisen laajuuden ja laadun, käytettävyyden sekä mukautettavuuden kannalta aiempaa ohjelmistokokonaisuutta vastaavaksi, arvioidaan kuitenkin samalla tulosten perusteella, ettei ohjelmistokokonaisuuden vaihdoksesta seuraa myöskään muutoksia vähimmäisvaatimusten täyttymisen arviointiin. 4. Ohjelmistokokonaisuuden vastaavuusarvioinnin toteutus Vastaavuusarvioinnin kohde ja laajuus Vastaavuutta arvioitiin niillä osa-alueilla, joihin ohjelmistomuutoksella oli vaikutusta. Arviointi kohdistui osa-alueisiin 8 toiminnallinen laajuus ja laatu, käytettävyys sekä mukautettavuus ja osa-alueittain vain niihin aihe-alueisiin, joissa ohjelmistokokonaisuus oli muuttunut. Niiltä osin kuin muutoksia oli tapahtunut, aihealueet uusittiin kokonaisuutena. Toiminnallisen laajuuden ja laadun osa-alueella arvioinnin kohteena olivat aihealueet kotihoito ja vanhuspalvelut (A5), sähköinen asiointi (A6), toimeentulotuki (A7), lastensuojelu (A8) sekä vammaispalvelu (A9). Käytettävyyden osa-alueella arvioinnin kohteena olivat käytettävyyden asiantuntija-arviointi toimeentulotuen, lastensuojelun ja vammaispalvelun aihealueilla sekä ammattilaisasiantuntijoiden suorit- 5 Tuotevertailun kuvaus ja toteutussuunnitelma, versio 1.1, 14.2.2014; luku 3 6 Tuotevertailun A osittaisen uusinnan kuvaus ja toteutussuunnitelma, ; luku 3 7 Tuotevertailun A vähimmäisvaatimukset ja vertailuperusteet, 3.2.2014 sekä Tuotevertailun A osa-alueiden sisäiset painoarvot, 28.2.2014 8 Tuotevertailun kuvaus ja toteutussuunnitelma, versio 1.1, 14.2.2014, luvut 2 ja 4 Perustelumuistio20150226_TvA_OsUusinta 5(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 tama käytettävyyden arviointi samoilla aihealueilla kuin toiminnallisessa laajuudessa ja laadussa. Mukautettavuuden osa-alueella kohteena olivat sosiaalihuollon mukautettavuuden arvioinnissa aihealueet raportointi, lomakkeet, protokollat, näkymät ja herätekäsittely (=tapahtuman käsittely). Eteneminen Vastaavuusarvioinnin käytännön toteutustapa on kuvattu vastaavuusarvioinnin kuvaus ja toteutussuunnitelmassa (ks. liite 1). Vastaavuusarvioinnin toteutustapa suunniteltiin asiantuntijoiden toimesta sellaiseksi, että arvioinnin perusteella kyetään varmistumaan siitä, että uudelleen arvioinnin tulokset ovat mahdollisimman luotettavia. Muutettua ohjelmistokokonaisuutta arvioidaan nimenomaan suhteessa aiemman ohjelmistokokonaisuuden tasoon ja arviointi toteutetaan samojen arvioijien toimesta sekä samaan arviointitapaan perustuen, jolla myös aiempi arviointi (tuotevertailu A) suoritettiin. Tarjoajalle ilmoitettiin 18.11.2014 kaikki demonstraatiopäivät ja arvioitavien aihealueiden nimet. Lähtökohtana oli mahdollisimman identtinen toteutus vastaavuuden arvioinnin yhteismitallisuuden varmistamiseksi. Ajankohdaksi määräytyi ensimmäinen mahdollinen, eli 7.-9.1.2015. Ajankohtaan vaikutti mm. kevään 2014 vastaaviin arviointitilaisuuksiin osallistuneiden arvioijien aikataulu ja saatavuus arviointityöhön. Tarkat tiedot toteutuksen sisällöstä tarjoaja sai tietää, jolloin tarjoajalle toimitettiin vastaavuusarvioinnin kuvaus- ja toteutussuunnitelma liitteineen sekä muu arviointimateriaali (ks. liite 1). Tarjoajalla oli kaikkiin vastaavuusarvioinnin demonstraatiovalmisteluihin aikaa noin kuusi viikkoa. Kevään 2014 tuotevertailu A:ssa aihealueiden A5 ja A6 käyttäjätarinoiden demonstraatioiden valmisteluun oli ollut aikaa seitsemän viikkoa, mukautettavuustehtävien valmisteluun neljä viikkoa ja aihealueiden A7-A9 käyttäjätarinoiden demonstraatioiden valmisteluun 12 viikkoa. Vastaavaa porrastettua läpivientiä ja materiaalitoimitusta ei ollut tarkoituksenmukaista järjestää. Ilmoitetun aikataulun mukaisesti tarjoajan edustajat demonstroivat luentosaleissa käyttäjätarinoiden toteutuksia, suorittivat tuotteen mukautettavuutta osoittavia tehtäviä sekä demonstroivat mukautettavuuden keskeisten vaatimusten toteutumista. Demonstraatioiden kesto ja läpivienti määräytyi kevään 2014 tuotevertailun A ohjelman mukaisesti ja ne vaihtelivat aihealueen ja tehtävien luonteen sekä laajuuden perusteella. Hankintarenkaan puolelta demonstraatioita seurasivat ja niiden toteutusta arvioivat eri aihealueiden kevään 2014 tuotevertailu A:n vastaavien arviointiryhmien asiantuntijoista kootut vastaavat arviointiryhmät. Arviointimateriaali Vastaavuusarvioinnissa pisteiden laskutapa 9, demonstraatioihin valmistautuminen 10, käytettävät käyttäjätarinat ja arviointikysymykset sekä mukautettavuustehtävät arviointilomakkeet mukaan luettuna olivat samat kuin maalis-toukokuussa 2014 suoritetussa tuotevertailu A:ssa: Toiminnallisen laajuuden ja laadun sekä käytettävyyden arvioinneissa käyttäjätarinoiden aihealueet olivat A5 Kotihoito ja vanhuspalvelut: kotihoidon ja vanhuspalveluiden potilas-/asiakaspalvelutoiminta A6 Sähköinen asiointi: potilas- ja asiakasportaalin käyttö ammattilaisen näkökulmasta A7 Toimeentulotuki: toimeentulotuen hakeminen, päätös ja maksu A8 Lastensuojelu: lastensuojeluilmoitus, kiireellinen sijoitus ja huostaanotto A9 Vammaispalvelu: vammaispalvelutarpeen selvittäminen, suunnitelma ja päätös Mukautettavuuden arvioinnissa sosiaalihuollon ennakkotehtävien ja testitilannetehtävien tehtäväsarjoissa oli viisi tehtävätyyppiä: kaksi erityyppistä lomaketta, raportointitehtävä, työn kulku (protokolla) 9 Tuotevertailun A pisteytysmalli, 23.3.2014 10 Tuotevertailun A valmistautumisohjeet, 14.2.2014 Perustelumuistio20150226_TvA_OsUusinta 6(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 sekä näkymät. Herätekäsittelyn tehtävät olivat näiden tehtävien sisällä. Testitilannetehtävissä oli lisäksi sähköisen asioinnin mukautettavuuden tehtäviä. Tarjoajan opastus ja materiaalitoimitukset Vastaavuusarviointia koskeva materiaali toimitettiin vastaavuusarvioinnin kuvaus ja toteutussuunnitelma dokumentissa (ks. liite 1) ilmoitetun aikataulun mukaisesti. Erillistä tarjoajan opastus eli vendorbrief tilaisuutta ei katsottu tarpeelliseksi. Tarjoajalle oli järjestetty mahdollisuus myös kysyä toteutukseen liittyvistä järjestelyistä. Läpivienti Demonstraatiopaikat: Vastaavuusarvioinnin demonstraatiot järjestettiin Helsingissä Apotti-hanketoimiston osoittamissa tiloissa ja olivat varustukseltaan vastaavat kuin kevään 2014 tuotevertailu A:n demonstraatiotilat. Valmisteluohjeiden mukaisesti tarjoajan oli mahdollista katselmoida demonstraatiotilat demonstraatioiden valmisteluja varten. Osallistujat: Kuhunkin demonstraatioon tarjoaja nimesi valmistautumisohjeiden mukaisesti demonstraatioiden luonne ja laajuus huomioon ottaen riittävää asiantuntemusta omaavan asiantuntijajoukon. Hankintarenkaan puolelta demonstraatioissa oli mukana aihealuekohtaisia terveydenhuollon ja sosiaalihuollon toiminnallisuuksien substanssiasiantuntijoita, kaksi käytettävyysasiantuntijaa sekä organisoinnista vastanneita henkilöitä vastaavalla tavalla kuin keväällä 2014. Arvioijiksi kelpuutettiin vain ne arvioijat, jotka olivat osallistuneet näihin arviointitilaisuuksiin myös kevään 2014 tuotevertailussa A. Eri arviointitilaisuuksiin osallistuneita eri arvioijia oli yhteensä 52/63 eli keskimäärin noin 83% kevään arvioijista sekä lisäksi yksi järjestelyistä vastannut hankintarenkaan edustaja. Päiväkohtaiset ohjelmat: Demonstraatioiden kestot vaihtelivat aihealueen luonteen ja tehtävien luonteen sekä laajuuden mukaan samalla lailla kuin kevään tuotevertailu A:ssa. Liitteessä 2 on lopulliset päiväohjelmat. Arvioijakohtaiset kokonaisarviot vastaavuuden arvioinneista: Jokaisen arviointitilaisuuden päätteeksi ammattilaisasiantuntija-arvioijat antoivat aihealuekohtaisesti kaiken ao. demonstraatiossa näkemänsä ja siitä syntyneen vaikutelman perusteella kokonaisarvion vastaavuuden arvioinnista kevään 2014 tuotevertailu A:ssa todettuun tasoon nähden. 5. Ohjelmistokokonaisuuden vastaavuusarvioinnin osa-aluekohtaiset arviointimenettelyt ja tulokset 5.1 Toiminnallinen laajuus ja laatu Arvioinnin toteutustapa Toiminnallisen laajuuden ja laadun arvioinnissa tarjoajan tehtävänä oli demonstroida aihealuekohtaisia käyttäjätarinoiden toteutuksia samalla tavalla kuten kevään 2014 tuotevertailu A:ssa: Arvioinnin kohteena oli toiminnallisuuksien kattavuus suhteessa tavoitteisiin ja asetettuihin vaatimuksiin. Tarjoaja esitteli tuotteensa toiminnallisuuksia etukäteen lähetettyihin käyttäjätarinoihin perustuen. Kussakin demonstraatiossa terveyden- ja sosiaalihuollon ammattiasiantuntijat seurasivat ja arvioivat demonstraatioita. Tuotteen arviointi tapahtui arviointikysymyssarjojen avulla ja arvioijat raportoivat havaintonsa määrämuotoisilla arviointilomakkeilla. Kukin toiminnallisen laajuuden ja laadun osittaisen uusinnan viidestä aihe-alueesta pisteytettiin kevään 2014 tuotevertailussa A käytettyjen arviointikysymyssarjojen avulla. Arvioijat perustivat omat arvionsa siihen, mitä he kyseisessä demonstraatiossa näkivät ja havaitsivat. Arvioijat valitsivat vastauksensa neliportaisesta tekstipohjaisesta arviointiasteikosta, jossa vaihtoeh- Perustelumuistio20150226_TvA_OsUusinta 7(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 tojen tekstit oli mukautettu vastaamaan kysymyksen sisältöä. Vastausvaihtoehdot vastasivat pisteitä 3-2-1-0 pisteytysmallissa kuvattua menettelyä. Tämän lisäksi jokaista aihealuekokonaisuutta koskevan demonstraatiotilaisuuden päätyttyä arvioijat arvioivat tuotteen soveltuvuutta kokonaisuutena (= toiminnallisen laajuuden ja laadun kokonaisarvio) vastaamalla tätä koskeneeseen kysymykseen ao. aihealueella. Kysymyksen vastauksen arviointiasteikko oli seitsenportainen (6-5-4-3-2-1-0) pisteytysmallissa kuvatun menettelyn mukaisesti. Kokonaisarvio vastaavuuden arvioimiseksi perustui arvioijien henkilökohtaiseen arvioon, onko järjestelmä vähintään keväällä 2014 tuotevertailun A vastaavassa demonstraatiotilaisuudessa todettua tasoa vastaava. Arvioinnin tulokset Toiminnallisen laajuuden ja laadun aihealuekohtaiset tulokset laskettiin arviointikysymysten vastauksista Tuotevertailun A pisteytysmalli dokumentissa kuvatulla tavalla. Taulukko 1: Toiminnallisen laajuuden ja laadun aihealuekohtaiset arviointipisteet vastaavuuden arvioinnissa Toiminnallinen laajuus ja laatu Kotihoito ja vanhuspalvelut 10,00 6,63 6,73 7,55 12,1 % Sähköinen asiointi 10,00 6,26 6,36 8,56 34,5 % Toimeentulotuki 10,00 5,15 5,15 7,68 49,0 % Lastensuojelu 10,00 5,42 5,47 7,95 45,3 % Vammaispalvelut 10,00 5,16 5,17 8,59 66,3 % Taulukossa termi maksimipisteet tarkoittaa tuotevertailu A:n pisteytysmallin mukaista aihealueen enimmäispistemäärää ja termi Epic (välikarsintapäätös) vastaavasti alkuperäistä, kevään 2014 tulosta. Vastaavuusarvioinnin tulokset Epic Epic uusi on laskettu identtisesti samoilla arvioijakokoonpanoilla eli kevään 2014 tuloksista on poistettu ne, jotka eivät osallistuneet vastaavuuden arviointiin. Ammattilaisasiantuntijoiden kokonaisarviot vastaavuuden arvioinnista Kaikissa toiminnallisen laajuuden ja laadun eri arviointitilaisuuksissa annetussa 96 arviossa oltiin samaa mieltä siitä, että järjestelmä on nähdyn ja siitä syntyneen vaikutelman perusteella vähintään vastaavaa tasoa kuin keväällä 2014. Lisäksi 32:ssa arviossa oli sanallista palautetta, joissa tuotiin esille muun muassa toiminnallisuuksien selkeämpi rakenne, eri toimijoiden välisen tiedon kulun sujuvuus ja parempi käytettävyys sekä asiakkaan/potilaan voimavaran hyödyntäminen tietojen kirjauksessa. Lisäksi järjestelmän koettiin sisältävän toiminnan ohjaamista ja sote-integraatiota sekä niiden kehittämistä mahdollistavia elementtejä kevään 2014 tuotevertailu A:n demonstraatioissa koettua enemmän. Johtopäätös Pisteiden ja ammattilaisasiantuntijoiden antamien kokonaisarvioiden perusteella todetaan, että tarjoajan muutettu ohjelmistokokonaisuus toiminnallisen laajuuden ja laadun osalta on vähintään vastaavaa tasoa kuin alkuperäinen, kevään 2014 tuotevertailu A:ssa käytetty ohjelmistokokonaisuus. 5.2 Käytettävyys Arvioinnin toteutustapa Käytettävyysarviointi tuotevertailun A vastaavuuden arvioinnissa toteutettiin luvussa 4 esitellyillä viidellä aihealueella. Se sisälsi samalla tavalla kuin kevään 2014 tuotevertailussa käytettävyysasiantuntijoiden tekemät asiantuntija-arvioinnit sekä demonstraatioihin osallistuneiden terveyden- ja sosiaalihuollon ammattilaisasiantuntijoiden arviot käytettävyydestä. Tämän osuuden tulokset laskettiin kaikkien arvi- Maksimipisteet Epic (välikarsintapäätös) Epic Epic uusi ero (+) Käytettävyysarvioinnin tavoite tuotevertailussa A oli todentaa, että tuotteiden käytettävyys keskeisissä sosiaali- ja terveydenhuollon toiminnallisuuksissa on riittävää tasoa. Perustelumuistio20150226_TvA_OsUusinta 8(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 oinnin kohteena olleiden aihealueiden arviointipisteiden yhdistelmänä. Pisteytyksen muodostuminen on kuvattu dokumentissa Tuotevertailun A pisteytysmalli. Arvioinnin tulokset Käytettävyyden asiantuntija-arviointi: Käytettävyysasiantuntijoiden tekemissä arvioinneissa havaittiin eritasoisia ja -laajuisia käytettävyysongelmia ja kaksi puuttuvaa toiminnallisuutta. Taulukossa 2 on esitetty yhteenveto käytettävyysasiantuntija-arvioinnin aihealuekohtaisista tuloksista tarjoajan E muutetulla ohjelmistokokonaisuudella suhteessa kevään 2014 tuotevertailussa käytettyyn ohjelmistokokonaisuuteen. Osittaisen uusinnan aihealueilla kahden osalta arvosanat ovat samat kuin keväällä 2014 ja yhden aihealueen (Vammaispalvelut) arvosana on noussut yhdellä. Taulukko 2: Käytettävyyden asiantuntija-arvioinnin aihealuekohtaiset arviointipisteet vastaavuuden arvioinnissa Käytettävyys (asiantuntija-arviot) *Kotihoidon ja vanhuspalvelujen aihealueella käytettävyyden asiantuntija-arviointia ei vastaavuuden arvioinnissa suoritettu lainkaan vastaavasti kuin kevään 2014 tuotevertailu A:ssa. **Sähköisen asioinnin aihealueella käytettävyyden asiantuntija-arviointia ei vastaavuuden arvioinnissa suoritettu, koska tämä arviointi oli jo kevään 2014 tuotevertailussa A toteutettu asiakas/potilasportaalin arvioinnin yhteydessä tarjoajan ilmoittamalla alkuperäiseen ohjelmistokokonaisuuteen kuuluvalla terveydenhuollon järjestelmän portaalilla. Käytettävyysarvioinnin kokonaispisteet: Alla olevassa taulukossa 3 on kuvattu käytettävyyden kokonaispisteet aihealueittain, jotka sisältävät sekä käytettävyysasiantuntija-arvioinnin tulokset että ammattilaisasiantuntijoiden arviot käytettävyydestä. Käytettävyysasiantuntija-arvioinnin osuus kokonaispisteissä on 2/3 pisteytysmallin mukaisesti. Taulukko 3: Käytettävyyden aihealuekohtaiset kokonaispisteet vastaavuuden arvioinnissa Kotihoito ja vanhuspalvelut 5,00 3,87 3,90 4,25 9,0 % Sähköinen asiointi 10,00 6,79 6,84 7,46 9,1 % Toimeentulotuki 10,00 4,01 4,03 4,42 9,6 % Lastensuojelu 10,00 3,96 3,99 4,65 16,3 % Vammaispalvelut 10,00 4,06 4,07 6,87 68,9 % Taulukossa termi maksimipisteet tarkoittaa tuotevertailu A:n pisteytysmallin mukaista aihealueen enimmäispistemäärää ja termi Epic (välikarsintapäätös) vastaavasti alkuperäistä, kevään 2014 tulosta. Vastaavuusarvioinnin tulokset Epic Epic uusi on laskettu identtisesti samoilla arvioijakokoonpanoilla eli kevään 2014 tuloksista on poistettu ne, jotka eivät osallistuneet vastaavuuden arviointiin. *Kotihoidon ja vanhuspalvelujen aihealueella kokonaispisteisiin sisältyy vain ammattilaisasiantuntijoiden arviot käytettävyydestä vastaavasti kuin kevään 2014 tuotevertailu A:ssa. **Sähköisen asioinnin aihealueella vastaavuuden arvioinnin kokonaispisteisiin sisältyy ammattilaisasiantuntijoiden suorittamat arviot käytettävyydestä yhdistettynä kevään 2014 tuotevertailun A:n asiakas/potilasportaalin arvioinnissa suoritetun käytettävyyden asiantuntija-arvioinnin arviointipisteisiin (ks. taulukko 2). Epic Epic uusi Kotihoito ja vanhuspalvelut* Sähköinen asiointi 2 2 2** Toimeentulotuki 1 1 1 Lastensuojelu 1 1 1 Vammaispalvelut 1 1 2 Käytettävyys Epic (välikarsintapäätös) Maksimipisteet Epic (välikarsintapäätös) Epic Epic uusi ero (+) Perustelumuistio20150226_TvA_OsUusinta 9(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 Vastaavuuden arviointi käytettävyyden osalta Kaikki käytettävyyden kokonaispisteisiin kullakin aihealueella vaikuttaneet pisteet olivat vähintään vastaavaa tasoa kuin kevään 2014 pisteet. Lisäksi käytettävyyden asiantuntija-arvioinnissa todettiin, että kullakin arvioidulla aihealueella käytettävyysongelmien vaikuttavuus ja laajuus oli pienempi ja puuttuvia toiminnallisuuksia oli selkeästi vähemmän kuin keväällä 2014. Johtopäätös Edellä olevien tulosten perusteella ammattilaisasiantuntijoiden ja käytettävyysasiantuntijoiden arviot käytettävyydestä ovat linjassa keskenään niillä aihealueilla, joilla kummatkin arvioinnit toteutettiin demonstraatioiden perusteella (aihealueet toimeentulotuki, lastensuojelu ja vammaispalvelut). Koska lisäksi kaikkien aihealueiden osalta käytettävyyden kokonaispisteet ovat vähintään samaa tasoa kuin keväällä 2014, todetaan, että tarjoajan muutettu ohjelmistokokonaisuus käytettävyyden osalta on vähintään vastaavaa tasoa kuin alkuperäinen, kevään 2014 tuotevertailu A:ssa käytetty ohjelmistokokonaisuus. 5.3 Mukautettavuus sosiaalihuollon osalta Arvioinnin toteutustapa Hankkeen tavoitteiden mukaisesti valittavan tuotteen on oltava laajasti mukautettavissa (konfiguroitavissa). Tällä tarkoitetaan tuotteessa olevaa kyvykkyyttä mukautua käyttäjien ja käyttäjäorganisaatioiden tarpeisiin ja näiden muutoksiin, eli tuote on joustava. Keskeistä on lisäksi se, että tuotteen mukauttaminen on mahdollisimman laajalti käyttäjäorganisaation hallinnassa, päätettävissä ja tehtävissä ilman toimittajan toimenpiteitä tai merkittävää erityisosaamista. Mukauttamisen tulee siis voida tapahtua pääosin ilman ohjelmiston lähdekoodin muutoksia/lisäyksiä ja mukautettujen ominaisuuksien tulee pysyä muuttumattomina ja toimivina ohjelmistokoodin versiopäivityksestä toiseen. Mukautettavuuden tason on oltava hyvä läpi koko tarjotun ohjelmistokokonaisuuden. Samalla tavalla kuin kevään 2014 tuotevertailussa, sosiaalihuollon kliinis-tekniset asiantuntijat arvioivat tuotteen sosiaalihuollon mukautettavuuskyvykkyyttä ja sen vaatimaa osaamista kunkin aihealueen (ks. luku 4 edellä) ennakkotehtävien ja testitilannetehtävien interaktiivisen demonstraation perusteella käyttäen tehtäviin liitettyjä arviointikysymyssarjoja. Keskeisiä aiheita olivat: Käyttäjän näkökulmasta tarkasteltuna kyseeseen tulevat mm. erilaiset lomakkeet ja raportit, herätteiden rakentamiskyky kuten päätöksen tuen herätteet ja lomakkeen täyttämiseen liittyvät herätteet, ohjelmoitu reagointi herätteisiin (ns. metakieli), käyttäjän ohjaaminen, älykkyyttä sisältävät määräykset, hoitoprotokollat, erilaiset näkymät sekä työpöytä. Järjestelmän näkökulmasta tarkasteltuna käyttäjänäkökulma hyödyntää koodistoina keskeisiä sanastoja ja rakenteisten elementtien sisältöjä sekä käyttöoikeuksien hallintalogiikkaa. Kokonaisarvio vastaavuuden arvioimiseksi perustui arvioijien henkilökohtaiseen arvioon, onko järjestelmä vähintään keväällä 2014 tuotevertailun A vastaavassa demonstraatiotilaisuudessa todettua tasoa vastaava. Arvioinnin tulokset Mukautettavuuden aihealuekohtaiset tulokset laskettiin arviointikysymysten vastauksista Tuotevertailun A pisteytysmalli dokumentissa kuvatulla tavalla. Hankinnan vaatimuksiin sisältyvänä yhtenä keskeisenä tavoitteena on yksi, yhteinen sähköisen asioinnin portaali. Mukautettavuuden arvioinnin lopputuloksissa otettiin huomioon siten vain yksi mukautettava portaali, jonka tarjoaja oli jo kevään 2014 tuotevertailu A:ssa ilmoittanut olevan terveydenhuollon järjestelmän portaali. Vastaavuusarvioinnissakaan ei mukautettavuuden sähköisen asioinnin portaali -aihealueen arviointituloksia luonnollisesti otettu huomioon lopputuloksissa. Perustelumuistio20150226_TvA_OsUusinta 10(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 SOS mukautettavuus Taulukko 4 Sosiaalihuollon mukautettavuusarvioinnin kokonaispisteet vastaavuuden arvioinnissa Raportointi 20,00 14,30 14,30 19,16 34,0 % Lomakkeet 25,00 11,92 11,92 23,03 93,2 % Protokollat 15,00 6,95 6,95 14,51 108,8 % Näkymät 15,00 7,60 7,60 14,83 95,2 % Herätekäsittely 15,00 9,00 9,00 14,25 58,3 % Taulukossa termi maksimipisteet tarkoittaa tuotevertailu A:n pisteytysmallin mukaista aihealueen enimmäispistemäärää ja termi Epic (välikarsintapäätös) vastaavasti alkuperäistä, kevään 2014 tulosta. Arvioijakokoonpano vastaavuuden arvioinnissa oli sama kuin kevään 2014 arvioinnissa. Ammattilaisasiantuntijoiden kokonaisarviot vastaavuuden arvioinnista Kaikissa sosiaalihuollon mukautettavuuden arviointitilaisuudessa annetussa kahdeksassa (8) arviossa oltiin samaa mieltä siitä, että järjestelmä on nähdyn ja siitä syntyneen vaikutelman perusteella vähintään vastaavaa tasoa kuin keväällä 2014. Sanallisia arvioita ei mukautettavuuden vastaavuuden arvioinneissa annettu. Johtopäätös Maksimipisteet Epic (välikarsintapäätös) Epic Epic uusi ero (+) Pisteiden ja ammattilaisasiantuntijoiden antamien kokonaisarvioiden perusteella todetaan, että tarjoajan E muutettu ohjelmistokokonaisuus sosiaalihuollon mukautettavuuden osalta on vähintään vastaavaa tasoa kuin alkuperäinen, kevään 2014 tuotevertailu A:ssa käytetty ohjelmistokokonaisuus. 5.4 Tulosten validointi ohjelmistokokonaisuuden vastaavuusarvioinnissa Vastaavuusarvioinnin lähtökohtana on ollut että arvioijien kokoonpano on yhteneväistä molemmilla arviointikerroilla. Koska vastaavuusarvioinnin arviointitilaisuuksista puuttui joitakin arvioijia, jotka olivat olleet mukana kevään 2014 tuotevertailuissa, suodatettiin näiden henkilöiden antamat arviot pois myös vertailukohteena olleiden kevään 2014 tuotevertailun käyttäjätarinoiden arvioista. Tarkennuksena: Jos kevään 2014 tuotevertailussa arvioija oli ollut pois kokonaan yhden tai useamman tarjoajan tietyn käyttäjätarinan (tai mukautettavuuden) demonstraatiosta, poistettiin kaikki arvioijan antamat arviot myös muiden tarjoajien samasta käyttäjätarinasta (mukautettavuudesta) sekä vastaavuusarvioinnin samasta käyttäjätarinasta (mukautettavuudesta). Jos arvioija oli pois yhden tai useamman tarjoajan tietyn käyttäjätarinan demonstraation osiosta, poistettiin arvioijan antamat arviot myös muiden tarjoajien saman käyttäjätarinan samasta osiosta sekä vastaavuusarvioinnin saman käyttäjätarinan samasta osiosta. Jos arvioijalta puuttui yhden tai useamman tarjoajan osalta tietyn aihealueen toiminnallisen laajuuden ja laadun kokonaisarvio, poistettiin arvioijan antamat toiminnallisen laajuuden ja laadun kokonaisarviot myös muiden tarjoajien saman osa-alueen osalta sekä vastaavuusarvioinnin saman osa-alueen osalta. Jos arvioijalta puuttui yksi tai useampi arvio jonkin tarjoajan tietyn aihealueen käytettävyysarvioinnin loppukyselystä, kyseisen arvioijan loppukyselyarviot kyseisellä aihealueella ja tarjoajalla poistettiin tuloksista. Taulukossa 5 on esitetty vastaavuusarvioinnin lopulliset kokonaispisteet osa-alueittain. Perustelumuistio20150226_TvA_OsUusinta 11(12)

Ohjelmistokokonaisuuden vastaavuusarvioinnin tulokset ja päätösehdotuksen perustelut 26.2.2015 Taulukko 5 Yhteenveto osa-aluekohtaisista kokonaispisteistä vastaavuuden arvioinnissa Osa-alue painokerroin Epic Epic Epic uusi ero (+) (välikarsintapäätös) Toiminnallinen laajuus ja laatu 50,0 % 69,12 80,55 16,5 % Sosiaalihuollon mukautettavuus 17,5 % 49,77 85,78 72,4 % Terveydenhuollon mukautettavuus* 17,5 % 92,81 92,81 0,0 % Käytettävyys 15,0 % 66,45 71,26 7,2 % Kokonaispisteet 69,33 69,48 82,22 18,3 % Taulukossa termi painokerroin tarkoittaa tuotevertailun A pisteytysmallin mukaista osa-alueen painokerrointa ja termi Epic (välikarsintapäätös) vastaavasti alkuperäistä, kevään 2014 tulosta. Vastaavuusarvioinnin tulokset Epic Epic uusi on laskettu identtisesti samoilla arvioijakokoonpanoilla eli kevään 2014 tuloksista on poistettu ne, jotka eivät osallistuneet vastaavuuden arviointiin. *Terveydenhuollon mukautettavuutta ei arvioitu vastaavuusarvioinnissa, koska se oli suoritettu samalla ohjelmistokokonaisuudella jo keväällä 2014. 6. Ohjelmistokokonaisuuden vastaavuusarvioinnin lopputulos 6.1 Kokonaisarvio ohjelmistokokonaisuuden vastaavuuden arvioinnista Edellä kohdissa 5.1 5.4 esitettyjen tulosten ja johtopäätösten perusteella todetaan, että kokonaisuutena tarjoaja Epicin muutettu ohjelmistokokonaisuus on toiminnallisen laajuuden ja laadun, käytettävyyden sekä mukautettavuuden kannalta arvioituna vähintään kevään 2014 tuotevertailu A:ssa arvioidun ohjelmistokokonaisuuden tasoa vastaava. 6.2 Vaikutukset vähimmäisvaatimusten täyttymiseen Koska tarjoajan muutettu ohjelmistokokonaisuus vastaa muuttuneilta osin toiminnallisen laajuuden ja laadun, käytettävyyden sekä mukautettavuuden osalta tuotevertailussa A:ssa käytetyn ohjelmistokokonaisuuden tasoa, todetaan, että tuotevertailuun A liittyneet vähimmäisvaatimukset täyttyvät myös tarjoajan muutetun ohjelmistokokonaisuuden osalta. Ohjelmistokokonaisuuden muutoksen vaikutuksia Tuotevertailu A:n tuloksiin on edellä mainitun varmistamiseksi verrattu myös suhteessa välikarsintavaiheen tarjoajakohtaisiin tuloksiin. Arvion perusteella ohjelmistokokonaisuuden muutoksella ei olisi ollut myöskään vaikutusta välikarsinnan tuloksiin eikä siten tarjoajien valintaa toiselle kierrokselle koskeneeseen päätökseen. Helsingissä 26. helmikuuta 2015 Hannu Välimäki Hankejohtaja Ohjelmistokokonaisuuden vastaavuusarvioinnin tulosten liitteet: Liite 1: Vastaavuusarvioinnin kuvaus ja toteutussuunnitelma (= Tuotevertailun A osittaisen uusinnan kuvaus- ja toteutussuunnitelma () ja sen liitteet): 1. Luettelo tuotevertailun A osittaisen uusinnan käyttäjätarinoista, arviointitehtävistä ja muusta arviointimateriaalista (erillinen dokumentti, ) 2. Tuotevertailun A osittaisen uusinnan päiväaikataulu ja demonstraatioiden sijainti (erillinen dokumentti,, joka korvattu 28.11.2014) 3. Tuotevertailun käsitteitä Liite 2: Tuotevertailun A osittaisen uusinnan vahvistettu päiväaikataulu ja demonstraatioiden sijainti, 28.11.2014 (korvaa yllämainitun liitteen 1 liitteen 2 dokumentin) Perustelumuistio20150226_TvA_OsUusinta 12(12)

Neuvottelumenettely Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma: Versio 1.0 KUNTIEN JA HUS:N ASIAKAS- JA POTILASTIETOJÄRJESTELMÄN HANKINTA Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma Versio: 1.0 Tiedostonimi: 01TvA_OsittainenUusintaKuvaus20141127 Sivu 1 / 10

Neuvottelumenettely Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma: Versio 1.0 Sisällysluettelo 1. Dokumentin tarkoitus 4 2. Tuotevertailun A osittaisen uusinnan periaatteet ja menettelyt 4 3. Vastaavuuden arviointi 5 4. Tuotevertailun A osittaisen uusinnan kulku 5 4.1 Tuotevertailun A osittaisen uusinnan vaiheittaisuus ja sisältö 5 4.2 Tuotevertailun A osittaisen uusinnan aikataulu 5 4.3 Tuotevertailun A osittaisessa uusinnassa käytettävä materiaali ja esitehtävät 6 4.3.1 Tarjoajalta tuotevertailun A osittaista uusintaa varten pyydettävä etukäteismateriaali ja niiden toimitus 6 4.4 Muuta tuotevertailun A osittaisen uusinnan sisällöstä 7 4.5 Luottamuksellisuus ja liikesalaisuudet 7 5. Lisätiedot ja niiden toimitus tuotevertailun A osittaista uusintaa varten 7 6. Yhteyshenkilöt 7 7. Tuotevertailun A osittaista uusintaa koskevan kuvauksen liitteet 7 8. Muut tuotevertailun A osittaiseen uusintaan liittyvät ohjeet 7 Tiedostonimi: 01TvA_OsittainenUusintaKuvaus20141127 Sivu 2 / 10

Neuvottelumenettely Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma: Versio 1.0 VERSIOHISTORIA Päivä Versio Kuvaus Tekijä 27.11.14 1.0 Tarjoajalle lähetettävä versio Hanketoimisto Tiedostonimi: 01TvA_OsittainenUusintaKuvaus20141127 Sivu 3 / 10

Neuvottelumenettely Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma: Versio 1.0 1. Dokumentin tarkoitus Tässä dokumentissa ja sen liitteissä kuvataan sosiaalihuollon toiminnallisuuksiin kohdistuvan tuotevertailun A osittaisen uusinnan tarkoitus, periaatteet käytännön toteutus eli läpivienti, aikataulu ja eri osa-alueisiin osallistuvat asiantuntijaroolit, vertailussa käytettävä materiaali ja vertailuun valmistautuminen. Asiakas- ja potilastietojärjstelmän hankintamenettelyn sääntöjen mukaisesti tarjoajille on annettu tietyin edellytyksin mahdollisuus vaihtaa ohjelmistokokonaisuuttaan tai tehdä siihen muutoksia neuvottelumenettelyn aikana (kts. luku 2 jäljempänä). Tarjoaja Epic Systems Corporation (jäljempänä Epic) 1 ilmoitti 14.10.2014 muuttavansa ohjelmistokokonaisuuttaan siten, että muutoksella on osittaista vaikutusta siihen ohjelmistoalustaan, jolla tuotevertailun ensimmäinen vaihe (tuotevertailu A) toteutettiin. Ilmoituksen vastaanotettuaan hankintarengas päätti käyttää tuotevertailun periaatteiden (kts. luku 2 jäljempänä) mukaista oikeuttaan arvioida uuden ohjelmistokokonaisuuden vastaavuus suhteessa tuotevertailu A:ssa käytettyyn ohjelmistokokonaisuuteen, eli tuotevertailu A uusitaan osin tarjoajan Epic osalta. Hankkeen ohjausryhmän päätöksen 24.10.2014 mukaisesti käynnistettiin tuotevertailu A:n osittaisen uusinnan valmistelut välittömästi. 2. Tuotevertailun A osittaisen uusinnan periaatteet ja menettelyt Tuotevertailua koskevien periaatteiden 2 mukaisesti tarjoajan tulee käyttää tuotevertailussa lähtökohtaisesti samaa ohjelmistokokonaisuutta, jota tarjoaja tulee tarjoamaan lopullisessa tarjouksessaan. Tarjoaja voi vaihtaa ohjelmistokokonaisuuden tai tehdä siihen olennaisia muutoksia ainoastaan hankintarenkaan luvalla, jolloin uuden ohjelmistokokonaisuuden tulee olla toiminnallisuuden laajuuden ja laadun, käytettävyyden sekä mukautettavuuden kannalta vähintään alkuperäistä tasoa vastaava. Hankintarengas pidättää oikeuden todentaa tämä esimerkiksi arvioimalla ohjelmistokokonaisuus tarvittavilta osin uudelleen. Osana tätä todentamismenettelyä tuotevertailun A osittaisessa uusinnassa suoritetaan tulosten vastaavuuden arviointi kevään 2014 arviointituloksiin nähden. Tuotevertailun A osittainen uusinta tarjojan E (Epic) osalta kohdistuu osa-alueisiin 3 toiminnallinen laajuus ja laatu, käytettävyys sekä mukautettavuus. Toiminnallisen laajuuden ja laadun osa-alueella arvioinnin kohteena uusinnassa ovat aihealueet kotihoito ja vanhuspalvelut, sähköinen asiointi, toimeentulotuki, lastensuojelu sekä vammaispalvelu. Käytettävyyden osa-alueella arvioinnin kohteena ovat käytettävyyden asiantuntija-arviointi toimeentulotuen, lastensuojelun ja vammaispalvelun aihealueilla sekä ammattilaisasiantuntijoiden suorittama käytettävyyden arviointi kaikilla osittaisen uusinnan kohteena olevilla aihealueilla. Mukautettavuuden osa-alueella osittaisen uusinnan kohteena ovat sosiaalihuollon mukautettavuuden arviointia koskevat aihealueet. Tuotevertailuja koskevien menettelyjen 4 mukaisesti tarjoajan ohjelmiston perusohjelmistoalustan/rungon on tullut olla tuotantokäytössä jollain tarjoajan asiakkaalla tuotevertailun A aikana. Tarjoajan E tulee toimittaa jäljempänä kohdissa 4.2 ja 4.3.1 määritellyn mukainen luettelo tuotevertailussa käyttämistään ohjelmistoista ja niiden versioista sekä tieto missä ja millä tilaajalla ohjelmistot ovat tuotannossa. Tuotevertailun A osittaisessa uusinnassa pisteiden laskutapa 5, demonstraatioihin valmistautuminen 6, käytettävät käyttäjätarinat ja arviointikysymykset sekä mukautettavuustehtävät arviointilomakkeet mu- 1 Tuotevertailussa A tarjoajan Epic koodi oli E. Samaa tarjoajakoodia käytetään myös tuotevertailun A uusinnassa. 2 Tuotevertailun kuvaus ja toteutussuunnitelma, versio 1.1, 14.2.2014; luku 3 3 Tuotevertailun kuvaus ja toteutussuunnitelma, versio 1.1, 14.2.2014, luvut 2 ja 4 4 Tuotevertailun kuvaus ja toteutussuunnitelma, 14.2.2014; luvut 2 ja 5.3.3 5 Tuotevertailun A pisteytysmalli, 23.3.2014 6 Tuotevertailun A valmistautumisohjeet, 14.2.2014 Tiedostonimi: 01TvA_OsittainenUusintaKuvaus20141127 Sivu 4 / 10

Neuvottelumenettely Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma: Versio 1.0 kaan luettuna ovat samat kuin maalis-toukokuussa 2014 suoritetussa tuotevertailu A:ssa (ks. luku 4.3 jäljempänä). Kaikki uusinnassa käytettävät dokumentit on yksilöity liitteessä 1. 3. Vastaavuuden arviointi Tarjoajan E uuden ohjelmistokokonaisuuden vastaavuus tuotevertailu A:ssa käytettyyn ohjelmistokokonaisuuteen nähden todetaan vertailun toteuttavien asiantuntijoiden lausunnon perusteella. Vastaavuusarvio perustuu tarjoaja E:n tuotevertailu A:n osittaisessa uusinnassa ja tuotevertailu A:ssa saavuttamiin pisteisiin sekä arvioivien asiantuntijoiden kokonaisarvioon vastaavuudesta. Vastaavuuden kokonaisarviossa otetaan huomioon soveltuvin osin Tarjoaja E:n tuotevertailu B:ssä sosiaalihuollon aihealueiden toteutuksessa saavuttama taso. Mikäli arvioinnin perusteella tarjoajan uusi ohjelmistokokonaisuus vastaa muuttuneilta osin toiminnallisesti ja laadullisesti aiempaa tuotevertailua A:ssa käytettyä ohjelmistokokonaisuutta, voidaan tuotevertailua A:n liittyneiden vähimmäisvaatimusten 7 katsoa täyttyvän myös tarjoajan uuden ohjelmistokokonaisuuden osalta. Jos uusi ohjelmistokokonaisuus arvioidaan muuttuneilta osin toiminnallisuudeltaan ja laadultaan aiempaa ohjelmistokokonaisuutta vastaavaksi, arvioidaan kuitenkin samalla tulosten perusteella, ettei ohjelmistokokonaisuuden vaihdoksesta seuraa myöskään muutoksia vähimmäisvaatimusten täyttymisen arviointiin. 4. Tuotevertailun A osittaisen uusinnan kulku 4.1 Tuotevertailun A osittaisen uusinnan vaiheittaisuus ja sisältö Tuotevertailun A osittainen uusinta etenee seuraavalla tavalla: Marraskuussa 2014 tarjoajalle E toimitetaan tuotevertailun A osittaisen uusinnan kuvaus, arvioinnissa käytettävä materiaali ja järjestelyjä koskeva ohjeistus. Marras-joulukuussa 2014 tarjoaja E toimittaa pyydetyt lisätiedot ja materiaalit sekä mahdolliset tarkentavat kysymyksensä. Tuotevertailu A:n osittainen uusinta ja tulosten vastaavuuden arviointi tapahtuu 7.-9.1.2015. Vastaavuusarvioinnin päätöksentekoaikataulu tarkentuu myöhemmin. 4.2 Tuotevertailun A osittaisen uusinnan aikataulu Aikataulu on suunniteltu siten, että tarjoajalla on käyttäjätarinoiden ja mukautettavuustehtävien demonstraatioiden valmisteluun aikaa vähintään kuusi viikkoa. Tuotevertailun päätehtävät ja aikataulu on esitetty allaolevassa taulukossa. Demonstraatioiden tarkempi, päiväkohtainen aikataulu noudattaa kestoiltaan kevään 2014 arviointitilaisuuksien aikataulua ja on kuvattuna tämän dokumentin liitteessä 2. Viikko Ajankohta Tehtävä 47 ti 18.11.2014 Ilmoitus tarjoajalle tuotevertailun A osittaisen uusinnan ajankohdasta ja arvioitavista alueista osittaisen uusinnan kuvaus ja toteutussuunnitelman sekä arviointimateriaalin toimitus tarjoajalle E (Epic). 48 ke 26.11.2014 Tuotevertailun A osittaisen uusinnan kuvaus ja toteutussuunnitelman sekä muun arviointimateriaalin toimitus tarjoajalle E. ma 1.12.2014 klo 12 mennessä Tarjoaja E toimittaa tiedot tuotevertailussa käyttämistään ohjelmistoista ja niiden versioista sekä sisäistä integraatioista siten, että niistä ilmenee 7 Tuotevertailun A vähimmäisvaatimukset ja vertailuperusteet, 3.2.2014 sekä Tuotevertailun A osa-alueiden sisäiset painoarvot, 28.2.2014 Tiedostonimi: 01TvA_OsittainenUusintaKuvaus20141127 Sivu 5 / 10

50 ti 9.12.2014 klo 12 mennessä Neuvottelumenettely Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma: tiedot tuotevertailussa käyttämistään ohjelmistoista ja niiden versioista sekä tieto missä ja millä tilaajalla ohjelmistot ovat tuotannossa. Versio 1.0 Tarjoaja E toimittaa mahdolliset kysymyksensä tuotevertailun A osittaisen osittaisen uusinnan materiaaleihin ja läpiviennin järjestelyihin liittyen. 51 pe 19.12.2014 Tarjoajalle E toimitetaan mahdolliset tuotevertailun A osittaista uusintaa koskevien kysymysten vastaukset. 2/2015 7.- 8.1.2015 Tarjoajan E päiväaikataulun mukaiset aihealueiden A5-A9 käyttäjätarinoiden uusintademonstroinnit toiminnallisen laajuuden ja laadun sekä käytettävyyden arvioimiseksi. 3-5/ 2015 pe 9.1.2015 Tarjoajan E päiväaikataulun mukaiset sosiaalihuollon mukautettavuustehtävien uusintademonstroinnit mukautettavuuden arvioimiseksi. 12.-30.1.2015 Tuotevertailun A osittaista uusintaa koskevien arviointitulosten loppuyhteenveto Hankintarengas voi tarvittaessa tehdä aikatauluun muutoksia. 4.3 Tuotevertailun A osittaisessa uusinnassa käytettävä materiaali ja esitehtävät Tuotevertailun A osittaisessa uusinnassa toiminnallisen laajuuden ja laadun sekä käytettävyyden arvioinneissa eri käyttäjätarinoiden aihealueet ja niiden sisältämät potilastyypit ovat: Aihealue A5: Kotihoito ja Vanhuspalvelut: kotihoidon ja vanhuspalveluiden potilas/asiakas palvelutoiminta Aihealue A6: Sähköinen asiointi: potilas- ja asiakasportaalin käyttö ammattilaisen näkökulmasta Aihealue A7: Toimeentulotuki: toimeentulotuen hakeminen, päätös ja maksu Aihealue A8: Lastensuojelu: lastensuojeluilmoitus, kiireellinen sijoitus ja huostaanotto Aihealue A9: Vammaispalvelu: vammaispalvelutarpeen selvittäminen, suunnitelma ja päätös Vastaavasti mukautettavuustehtävien aihealueet on kuvattu seuraavissa dokumenteissa: Mukautettavuuden arviointi: Sosiaalihuollon ennakkotehtävät. Mukautettavuuden arviointi: Sosiaalihuollon testitilannetehtävät Tuotevertailun A osittaisen uusinnan käytännön järjestelyissä noudatetaan soveltuvin osin tuotevertailun A valmistautumisohjeita (ks. muut liittyvät ohjeet jäljempänä luvussa 8). Tuotevertailun A osittaisessa uusinnassa arviointimateriaalit liitteineen ovat suomenkielisiä. Luettelo uusinnassa käytettävästä arviointimateriaalista on tämän dokumentin liitteessä 2. 4.3.1 Tarjoajalta tuotevertailun A osittaista uusintaa varten pyydettävä etukäteismateriaali ja niiden toimitus Tarjoaja E toimittaa 1. Tuotevertailussa käyttämiensä ohjelmistojen nimet ja versiot ja vähintään yksi asiakas, jolla kukin ohjelmisto on ollut tuotantokäytössä tuotevertailun A aikana. Tiedot toimitetaan päivittämällä tuotevertailun A yhteydessä toimitettu taulukko. 2. Luettelon sellaisista tarjoajan alustavan ratkaisun kuvauksen sisäisistä integraatioista ja tiedonvaihtorajapinnoista, joita ei ole toteutettu tarjoajan tuotevertailukokoonpanossa, mutta jotka Tiedostonimi: 01TvA_OsittainenUusintaKuvaus20141127 Sivu 6 / 10

Neuvottelumenettely Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma: Versio 1.0 ovat välttämättömiä tuotevertailussa toiminnallisuusketjujen ja tiedon yhteiskäytön toteutumiseksi. Tiedot toimitetaan päivittämällä tuotevertailun A yhteydessä toimitettu taulukko. Kaikki materiaalit toimitetaan edellä kohdan 4.2 aikataulussa asetettuihin määräaikoihin mennessä lataamalla materiaalit Apotti-hanketoimiston share point sivuston tarjoajakohtaisiin työtiloihin (https://helsinginkau.sharepoint.com/). Latauksesta ja tiedot latauksen sisällöstä lähetetään sähköpostiviesti tuotevertailun yhteyshenkilölle ja kopiona osoitteeseen apotti@hel.fi Sähköpostin aihekenttään kirjataan tuotevertailu A osittainen uusinta materiaalia /arviointitilaisuus / tarjoajan nimi tai lyhenne ja kuvauskenttään yksilöidään tarkemmin kunkin toimituksen sisältö. 4.4 Muuta tuotevertailun A osittaisen uusinnan sisällöstä Erillisiä vendor-briefejä tuotevertailun A osittaisen uusinnan läpivientiä varten ei järjestetä. Tarjoajalla on käytössään kevään tuotevertailu A:ssa hankintarenkaalle osoitetut kysymykset ja vastaukset (ks. muut liittyvät ohjeet jäljempänä luvussa 8). Tuotevertailun A osittaisen uusinnan demonstraatiot järjestetään Apotti-hanketoimiston osoittamissa tiloissa, jotka on määritelty liitteessä 2. 4.5 Luottamuksellisuus ja liikesalaisuudet Hankintapäätös ja sen liitteet ovat julkisia päätöksen allekirjoituksen jälkeen. Muut hankinta-asiakirjat ovat julkisia sopimuksen tekemisen jälkeen. Tarjoajalla on oikeus saada tieto hankinta-asiakirjoista päätöksen allekirjoituksen jälkeen. Tarjoajan on ilmoitettava liikesalaisuuksinaan pitämänsä tarjouksen tiedot erillisellä liitteellä. Hankintayksiköt harkitsevat, ovatko liikesalaisuuksiksi esitetyt asiat lain mukaan salassa pidettäviä. Jos tarjoaja ei ilmoita liikesalaisuuksiaan edellä vaaditulla tavalla, hankintayksiköillä on oikeus pitää tarjoajan tarjousta kokonaisuudessaan julkisena. Tarjouksen julkiseksi tulemisen ajankohta määräytyy edellä kerrotulla tavalla. Arvioijilta pyydetään salassapitositoumus. 5. Lisätiedot ja niiden toimitus tuotevertailun A osittaista uusintaa varten Tarjoaja voi esittää kysymyksiä tuotevertailun A osittaisen uusinnan läpiviennistä ti 9.12. saakka. Kysymykset lähetetään tuotevertailun yhteyshenkilölle ja kopiona osoitteeseen apotti@hel.fi Sähköpostin aihekenttään kirjataan Tuotevertailun A osittaista uusintaa koskevia kysymyksiä (tai muu yksilöivä tieto kysymyksen aihepiiristä). 6. Yhteyshenkilöt Tuotevertailun yhteyshenkilönä toimii projektipäällikkö Leena Keskisaari-Kajaste (leena.keskisaarikajaste@hel.fi, +358 9 310 25016) Hankkeen postilaatikko: apotti@hel.fi 7. Tuotevertailun A osittaista uusintaa koskevan kuvauksen liitteet Liite 1: Luettelo tuotevertailun A osittaisen uusinnan käyttäjätarinoista, arviointitehtävistä ja muusta arviointimateriaalista (erillinen dokumentti, ) Liite 2: Tuotevertailun A osittaisen uusinnan päiväaikataulu ja demonstraatioiden sijainti (erillinen dokumentti, ) Liite 3: Tuotevertailun käsitteitä (jäljempänä tässä dokumentissa) 8. Muut tuotevertailun A osittaiseen uusintaan liittyvät ohjeet 1. Tuotevertailun A kuvaus ja toteutussuunnitelma, versio 1.1, 14.2.2014 Tiedostonimi: 01TvA_OsittainenUusintaKuvaus20141127 Sivu 7 / 10

Neuvottelumenettely Tuotevertailu A:n osittaisen uusinnan kuvaus ja toteutussuunnitelma: Versio 1.0 2. Tuotevertailun A pisteytysmalli, 23.3.2014 3. Tuotevertailun A valmistautumisohjeita, v.1.0, 14.2.2014 4. Hankintarenkaalle saapuneita,tuotevertailuun A liittyviä kysymyksiä, 28.3.2014, versio 1.3 (osittaista uusintaa koskevilta osin). 5. Tuotevertailun A vähimmäisvaatimukset ja vertailuperusteet, 3.2.2014 6. Tuotevertailun A osa-alueiden sisäiset painoarvot, 28.2.2014 Tiedostonimi: 01TvA_OsittainenUusintaKuvaus20141127 Sivu 8 / 10