LIITE: REFERENSSIEN JA TYÖNÄYTTEIDEN PISTEYTYKSEN PERUSTELUT REFERENSSIT Yleistä Arvioinnin kohteena oli asiantuntemus, jonka YTHS:lle nimetyt asiantuntijat ovat saaneet referenssikohteista, ja kuinka hyvin saatu kokemus on hyödynnettävissä YTHS:n hankkeessa. Referenssejä arvioitiin kokonaisuutena, ja niiden arvioinnissa kiinnitettiin huomiota YTHS:lle tarjottujen asiantuntijoiden rooliin, vastuisiin ja tehtäviin referenssihankkeessa, referenssihankkeiden kokoon ja sekä siihen, kuinka hyvin se vastasi YTHS:n potilastietojärjestelmähankkeen laaja-alaisuutta. Tarjouksissa oli eroa sen suhteen, olivatko kaikki YTHS:lle tarjotut asiantuntijat osallistuneet referenssikohteisiin. Yksittäisessä tapauksessa oli jopa niin, että kokonainen osaamisalue jäi referensseissä kattamatta. Joissakin tapauksissa toimeksiannon laajuus jäi epäselväksi, minkä vuoksi annetut pisteet jäivät matalammaksi tai laajuutta ei ollut mainittu. Terveydenhuollon tietojärjestelmähankkeissa havaittiin seuraavia eroja: YTHS:n alkavaa hanketta ja opiskelijaterveydenhuollon tarpeisiin vastaavia terveydenhuollon tietojärjestelmähankkeita oli referensseissä vähän. Monet referenssihankkeet olivat suppeita, keskittyivät terveyden/sairaanhoidosta tai sairaalaorganisaation sellaisiin toiminta-alueisiin, jollaisia ei ole YTHS:n toiminnoissa, tai keskittyivät vain yhden YTHS:n hankkeeseen sisältyvään, mutta sen kokonaisuuden kannalta pieneen osa-alueeseen. Laaja-alaisia potilastietojärjestelmähankkeita, joihin olisi kuulunut projektin toteutusvaihe, ei ollut lainkaan.
YTHS:lle tarjottujen asiantuntijoiden työpanos/rooli annetuissa referensseissä oli usein pieni tai vähemmän merkittävä verrattuna siihen mitä YTHS:n hankkeessa tarvitaan. Erityishuomioita koskien hankintalain alaisen neuvottelumenettelyn tai kilpailullisen neuvottelumenettelyn avulla toteutettuja tietojärjestelmähankintoja: hankkeen koot (euroina) ja asiantuntijatyön osuus (htp) hankkeesta vaihtelivat merkittävästi. kompleksisuuteen vaikuttivat mm. käyttöönottavan organisaation rakenne ja koko referensseissä oli markkinoilla valmiiden ratkaisujen käyttöönottoa pienillä tai suurilla räätälöinneillä Tarjoaja- ja referenssikohtaisia huomioita Deloitte Oy Yleisesti referenssit vastasivat hyvin YTHS:n tarpeita ja asiantuntijoiden saama kokemus niistä on YTHS:lle käyttökelpoista. Nimettyjen asiantuntijoiden rooli referensseissä on ollut keskeinen niiltä osin, kuin asiantuntijat hankkeisiin osallistuivat, ja kaikki nimetyt asiantuntijat löytyivät annetuista referensseistä. Terveydenhuollon tietojärjestelmäreferenssien laajuudet ja verrannollisuus YTHS:n hankkeeseen oli vertailun paras. Referenssin heikkoutena oli kuitenkin, että asiantuntijat osallistuivat vain pienehköön osaan koko hankkeen vaiheita ja mm. toteutus- ja käyttöönottovaihe puuttui. Hankintalain alaisen neuvottelumenettelyn tai kilpailullisen neuvottelumenettelyn avulla toteutettuja tietojärjestelmähankkeita koskista referensseistä toinen oli laajuudeltaan ja sisällöltään verrannollinen YTHS:n hankkeeseen muutoin, mutta ei käsittänyt toteutusvaihetta. Toinen hanke oli laajuudeltaan ja kompleksisuudelta iso menestyksekkäästi toteutettu hanke, mutta markkina oli olennaisesti kypsempi kuin YTHS:n hankkeessa. KPMG Oy Ab Osa referensseistä koski YTHS:n hankkeen kannalta relevantteja osa-alueita, jotka täytyvät lakisääteisinä ja arkkitehtuurivaatimuksina ottaa vaatimusmäärittelyissä huomioon. Hankkeissa YTHS:lle tarjottujen
asiantuntijoiden rooli tietojärjestelmien toteutus-, käyttöönotto-, ylläpito- ja tukivaiheissa oli pieni. Yksi hankinnan osaamisalue jäi täysin kattamatta, ko.alueelle YTHS:lle tarjottuja asiantuntijoita ei löytynyt annetuista referensseistä. Toimeksiantojen laajuus ja YTHS:lle tarjottujen asiantuntijoiden työpanoksen määrä jäi epäselväksi. Terveydenhuollon tietojärjestelmähankkeista kumpikaan ei ollut toteutushanke, ja referenssikohteiden laajuus oli sisällöllisesti YTHS:n hankketta tuntuvasti suppeampi. Hankkeista saatu asiantuntemus olisi kuitenkin YTHS:n hankkeen kannalta käyttökelpoista. Market-Visio Oy ja Borenius Oy Referensseissä oli hyviä vastaavuuksia YTHS:n hankkeeseen sähköisen asioinnin ja sähköisten palveluiden sekä vaatimusmäärittelyjen osalta. Varsinaisia potilastietojärjestelmähankkeita ne eivät kuitenkaan olleet ja terveydenhuollon osa-alueet eivät olleet kattavia. Terveydenhuollon tietojärjestelmähankkeista toinen oli laaja toimeksianto, toinen taas hankkeen vaiheiden ja tarjottujen asiantuntijoiden roolien suhteen suppea. Hankintalain alaisen neuvottelumenettelyn tai kilpailullisen neuvottelumenettelyn avulla toteutettuja tietojärjestelmähankkeita koskevista referensseistä toinen oli laaja hanke, jossa YTHS:lle tarjotut asiantuntijat olivat olleet kattavasti eri vaiheissa ja osa-alueilla mukana. Toinen referenssikohde oli laaja ja kompleksi, mutta kuvaukseltaan niin epätarkka, että sen vastaavuus YTHS:n kohteeseen nähden jäi epäselväksi. Pivotal-ryhmittymä Pivotal-ryhmittymän referenssit kattoivat kaikki osaamisalueet, mutta kaikki tarjotut asiantuntijat eivät olleet osallistuneet referenssikohteisiin. Referenssikohteet vaihtelivat laajuudeltaan merkittävästi. Referensseihin sisältyi laaja YTHS:n hankkeeseen verrannollinen tietojärjestelmähanke, joka kuitenkin poikkesi merkittävällä YTHS:n opiskelijaterveydenhuollon sisällöistä. Neuvottelumenettelyn- tai kilpailullisen neuvottelumenettelyn tietojärjestelmäreferensseistä toinen kohdistui vain tietojärjestelmien
arkkitehtuuriin (osaamisalue B) ja toinen juridiikkaan (osamaisalueet C1 jac2), mutta kumpikaan ei käsittänyt molempia, mistä johtuen molempien laajuus jäi verrattain pienehköksi. PricewaterhouseCoopers Oy Referensseistä löytyi potilastietojärjestelmähankkeita. Terveydenhuollon tietojärjestelmähankereferensseistä toinen oli hyvin verrannollinen YTHS:n hankkeeseen, mutta sen asiantuntijapalvelun osuus oli pienehkö ja vaiheiden osalta suppea. Toinen terveydenhuollon tietojärjestelmäreferenssi sisälsi laajasti hankkeen eri vaiheita, toimeksiannon koko oli isohko ja asiantuntijoiden rooli kattava, mutta YTHS:lle soveltuvia terveydenhuollon osa-alueita siinä oli vähän. Hankintalain alaisen neuvottelumenettelyn tai kilpailullisen neuvottelumenettelyn avulla toteutetuista tietojärjestelmähankereferenssit koskivat molemmat kompleksia hankintaa kypsymättömältä markkinalta, mutta YTHS:lle tarjottujen nimettyjen asiantuntijoiden vastuualue ja rooli hankkeessa jäi hyvin pieneksi, etenkin kun huomioidaan YTHS:n tarvitsemat osaamisalueet. Kaikkia YTHS:lle tarjottuja asiantuntijoita ei löytynyt annetuista referensseistä. Salivirta Oy Salivirta Oy:n referenssit kattoivat kaikki osaamisalueet, mutta kaikki tarjotut asiantuntijat eivät osallistuneet referenssikohteisiin. Referenssikohteisiin sisältyi YTHS:n hanketta sisällöllisesti melko hyvin vastaava terveydenhuollon tietojärjestelmähanke, joka oli kuitenkin selvästi pienempi ja sisällöltään YTHS:n hanketta rajoittuneempi. Hankintalain alaisen neuvottelumenettelyn tai kilpailullisen neuvottelumenettelyn avulla toteutettuja tietojärjestelmähankkeita koskevista referensseistä toinen käsitti sisältökysymykset ja käyttöönoton tuen, mutta juridiikan hoiti erillinen lakiasiaintoimisto. Toinen referenssikohde oli hankkeena iso ja käsitti yhden YTHS:n hankkeen kannalta tarpeellisen elementin. Asiantuntijoiden rooli oli hankkeessa suuri.
Teknologian tutkimuskeskus VTT Referenssit käsittivät kaikki osaamisalueet, mutta niiden vastaavuus YTHS:n hankkeeseen ei ollut kovin suuri. Terveydenhuollon referensseissä oli syvälle porautuva, mutta terveydenhuollon substanssialueiden osalta olennaisesti YTHS:n hanketta suppeampi toimeksianto, joka vastaa osittain YTHS:n hanketta. Tarjottujen asiantuntijoiden rooli oli ollut tärkeä hankkeelle. Hankintalain alaisen neuvottelumenettelyn tai kilpailullisen neuvottelumenettelyn avulla toteutettuja tietojärjestelmähankkeita koskevista referensseistä toinen oli suuri hanke, jossa tarjotut asiantuntijat olivat merkittävässä roolissa. Hanke poikkesi sisällöllisesti suuresti YTHS:n hankkeesta, mutta oli erittäin kompleksi ja markkina kypsymätön, joten sen tarjoama asiantuntemus olisi YTHS:lle arvokasta. Muut referenssit ovat toimeksiannoiltaan pieniä, YTHS:n hankkeen kannalta vähemmän relevantteja ja asiantuntijoiden rooli oli hankkeissa pienehkö. TYÖNÄYTTEET Yleisiä huomioita Työnäytteiden pisteytyksessä arvioitiin kuinka hyvin työnäyte vastaa nimenomaisesti YTHS:n potilastietojärjestelmähankkeen tarpeisiin tarjouspyynnöstä ja sen liitteistä esiin tulevien tietojen valossa. Työnäytteiden käytännönläheisyys ja konkreettisuus vaikuttivat myös pistearvioon. Lisäksi pisteytyksessä arvioitiin, kuinka työnäyte kuvastaa eri osaamisalueiden asiantuntemusta. Yleisellä tasolla työnäytteet olivat vähintään tyydyttäviä tai hyviä. Eroja syntyi projektisuunnitelmassa mm. tarkkuudesta vastuiden määrittelyssä, tehtävien/vaiheiden keston määrityksessä ja käytettävien menetelmien sisällöstä tai niiden ymmärrettävästä kuvauksesta. Markkinakatsauksissa painoi selvästi hyvin niukka merkkimäärä, jota käytettiin eri tavoin. Osa työnäytteistä oli luettelomaisia toimittajalistauksia, osassa keskityttiin vain YTHS:n kannalta sopivimpiin mahdollisiin toimittajiin ja perusteltiin näkemyksiä. Sopimusrungot olivat kautta linjan korkeatasoisia, mutta niissä oli merkittäviä eroja annetun
informaation määrässä, käytännönläheisyydessä ja sopimuskokonaisuuden selkeydessä. Joissakin tapauksissa sopimusrungot olivat sisällysluettelon tai jopa sopimusnimikkeen tasolla, joissakin työnäytteissä sopimuksissa käsiteltävät tiedot kuvattiin hyvin kattavasti ja konkreettisella tasolla. Tarjoaja- ja työnäytekohtaisia huomioita Deloitte Oy Deloitte Oy:n toteuttamissuunnitelma sisälsi selkeästi tehtävät, vastuut ja vaiheiden tuotokset. Vaiheiden aikataulutus ja kesto olivat riittävän yksityiskohtaisella tasolla. Käytettäviin menetelmiin oli valittu YTHS:lle soveltuvia tapoja ja käytännönläheisiä esimerkkejä. Työnäyte arvioitiin vertailun parhaaksi. Markkinakatsauksessa oli suunnattu voimakkaasti YTHS:n tarpeiden mukaiseksi ja se toi hankinnan kannalta merkittäviä asioita esille. Siinä huomioitiin YTHS:n erityistarpeet, mm. suun terveydenhuolto ja kansalliset kehitysnäkymät. Markkinakatsauksesta sai hyvän käsityksen mahdollisista YTHS:n toimittajista. Deloitte Oy:n esittämä sopimusrunko oli erittäin kattava. Se sisälsi sisällysluettelon lisäksi mm. selostuksen sopimuksen sisällöstä, liitteistä ja huomioitavista asioista. Työnäyte oli helposti ymmärrettävä, yksityiskohtainen käytännönläheinen, sekä konkreettinen, ja vastasi erittäin hyvin YTHS:n hanketta. Työnäyte arvioitiin vertailun parhaaksi. KPMG Oy Ab Toteuttamissuunnitelma kuvasi tehtäviä, aikataulutusta, tuotoksia ja vastuita. Lopputuotokset eri vaiheille oli kuvattu hyvin. Aikataulukuvissa tehtävät olivat
yksityiskohdissaan hankintastrategian tasolla, joten suunnitelmassa otsikkotason alle kuvatuille tärkeimmille tehtäville varattua kestoa oli vaikea arvioida. Käytettävien menetelmien soveltaminen YTHS- työympäristöön jäi myös verrattain epäselväksi. Markkinakatsaus oli ulkoasultaan selkeä. Eri toimittajia, niiden toimialoja ja kokoja oli listattu kattavasti. Työnäytteestä ei kuitenkaan tullut selkeästi esille tarjoajan näkemys YTHS:lle sopivista järjestelmätoimittajista. Sopimusrunko oli kattava eri sopimustyyppien osalta ja siinä oli huomioitu hyvin sopimuskokonaisuuden kannalta olennaiset seikat otsikkotasolla. Se ei kuitenkaan ollut vertailun yksityiskohtaisempia, konkreettisempia ja käytännönläheisempiä sopimusrunkoja, ja jäi siksi kärkipisteistä. Market-Visio Oy ja Borenius Oy Toteuttamissuunnitelmassa oli selkeä yhteenveto vaiheistuksesta ja tehtävistä sekä lopputuloksista. Työskentelytapakuvaukset olivat konkreettiset ja helposti ymmärrettävät. Suunnitelmaan oli poimittu projektinhallinnan tärkeimpiä alueita käytännönläheisesti kuvattuna. Laadunvarmistuksessa mainitut projektityön viitekehys ja kansainväliset IT-alan menetelmät toivat ammattimaista uskottavuutta suunnitelmaan. Puutteeksi koettiin tarkempien rooli- ja vastuukuvausten ja yksityiskohtaisemmalle tasolle menevän työmääräarvion puuttumisen. Työnäytteessä esitellään kattavasti järjestelmiä ja mm. kansainväliset haastajat on huomioitu. Markkinan muutostila käy hyvin ilmi työnäytteestä konkretian tasolla. Työnäytteestä ei kuitenkaan ilmene YTHS:n erityistarpeiden huomiointia mm. suunterveyden osalta. Järjestelmien elinkaaret on huomioitu ja markkinoilla olevia järjestelmiä ja toimittajia verrataan vastakkain.
Sopimusrunko oli kattava, asiantunteva ja osoitti tarjoajan osaavan nimetä olennaiset tämän tyyppiseen sopimukseen kuuluvat elementit otsikkotasolla. Kun vertailussa oli kuitenkin mukana merkittävästi yksityiskohtaisempia, käytännönläheisempiä ja konkreettisempia sopimusrunkoja, ylsi sopimusrunko vain kilpailun keskitasoon. Pivotal-ryhmittymä Toteuttamissuunnitelmaan oli kerätty projektinhallinnan kannalta oleelliset asiat. Valmisteluvaiheen roolit ja alustavan tarjouspyynnön sisältö oli kuvattu käytännönläheisesti. Lopputuotokset oli kuvattu yleisemmällä tasolla kuin monissa muissa suunnitelmissa ja vaiheisiin arvioitu kuluva aika ei tullut suunnitelmasta esille. Aikataulukaavio eri tehtäville ja niiden järjestykselle olisi helpottanut suunnitelman hahmottamista. Työnäytteessä on lueteltu kattavasti kotimaisia ja ulkomaisia potilastietojärjestelmien toimittajia ja potilastietojärjestelmiä. Järjestelmien odotettavissa olevat elinkaaret, markkinan muutoksen vaikukset sekä YTHS:n erityistarpeet ovat jääneet vaille huomiota. Työnäyte osoittaa, että järjestelmät tiedetään ainakin nimeltä, mutta työnäyte ei ole kovin käytännönläheinen eikä anna kovin hyvää kuvaa juuri YTHS:lle sopivista järjestelmistä tai siitä, mitkä tekijät olisivat olennaisia juuri YTHS:lle sopivan järjestelmän valinnassa. Sopimusrungossa oli selvitetty sopimusrakenne ja osa keskeisistä sopimusehdoista oli avattu sangen hyvin. Toisaalta sopimusrunko oli selvästi vertailun suppein, ja suuri määrä merkittäviä muissa sopimusrungoissa esiin nostettuja asioita jäi kokonaan avaamatta. Esimerkiksi projektisopimuksen sisältö jäi kokonaan avaamatta, mikä oli erittäin korkeatasoisessa kilpailussa hyvin merkittävä asia.
PricewaterhouseCoopers Oy Toteuttamissuunnitelma oli hyvin rakennettu ja se sisälsi tarpeeksi yksityiskohtaiset aikatauluarviot eri vaiheille. Roolit ja vastuut oli ilmaistu konkreettisesti. Kilpailullisen neuvottelumenettelyn aikajana oli todella selkeä. Eri vaiheiden tuotokset oli hyvin listattu, mutta joissakin kohdissa tehtävän ja tuotoksen yhteys ei ollut helposti havaittavissa. Päätehtävien ja tuotosten laittaminen myös jonkinlaiselle aikajanalle olisi selkeyttänyt suunnitelmaa. Tietopyynnön laatiminen (tietopyynnön sisältö, rakenne) ja eri vaiheiden laadunvarmistusmenetelmät ei ollut kuvattu kovin konkreettisesti. Työnäytteessä on huomioitu tarjolla olevien järjestelmien elinkaaret, integroitavuus, kustannustehokkuus ja joustavuus. YTHS:n erityispiirteet, kuten suun terveydenhuolto, on huomioitu. Tarjolla olevia järjestelmiä on arvioitu myös vastakkain ja työnäytteessä otetaan selvästi kantaa YTHS:lle sopiviin järjestelmiin, mitä sinänsä arvostettiin, mutta johtopäätökset poikkeavat syvästi YTHS:n 2012 tekemästä markkinakatsauksen tuloksista, mikä viittaa siihen, että YTHS:n tarpeita ei ole ymmärretty täysin. PwC:n sopimusrunko huomioi laajasti ja erittäin asiantuntevasti sopimukseen kuuluvat olennaiset asiat. Se toi ansiokkaasti esiin sopimuksessa huomioitavat asiat ja tarkensi tärkeimpiä ehtojen yksityiskohtaisemmalla tekstillä. Runko oli vertailun vahvimpia, mutta hahmotettavuudeltaan ja sitä kautta käytännönläheisyydeltään se jäi kuitenkin parhaaksi katsotusta sopimusrungosta hiukan. Lisäksi sopimusrunkoon kirjattua etusijajärjestystä koskeva ratkaisu oli yllättävä, ja olisi kaivannut selvennystä. Salivirta Oy Toteuttamissuunnitelma oli hyvin jaettu vaiheisiin, niiden tavoitteisiin ja tuloksiin. Tavoitteet oli kuvattu selkeästi, joskin hieman yleisellä tasolla. Tehtävät olivat helposti ymmärrettävät. Työtavat olivat käytännönläheiset. Eri
vaiheisiin arvioitua työmäärää, tai vaiheiden aikataulutusta ei suunnitelmasta löytynyt, ei myöskään rooleja ja vastuita. Työnäyte osoittaa laatijoiden tuntevan markkinoilla olevat järjestelmät ja markkinoiden muutostilan, järjestelmien kypsyyteen on kiinnitetty erityistä huomiota. Työnäytteessä on huomioitu hyvin toiminnanohjaus, integraatiot, kansallisesti asetetut vaatimukset ja YTHS:n erityistarpeet. Työnäyte vastasi YTHS:n tarpeita hyvin, osoitti asiantuntemusta ja oli melko konkreettinen. Sitä pidettiin yhtenä vertailun parhaista katsauksista. Salivirta Oy:n esittämä sopimusrunko oli selkeä sopimuskokonaisuuden sisällysluetteloista muodostuva kokonaisuus, johon oli asiantuntevasti nostettu sopimuksen kannalta olennaisimmat ehdot. Konkreettisuudeltaan ja käytännönläheisyydeltään ja niiden kautta ilmenevästä YTHS:n hankkeen erityiseltä huomioinniltaan se arvioitiin kuitenkin verrattain heikoksi kovatasoisessa kisassa. Teknologian tutkimuskeskus VTT Toteuttamissuunnitelma oli rakennettu hyvin selkeäksi. Tehtäväkuvaus ja tulos oli kuvattu hyvin. Roolit ja vastuut eivät tulleet selkeästi esille. Aikatauluun oli lisätty erittäin tärkeä huomio aikataulun riippuvuuksista. Muuten aikataulu oli hieman karkealla tasolla eri vaiheiden tehtävien suhteen. Työnäytteessä on selvitetty keskeiset tarjolla olevat potilasjärjestelmät, mutta järjestelmien kypsyyttä ei ole huomioitu. YTHS:n kannalta merkitykselliseen suunterveyteen ei kiinnitetä huomiota, mutta toiminnanohjaus, integroitavuus, tiedolla johtaminen ja YTHS:n asiakaskunta oli huomioitu yleisellä tasolla. Työnäytteestä käy selvästi ilmi, että VTT tuntee markkinan syvemmin kuin pelkästään toimijoiden tasolla.
VTT:n esittämä sopimusrunko kuului vertailun kolmen parhaan joukkoon. Se oli laaja kokonaisuus, jossa oli hyvin huomioitu kaikki olennaiset asiat, ja avattu käytännönläheisellä tavalla sopimusehtojen tosiasiallista sisältöä.