Palveluarkkitehtuurin hyötyjen mittaaminen

Transkriptio

1 Palveluarkkitehtuurin hyötyjen mittaaminen FYI SOA seminaari Helsinki, Juha Mykkänen Itä-Suomen yliopisto, Kuopion kampus Tietojenkäsittelytieteen laitos HIS-tutkimus ja kehittäminen 1

2 Puhujan ja sisällön taustaa Juha Mykkänen, FT, tutkimusjohtaja Itä-Suomen yliopisto, Tietojenkäsittelytieteen laitos, Kuopion kampus, HIS-tutkimus Kuopio Welfare Research Center KWRC, Hyvinvoinnin tiedonhallinta ja tekniikat -tutkimuslinja HL7 Finland ry puheenjohtaja, Sosiaali- ja terveydenhuollon tietojenkäsittely-yhdistys varapuheenjohtaja, International Medical Informatics Association (IMIA) / WG Health Information Systems -järjestö, HL7 International SOA Ambassador, JHS-standardisalkku-, STM arkkitehtuurijaosto projekteja integrointiratkaisujen ja palveluarkkitehtuurin (SOA) tutkimiseen ja soveltamiseen SOLEA : SOA ja EA, teollisuus ja terveydenhuolto Sosiaalialan tietoteknologiahanke - Tikesos Mielen ja kehon eliksiirit -ohjelma, Terveyden ja hyvinvoinnin strategisen huippuosaamisen keskittymä (SalWe SHOK), SerAPI : palveluarkkitehtuuri ja sovellusintegraatio, terveys OmaHyvinvointi (MyWellbeing) , asiakaskeskeiset hyvinvointipalvelut PlugIT , sovellusintegraatio terveydenhuollossa ekat / terveyspalvelujen ajanvarauksen arkkitehtuurin suuntaviivat 2008 Healthcare services specification project (HSSP) / HL7 and OMG, Integrating the Healthcare Enterprise - IHE.fi HL7- ja web services -standardeja ajanvarauksiin, sähköiseen reseptiin, sähköiseen potilastietoarkistoon, potilasryhmittelyihin, työpöytäintegraatioon jne. 2

3 Sisältö Konteksti SOA-mittauksen lähestymistapa perustelu, SOA-tavoitteet, siirtymäpolku, jäljitettävyys Mittauksen ja arvioinnin perusteet tavat, muutosten nopeus, mittarityypit, mitattavat kohteet Indikaattoreiden valinta valintaprosessi, mittareita Vaatimusten määrittely mittareiden kautta esimerkkejä Yhteenveto 3

4 SOLEA Palvelupohjainen paikallisesti sovitettava kokonaisarkkitehtuuri Tekes-projekti, HIS / Itä-Suomen yliopisto Terveydenhuollon tietojärjestelmien T&K-yksikkö, tkt-laitos SoberIT / Aalto-yliopiston Teknillinen korkeakoulu Ohjelmistoliiketoiminnan ja tuotannon laboratorio Terveyspalvelujen tuottajat Helsingin ja Uudenmaan shp, Medbit / Varsinais-Suomen shp, Pohjois-Savon shp/istekki, Satakunnan shp Teollisuusyritykset ja palvelutuottajat Konecranes, Metso, Osuuspankkikeskus, Raha-automaattiyhdistys, Järjestelmä- ja teknologiatoimittajat ja IT-integraattorit Commit;, Datawell, Fujitsu Services, Intersystems, Itella, Logica, Mawell, CSC Yhteistyöorganisaatiot Tieke, HL7, Kela, STM, Kuntaliitto, Kunta-IT, Sosiaalialan tietoteknologiahanke 4

5 Näkökulmia kokonaisarkkitehtuuriin [Dragstra, 2005] Prosessien hallinta ja parantaminen (Business process centric) Toiminnan ymmärtäminen ja johtaminen (Governance centric) Käyttäjä Portlets WSRP Prosessi Sovelluspalvelut -atomiset -yhdistetyt Hyllytuote Räätälöity Taustajärjestelmät Palvelin Palvelukomponentit Oliopohjainen CRM, ERP Business intelligence Integrointiarkkitehtuuri (ESB) Laadunhallinta (QoS) (turvallisuus-, hallinta- ja seurantainfrastruktuuri) Tietoarkkitehtuuri (metatiedot, kuvaukset, tietovarastointi) Hallintakäytännöt (governance, policy) Toiminnan ja tietoteknisten ratkaisujen vastaavuus (IT centric) 5

6 6 Tietojärjestelmien kehittämisen tavoitteita tietojärjestelmien kehitykseen liittyviä tavoitteita, joita erityisesti palveluarkkitehtuurin ja web-sovelluspalvelujen avulla pyritään saavuttamaan A. Uudelleenkäyttö -jo toteutettujen toimintojen kapselointi -päällekkäisyyksien vähentäminen -yhdenmukaisten palvelujen tarjoaminen -ohjelmistotyön tuottavuus C. Osien markkinat -mahdollisuus myydä ja ostaa valmiita, erikoistuneita komponentteja -erikoistuminen -mahdollisuus valita eri vaihtoehdoista sopiva ratkaisu E. Muutoksiin varautuminen ja vastaaminen -muutokset toimintaprosesseissa ja toimintaympäristössä -teknologiamuutokset B. Tuki heterogeenisyydelle -sovellusten eri toteutustekniikat -eri käyttöjärjestelmät, käyttöliittymät, palvelimet -erityyppiset toiminnalliset vaatimukset ja prosessit D. Suurten järjestelmien hallittavuus -suuret toiminnallisuuskokonaisuudet -yhtäaikainen käyttö -skaalattavuus -kokonaisjärjestelmän ominaisuuksien lisääminen

7 Yksittäistä projektia laajemmat tietojärjestelmien kehittämistavoitteet kumppanuusverkoston / palvelujärjestelmän tasolla yleiset palvelujärjestelmän kehittämistavoitteet: asiakaslähtöisyys, kustannustehokkuus, uudet palvelujen järjestämismallit laajat kehittämisohjelmat, esim. sosiaali- ja terveydenhuollon valtakunnallisten tietojärjestelmäpalvelujen kehittäminen ja käyttöönotto lainsäädäntömuutokset organisaation tasolla organisaation strategia ja tietohallintostrategia projektisalkun hallinta kokonaisarkkitehtuurin kehittäminen ja hyödyntäminen toiminnan ja tietojärjestelmien kehittämisen lähentäminen entistä nopeampi uusien toimintamallien käyttöönotto tai niihin mukautuminen, esim. organisaatiomuutokset, uudet palvelumuodot, jne. 7

8 SOA mittaus - lähestysmistapa 8

9 Miksi mitata SOA:a? SOA / palvelupohjaisuus teknologiastrategiana viitemalleina ja kehittämisen lähestymistapana konkreettisena arkkitehtuurina, suunnittelupäätöksinä ja tukevina tekniikointa SOA-lähestymistavan ja SOA-projektien perustelut yleensä melko etupainotteisia investointeja (uudelleenkäyttö, infrastruktuuri) arkkitehtuurin elinkaari ylittää projektien ja yksittäisten sovellusten elinkaaren toiminnan tavoitteiden ja arvon mittaaminen, vertailut SOA:n kanssa vai ilman arkkitehtuurin ja kehitystyön kypsyystason ja siirtymän mittaus hallinta (governance) yli laajennetun elinkaaren 9

10 SOA hyödyt ja lupaukset (mitä hypen takana?) Hyötyjä voidaan tarkastella kolmella tasolla: käyttäjäorganisaation toiminnalle ja prosesseille koituva arvo ratkaisujen ja sovellusten tuottamisessa saavutettava arvo alustan, infrastruktuurin ja tekniikoiden tuottama arvo Merkittävät korkean tason hyödyt perustuvat pääosin alemman tason mahdollistaviin tekijöihin, arkkitehtuurin piirteisiin ja hyviin käytäntöihin Yleisesti SOA:n tavoitteita joustavuus ja liitettävyys nopea vastaaminen muutostarpeisiin, uudelleenkäyttö, yhdenmukaisuuden lisääntyminen jne. Valittava paikallisesti mitattavat tavoitteet 10

11 Mitä mittaamiseen tarvitaan? Tässä esitettävä mittausstrategia: toiminnan ja arkkitehtuurin tavoitteiden määrittely tässä lähdetty liikkeelle korkean tason SOA-lupauksista, joista valittava paikallisesti tavoiteltavat SOA:an on kohdistettu runsaasti ristiriitaisia lupauksia! tavoitteiden ja niitä tukevien tekijöiden analyysi mitkä ovat mahdollistavat ja mitattavat tekijät jotka edesauttavat tavoitteen saavuttamista: kuvaus, mahdollistajat, tarvittavat kyvykkyydet (capabilities), haasteet mittausperusteiden valinta tässä: arvonmuodostustekijät, SOA-siirtymän vaiheet mittarityyppien ja mittareiden tunnistaminen indikaattoreiden valinta kunkin SOA-projektin tai ohjelman tarpeiden mukaisesti pohjana tutkimus ja hankekokemukset SOA-hyödyistä ja mittareista 11

12 SOA-tavoitteet liiketoiminnan kehittämisessä Mukautuvuuskyky uusiin vaatimuksiin Parantunut integroituvuus Aiemmin tehtyjen investointien hyödyntäminen Vähittäin etenevä inkrementaalinen kehittäminen Järjestelmäympäristön tehostunut ylläpito ja hallinta Valmiiden sovellusten ja palvelujen uudelleenkäyttö Parantunut käytettävyys ja saatavuus Prosessien määrittelyn, kehittämisen ja automaation tuki Toiminnan ja tietojärjestelmien kehittämisen lähentäminen 12

13 SOA-tavoitteet tietojärjestelmäratkaisujen kehittämisessä Uusien sovellusten, prosessien ja palvelujen nopea toteutus Tehostunut sovellusintegraatio IT-palvelujen parantunut uudelleenkäyttö Inkrementaalinen ratkaisujen kehittäminen Kehitysympäristöjen valinnanvara Kehitystekniikoiden opittavuus ja tuottavuus 13

14 Tekniset ja infrastruktuurin SOA-tavoitteet Infrastruktuurin uudelleenkäyttö Välineautomaatio ja rajapintojen itsensä kuvaavuus Alusta- ja välineriippumattomuus Toteutusteknologiariippumattomuus Löyhä kytkentä palvelun käyttäjien ja tarjoajien välillä Globaalit tekniset standardit Järjestelmien ja palvelujen hajautus 14

15 SOA siirtymän päävaiheet Sprott 2006] IV Cultural integration phase C Cost effectiveness: process optimization T Temporal effectiveness: business / IT alignment U Unification: operations align with strategy III Redesign phase C Cost effectiveness: Component-based development, application retirement, generic reusability T Temporal effectiveness: adaptable processes U Unification: process standardization Base types: COST TEMPORAL UNIFICATION II Integraton phase I Learning phase C cost effectiveness: Organizational reuse, reduced integraton T Temporal effectiveness: Reuse in organization U Unification: Service standardization C Cost effectiveness: reuse in project T Temporal effectiveness: reuse in project [based on Sprott 2006] 15

16 Jäljitettävyys esimerkki: Tavoitteen kuvaus ja arvotyypit Mahdollistajat (SOA) Tarvittavat kyvykkyydet Haasteet Potentiaaliset mittarit Tukee Mukautuvuuskyky uusiin vaatimuksiin -nopea reagointi prosessien ja toiminnan muutoksiin (T,C) -nopea reagointi uusiin vaatimuksiin (T,C) -uusien toimintojen lisäämisen helppous järjestelmiin (T,C) -uusien osallistujien lisäämisen helppous prosesseihin (T,C) -aika vaatimuksista käyttöönottoon (kehityksen ajallinen tehokkuus) (T,C) -riippuvuuksien vähentäminen COTS-tuoteversioista (T,C,U) -avoin arkkitehtuuri, palvelujen yhteentoimivuus, järjerstelmän jakaminen toiminnallisiin osiin, löyhä kytkentä, muutosten eristäinen rajapintojen taakse -modulaarinen arkkitehtuuri, jossa komponenttien välillä vähän riippuvuuksia, yhteiset periaatteet ja ohjeet (standardit, arkkitehtuurisäännöt) ohjaamassa kehitystä kypsyystaso III/IV. -yleiskäyttöisten palvelujen kustomointi tarkkoihin projektivaatimuksiin, sovelluspalvelujen karkeajakoisuuden säännöt, karkeajakoisten palvelujen uudelleenkäytön haasteet, hankinta- ja käyttöönottoprosessien muuttamisen riskit -aika vaatimuksista käyttöönottoon (työnkulun muutos / uuden palvelun käyttöönotto); laadulliset muutokset liiketoiminnassa; aikataulut, kustannukset ja työmäärä käytöönottoprojekteissa, riskianalyysin tulokset, toimintaprosessin muutoksen mittarit, käyttäjätyytyväisyyden mittarit, muutospyyntöjen suhde toteutettuihin muutoksiin, mean time to repair (MTTR) kustannustehokasta ja nopeaa uusien ja muuttuneiden toimintojen ja prosessien toteuttamista, riskienhallintaa 16

17 Mittaus ja - perusteet 17

18 Ratkaisujen ja hyötyjen : tasot Kaikille uusille tekniikoille ja tuotteille evaluointi ( tekee oikean asian oikein, käyttökontekstissa, suhteessa käytön tavoitteisiin) validointi ( tekee asian oikein, toimii käytännön tilanteessa ) verifiointi ( määritysten mukaisesti ) [Saranummi N. Healthcare Technology Assessment and Evaluation. VTT Information Technology, 2003.] 18

19 Tietojärjestelmien tapoja Lopputulos Summatiivinen Ennen-jälkeen Kehittäminen Suunnittelu Prosessi Normati ivinen Vaihtoehtojen Formatiivinen Arvioitavuuden Riskien analysointi Tulosten ja vaikutusten Ennen-jälkeen Valinta / Päätöksenteko Ohjaaminen Normatiivinen Summatiivinen Mittaaminen 19

20 Tietojärjestelmien tapoja Lopputulos Summatiivinen Ennen-jälkeen Kehittäminen Suunnittelu Prosessi Norma tiivinen arvioin ti Vaihtoehtojen Formatiivinen Arvioitavuuden Riskien analysointi Tulosten ja vaikutusten Ennen-jälkeen Valinta / Päätöksenteko Ohjaaminen Normatiivinen Summatiivinen Mittaaminen 20

21 Tietojärjestelmien tapoja Lopputulos Summatiivinen Ennen-jälkeen Kehittäminen Suunnittelu Prosessi Norma tiivinen arvioin ti Vaihtoehtojen Formatiivinen Arvioitavuuden Riskien analysointi Tulosten ja vaikutusten Ennen-jälkeen Valinta / Päätöksenteko Ohjaaminen Normatiivinen Summatiivinen Mittaaminen 21

22 Responsiveness to change Change Business reengineering (e.g. change E2E process using standardized services) Business process outsourcing (e.g. credit card processing) Change of business rules (e.g. new delivery unit with some new products and rules) New Business Services assembly and rapid consumption (e.g. ) Dynamic Consumer service discovery and consumption (e.g. MyMusic, user-driven mash-up) Dynamic Business Service discovery and real time consumption, (e.g. commodity process elements, new distributed resource service instance) Physical resources (e.g. storage service) Response time goal example Months / years / weeks Weeks / Months Days / Weeks Days / Weeks Minutes Subsecond Subsecond 22

23 Mittarityypit Lukumäärämittarit Työmäärä- ja ajalliset mittarit Laadulliset mittarit Taloudelliset mittarit Mitattavat kohteet käyttäjä- ja asiakastyytyväisyys käytettävyys- ja saatavuus toimintaprosessit tiedot kehitysprosessi / toimittaja kehitysprosessi / asiakas tai integraattori tekniset 23

24 Mittarityypit Lukumäärämittarit Työmäärä- ja ajalliset mittarit Laadulliset mittarit Taloudelliset mittarit Mitattavat kohteet käyttäjä- ja asiakastyytyväisyys käytettävyys- ja saatavuus toimintaprosessit tiedot kehitysprosessi / toimittaja kehitysprosessi / asiakas tai integraattori tekniset 24

25 Indikaattoreiden valinta 25

26 Mittareiden valintaprosessi fokus: ohjaus / seuranta? mittausstrategian määrittely fokus: päätöksenteko / suunnittelu / kehitys / tulokset? mittauskohteet potentiaalisten indikaattoreiden tunnistaminen päällekkäisten ja epäsuorien indikaattoreiden poisto mittausajankohtien ja toimenpiteiden määrittelty automaattinen tiedonkeruu manuaalinen tiedonkeruu kyselyt tavoitteiden määrittely mittareiden avulla tavoitetaso ja muutoksen suunta optimointi vs. maksimointi 26

27 Toimintaprosessien ja niiden kehittämisen mittareita Mitattava kokonaisuus: toimintaprosessit Lukumäärämittarit palveltujen asiakkaiden lukumäärä / aikayksikkö prosessin käynnistysten, läpimenojen, tapahtumien tai vaiheiden suorituksen lukumäärä prosessimäärittelyjen lukumäärä prosessivaiheiden lukumäärä katettujen toimintojen lukumäärä prosessiin määriteltyjen poikkeusten (tapahtumien) lukumäärä kuinka monessa eri tilanteessa/prosessissa tai sovelluksessa tiettyä ratkaisua on käytetty kuinka suuri osa prosesseista menee läpi (/ menee läpi samalla tavalla) Työmäärä- ja ajalliset mittarit prosessin tai sen jonkin vaiheen läpimenoaika uusien osapuolien mukaan ottamisen nopeus prosesseissa ilman järjestelmämuutoksia (keskitettyihin prosessimäärittelyihin) tehtävien muutosten osuus prosessin tehollisen työajan määrä ja osuus suhteessa läpimenoaikaan odotusaika Laadulliset mittarit käyttäjäkysymykset prosessien ja työn muutoksista palvelun koko ja vastaavuus toiminnan kanssa (esim. sisältöanalyysi) asiantuntemuksen laatu ja määrä prosessimuutosten tekemiseksi prosessien seurantatietojen saatavuus tietojärjestelmämuutosten määrä ja laatu ratkaisun eri osien riippuvuudet onko prosessi määritelty (ja millä tasolla) Taloudelliset mittarit palvelun kustannukset tuotot kassavirtaanalyysit: nettonykyarvo sisäinen korkokanta takaisinmaksuaika ja ja sijoitetun pääoman tuotto toiminnan virheiden lukumäärä, niiden muutos ja kustannukset prosessin tuotto (process revenue) 27

28 Kehittämisen ja mallinnuksen näkökulmat Näkökulma Mallintamisen tavoite Mitä kehitetään Mitä kuvataan Työn organisointi ja tehostaminen tai (liike) toiminnan Arvon kehittyminen ja Johto/ yhdenmukaistaminen, laatutyö, tulosten tuloksia ja laatua arvoverkko (value network), johtaminen parantaminen, toiminnan seuranta keskeiset (liike)toiminta prosessit, ylätason prosessit (process) Työntekijä/ työn tekeminen/ työtoiminta (yhteistoiminnallinen tai yksilön työtä kuvaava) Kehittäjä / tieto järjestelmä / tietojärjestelmän kehittäminen / ohjelmiston kehittäminen Asiakas, palvelu tai itsepalvelu; palvelun hankkiminen Kuvata prosessit niin, että työntekijä (myös uusi) osaa toimia prosessikuvausten perusteella, tai että voidaan tunnistaa parannuskohteita Työtoiminnan ymmärtäminen; työhön liittyvien tietotarpeiden esilletuominen työn automatisointi, prosessin tai sen osan suorittaminen tai tukeminen ohjelmiston avulla => ohjelmiston tuottaminen / ohjelmiston määrittely, kohdealueen ymmärtäminen, simulointi ja eri vaihtoehtojen löytäminen vrt työntekijä: asiakas osaa toimia kuvauksen perusteella oman tilanteensa edellyttämällä tavalla työn sujuvoittaminen ohjelmistoja / tietojärjestelmiä / SOA-palveluita Palvelu-toiminta tai itsepalvelu Prosessit (process), Työnkulut (workflow). Tehtävät ja suoritusjärjestys. Työnkulut + tarkat toiminnot, toisiinsa liittyvät toiminnot ja työnkulut, rajapinnat, esi- ja jälkiehdot, heräte (event/ trigger), toiminnossa käsiteltävät tiedot: syöte (input) ja tulokset (output); Työnkulku / asiakasprosessin kulku, ulkoinen näkymä tarjottaviin palveluihin 28

29 Toimintamallin kommunikointi : esimerkkinä Business model canvas myös mittarit toiminnan kiellelle! [Osterwalder] 29

30 Tietojärjestelmäkehityksen mittareita Mitattava kokonaisuus: kehitysprosessi (toimittaja) Lukumäärämittarit kokonaisjärjestelmän osien ja sovelluspalvelujen lukumäärä ja koko rajapintojen lukumäärä + yhden rajapinnan eri käyttötilanteiden määrä (tuotteessa tai ympäristössä) tietojärjestelmämuutosten määrä (ja kuvaus = laadullinen) tunnistettujen käyttötilanteiden ja järjestelmien lukumäärä, joihin ratkaisulla saavutetaan liitettävyys kuinka monessa eri tilanteessa/prosessissa tai sovelluksessa tiettyä ratkaisua on käytetty sovelluksen ja palvelun koko (muu kuin osien lukumäärä) ratkaisun teknisten osien määrä ratkaisun eri osien riippuvuuksien lukumäärä (myös erityyppiset riippuvuudet - liitännät, ajalliset riippuvuudet, tietoriippuvuudet) saatavilla olevien kehitysympäristöjen ja välineiden lukumäärä sekä saatavilla olevien välineiden lukumäärä katettujen käyttötapausten lukumäärä kuormitustestaus muutospyyntöjen lukumäärä tietyllä aikavälillä toteutettujen muutosten lukumäärä ja suhteellinen määrä muutospyyntöihin järjestelmästä löydettyjen tai korjattavien virheiden määrä Työmäärä- ja ajalliset mittarit kehitysprosessin ja sen eri vaiheiden työmäärä virheiden korjaukseen kuluva aika (MTTR) testaukseen aika kuluva kuinka suuri osa tarvittavista muutoksista saadaan tehtyä keskitettyihin prosessimäärittelyihin ylläpidon työmäärä/ versiohallinnan työmäärä opiskeltavan ja tuotettavan dokumentaation määrä toteutukseen kuluva aika uusien piirteiden toteuttamisen vaatimuksista käyttöönottoon nopeus käyttöönottoon kuluva aika järjestelmämuutoksiin kuluva aika kuormitustestaus Laadulliset mittarit kehittäjäkyselyjen avoimet kysymykset käsiteanalyysi käyttäjien ja järjestelmäratkaisujen välillä kehittämisperiaatteiden saatavuus ja niiden noudattamisen seuranta saatavilla olevien kehitysympäristöjen ja välineiden ominaisuudet ovatko palvelut tilallisia (ja mitä tilaa ne säilyttävät) toimivatko eri välineillä tehdyt palvelut yhdessä onko kutsusuhteet tiukasti määritelty Taloudelliset mittarit toteutuksen kustannukset sovelluksen uusien osien suunnittelun, kehittämisen ja käyttöönoton kustannukset saatavilla olevien kehitysympäristöjen hankinta- ja ylläpitokustannukset versiohallinnan kustannukset 30

31 Tietojärjestelmäintegraation ja -käyttöönoton mittareita Mitattava kokonaisuus: kehitysprosessi (asiakas / integraattori) Lukumäärämittarit uudelleenkäytöstä ja integroinnista aiheutuvien virheiden lukumäärä tietojärjestelmämuutosten määrä ja luonne integroinnista johtuvien virheiden lukumäärä Työmäärä- ja ajalliset mittarit käyttöönottoon ja paikalliseen sovittamiseen kuluva aika ja työmäärä vaatimuksista käyttöönottoon kuluva aika käyttökatkot (ja niiden eri luokkien) määrä / saatavuus ym. Laadulliset mittarit kehittämisperiaatteiden saatavuus ja niiden noudattamisen seuranta oletetaanko suoritusympäristössä yhteisiä teknisiä ratkaisuja käsiteanalyysi käyttäjien ja järjestelmäratkaisujen välillä kehittäjäkyselyjen / tietohallinto avoimet kysymykset paljastavatko rajapinnat järjestelmien sisäisiä teknisiä yksityiskohtia miten eri käyttötilanteet ja käytön edellytykset on kuvattu millä tasolla hallintaja ylläpitotehtävät ja vasteajat on määritelty tukevatko käytettävät välineet ja alustat useita vaihtoehtoisia liikennöinti ym. ratkaisuja EUCS mm. järjestelmän tarkkuus, virheettömyys Taloudelliset mittarit uudelleenkäytöstä aiheutuvat kustannukset ja säästöt integroinnista aiheutuvat kustannukset ja säästöt IT-hankintainvestoinnit hankinta- ja integraatiokustannusten muutos ja suhde toteutettujen uusien piirteiden lukumäärään ja laajuuteen ylläpidon kustannukset / versiohallinnan kustannukset sovelluksen uusien osien käyttöönoton ja kehittämisen kustannukset suoritusympäristöjen hankinta- ja ylläpitokustannukset 31

32 Käyttäjä- ja asiakastyytyväisyys -mittareita Mitattava kokonaisuus: Käyttäjä- ja asiakastyytyväisyys Lukumäärämittarit sovellusten ja palvelujen käytön määrä ja sen muutos kehittämismuutospyyntöjen määrä ja kuinka moneen kertaan samoja tietoja on syötettävä eri järjestelmiin Työmäärä- ja ajalliset mittarit käyttäjien ajankäytön seuranta (opettelu, käyttö) palvelun saatavuuden aikataulu vaatimuksista käyttöönottoon samojen tietojen päällekkäiseen syöttöön käytettävä aika Laadulliset mittarit käyttäjien kokemat työnkuvan ja työmäärän muutokset muutokset työnkulkuihin ja kommunikaatioon asiakas- ja käyttäjätyytyväisyyskyselyjen avoimet kysymykset EUCS mm. saatavan informaation laatu, selkeys, tulosteiden käyttökelpoisuus, tiedon oikea-aikaisuus Taloudelliset mittarit liiketoiminnan mittarit 32

33 Käytettävyys ja saatavuus -mittareita Mitattava kokonaisuus: käytettävyys ja saatavuus Lukumäärämittarit käyttäjien tekemien virheiden määrä ks. myös käyttäjä- ja asiakastyytyväisyys Työmäärä- ja ajalliset mittarit järjestelmän käyttöön työajasta / tapaamisajasta käytetty osuus järjestelmän / palvelun saatavuus (availability) % palvelujen ja sovellusten vasteajat virheistä toipumisaika (MTTR) Laadulliset mittarit luotettavuus ja skaalattavuusmittarit eri käyttötilanteiden ja käytön edellytysten kuvaus koulutuksen ja tiedon saatavuus EUCS - mm. kokemukset tietojärjestelmän käytöstä ja käytettävyydestä Taloudelliset mittarit IUM - impacted user minutes (ITIL) CoD - cost of downtime palvelun soveltuvuus (miltä osin soveltuu käyttöön, miltä osin ei) 33

34 Tietojen mittareita Mitattava kokonaisuus: tiedot Lukumäärämittarit palvelun kautta saatavien tietokokonaisuuksien lukumäärä (record count) yksittäisten tietoelementtien / kenttien lukumäärä (schema complexity) kuinka monessa paikassa säilytetään päällekkäisiä tietoja Työmäärä- ja ajalliset mittarit tietojen syöttöön käytetty aika tietojen päällekkäiseen / toistuvaan syöttöön käytetty aika Laadulliset mittarit EUCS: ovatko kaikki tarvittavat tiedot mukana EUCS: onko tiedon muoto käyttöön soveltuva tiedon eheys (luotettavuus, oikeellisuus, EUCS: ajantasaisuus) Taloudelliset mittarit eri lähteistä tulevien tietojen vastaavuusmäärittelyjen (mapping) lukumäärä käytetäänkö pelkkiä tunnisteita onko tietotyypit määritelty ja yhdenmukaisia EUCS: tarkkuusaste oikea 34

35 Teknisten ominaisuuksien mittareita Mitattava kokonaisuus: tekniset Lukumäärämittarit yhteistyökumppanien / järjestelmien määrä, joilla samat liitäntätekniikat käytössä teknisten virhetilanteiden lukumäärä (esim. virhelokista) eri rajapintatekniikoiden lukumäärä teknisten järjestelmäadapterien lukumäärä viestien vastaanottajien (osoitteiden) lukumäärä tiedon hävikki transaktioiden lukumäärä tiedon muutosten lukumäärä pelvelukutsujen lukumäärä virheiden lukumäärä Työmäärä- ja ajalliset mittarit palvelujen, sovellusten ja verkon vasteajat, latenssi saatavuus virheiden esiintyvyysfrekvenssi MTBF MTBSI MTTR jonotusaika (esim. viestit jonossa) Laadulliset mittarit teknisten kehittämisperiaatteiden mukaisuus ratkaisun eri osissa (esim. WS-I) Taloudelliset mittarit transaktion tuotto (transaction revenue) 35

36 Vaatimusten määrittely mittareiden kautta + esimerkkejä 36

37 Vaatimukset kokonaisarkkitehtuurissa Ajurit Strategiset tavoitteet Kehittämistavoitteet Tavoitteiden seurannan mittarit Vaatimukset Periaatteet Rajoitteet Oletukset Kehityskohteet 37

38 Esimerkki: Käyttäjähallinnan ja henkilöstöhallinnon integraatio SOA-ympäristössä Tyyppi Työmäärä, ajalliset, työnkulut Indikaattori muualla kuin henkilöstöhallinnon tehtävien kautta tehtävien käytäjähallintatehtävien osuus Tavoitetasoesimerkki alle 20% käyttäjähallinnan tehtävistä käyttäjähallintapyyntöjen lukumäärä / 1000 käyttäjää / kk alle 10 käyttäjätilien ylläpitoon käytetty työaika odotusajat ilman toimivaa käyttäjätiliä 80% vähennys 70% vähennys sisään- ja uloskirjautumisiin käytetty työaika (käyttöjärjestelmät, sovellukset) 80% vähennys Määrälliset / tekniikka Määrälliset / käyttäjä Boolean - IAM autentikointimekanismien lukumäärä / käytäjä max 2 jaettujen tunnistus- ja autentikointipalvelujen käyttöaste > 95% tunnistautumisista yhteisiä autentikointipalveluja käyttävien sovellusten osuus > 80% heikkojen / vahvojen autentikointioperaatioiden suhde < 5 % vahvasti autentikoidun session piirissä toimivien sovellusten osuus > 80 % käyttäjätilien lukumäärä / käyttäjä, keskiarvo < 1,20 sisäänkirjautumisten lukumäärä / päivä / käyttäjä, keskiarvo < 5 roolipohjaisen käyttäjähallinnan käytöönotto kumppaneiden kanssa federoitujen autentikointimekanismien saatavuus hoitosuhteen tarkistus ja suostumuksen olemassaolo tarkistettu kaikissa potilastiedon luovutuksen tilanteissa toteutettu saatavilla Taloudelliset vuosittaiset autentikointipyyntöjen kustannukset > 50% vähennys kyllä 38

39 Esimerkki: järjestelmien tehostunus hallinta ja ylläpito -indikaattoreita Määrälliset Tyyppi Indikaattori Tavoitetaso 3v Ajalliset, työmäärä ja kehitysprosessi Laadulliset Taloudelliset päällekkäisten tietokokonaisuuksien määrä tietokannoissa / palveluissa uudelleenkäytettävien sovelluspalvelujen lukumäärä (modulaarisuus) teknisten virheiden lukumäärä lokeissa 40% vähennys 3-10 / kukin sovellusalue minimointi mean time to repair (MTTR) reduce 50% sovelluspalvelujen saatavuus 99,9% mean time between system incidents (MTBSI) toimintasääntöjen muutoksten osuus, jotka voidaan tehdä ilman muutoksia perusjärjestelmien koodiin ylläpitohenkilöstön kokemat työnkuvan muutokset käyttäjien kokema tiedon luotettavuus toiminnasta saatavien seuranta- ja prosessin läpäisytietojen saatavuus johdolle ylläpitokustannukset ylläpito- ja virhetilanteista kustannukset käyttäjille (cost of IUM) vuosittaiset palvelujen hankinta- ja integraatiokustannukset (nousu SOA-ohjelman alussa) > 4 vrk > 65 % positivisia > negatiivisia parantunut nykyisestä tyydyttävällä tasolla alle 20% nousu vähennys >30% alle 15% nousu 39

40 Kehittämisen mittaaminen: määrittelyjen kohteiden ja erilaisten kuvaustapojen lukumäärä projekteissa (yleiskuva) Sähköisen lääkemääräyksen HL7- määrittelyt 1 eprescription / HL7 Finland interoperability Open CDA Sähköisen lääkemääräyksen sertifiointivaatimukset 2 certification requirements / Stakes for TJSERT eprescription Terveyspalvelujen ajanvarauksen valtakunnallisen arkkitehtuurin suuntaviivat 3 national / guidelines STM + Oulun for ebooking kaupunki - ekat Palvelutapahtumien hallinnan arkkitehtuurin tarkennukset / Tekes 4 + service Itä-Suomen events yliopisto for the management + Aaltoyliopisto - of the SOLEA national EPR description kuvaustapojen typeslukumäärä subjects määrittelykohteiden of specification lukumäärä Kansalaislähtöisen Pärjäin-välineen arkkitehtuurimäärittelyt 5 Coper architecture - citizen-driven / Tekes + yliopistot OmaHyvinvointi eservices

41 Yhteenveto mittaus on mahdollista, mutta on tehtävä suhteessa omiin tavoitteisiin monet tietojärjestelmien mallit keskittyvät loppukäyttäjän näkökulmaan ja mittaavat SOA:a epäsuorasti (jos lainkaan) suoritusympäristössä tapahtuva prosessien ja infrastruktuurin seuranta kannattaa automatisoida summatiivinen prosessi- ja tulosmittaus ei tarkastele SOA:n kehittämispiirteitä kehittämistyön mittaus tarpeen! suurimmat hyödyt edellyttävät kypsää SOA-kulttuuria eism. laajaa mukautuvuutta ei voida saavuttaa vielä oppimis- tai integraatiovaiheessa kuitenkin jo siirtymän alussa projekti- ja uudelleenkäyttöhyötyjä hyödyt eivät tule automaattisesti SOA:n mukana, vaan niiden saavuttamiseen tarvitaan hallintamallien ja kehittämismenetelmien käyttöönottoa 41

42 42 Kiitokset