Tietojärjestelmien onnistuminen, menestystekijät, esimerkkejä arvioinnista Pirkko Nykänen

Transkriptio

1 Tietojärjestelmien onnistuminen, menestystekijät, esimerkkejä arvioinnista Pirkko Nykänen

2 Aineisto S Petter, W DeLone and E McLean, Measuring information systems success - Models, Dimensions, Measures, and Interrelationships. European Journal of Information Systems 17, 2008, DeLone WH & McLean ER, Information systems success: The quest for the dependent variable. Information Systems Research 3(1), 1992, DeLone WH & McLean ER, The delone and McLean model of information systems success: A ten-year update. Journal of Management Information Systems 19 (4),2003, 9-30 Brender J, Ammenwerth E, Nykänen P and Talmon JT, Factors influencing success and failure of health informatics systems - A pilot Delphi study. Methods of Information in Medicine 1, 2006, Lyytinen K and Robey, Learning failure in information systems development. Information Systems Journal 9, 1999,

3 DeLeon&McLean framework System quality Informtion quality Use User satisfaction Effects on individual Effects on organisation DeLone and McLean: Information systems success: The quest for the dependent variable, 1992

4 Extended DeLeon & McLean 2002 Information quality System quality Use (intention to use) Net Benefits Service quality User satisfaction DeLeone WH and McLean ER, Information systems success revisited. A ten-year update. 2002

5 Sähköisen kaupan onnistuminen DeLone ja McLean tekevät ajatuksellisen kokeilun soveltamalla päivitettyä mallia sähköiseen kauppaan ja siinä tapahtuvaan kommunikaatioon. He käyvät läpi kuusi onnistumisdimensiota: 1 Systeemin laatu internet-ympäristössä mittaa sähköisen kaupan järjestelmän haluttuja piirteitä, esim. käytettävyyttä, saatavuutta, luotettavuutta, soveltuvuutta ja vastausaikaa. 2 Informaation laatu koskee sähköisen kaupan sisältöä. Kauppapaikan sisältö voidaan tehdä henkilökohtaiseksi, täydelliseksi, relevantiksi, helpoksi ymmärtää ja turvalliseksi rohkaisemaan ensikertalaista aloittamaan kaupanteon ja tottunutta asiakasta palaamaan sivulle

6 3 Palvelun laatu on palvelun tarjoajan kokonaistuki, järjestipä tuen oma tietohallinto, uusi organisaatioyksikkö tai ulkoistettu tarjoaja. Se on tärkeää siksi, että nyt käyttäjät ovat asiakkaita, joiden menetys tietää myös myynnin menetystä. 4 Käyttö mittaa kaikkea sivulla vierailusta, sivulla navigointiin, informaation hakuun ja kauppatapahtuman tekemiseen.

7 5 Käyttäjätyytyväisyys säilyy tärkeänä keinona mitata käyttäjien tyytyväisyyttä sähköisen kaupan systeemiin aina odotuksista, informaation hakuun, hankintaan, maksamiseen, kuittaukseen ja palveluun asti. 6 Nettohyöty on tärkein onnistumisen mittari, sillä se tasapainottaa sekä negatiiviset että positiiviset sähköisen kaupan vaikutukset asiakkaisiin, toimittajiin, työntekijöihin, organisaatioihin, markkinoihin, toimialoihin, talouksiin ja jopa yhteisöihin. Säästääkö internet-hankinta aikaa ja rahaa? Ovatko hyödyt suuremmat kuin haitat?

8 IS kehittämiseen liittyvät ongelmat / epäonnistumiset Osapuolten vaikeus määritellä tavoitteita: ristiriitaiset, kapeat, eivät ole operationalisoitavissa Teknologian valinnan vaikeus: valitaan teknologiaa joka ei ole kustannustehokasta, sopivaa etc Taloudelliset seikat: ei osata arvioida kehittämiskustannuksia, tai kehitettävän järjestelmän taloudellisia vaikutuksia Organisaationäkökulma: Ei osata ennustaa / ottaa huomioon järjestelmän organisatorisia, sosiaalisia, toiminnallisia vaikutuksia Kehittämisprosessin ongelmat: Osapuolet eivät osallistu kehittämisprosessiin, ei pystytä jakamaan kehittämisen tavoitteita etc Väärä kuva kehittämisprosessista: ei ymmärretä kehittämisprosessia Lyytinen 1988

9 IS käyttöön liittyvät ongelmat / epäonnistumiset Tekninen ratkaisu: ei ole saatu aikaa sellaista teknistä ratkaisua, joka olisi helppo, luotettava, nopea etc käyttää Tieto-ongelmat: Ei pystytä ylläpitämään järjestelmässäolevaa tietoa luotettavana, relevanttina, kattavana etc Käsitteelliset ongelmat kehitetty järjestelmä ei pysty ratkaisemaan todellista, ratkaisua vaativaa ongelmaa, väärinymmärryksiä Käyttäjien reaktiot kehitetty järjestelmä, joka herättää negativiisia tuntemuksia ja aiheuttaa negatiivisia vaikutuksia työhön, valtarakenteisiin etc Kompleksisuus: on tehty liian monimutkaisia ratkaisuja, vaikeita ymmärtää, ylläpitää, käyttää, muuttaa etc Lyytinen 1988

10 Tietojärjestelmien epäonnistumisen syitä Tietojärjestelmän toiminnallinen määrittely mitä tietojärjestelmän tulisi tehdä, epäonnistuu Ei ymmärretä eikä osata kuvata muutosta, joka tietojärjestelmän avulla pyritään toteuttamaan Tietojärjestelmän kehittäjä, IT-ammattilainen ja toimialueen ammattilainen eivät ymmärrä toisiaan heillä ei ole yhteistä kieltä ja käsitteistöä, jolla he voisivat keskustella kohdeongelmasta Käyttäjien tarpeita ei tunneta Käyttäjät eivät osallistu kehitykseen Käytettävyys ei kiinnosta Teknologian tuomia mahdollisuuksia ei tunnisteta Kilpailun puute Viranomaisvaatimukset Tietojärjestelmän rakentaminen valitut menetelmät, tekniikat ja välineet ovat epäsopivia tai huonosti hallinnassa, tai kehittämisprosessin ja muutoksen hallinta on heikkoa

11 Delphi-tutkimus tietojärjestelmien onnistumiseen vaikuttavista seikoista Toiminnallisuus : Järjestelmän toiminnot tukevat erilaisia käyttötapoja, Järjestelmän toiminnallisuudet vastaavat käyttäjän tarpeita Organisatoriset tekijät: Käyttäjillä on IT-alan osaamista, käytön koulutusta, tietojärjestelmän käyttö liittyy sujuvasti organisaation työnkulkuihin Tekniset ominaisuudet: Kehittämisprosessi on mahdollistanut käyttäjien osallistumisen, kehittäminen on ammattitaitoista ja standardeihin perustuvaa, järjestelmäarkkitehtuuri on joustava, modulaarinen, mahdollistaa integraation ja yhteistoiminnallisuuden Johtamisen näkökulma: Hyvä projektin toteutus ja hallinnointi, riittävät rahoitus ja resurssointi, ammattitaitoinen henkilöstö Kulttturiset tekijät: Suunnittelussa ja toteutuksessa seurataan visiota ja strategiaa, ollaan avoimia muutoksille Juridiset / lainsäädännölliset: Riittävä ja asianmukainen normatiivinen ohjeisto ja lait Brender J, Ammenwerth E, Nykänen P and Talmon JT, Factors influencing success and failure of health informatics systems - A pilot Delphi study. Methods of Information in Medicine 1, 2006,

12 Tietojärjestelmän kehittäjälle onnistuminen voi olla sitä, että järjestelmä kehitetään aikataulussa ja määrittelyjen mukaisena Organisaation johdolle järjestelmä voi olla onnistunut kun se vähentää toiminnan riskejä ja parantaa resurssien käyttöä Useissa tutkimuksissa onnistuminen / epäonnistuminen liittyy orgaanisaatio- ja käyttäjäympäristöön, erityisesti niihin tekijöihin jotka määrittävät järjestelmän käyttöä ulkoisen, organisaatio, kehittämis- ja käyttöympäristön vaikutus! Epäonnistuminen voi olla seurausta kehittämisvirheistä tai järjestelmän käytön ongelmista

13 Voidaanko epäonnistumisista oppia? Suosituksia epäonnistumisten välttämiseksi Kehittämisriskien parempi hallinta Käyttäjien osallistuminen Eri mallinnnusvaiheiden hyvä dokumentaatio, hyvät työkalut Kehittämisprojektien parempi organisointi ja hallinta Muuttuvatko organisaation toiminta, tietojärjestelmien kehittämiskäytännöt epäonnistumisten seurauksena? Miten saadaan toivottu organisaatioiden oppiminen aikaan? Jos jokainen ISD-hanke on koe jossa testataan käytössä olevia menetelmiä / käytäntöjä ja opitaan kokeen tuloksista / erehdyksistä >>>ISD on oppivan organisaation toimintaa, ISD = oppiva organisoitu toiminta

14 Failing to learn, miksi? 1 Organisaation älykkyyden rajoitteet, ei kykyä oppia erehdyksistä, koska Rajoitteita kyvyssä käsitellä tietoa ( kokemuksesta saatua tietoa), Tiukat aikataulut ja työnjaot estävät kokemuksesta oppimisen ja myös kokemuksen jakamisen, Toimijat ovat sokeutuneet sovittujen ja vallitsevien käytäntöjen vuoksi näkemään uutta tietoa, hyödyntämään kokemustietoa (ns formative context- asetelma) Käytettyjen teorioiden ja menetelmien avulla saadusta tiedosta / kokemuksesta puuttuu tieteellinen validisuus, koska ei osata mitata, tehdään virheellisiä analyysejä, tiedon hankinta ei ole hallinnassa

15 Onko oppimisen mahdollisuuksia? 2 Kannustimet, oppimisen mahdollistajat puuttuvat usein tavoitellaan onnistumista, ei osata hyödyntää epäonnistumisesta saatavaa oppia pyritään unohtamaan epäonnistumiset, ei analysoida niitä Jos opitaan vain onnistumisista, ei opita analysoimaan mistä epäonnistuminen / failure johtuu!

16 3 Organisaation rakenne ja toimintatavat osastojen, toimintojen väliset rajat esätävt tiedon välittymisen, pääsyn relevanttiin tietoon, erilaisten vaihtoehtojen harkinnan ja valinnan 4 Koulutukselliset esteet soveltuvan koulutuksen puute: onko tietojärjestelmän suunnittelija tekninen ammattilainen vai yrityksen / organisaation toimintaa tunteva tietojärjestelmien rakentamisen ammattilainen

17 KATTAVA Kansallisen tason potilastietojärjestelmien toteuttamisvaihtoehdot Tietojärjestelmä-arkkitehtuurin näkökulma Aaltonen J, Ailio A, Kilpikivi P, Nykänen P, Nyberg P, Kunnamo I, Kuosmanen P, Reijonsaari K, Wiesenthal A, Kansallisen tason sähköisten potilastietojärjestelmien toteuttamisvaihtoehtojen vertailu. Sitran selvityksiä 12, 2009,

18 National health IT architecture Tiedon käyttäjät Apteekkijärjestelmät Vakuutusjärjestelmät Roolit & oikeudet Katseluyhteys Roolit & oikeudet Palvelu pyyntöjä toimitus resepti Tiedon syöttö Tiedon haku Tiedon tuottajat Perusjärjestelmät Erikoissairaanhoito Terveyskeskukset Kuvantaminen Yksityinen sektori Roolit & oikeudet Alueelliset viitetietokannat Kansallinen Viestinvälitys (internet) Kansallinen sähköinen potilastietojen arkistopalvelu Viestinvälitysrajapinta earkisto Koodistot eresepti Tilastot Tunnistus & Varmennus Kela/ Stakes Koodistot Koodit Hakemisto & Rekisteröinti Asiakirjan hakutiedot Arkisto Lokipalvelu Luovutusloki Arkiston käyttöloki Tapahtumaloki AMS: Asiakirjat Asiakirjat Asiakirjat AMS AMS +metatiedot Suostumuksen hallinta eresepti Reseptikeskus Stakes Cda Messaging Server Tilastot Vastaanotto keskus TEO Koodistopalvelut Arkistonhoitajat Ammattivarmenne palvelu VRK VTJ varmenne varmenne

19 Evaluation criteria 1. Health service production Effectiveness Systemic viewpoint Criteria basis: Effectiveness of processes and functions, usability, service chains over organisational boundaries, accessability of relevant information and data, enterprise resource management, service delivery

20 2. Health IT Integration with national architecture Data protection and data security Performance and scalability Accessability of data and services Compliance with standards Further development possibilities Management Service Oriented Architecture - support Criteria basis: Functional and technical requirements of the national architecture, interoperability, IS success and failure factors

21 3. Economics and innovations Development of national know-how and expertise Competitiveness of industries Employment and tax-paying Competition Criteria based: Innovativeness, international market, monopol - competition

22 4. Implementation Benefits achieved Economical factors Architectural aspects egovernance Risks and timetables Criteria based: Complexity and fexibility of implementation, decision processes, funding, risks

23 Arkkitehtuurivaihtoehtojen tarkastelun dimensiot Dimensiot, joista kukin voidaan toteuttaa kansallisella, alueellisella ja paikallisella tasolla 1. Data / ydinpotilastiedot 2. Data / muu potilastieto 3. Ydinpotilastietojärjestelmä 4. Erillisjärjestelmät 5. Yleiskäyttöiset järjestelmäpalvelut (varmenneratkaisut, suostumusten hallinta, tietoturva jne)

24 Toiminnallisuus A. Kansallinen malli Mallien pisteytys B. Alueelliskansallinen malli C. Alueellinen malli D. Paikalliskansallinen malli E. Sekamalli F. Alueellispaikallinen malli G. Nykytilanne Data / ydinpotilastiedot Kansallinen Kansallinen Kansallinen Kansallinen Kansallinen Kansallinen Kansallinen Data / muu potilastieto Kansallinen Alueellinen Alueellinen Paikallinen Alueellinen Alueellinen Paikallinen Ydinpotilastietojärjestelmä Kansallinen Alueellinen Alueellinen Paikallinen Alueellinen Alueellinen Paikallinen Erillisjärjestelmät Kansallinen Alueellinen Alueellinen Paikallinen Paikallinen Paikallinen Paikallinen Yleiskäyttöiset järjestelmäpalvelut (viestinvälitys, tunnistautuminen, suostumuksenhallinta, allekirjoitus, ym.) Kansallinen Kansallinen Alueellinen Kansallinen Kansallinen Alueellinen Paikallinen Terveyspalvelunäkökulma yht Tekninen näkökulma yht Elinkeinopoliittinen ja innovaationäkökulma Toteutusnäkökulma yht Pisteet yhteensä

25 Arkkitehtuurinäkökulma Hybridiratkaisu Muutos nykytilasta: 0,1% >20% Kansallinen taso (KanTa 2.0) Ydintiedot Sovellus: earkisto, eresep ti, ekatsel u, lääkityslist a, diagnoo silista, do kume nttien koonti, Infra: palveluväylä, suost umus, tun nistaut umine n, käyt töloki, CDAmuunn okset, haku, indeks ointi, va rme nner atkaisut, koo distop alvelu, arkiston hallinta, amm attihe nkilöt- j a palvel uyksikkör ekisterit, 9,9% >50% Muut potilastied ot Aluetaso (alueita 5-20) Sovellus: Potilashallinto- ja potilaske rto musjärj estelm ät, päivys tys, ensihoito, toimin nano hjaus,pacs, labo rato rio,al ueell e rillisjärjestel mät, Infra: Viestinvälitys,roolienhallin ta, tie totu rvallinen kom munika atio, 90% >30% Muut Paikallistaso (organisaatioita ) Sovellus: Teho, synnytys yms erillisjärjestelmät, resurssien halinta, yksityisen sektorin EHR, organisaatiokohtainen laadunhallinta, Infra: Pirkko Työasemat, Nykänen org anisaati okoht ainen s ovelluste n käytt ö, tietoturv aor ganisa atio, 25

26 Kansallinen taso Alueellinen taso Paikallinen taso Data: ydintiedot Ydintietomäärittelyn mukaiset tiedot (jatkuva sairauskertomus, hoitotyön yhteenveto, radiologian pyynnöt ja lausunnot, lääkelista, riskitiedot, läheteja hoitopalaute, laboratoriotulokset; dg- ja toimenpidelista) - - Data: muut tiedot Muut potilaskertomustiedot Kansalliset tilastointitiedot Arkistonhallinnan asiakirjat, henkilötiedot Suostumukset ja valtuutukset Ammattihenkilöt ja palveluyksiköt Luovutusloki Koodistot Tuotannonohjaus- ja laadunhallintatiedot (ajanvaraus-, hoitoketju-, palveluluokittelu-, ym. tiedot) Kuva-/videosignaalit Käyttöoikeudet Käyttöloki Tehohoidon, anestesiologian, ym. fysiologinen tieto Laskutustiedot Reskontra, ym. Varastot, materiaalilogistiikka Resurssien ohjaustiedot Sovellus: ydinjärjestelm ä(t) Sovellus: muut järjestelmät earkisto ereseptikeskus ekatselu Kansantautien laaturekisteri(t) Palveluiden laaturekisteri (Valvira) Yleisimpien/kalleimpien kansantautien hoitosovellukset (vaatii kans. tason toimijan) Potilashallinto- ja kertomusjärjestelmät (ml. päätöksentuki) Päivystys Ensihoito Tuotannon-/toiminnaohjaus (ml. hoitoketjuhallinta) Materiaalihallinta, tilaustoimitusketjun hallinta, ym. Preventio ja epidemiologia PACS Laboratorio Suun terveydenhuollon järjestelmä Neuvola-, ym. järjestelmät Apuvälineet - Yksikkökohtaiset, tarkasti rajatut potilasjärjestelmät, kuten anestesia-, teho-, synnytys-, ym. Resurssienhallinta Organisaatio- ja ammattilaiskohtainen laadunhallinta Yleiskäyttöiset palvelut Suostumustenhallinta Varmenneratkaisut Tunnistautuminen Tietoturva Koodistopalvelu Tutkimuksen tukipalvelut (ml. anonymisointipalvelu) Standardien hallinta (vaatii oman vastuutoimijan/koordinoijan) Viestinvälitys Roolienhallinta Master Data management Tietoturvallinen kommunikaatio ammattilaisten kesken Asiakirjallisen tiedon automatisoitu pilkkominen jatkoprosessointia varten (edellyttää muutosta suostumuksenhallintaan) Pirkko Nykänen

27 Esimerkki 2: Usability of a nursing classification and nursing documentation systems - A national nursing model and its implementations in 4 patient record systems were evaluated Nursing process model and The Finnish Nursing Classification (FinCC) - Nursing documentation systems: Pegasos, Effica, Miranda/Uranus, TT2000+ Nykänen P, Kaipio J and Kuusisto A, Evaluation of the Finnish nursing classification and four nursing documentation systems in Finland lessons learned and directions for the future. Int J med Inform 81(8), 2012,

28 Evaluation study Two important starting points for our study were: 1) To follow the good evaluation practice guidelines for evaluation study planning, 2) To evaluate the usability in the health care organizational context and in the real use situations with real users, not in a usability laboratory. The study had three objectives: 1) Usability of the national nursing model, 2) Usability of the nursing documentation systems (four in total), 3) Usefulness of the nursing model and nursing documentation system in collaborative care.

29 Methods 1 1) Usability evaluation of the nursing model was carried out with the nurses using patient case scenarios which were specifically developed to specialized care (policlinic, ward) and to primary care (health center) environments We walked through these scenarios with the nurses in thinkaloud fashion in order to find out how these cases could be documented using the national nursing documentation model In addition we interviewed the nurses in a thematic interview: Nurses perception on the nursing model and its parts, use of the nursing model, simplicity and understandability of the nursing model, naturalness of the nursing model, ambiguity of the nursing model, education and training for the use of the nursing model, and commitment of the organization to use the nursing model.

30 Methods 2 2) Usability of the nursing documentation systems Pegasos, Effica, Miranda/Uranus, TT2000 Contextual inquiry and expert review using usability heuristics USABILITY EVALUATION CRITERIA Fluency of the documentation Accuracy and correctness of the documentation Learn ability of the system Usefulness of the documented information Collaborative use of the documented information ASPECTS OF INTEREST Efficiency and effectiveness of documentation, simplicity of the system, ease of use Errors in the performance of documentation, system s support for failure protections and recovery Intuitiveness of use, system s ability to guide new users Exploitation of documented information within the nurses: support for nurse s own work, exchange of information, manner of representation (content and layout) Support communication and collaboration between nurses and other health professionals: accessibility and readability of documented information, information exchange, and manner of representation compared to multiprofessional needs

31 Methods 3 3) Usefulness of the nursing model and nursing documentation system in collaborative care Thematic interviews of the physicians and nurses collaborative aspects of work, information exchange of the nursing documentation Participation in education and training to use the national nursing model and nursing documentation system Utilization of the nurses documentations Feasibility of the nursing model for care practice Problems in nursing documentations Differencies in physicians and nurses documentation needs?

32 Results - Nursing model Process model is accepted and feasible FinCC classification is considered too detailed and multilayered, wide in scope Inconsistency of terms, conflicting terms, categories are not logically ordered and they are not all natural to the Finnish nursing practice Difficult to apply, documentation means extra work, nurses have to sit at the computer, takes much working time which is out from the patient care time Classification is not unambiguous, all alternatives are not understandable and logically available Documenting into a classification, not with a classification!

33 Usability evaluation criteria Fluency of the documentation Aspects of interest Efficiency and effectiveness of documentation, simplicity of the system, ease of use Fulfilment of the criteria The implementations do not support effective or efficient documentation: - The nurses are forced to take a huge number of unnecessary interaction steps - The implementation of structured documentation do not follow the nurses mental models (top-down instead of from concrete to abstract) - The systems do not provide intelligent support for documenting activities. Accuracy and correctness of the documentation Learn ability of the system Errors in the performance of documentation, system s support for failure protections and recovery Intuitiveness of use, system s ability to guide new users Accuracy of information is endangered because of - The systems allow the nurses to use a variety of documenting practices - The nurses find documentation time-consuming - The systems support for failure protection is insufficient. Systems are not intuitive to use: they do guide the users in documenting activities or in processing the patient information to be documented in a structured manner.

34 Usability evaluation criteria Usefulness of the documented information Collaborative use of the documented information Aspects of interest Exploitation of documented information within the nurses: support for nurse s own work, exchange of information, manner of representation (content and layout) Support communication and collaboration between nurses and other health professionals: accessibility and readability of documented information, information exchange, and manner of representation compared to multi-professional needs Fulfilment of the criteria Based on the documented information it is difficult to get a general view of patient s situation and needs, as well as previous nursing activities. There are several reasons for this: 1)fragmentariness of structured documentation 2)documentation into separate systems 3)lack of summaries 4)inappropriate manner of information presentation for readers. Nurses have difficulties in searching and finding documented information from the systems. Differences in documentation practices have an effect on collaborative use of documented information and information exchange between the units.

35 Usability problems The systems are not intuitive to use, they do not guide the users and allow various documenting practices They do not support contextual aspects of nursing work or tailoring of the systems to meet the needs of clinical units or nurses individual preferences The systems force the nurses to proceed top-down in structured documenting, from component to category and subcategory the natural way for the user to progress would be bottom-up The free, narrative text documentations are hidden in the documentation, whereas the classification is dominating the documentation. the essential and most important data and information items are not visible for the reading nurses The earlier documentations are difficult to utilize when documenting the patient s care The documentation does not present a holistic view on the patient situation and status Summaries are not available. Instead, documentation is composed of small data and information items according to the classification

36 Results- collaborative work The systems do not support well collaboration between the nurses and the physicians The physicians opinions on the nursing documentations were mostly (6/8) suspicious and negative accessibility of the nursing documentation from the documentation system was weak Poor usability and complicated use of the NDS Difficulties to understand the documented information because it was documented and presented in a very complex and detailed manner, following the FinCC classification The physicians would prefer a holistic view on the patient s nursing care, but this was not possible when the information had been documented using the very detailed and multilayer classification

37 CASE 3: Nykänen P, Seppälä A, Jiang J (2008): Evaluation of technology acceptance and success of health IT: Case maternity pathway in Shanghai Weifang CHC and East Hospital University of Tampere, China-Finland e- Health Partnership Research Project Report 2 37

38 Maternity pathway overview (Luukkonen et al., 2008) 38

39 Information systems in Weifang maternity pathway (Luukkonen et al., 2008) 39

40 DeLone and McLean 2003, IS success model, a ten-year update 40

41 Success / failure factors 1) work from the workflow, 2) continuous user involvement and user participation, 3) understanding the context, 4) organizational commitment. 1) poor specifications and unclear objectives, 2) overambitious implementation plans, 3) not understanding the organizational context, 4) underestimating user acceptance 41

42 TAM_model (Technology Acceptance Model) 42

43 Technology acceptance Users were very positive in waiting for the new systems. They had good earlier experiences on the use of health IT systems and they expected to have a lot of benefits when they have these new systems in use They had a good picture of the Pudong project, and its progress, though they had little knowledge on the project objectives and the current project situation In October 2008 they were in a duplicate work situation, storing paperbased information manually into computers and waiting for the new systems to change the situation However, they perceived to have a useful system in use 43

44 Success / Failure According to the interviewees the workflow was not analyzed, at least not in the interviewed persons organizations The project manager said that the regional system will have only little effect to the current workflow The interviewees also told that they don t know anything about the system and they have not been part of the development project Continuous user participation is seen as a success factor in the scientific literature However, in this situation the project management, pilot organizations and the future users seemed to be committed to the project and new system Also it seemed that all stakeholders were waiting for the system and there were no internal conflicts However, lack of user participation and communication might result in problems in user acceptance and also raise resistance towards change when the system is to be taken into use. 44

45 Nykänen P & Karimaa E, Success and failure factors in the regional IS design process - Results from a constructive evaluation study. Methods of Information in Medicine, 2006 Satakunnan makropilotin tietoteknologian arviointi pyrittiin tunnistamaan arvioinnin avulla niitä tekijöitä jotka vaikuttavat tietojärjestelmän onnistumiseen / epäonnistumiseen keskeisiä käsitteitä kehitettävässä järjestelmässä: saumaton palveluketju, aluetietojärjestelmä, viitetietokanta, informaatioportaali, sähköinen tunnistaminen

46 Suunnitteluprosessin arvioinnin kriteerit ja menetelmät Suunnitteluprosessin laatu haastattelut, havainnointi, järjestelmän suunnitteluun ja kehittämiseen liittyvän dokumentaation analyysi Kehitettävän tietojärjestelmän ominaisuudet määrittelydokumentaation analyysi, suunnittelumenetelmän analyysi, systeeminsuunnittelijoiden haastattelut Kehitetyn järjestelmän soveltuvuus käyttäjien ympäristöön ja aiottuun käyttötarkoitukseen rajoitettu käytettävyystutkimus pilottikäytössä, haastattelut, havainnointi

47 Success - failure tekijät Suunnitteluprosessin laatu yleinen palveluketjumalli success factor, puutteet alueellisessa tietomallissa failure factor Tietojärjestelmän ominaisuudet yhteistoiminnallisuus, avoimuus, skaalattavuus eivät toteutuneet - failure, integraatio- success Soveltuvuus käyttöön ja käyttöympäristöön pilotoinnin käyttökokemukset positiivisia, positiivisia vaikutuksia työhön, yhteistyön vahvistumista

48 Evaluation of eprescription piloting in Finland Objectives: Provide information to guide eprescription piloting, evaluate legal and data protection aspects and evaluate functionality and impacts in terms of technology, users and organisations Results, main findings Evaluation resulted in missing functionalities in the planned concept of eprescribing Piloting was not technically well prepared, difficulties due to disintegration of system components, administration and funding not sufficiently organised Redesign for implementation phase with better understanding and better tools and methods Hyppönen H, Salmivalli L, Nykänen P, Ruotsalainen P and Pajukoski M, Testing a theoretical framework for interdisciplinary IT evaluation: The case of the Finnish electronic prescription. Int J Healthcare Technology and Management, vol 8, nos 1-2, 2007, 42-65

49 Arviointitutkimuksista opittua Toimialan tuntemus Käyttäjien osallistuminen!!!! Teoriat ja mallit tarpeellisia! Palvelunäkökulma terveydenhuoltoon palveluita potilaille ja kansalaisille Avoimet, standardoidut lähestymistavat Tietomallittaminen tietojen tasolla yhteensopivuus Liitä arviointi järjestelmän kehittämiseen jotta saat palautetta / informaatiota kehittämisprosessiin

50 GEP_HI guideline flowchart Nykänen P, Brender J, Ammenwerth E et al., Guideline for good evaluation practice in health informatics (GEP-HI). Int Journal Med Inform 80 (2011), EFMI STC2012 GEP_HI Seminar