Hallitus 284 11.12.2013 Selvitys Eksotea koskevista puhelinongelmista 1267/02.08.00.04.00.01.00/2013 EKSTPHAL 284 Etelä-Karjalan sosiaali- ja terveyspiiri ( Eksote ) osallistui vuonna 2010-2011 Etelä-Karjalassa järjestettyyn maakunnalliseen puhepalvelu-kilpailutukseen, jossa kilpailutettiin kaksi eri osakokonaisuutta: Matkapuhelin ja välitysratkaisupalvelut Lankapuhelin ja contact center -ratkaisupalvelut Matkapuhelin ja välitysratkaisupalvelut -osuuteen oli kaksi tarjoajaa - TeliaSonera Finland Oyj ( TeliaSonera ) ja Elisa Oyj. TeliaSonera Finland Oyj valittiin tämän osakokonaisuuden voittajaksi selkeällä piste-erolla Elisa Oyj:n. Muun muassa TeliaSoneran tarjoama hinta oli merkittävästi alhaisempi kuin kilpailijansa. TeliaSonera oli ainut tarjoaja Lankapuhelin ja contact center -ratkaisupalvelut osakokonaisuuteen. Näin ollen TeliaSonera tuli toimittajaksi kaikkiin osakokonaisuuksiin. Molempien osakokonaisuuksien sopimuskausi on 1.7.2011-30.6.2016, jonka jälkeen sopimus jatkuu toistaiseksi voimassaolevana, irtisanomisajan ollessa Eksoten puolelta kuusi (6) kuukautta. Hankintayksikkönä hankinnassa toimi Etelä-Karjalan hankintapalvelut. Eksote oli kilpailutuksessa yksi kunnallisista loppuasiakkaista. Kilpailutuksen lopputulos osoittaa selvästi sen, että kiinteämpien puhelinverkkoratkaisujen (lankapuhelin liitynnät, välitysratkaisut ja contact center -ratkaisut) suhteen TeliaSoneralla on Etelä-Karjalassa markkinajohtajan asema ja muut operaattorit eivät välttämättä edes lähde kilpailutuksiin mukaan. Tässä kilpailutuksessa erityisesti välitysratkaisun ja contact center -ratkaisun välinen integraatiotarve johti siihen, että TeliaSoneralla oli paras mahdollisuus, järkevällä kustannustasolla, tarjota koko kokonaisuutta. Contact center -ohjelmistoksi valikoitui Virtual Contact Center ( VCC ), jonka TeliaSonera toimittaa Eksotelle kokonaispalveluna. Tämä tarkoittaa sitä, että TeliaSonera tuottaa ohjelmiston, siihen liittyvän palvelinympäristön ja tietoliikenteen kokonaispalveluna.
Kilpailutuksessa lähdettiin siitä, että contact center -ohjelmisto toimii modernisti tietoverkkojen päällä (ns. IP-puhelin ratkaisu) perinteisten analogisten ( töpselipuhelimet ) sijaan. Puhelimien toimiessa tietoverkossa saavutetaan muun muassa kustannusteknisiä etuja, puhelinliittymiä ei tarvitse kytketä erikseen ja lisäksi kaikki modernit ohjelmisto ovat siirtymässä / siirtyneet tietoverkkojen päälle. VCC-ohjelmisto on käyttöönotettu Eksotessa 2011-2013 useassa eri vaiheessa. Ensimmäisessä vaiheessa (2011) siirrettiin aikaisemmin käytössä olleessa contact center -ohjelmistossa olleet asiakaspalvelupisteet uuteen VCC-ohjelmistoon. Käytännössä tämä tarkoitti Etelä-Karjalan keskussairaan yksiköitä (poliklinikat ja laboratorio). Toisessa vaiheessa (2011-2012) VCC-ohjelmistoon tuotiin mukaan Eksoten avoterveydenhuollon terveysasemien asiakaspalvelupisteet (vastaanotot). Tämän jälkeen uusia asiakaspalvelupisteitä on perustettu VCC-ohjelmistoon tilanteen ja tarpeen mukaisesti. Puhepalvelukilpailutuksen lisäksi Etelä-Karjalassa on aikanaan ekarjala Oy:n ( ekarjala ) toimesta kilpailutettu laajakaistaverkkopalvelut maakunnan kunnallisille toimijoille. Kyseisen kilpailutuksen voitti TeliaSonera. TeliaSoneralla on laajakaistakokonaisuudessa selkeä markkinajohtajuus Etelä-Karjalassa kun tarkastelualueena on koko maakunta. Nykyinen laajakaistapalvelusopimus päättyy 2014, jonka johdosta laajakaistapalvelut tulevat kilpailutukseen vuonna 2014 Saimaan talous ja tieto Oy:n ( Saita ) toimesta. VCC-ohjelmiston käyttölaajuus tällä hetkellä VCC-ohjelmistoa käytetään asiakaspalvelupiste toiminnassa laajasti Eksotessa tällä hetkellä. VCC-ohjelmisto on käytössä seuraavissa yksiköissä: Erikoissairaanhoito Naistentautien poliklinikka Mielenterveys Gastroenterologian poliklinikka Operatiivinen poliklinikka Laboratorio Erikoissairaanhoidon päivystys Yleislääketieteen päivystys Silmäpoliklinikka Lastenpoliklinikka Fysiatrin
Avoterveydenhuolto Armila Sammonlahti Lauritsala Joutseno Taipalsaari Ylämaa Ruokolahti Parikkala Rautjärvi Luumäki Savitaipale Lemi Keskitetty Hammashuolto Sosiaalitoimi Lastentalo Hallinto Varahenkilöstö Työhönotto Ongelmien kuvaus ja analyysi yleisellä tasolla Ongelmat liittyvät VCC-ohjelmistoon, jota käytetään Eksoten asiakaspalvelupisteissä. Ongelmia alkoi esiintymään suuremmassa mittakaavassa toukokuussa 2013, ongelmien jatkuessa tähän päivään saakka. Kysymyksessä ei ole yksittäinen ongelma vaan kymmenet ongelmat ovat liittyneet lukuisiin eri asiakokonaisuuksiin. Vain muutama ongelma on suorannaisesti liittynyt VCC-ohjelmiston toimintaan. Suurin osa ongelmista on liittynyt palvelinympäristön tai tietoliikenneverkon ongelmiin. Asiakokonaisuuksiin koostettuna virhetilanteet ovat olleet seuraavia: (VCC) -palveluun kirjautuminen ei onnistu Contact Center-palvelinohjelmiston prosessi palvelimella ei toimi. Ohjelmistoprosessin häiriön on aiheuttanut virustorjuntaohjelmiston virheellinen toiminta. Ongelma on korjattu virustorjuntaohjelmiston uudelleen asentamisella/päivityksellä.
(VCC) Takaisinsoittopyynnön jättäminen tai käsittely ei onnistu Ongelmat ovat aiheutuneet virheellisestä konfiguraatiosta takaisinsoittoparametreissa sekä niihin liittyvistä muutostöistä. Vikatilanteet on korjattu määrittelemällä takaisinsoittoparametrit uudelleen. Tämän tyyppinen häiriö on esiintynyt laajempana kahteen kertaan. (Yleisen verkon keskus, Surpass) Puhelu ei yhdisty tai yhdistynyt puhelu katkeaa Kyseinen vikatilanne on esiintynyt viisi kertaa laajempana. Ongelman aiheuttajana on ollut mm. yleisen puhelinverkon viallinen liitäntämoduuli, ohjelmavirhe ja viallinen laiteyksikkö. Vikatilanteet on korjattu tapauskohtaisesti vaihtamalla vioittunut komponentti tai ohjelmisto. (Puhepalvelin) IP-puhelin ei toimi Ongelmien aiheuttajana ovat olleet erityyppiset tietoliikenneverkkoviat. Tietoliikenneverkkovian aiheuttaja on tapauskohtaisesti selvitetty ja korjattu. IP-puhelimen toimintaan palautuminen tietoliikenneverkkovian jälkeen on korjattu IP-puhepalvelimen ohjelmistopäivityksellä. Osana virheenkorjausta verkon rakennetta ja viansietokykyä on tarkasteltu laajemmin. Vianhallinnan osalta toimitaan priorisoituna ja mahdollisten vikatilanteiden sattuessa juurisyy analysoidaan tarkasti Tällä hetkellä työn alla osana laajempaa virheiden korjausta ja virheiden eliminointia on puhepalvelinten hallintaverkon (E-LAN) eriyttäminen omaksi (Multi-vrf) verkoksi. Asiakkaan virtuaalipalvelin tullaan päivittämään viimeisimmällä versiolla siihen soveltuvasta virustorjuntaohjelmasta. Lisäksi eräs merkittävä käyttökatko johtui Lappeenrannan kirjaston lähistöllä tehdyistä rakennustöistä, jolloin rakennusyrittäjä kaivoi ylös maasta merkittävän tietoliikenneyhteyden, jonka johdosta myös muita Eksoten tietojärjestelmiä lamaantui. Ongelmien laajuus on vaihdellut palvelua koskevista lyhyistä katkoista (minuutteja) useiden tuntien katkoihin. Tämä tarkoittaa sitä, että kansalaiset eivät ole päässeet läpi asiakaspalvelupisteisiin joko ollenkaan, tai kun taustalla on otettu käyttöön varajärjestelmät, ei
varajärjestelmien kapasiteetti ole yhtä laaja kuin varsinaisen järjestelmän, jolloin toiminta on näkynyt kansalaisille myös merkittävänä hitautena. Varsinaisten käyttökatkojen lisäksi ongelmia on esiintynyt takaisinsoittopyyntöjen toiminnassa. Tämä on voinut johtaa tilanteisiin, joissa kansalaisille ei ole soitettu luvattujen aikojen puitteissa takaisin tai joissakin tapauksissa takaisinsoittopyyntö on voinut kokonaan kadota. Eksoten ammattilaisten puolella pitkät käyttökatkot ovat aiheuttaneet merkittävää haittaa toimintojen suunnittelun ja kuormittavuuden sekä lisätöiden näkökulmasta. Jos järjestelmä ei ole ollut saatavilla esimerkiksi aamulla (jolloin tapahtuu suurin osa puhelinliikenteestä), ei kansalaisten puheluihin pystytä kunnolla vastaamaan. Tämän johdosta kansalaiset saapuvat paikan päälle terveysasemille, jossa ei olla varaudu vastaavaan ruuhkaan, koska puhelimessa aikoja pystytty jaksottamaan koko päivälle. Samaan aikaan järjestelmään on mahdollisesti tullut soittopyyntöjä, joita ei päästä purkamaan samalla hetkellä vaan niiden purkaminen jää joko työpäivän loppuun tai seuraavan päivään mikä näkyy ymmärrettävästi selvänä haittana kansalaisille. Jotta tilanteesta on selvitty, on terveysasemille mahdollisesti jouduttu hankkimaan tilapäisesti lisätyövoimaan esimerkiksi sijaisjärjestelyiden kautta, joka on aiheuttanut Eksotelle lisäkustannuksia. Merkittävä haitta on myös ammattilaisten henkinen kuormittuminen. Työskentely poliklinikoilla ja terveysasemien vastaanotoilla on hektistä ja kaikenlaiset poikkeamat aiheuttavat muutenkin kiireellisessä ympäristössä lisävaivaa, joka vie huomiota pois ammattilaisten varsinaisesta perustyöstä. Tehdyt toimenpiteet TeliaSoneran kanssa käydään aktiivisesti läpi palvelun ja korjauksien tilannetta osana päivittäistä työskentelyä. TeliaSonera on Eksoten johtoryhmän kuultavana tietohallintojohtajan pyynnöstä. TeliaSonera on esittänyt korjaussuunnitelmansa tilanteen parantamiseksi. TeliaSonera on korjannut vikoja sitä mukaan kun niitä on löytynyt (kts. kappale Ongelmien kuvaus ja analyysi yleisellä tasolla). Vikojen korjaamiseksi on käynnistetty Major Incident Management (MIM) prosessi, joka puitteissa kasataan yhteen kaikki eri toimittajat yhdellä kertaa, jotta nopeutetaan virheiden korjaamista ja vältetään kommunikaatioon liittyviä ongelmia. TeliaSonera on nimennyt oman vianselvitystiimin Eksoten ongelmien selvittämiseen. Eksoten virheiden selvityksen koordinointiin on kiinnitetty nimetty henkilö, jonka kautta Eksote voi ohittaa TeliaSoneran normaalin yritysasiakaspalvelun ja päästä suoraan yhteyksiin TeliaSoneran teknisten asiantuntijoiden kanssa.
Eksote on laittanut palvelun kuukausimaksujäihin siihen saakka kunnes ongelmat ovat selvinneet. TeliaSoneran kanssa kilpailutuksen yhteydessä solmittu palvelusopimus käsittää määritteet palvelutasolle ja palvelutason alittamiseen liittyvät sanktiot. Koska ongelmia on ollut niin usein, ei läpikäyntiä ole tehty erikseen vaan kokonaisuus käydään koko vuoden osalta läpi vuoden lopussa. Toimintavaihtoehdot ja seuraukset 1. Jatketaan yhteistoimintaa TeliaSoneran kanssa [Uskotaan TeliaSoneran kyvykkyyteen jatkaa palveluiden tuottajan Eksotessa.] Jatketaan virheiden korjausta (kts. kappale Ongelmien kuvaus ja analyysi yleisellä tasolla) Jatketaan MIM-prosessia Jatketaan laskujen maksun jäädyttämistä Käydään läpi vuosi 2013 vuoden lopussa palvelutasosopimuksen mukaisten korvausten saamiseksi. Tuodaan VCC:n yhteyteen IP-puhelimien rinnalle mahdollisesti perinteisiä analogisia puhelimia (jotka voitaisiin liittää osaksi VCC-ohjelmistoa mutta niiden toiminnallisuudet eivät ole niin monipuolisia ja lisäksi toiminta on tämän jälkeen sidottu tiettyihin kiinteisiin toimipisteisiin puhelinvastaustoiminnan osalta). 2. Ei jatketa yhteistoimintaa TeliaSoneran kanssa [Ei uskota TeliaSoneran kyvykkyyteen jatkaa palveluiden tuottajana. Huomioidaan, että käytännössä TeliaSonera on kokonaistoiminnaltaan laajin Suomessa toimiva operaattori.] Lähdetään valmistelemaan sopimuspurkutoimenpiteitä Etelä-Karjalan hankintapalveluiden ja TeliaSoneran välisen puheratkaisusopimuksen contact center -ohjelmiston osakokonaisuuden osalta - koskien Eksotea. Määritellään siirtymäkausi ja toimenpiteet uudet järjestelmän käyttöönottamisen tukemiseksi TeliaSoneran puolelta. Korjataan edelleen TeliaSoneran palveluiden virheitä siirtymäkauden aikana. Lähdetään valmistelemaan uuden contact center -ohjelmiston kilpailutusta. Uudessa kilpailutuksessa huomioidaan lähtökohtaisesti tarkemmin riskienhallinta toimenpiteenä analogisten puhelimien pitäminen IP-puhelimien rinnalla.
Mikäli uuteen kilpailutukseen lähdetään, tulee uudessa kilpailutuksessa tarkastella tarkemmin palveluun liittyvää palveluinfrastruktuuria - onko järkeä ostaa näin tärkeän palvelun infrastruktuuria monien verkkojen takana olevasta pilvestä vai tuoda lähemmäksi Eksoten omia verkkoja, jolloin matkalla ei ole ihan niin paljoa elementtejä, jotka voivat rikkoutua. Tämän tyyppinen lähestyminen voi nostaa kokonaisuuden kustannuksia. Vaihtoehtoja harkittaessa on huomioitava, että vaikka palvelimet siirrettäisiinkin omaan hallintaan maakuntaverkko tulee joka tapauksessa olemaan TeliaSoneran toimittama ja siten ei tälläkään ratkaisulla voi antaa lupausta, että kokonaisuus ei menisi rikki. Lisäksi nykyisissäkin virheissä on tietoverkkojen lisäksi ollut ongelmia TeliaSoneran julkisen puhelinliikenneverkon laitteistossa (Yleisen verkon keskus, Surpass), joilla ei ole ollut mitään tekemistä VCC-ohjelman tai tietoverkkojen kannalta. Vaikka contact center -ohjelma vaihdettaisiinkin, ei tämän tyyppisiltä ongelmilta olisi vältytty. Koska contact center -ohjelmiston vaihtamiseen liittyy suuri työ ja epävarmuustekijöitä, on Eksotessa vielä toistaiseksi seurattu TeliaSoneran virheiden korjausta ja yritetty saada laadun parannus sitä kautta. Asiantuntijana kokouksessa kuullaan tarvittaessa Eksoten tietohallintojohtajaa. Tj Hallitus merkitsee selvityksen tiedoksi ja antaa tarvittaessa ohjeet asian jatkokäsittelylle. Esittelijän kokouksessa tekemä muutettu päätösehdotus: Hallitus päättää, että TeliaSoneralta haetaan vahingonkorvausta niiltä päiviltä, jolloin puhelinyhteydet eivät ole toimineet sopimuksen mukaisesti ja tästä on aiheutunut Eksotelle vahinkoa. Hallitus Hyväksyttiin. Valmistelija/lisätiedot: Toni Suihko, tietohallintojohtaja, p. 040 703 5159 etunimi.sukunimi@eksote.fi Tiedoksi Tietohallintojohtaja Toni Suihko IT Palvelupäällikkö Riitta Lehtonen Hankintajohtaja Aki Fihlman (Etelä-Karjalan hankintapalvelut)