KONEOPPIMISEN HYÖDYNTÄMINEN: AUTOMAATTINEN TIKETTIEN KÄSITTELY Esa Sairanen 29.03.2017
Sisältö Taustaa Tavoite Mitä on koneoppiminen? Azure Machine Learning koneoppimismenetelmiä Projektin vaiheet Data Koneoppimismallin koulutus Ennustemallin rakenne Ennusteiden tarkkuus Hyödyt Jatkotoimenpiteet 2
Ulkoistuspalvelut - Taloushallinto - Palkanlaskenta ja HR - Sijaisvälitys - Hankinta ja kilpailutus - ICT-palvelut KuntaPro ratkaisutoimittajana: Järjestelmäpalvelut Kuntax ERP - Tiedolla johtaminen - Taloushallinto - Palkat ja HRM - Palveluiden toiminnanohjaus - SOTE toiminnanohjaus/ Potilastietojärjestelmä Muutosjohtamisen Palvelut - Organisaation toiminnan muutoksen tuki ja muutoksen johtaminen - Konsultointi esim. prosessien kartoitus, auditointi ja käytön tehostaminen KuntaPro Oy konserni lukuina 2014 2015 2016* Liikevaihto 36,4 m 43,7 m 47,6 m Liikevoitto 594 000 787 000 920 000 *arvio Henkilöstö 253 265 275 Omistajat 64 76 83 Asiakkaat 130 145 158 Toimipisteet 3 3 4 3
Taustaa KuntaPro:n e-tiski vastaanottaa noin 170 000 tikettiä vuodessa valtaosa sähköpostilla E-tiski käy läpi tiketit ja päättää kuvauksen perusteella, mihin jonoon kukin tiketti lähetetään jatkokäsittelyyn Manuaalinen prosessi Tiketin sisällöllinen oikeinkirjoitus Tikettien lajittelu käsin vie huomattavan määrän aikaa Lajittelu eri jonoihin Useita jonoja Tuotetarjonnan kasvaessa myös eri jonojen määrä kasvaa Tarvitaan ratkaisu kasvavaan tikettikäsittelyyn! 4
Mitä on koneoppiminen? Koneoppiminen (machine learning) tarkoittaa automaattisesti asioita oppivien algoritmien ja järjestelmien kehittämistä. Koneoppiminen on merkitysten löytämistä erittäin suurista datamassoista ja ennusteiden tekemistä niiden pohjalta. Koneoppimista käytetään kun datamäärät kasvavat niin suuriksi, että ihminen ei pysty niitä enää helposti käsittelemään. Koneoppimista voidaan soveltaa eri kohteisiin: 5
KuntaPron projektin tavoite Rakennetaan koneoppimiseen perustuva automaattinen malli, joka kykenee lajittelemaan tiketit jatkokäsittelyyn automaattisesti (nopeasti ja oikein). Projektivaiheen toteutus 01-03/2017 Toteuttajana BigDataPump ja KuntaPron E-Tiski Yhteistyössä Microsoft & Azure Machine Learning 6
KuntaPron E-tiski E-Tiskin data KuntaPron yhteydenotto- ja asiakaspalvelupiste Ensimmäisen tason tukikanava Vastaanottaa ja kirjaa tilauksia, häiriöilmoituksia sekä neuvontapyyntöjä Hoitaa tiedottamista Ratkaisee merkittävän osan palvelupyynnöistä (tiketit) v2016 tikettien lukumäärä: 173.694 Näistä valitaan tapaukset joissa Tila = Suljettu Yhteydenottotapa = Email Jonotieto löytyy Tiketeistä käytetään: 104.021 Sanakirjan muodostukseen 40% (41608) Mallin koulutukseen 60% (62413) 7
Koneoppimismallin koulutus KuntaPron datalla Malli koulutetaan ymmärtämään tikettien sisältöä näyttämällä sille suurta määrää jo ratkaistuja tikettejä. Vuoden aikana saadut 104 021 sähköpostitikettiä käytettiin oppimaan sanojen ja jonojen välisiä suhteita. Mallinmuodostus: Otsikko, email, kuvausteksti Kun koulutus on tehty, malliin voidaan syöttää ennen näkemätön tiketti, ja malli palauttaa ehdotuksen jonosta johon tiketti kuuluu. 8
Ennustemallin rakenne Jonon ennustaminen tehdään kolmessa vaiheessa: Tiketti Otsikko Kuvausteksti Lähettäjän sähköpostiosoite Aikaleima Vaihe 1 Tiketin tiedot luetaan ja muunnetaan käytettävään muotoon Otsikko ja kuvausteksti siivotaan Aikaleimasta etsitään tieto esim. viikonpäivästä Yksinkertaiset ennusteet Kolme mallia jotka tekevät parhaan jonoennusteen kunkin ominaisuuden perusteella Vaihe 2 Yksinkertaiset mallit oppivat mitkä sanat otsikossa ja kuvauksessa liittyvät yleensä mihinkin jonoon Esim. sana lasku menee 64% todennäköisyydellä myyntireskontraan Yhdistävä malli Ennustemalli joka kokoaa yksinkertaisten mallien tulokset yhteen Vaihe 3 Lopullinen ennuste tehdään pohjautuen yksinkertaisten mallien ennusteisiin ja aikaleimaan. Ennusteet 9
Ennusteiden valikointi Jotkut sähköpostitse saapuvat tiketit eivät sisällä riittävästi tietoa luokittelun tekemiseen Malli osaa arvioida luokittelun tarkkuutta, joten epämääräiset tiketit voidaan jättää automaattisesta käsittelystä pois KuntaPro tulee käyttämään tuotannossa 0.3 0.4 mallin varmuustasoa Ulkopuolelle jäävät käsitellään manuaalisesti Tason valinta on kompromissi Mallin varmuus Osuus tiketeistä Tarkkuus Mallia voidaan käyttää niin, että ennusteita käytetään tikettien ohjauksessa vain, jos mallin varmuus yrittää jonkin kynnyksen >0.1 100% 81.4% >0.2 98.9% 82.1% >0.3 92.8% 85.1% >0.4 84.1% 88.7% >0.5 74.8% 92.0% >0.6 65.8% 94.6% >0.7 57.3% 96.5% >0.8 47.5% 97.8% >0.9 34.8% 98.7% 10
Saavutettu mallin varmuus (tikettijonoittain) KuntaPron tikettimassassa Mallin minimivarmuus 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 ETISKI 100,0% 100,0% 99,8% 97,8% 91,5% 83,4% 74,0% 63,8% 53,4% 39,8% PORI TH Myyntireskontra 100,0% 100,0% 99,8% 98,4% 96,4% 94,0% 90,0% 86,7% 80,8% 71,2% HML TH Ostolaskut 100,0% 100,0% 99,9% 97,6% 93,4% 89,4% 82,7% 72,9% 61,3% 45,2% PORI PH PT1 100,0% 100,0% 99,8% 98,3% 96,0% 90,7% 85,2% 77,0% 61,7% 43,0% TUU TH MYYNTIRESKONTRA 100,0% 100,0% 99,6% 99,0% 97,5% 94,3% 89,1% 80,5% 64,2% 38,1% PORI TH Maksuliike 100,0% 100,0% 100,0% 98,7% 96,4% 94,5% 91,7% 87,2% 81,6% 72,7% HML ICT Tier2 100,0% 100,0% 100,0% 94,7% 84,1% 67,2% 47,6% 27,5% 14,8% 7,7% PORI PH PT2 100,0% 100,0% 100,0% 99,7% 98,1% 93,3% 83,6% 71,0% 45,8% 19,3% HML PH REKRY 100,0% 100,0% 100,0% 100,0% 99,5% 99,2% 98,6% 98,1% 96,2% 90,0% TH Raportointi 100,0% 100,0% 99,7% 90,7% 76,7% 58,4% 41,0% 26,7% 13,4% 6,2% PH JARJESTELMAASIAT 100,0% 100,0% 99,7% 93,1% 83,0% 72,9% 69,1% 64,7% 58,0% 46,7% HML HR-ASPA 100,0% 100,0% 97,6% 84,4% 65,0% 46,6% 34,4% 27,6% 22,8% 17,3% HML PH OVTES 100,0% 100,0% 100,0% 99,3% 96,1% 92,9% 88,0% 80,2% 71,4% 47,7% HML PH KVTES 100,0% 100,0% 98,9% 93,0% 79,1% 58,6% 37,7% 24,5% 10,6% 4,0% HML TH Maksuliike 100,0% 100,0% 100,0% 99,1% 98,7% 97,8% 97,8% 94,2% 90,2% 80,4% PH HR - JARJESTELMAYHTEISTYO 100,0% 100,0% 100,0% 99,0% 92,9% 87,8% 75,6% 64,0% 40,1% 19,3% TUU PH Palkat 100,0% 100,0% 97,9% 94,3% 89,1% 78,2% 60,1% 46,1% 31,6% 17,1% ICT Pilvipalvelut 100,0% 100,0% 99,4% 99,4% 97,5% 96,3% 96,3% 95,7% 95,7% 95,7% HML PH YHTIOT 100,0% 100,0% 100,0% 95,3% 85,3% 76,7% 63,3% 49,3% 34,7% 14,7% TH Jarjestelmapalvelut - Pilvipalvelut 100,0% 100,0% 100,0% 91,4% 68,8% 54,8% 52,7% 49,5% 37,6% 31,2% TUU TH OSTOLASKUT 100,0% 100,0% 98,4% 92,2% 73,4% 50,0% 23,4% 12,5% 7,8% 7,8% PORI PH Huomautukset 100,0% 100,0% 100,0% 100,0% 97,1% 94,1% 64,7% 35,3% 11,8% 2,9% PH Palkkalaskelmien kuittaukset 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 97,0% 97,0% 87,9% PORI TH Ostolaskut 100,0% 100,0% 100,0% 72,2% 44,4% 22,2% 5,6% ICT Palvelunhallinta 100,0% 100,0% 100,0% 90,9% 90,9% 81,8% 72,7% 54,5% 54,5% 18,2% HML ICT Puhelinvaihde 100,0% 100,0% 100,0% 100,0% 88,9% 55,6% 44,4% 22,2% 11,1% HML TH Myyntireskontra Kunnat ky ja saatiot 100,0% 100,0% 100,0% 50,0% 37,5% 37,5% 12,5% TH Tilitoimistopalvelut 100,0% 100,0% 100,0% 57,1% 42,9% 42,9% 28,6% 14,3% PORI TH Kirjanpito Kunnat ja ky 100,0% 100,0% 100,0% 57,1% 42,9% 28,6% 28,6% 14,3% PORI TH Ostolaskut skannaus 100,0% 100,0% 100,0% 100,0% 83,3% 50,0% 33,3% 16,7% HML PH M2 100,0% 100,0% 100,0% 100,0% 80,0% TUU TH KIRJANPITO 100,0% 100,0% 100,0% 100,0% 75,0% 75,0% 75,0% 75,0% 50,0% 25,0% HML TH Kirjanpito Oy 100,0% 100,0% 100,0% 100,0% 66,7% 66,7% HML TH Kirjanpito Kunnat ky ja saatiot 100,0% 100,0% 50,0% 50,0% 50,0% 50,0% 50,0% 50,0% TH Raportointi kehitys 100,0% 100,0% 100,0% 100,0% 100,0% 50,0% 11
Koneoppimisen käyttöönoton hyödyt tikettien käsittelyprosessissa: Pilotti htp; 17; 9 % Tuotanto htp; 12; 6 % Manuaalinen prosessi KP:n nykyvolyymitasolla vaatii 200 htp/v Panostukset jolla saadaan automatisoitua manuaalityöstä 160htp/v Pilotti htp Tuotanto htp Työaikasäästö htp/v Käyttöönotto Pilotointi projekti 17htp Tuotantoon vientiprojekti 12htp Työaikasäästö htp/v; 160; 85 % Käyttökustannus Teknologiakustannus riippuu käsiteltävän datan määrästä 40 htp manuaalikäsittely (ei tunnistetut tiketit) 12
Kiitokset!! etiski 13