Avoin data ja Oulu, toimintamallin luonti ja käyttöönotto Avaamisen perusteet käytännössä Case Ostolaskut

Transkriptio

1 Avoin data ja Oulu, toimintamallin luonti ja käyttöönotto Avaamisen perusteet käytännössä Case Ostolaskut Anna Keskitalo Data-asiantuntija 6Aika - Avoin data ja rajapinnat

2 Lähtökohdat Oulussa

3 Velvoite datan avaamiseen Kansalliset ja kansainväliset linjaukset (mm. Tietohallintolaki, EU-direktiivit, hallitusohjelma, JulkICT- ja kansallinen paikkatietostrategia) velvoittavat datan avaamiseen Oulun kaupungin tavoitteet (Kaupunki strategia, Digiagenda, talousarvio, kehittämissalkut, 6Aika Avoin data ja rajapinnat hanke, Tietoaineistojen julkaiseminen avoimena datana Oulun kaupungissa -päätös TULOSSA)

4

5 Oulun kaupunki, digitalisointitavoitteet Kaupunkistrategia 2020 Digitalisointiaste: vähintään 30 % kuntalaisille tarjottavista palveluista on saavutettavissa sähköisenä palveluna vuoteen 2018 mennessä Käyttöaste: palveluissa, joissa sähköinen asiointimahdollisuus tarjotaan, 80 % asioinnista tapahtuu sähköisten asiointikanavien kautta Palvelumalli 2020 ja Palveluverkko Monikanavaisuus, monialaisuus, asiakaslähtöisyys, osallistaminen, valinnanvapaus, itsepalvelut

6 Kaupunginvaltuustoon nähden sitovat tavoitteet Kaupunkistrategian toimeenpanosta TA 2016

7 Digitaalisen agendan visio: Oulu on vuonna 2020 Euroopan älykkäimmin ja vastuullisimmin digitalisaatiota toiminnassaan hyödyntävä kaupunki. Kaupungin julkaiseman avoimen datan sekä yhteistyössä muiden toimijoiden kanssa mahdollistamien innovaatioympäristöjen avulla alueelle on syntynyt monipuolista ja korkeasta laadustaan tunnettua ICTosaamista ja -liiketoimintaa.

8 Oulun kaupungin Digitaalisen agendasalkun painopisteet 1. Asiakaslähtöisesti uudistettavat toimintamallit ja digitaalisten valmiuksien johtaminen Tietovarantojen hyödyntäminen Avoimen hallinnon ja valmiskäyttöisen avoimen data edistäminen 2. Älykkäät palvelut ja digitaaliset sisällöt Kaikki kaupungin tietoaineistot käsitellään kokonaan sähköisessä muodossa Kuntalaisten tuottamien tietojen hyödyntäminen palveluissa Avoin, vuorovaikutteinen kaupunkiyhteisö Kaupunki avoimena ympäristönä tukee innovaatiotoimintaa Tulevaisuuden osaajat Digitaalisten valmiuksien parantaminen, kyberturvallisuus

9 Toimintamalli

10 Kaupungin toiminta ja palvelut pohjautuvat eri datoihin Mitä datoja kaupunki tuottaa ja kerää? Tehdäänkö päällekkäistä tietotuotantoa tai keruuta jopa hallintokuntien sisällä? Hyödynnetäänkö datoja riittävästi niin sisäisesti kuin julkisesti data ei kulu käytöstä! Voisivatko datat olla yhteentoimivia? Lähde: HRI Kaupungin datat ovat verovaroin tuotettuja ja valtaosin julkisia Kuntalaisilla oikeus dataan ovat sekä asiakkaitamme että omistajiamme

11 Avoimen datan julkaiseminen Oulussa Oulu aloitti datan systemaattisen avaamisen syksyllä 2013 lanseeraus Open Knowledge Roadshow ssa Tuolloin avattiin esim. panoulu-tietoja ja tilastotietoja Reilu kymmenen aineistoa yhteensä Datan avaamista 2014 Liikennedataa,Tilastollinen vuosikirja. Kaupungin omistamien kiinteistöjen perustiedot... Reilu 20 aineistoa 6Aika avoin data ja rajapinnat -hanke Vuoden 2015 alusta dataa on avattu hankkeen puitteissa. Tavoitteena tehdä datan ja rajapintojen avaamisesta osa normaalia toimintaa Uutinen Akkunassa

12 Oulu Open Data Tiedon tuottajia hallintokunnat Tiedon omistaja Alkuperäisen tiedon tuottaminen Tiedon ylläpitäminen ja laadun varmistaminen Tiedon avaamisen osallistuminen Tietoaineistojen metatietojen toimittaminen Tiedon avaaja Kopa Avattavan tiedon priorisointi Kriteerit ja ohjeet Tiedon tuottajien avustaminen avaamisessa Tietojen vastaanotto, arviointi ja jakeluun hyväksyminen Tiedon jakaja Kopa Dataportaalin ja datajoukon ylläpito Käyttäjäpalautteen kerääminen datasta ja muusta avoimeen dataan liittyvästä Uusien toiveiden kerääminen Tiedon hyödyntäjät, loppukäyttäjät Kunnat Yritykset Tutkimuslaitokset Oppilaitokset Kuntalaiset Sovelluskehittäjät Hyväksyvät käyttöehdot Lataavat ja hyödyntävät tietoja Antavat palautetta ja toiveita datasta

13 Tiedon tuottaja (Hallintokunnat/liikelaitokset) Hallintokunnat ovat tiedon omistajia Hallintokunnat tuottavat alkuperäisen tiedon Tiedon ylläpitäminen ja laadun varmistaminen on hallintokuntien tehtävä Tiedon avaamiseen osallistuminen yhdessä tietohallinnon ja tietojohtamisen kanssa Tietoaineistojen metatietojen toimittaminen tiedon jakelijalle (kopa, tietojohtaminen)

14 Tiedon avaaja (Kopa, tietojohtaminen) Priorisoi avattavan datan aika, raha, resurssit, hyöty jalkautuminen hallintokuntiin ylläpitää listaa avattavista datoista 6aika-hankkeen tekemisen huomioiminen hankkeen ajan Tuottaa kriteerit ja ohjeet datan avaamiseen yhteiset 6Aika -ohjeet / roadmap Tiedon tuottajien avustaminen avaamisessa mukana mm. keskusteluissa ohjelmistotoimittajien kanssa Järjestää koulutuksia Tietojen vastaanotto, arviointi ja jakeluun hyväksyminen Tietojohtamisen edistäminen myös avoimen data avulla

15 Tiedon jakaja (Kopa, tietojohtaminen) Verkkopalvelun ja datajoukon ylläpito Datan lisääminen dataportaaliin, päivittäminen, datan poistaminen lopuksi tarvittaessa Käyttäjäpalautteen kerääminen datasta ja muusta avoimeen dataan liittyvästä Uusien toiveiden kerääminen ja välittäminen hallintokuntiin

16 Tiedon hyödyntäjät ja loppukäyttäjät Kunnat (myös Oulu!) Yritykset Tutkimuslaitokset Oppilaitokset Kuntalaiset Sovelluskehittäjät Kuva: Oulun kaupunki Hyväksyvät käyttöehdot Lataavat ja hyödyntävät tietoja Antavat palautetta ja toiveita datasta

17 Datan jakelu

18 Uusi dataportaali Avoimen lähdekoodin (CKAN) dataportaalin hankinta yhdessä Tampereen ja Turun kanssa Esikuvana Alueelliset portaalit (hajautettu yhteiskehitys) Yhteiskehitys perusteknologialle, jonka jälkeen pienkehitys alueellisesti. Kehitystulokset saatetaan kaikkien käyttöön. Versiopäivitykset ja suuremmat muutokset yhteiskehittämällä (kehittäjäverkosto)

19 Tavoitetila

20 Tavoitteena edistää datojen ja rajapintojen yhteentoimivuutta ja eri osapuolten vuorovaikutusta Infrastruktuuri Kuvat: Oulun kaupunki Ekosysteemi

21 Avoin Data ja rajapinnat tavoitteet Kuutoskaupungit yhteistyössä: Luovat ja käynnistävät prosessit datan avaamiseksi ja julkaisemiseksi Perustavat alueelliset, yhteistyötä tekevät avoimen datan "clearing house" -toiminnot Muuttavat sisäisiä toimintamallejaan siten, että datan avaaminen otetaan osaksi normaalia toimintaa Avaavat tietovarantojaan mahdollisimman laajasti avoimeksi dataksi ICT ehdotuksen mukaisesti Jatkuu seuraavalla dialla...

22 Avoin Data ja rajapinnat tavoitteet 5. Kehittävät yhdessä metatiedoiltaan yhteensopivat datakatalogit Käynnistävät ja vakiinnuttavat yhteistyömallit kehittäjäyhteisöjen kanssa Kehittävät ja valikoiduin osin standardisoivat avoimia ohjelmointirajapintoja kaupungin järjestelmiin hyödynnettäväksi Huomioivat uusissa järjestelmähankinnoissaan datan avoimuuden ja järjestelmien yhteentoimivuuden vaatimukset Harmonisoivat datan rakenteeltaan mahdollisimman yhteensopivaksi ja vertailukelpoiseksi.

23 Avaamisen perusteet käytännössä Miten ja mistä lähteä liikkeelle? Haasteet?

24 Datan avaamisen vaiheet Datajoukon tunnistaminen (tietojärjestelmäluettelo apuna) Datajoukon arviointi kriteerejä vasten (Täyttääkö avoimen datan kriteerit?) Avattavan datajoukon julkaisutavan valinta ja toteutus (formaatti, metadatat) Datajoukon lisensoiminen (yleensä CC by 4.0) Datan lisääminen kaupungin datakatalogiin Datajoukon ylläpitäminen (päivittäminen, toimivuuden varmistaminen) Datajoukon hävittäminen (Vanhentunut tiedon poistaminen tai korvaaminen jollain muulla datalla)

25 Tietohallinnon asettamat kriteerit datan avaamiseen (kaupungin linjaukset, tulossa) Aineisto on Oulun kaupungin tuottamaa ja ylläpitämää Aineisto liittyy Oulun kaupunkiin tai sen tekemään yhteistyöhön muiden tahojen kanssa Aineisto on sisällöltään julkista, eikä sen julkaiseminen avoimena datana riko voimassa olevia lakeja, asetuksia tai sopimuksia Tarvittaessa avattava aineisto anonymisoidaan erilaisten tunnistetietojen poistamiseksi Aineisto voidaan tarjota käyttöön maksutta Aineisto on internetin kautta kaikkien saatavilla ja hyödynnettävissä. Aineisto on saatavissa internetistä ilman rekisteröintiä. Jos rekisteröinti kuitenkin jostain syystä vaaditaan, niin sen on oltava kaikille mahdollista. Aineisto voidaan julkaista uudelleenkäytön sallivalla lisenssillä myös kaupalliseen tarkoitukseen

26 Aineisto on valmistajariippumattomassa koneluettavassa muodossa rakenteisena datana. Esimerkiksi CSV-tiedostona, XML-syötteenä tai avoimena ohjelmointirajapintana (REST/JSON). Aineisto voi olla myös Excel-tiedostoja mikäli edellä mainittujen formaattien tuottaminen aiheuttaa vaikeuksia. PDF-dokumentit tai HTML-sivut, joiden avulla ihmiset voivat selailla tai katsoa dataa mutta joista dataa ei saa irti ns. koneluettavassamuodossa, eivät sovi julkaistaviksi avoimena datana. PDF -dokumenteissa tai HTML-sivuilla olevaa numeerista tietoa on usein työlästä jatkojalostaa ja soveltaa tietoteknisesti. Aineisto sijaitsee ulkoverkossa. Sisäverkossa olevaa aineistoa ei voi julkaista suoraan internetiin. Tällaista aineistoa voivat olla esimerkiksi verkkolevyn sisältö, tietokanta tai osa tietokannasta. Aineistojen julkaisemisessa noudatetaan Oulun kaupungin tietoturvapolitiikkaa sekä ohjeistuksia. Jos kriteerien täyttymisestä ei olla varmoja tai jokin kriteeri ei täyty, ei datajoukkoa tule julkaista. Epäselvissä tilanteissa on oltava yhteydessä tietohallintoon. Lisäksi on huomioitava, että strategisesti merkittävää tai yksiköiden kilpailukykyä markkinoilla heikentävää tietoa ei tule avata.

27 Missä muodossa avata dataa? Datan avaamiseen on erilaisia tapoja Tiedostona Tiedosto, jossa data ylläpidetään (xls / csv / tab / shp) Otetaan tieto manuaalisesti ulos järjestelmästä Otetaan tieto automatisoidusti ulos järjestelmästä, mutta tiedostomuodossa Rajapinnan kautta Tehdään rajapinta järjestelmästä automatisoidusti ulos otettavaan tietoon Tehdään järjestelmään tai sen kopioon rajapinta Lähde: HRI

28 Missä muodossa avata dataa? Mieti näitä asioita: Kuinka usein data päivittyy tai päivitetään? Kuinka suuri datamäärä on? Onko data reaaliaikaista vai esim. vuosittaista tietoa? Kuinka paljon käsityötä ja aikaa datan muokkaaminen vaatii? Mihin dataa voi käyttää? (sovellukset, visualisointi, hallinnon avoimuus...) Onko jokin taho jo avannut vastaavan datan? Miten se on tehty? vrt. erityisesti kuutoskaupunkeihin Lähde: HRI

29 Lisenssi Datan omistaja antaa käyttöoikeuden eli lisenssin datansa kopiointiin, levitykseen, muokkaukseen, yhdistelyyn ym. sekä eikaupallisessa että kaupallisessa käytössä Datan soveltaja kantaa vastuun sovelluksestaan. Kaupunki toivoo, että sovelluskehittäjät ilmoittavat kaupungin dataa hyödyntävistä sovelluksista Lisenssisuositus (JHS 189): Creative Commons By 4.0 Käytössä laajasti maailman laajuisesti Lähde: HRI

30 Datan julkaiseminen Metatiedot kuntoon Sanallinen kuvaus: mitä data pitää sisällään, miten se on tehty, mitä käyttäjän tulee huomioida ja tietää siitä + avainsanoitus ym. hakutoimintoja varten Aineiston jakelualusta (toistaiseksi): fi/avoindata Julkaisu Lähde: HRI

31 Datan avaamisen haasteita MOTIIVI - Ei koeta hyödylliseksi tai koetaan haitalliseksi RESURSSIT - Koetaan ettei ole aikaa, rahaa tai osaamista JURIDIIKKA - Uhka yksityisyydensuojalle tai yleiselle turvallisuudelle TEKNIIKKA - Ei ole sopivassa muodossa, ei ole paikkaa laittaa tiedostoja julkiseen jakeluun VÄÄRINKÄYTÖN PELKO - Pelätään että julkaistua dataa tulkitaan väärin tai käytetään väärin PALAUTTEEN PELKO - Ei haluta julkaista dataa koska pelätään palautteen ja mahdollisen kritiikin aiheuttamaa kuormitusta TOIMINTAKULTTUURIN MUUTOS Lähde: HRI

32 Mitä tietoja kysellään eniten? Mitä tietoja haluaisit käytettävän enemmän? Tilastot liittyen toimintaan ja asiakkaisiin Kaupungin palveluihin liittyvä data Aikasarjat Reaaliaikainen data Paikkatietoa sisältämä data

33 Tietojärjestelmäluettelo suunnittelun apuna Julkaisua valmistellaan Päivitetään noin kerran vuodessa/puolessa vuodessa Harmonisointi yhdessä muiden 6Aika-kaupunkien kanssa

34 Mallia muualta Suomesta ja maailmalta

35 Mitä dataa kaivataan? Lähde: 6Aika Avoin data ja rajapinnat hankkeen yrityspaneelille keväällä 2015 tehty kysely

36 Mitä dataa jatkossa avata ja miten? Tietotarpeet voit ilmoittaa nettisivujen datatoive lomakkeella Missä muodossa data avataan? tiedostona vai rajapintana? Parannetaan datojen löydettävyyttä Edistetään hyödyntämistä Juridiset seikat Lähde: HRI

37 Datan avaamisen tulevaisuus Datan avaaminen jatkuu osana kaupungin normaalia toimintaa myös hankkeen jälkeen Avaamisen haasteita tunnistettu, mutta ratkaistavissa kyse toimintakulttuurin muutoksesta Avattavaa dataa riittää tuodaan ne näkyville Apuna tietojärjestelmäluettelo, joka julkaistaan Oulussa piakkoin Avoimia ja standardoituja rajapintoja tavoitellaan yhä enemmän. Kaupunki on mukana myös standardien määrittämmisessä Yhteistyötä yli rajojen: kuntien sisällä, kuntien kesken, valtion kanssa, kansainvälisillä kentillä, asukkaiden, kehittäjien, korkeakoulujen, yrittäjien jne. kanssa Lähde: HRI

38 Case Ostolaskut

39 Miten lähti liikkeelle? Helsingin kaupunki avasi ostolaskunsa marraskuussa Oulussa valtuustoaloite kaupungin ostolaskujen avaamisesta vuodesta 2012 lähtien. KH päätti laskujen avaamisesta. Helsingin Sanomat pyysi keväällä 2015 suurimpia kaupunkeja avaamaan ostolaskunsa -> vauhditti laskujen avaamista.

40 Oulu avasi laskunsa maaliskuussa 2015 Yhteistyössä Talous- ja omistajaohjauksen, Oulun Konttorin ja Monetran kanssa. Paljon manuaalista työtä Ei mennyt ihan niin kuin Strömsössä, aineistossa oli virheitä Päivitetty aineisto lisättiin seuraavassa kuussa Aineisto herätti heti kiinnostusta

41

42 Lähde KSML,

43 HS

44 Yhteistyö muiden kaupunkien kanssa Mallia on otettu alussa erityisesti Helsingin julkaisemasta aineistosta 6Aika-kaupungit miettineet yhdessä avattavia tietokenttiä Kaikilla ei vielä samanlaisia aineistoja avattuna, mutta pyrkimyksenä harmonisoida data uusien julkaisujen yhteydessä. Kuntaliitto on ollut laatimassa ohjeita ostolaskujen avaamiseen myös muita kaupunkeja varten

45 Sovellukset Ostolaskuista julkaistu useita sovelluksia/visualisointeja esim.