Avoin data ja Oulu, toimintamallin luonti ja käyttöönotto Avaamisen perusteet käytännössä Case Ostolaskut Anna Keskitalo Data-asiantuntija 6Aika - Avoin data ja rajapinnat
Lähtökohdat Oulussa
Velvoite datan avaamiseen Kansalliset ja kansainväliset linjaukset (mm. Tietohallintolaki, EU-direktiivit, hallitusohjelma, JulkICT- ja kansallinen paikkatietostrategia) velvoittavat datan avaamiseen Oulun kaupungin tavoitteet (Kaupunki strategia, Digiagenda, talousarvio, kehittämissalkut, 6Aika Avoin data ja rajapinnat hanke, Tietoaineistojen julkaiseminen avoimena datana Oulun kaupungissa -päätös TULOSSA)
Oulun kaupunki, digitalisointitavoitteet Kaupunkistrategia 2020 Digitalisointiaste: vähintään 30 % kuntalaisille tarjottavista palveluista on saavutettavissa sähköisenä palveluna vuoteen 2018 mennessä Käyttöaste: palveluissa, joissa sähköinen asiointimahdollisuus tarjotaan, 80 % asioinnista tapahtuu sähköisten asiointikanavien kautta Palvelumalli 2020 ja Palveluverkko Monikanavaisuus, monialaisuus, asiakaslähtöisyys, osallistaminen, valinnanvapaus, itsepalvelut
Kaupunginvaltuustoon nähden sitovat tavoitteet Kaupunkistrategian toimeenpanosta TA 2016 Strateginen linjaus/päämäärä Toiminnallinen tavoite Mittari Tavoitetaso 2016 Asioinnin ja palvelujen sähköistämisen kehittäminen Kaupunki avaa tietojoukkoja ja rajapintoja avoimena datana PalveluAvoimen datan alueiden määrä kasvaa 50% avaamien tietojoukkojen ja rajapintojen määrä
Digitaalisen agendan visio: Oulu on vuonna 2020 Euroopan älykkäimmin ja vastuullisimmin digitalisaatiota toiminnassaan hyödyntävä kaupunki. Kaupungin julkaiseman avoimen datan sekä yhteistyössä muiden toimijoiden kanssa mahdollistamien innovaatioympäristöjen avulla alueelle on syntynyt monipuolista ja korkeasta laadustaan tunnettua ICTosaamista ja -liiketoimintaa.
Miksi avata dataa? Hallinnon sisäinen tehokkuus: Datanavaukset hyödyntävät hallinnon organisaatioiden välistä yhteistyötä Toimintatapojen yhdenmukaistaminen tuo mittakaavaetua ja helpottaa osaamisen siirtämistä Auttaa havaitsemaan toimintatapoja, joissa digitaalisuuden mahdollisuuksia voisi hyödyntää laajemmin Läpinäkyvyys ja demokratia: Lisää hallinnon läpinäkyvyyttä tukee mahdollisuuksia aktiiviseen kansalaisuuteen, yhteiskunnalliseen tutkimukseen ja journalismiin Laajentaa nettikeskusteluita (linkitykset & viittaukset) Markkinat ja innovaatiotoiminta: Julkishallinnon data-avaukset hyödyttävät yrityksiä tai yrittäjiksi aikovia Synnyttää uusia markkinoita ja innovaatioita (esim. erilaiset koulutustaustat)
Miten datamassoista lisäarvoa?
Päätös valmisteilla Oulun kaupungin tietoaineistojen julkaiseminen avoimena datana Oulun kaupunki sitoutuu avaamaan hallinnoimaansa julkista tietoa ja osallistuu aktiivisesti kansalliseen ja kansainväliseen yhteistyöhön datan avaamiseksi sekä sen hyödyntämisen edistämiseksi Oulun kaupunki näkee hyödyt huomioiden tietoaineistojen avaamisen tärkeäksi ja velvoittaa yksiköitään tuottamansa julkisen datan avaamiseen Kaupungin avaama data julkaistaan avoimena ja maksuttomana kaikkien käyttöön sekä lisensoidaan yhteisen lisenssimallin avulla Kaikki yksiköiden avaama data kootaan yhteen paikkaan eli Oulun kaupungin datakatalogiin/-portaaliin (tällä hetkellä www.ouka.fi/avoindata) 6Aika-hanke & Tietohallinto laativat ja ylläpitävät kaikille yhteiset ohjeet, joita datan avaamisessa tulee noudattaa.
Toimintamalli
Kaupungin toiminta ja palvelut pohjautuvat eri datoihin Mitä datoja kaupunki tuottaa ja kerää? Tehdäänkö päällekkäistä tietotuotantoa tai keruuta jopa hallintokuntien sisällä? Hyödynnetäänkö datoja riittävästi niin sisäisesti kuin julkisesti data ei kulu käytöstä! Voisivatko datat olla yhteentoimivia? Lähde: HRI Kaupungin datat ovat verovaroin tuotettuja ja valtaosin julkisia Kuntalaisilla oikeus dataan ovat sekä asiakkaitamme että omistajiamme
Avoimen datan julkaiseminen Oulussa Oulu aloitti datan systemaattisen avaamisen syksyllä 2013 lanseeraus Open Knowledge Roadshow ssa Tuolloin avattiin esim. panoulu-tietoja ja tilastotietoja Reilu kymmenen aineistoa yhteensä Datan avaamista 2014 Liikennedataa,Tilastollinen vuosikirja. Kaupungin omistamien kiinteistöjen perustiedot... Reilu 20 aineistoa 6Aika avoin data ja rajapinnat -hanke Vuoden 2015 alusta dataa on avattu hankkeen puitteissa. Tavoitteena tehdä datan ja rajapintojen avaamisesta osa normaalia toimintaa Uutinen Akkunassa
Oulu Open Data Tiedon tuottajia hallintokunnat Tiedon omistaja Alkuperäisen tiedon tuottaminen Tiedon ylläpitäminen ja laadun varmistaminen Tiedon avaamisen osallistuminen Tietoaineistojen metatietojen toimittaminen Tiedon avaaja Kopa Avattavan tiedon priorisointi Kriteerit ja ohjeet Tiedon tuottajien avustaminen avaamisessa Tietojen vastaanotto, arviointi ja jakeluun hyväksyminen Tiedon jakaja Kopa Dataportaalin ja datajoukon ylläpito Käyttäjäpalautteen kerääminen datasta ja muusta avoimeen dataan liittyvästä Uusien toiveiden kerääminen Tiedon hyödyntäjät, loppukäyttäjät Kunnat Yritykset Tutkimuslaitokset Oppilaitokset Kuntalaiset Sovelluskehittäjät Hyväksyvät käyttöehdot Lataavat ja hyödyntävät tietoja Antavat palautetta ja toiveita datasta
Tiedon tuottaja (Hallintokunnat/liikelaitokset) Hallintokunnat ovat tiedon omistajia Hallintokunnat tuottavat alkuperäisen tiedon Tiedon ylläpitäminen ja laadun varmistaminen on hallintokuntien tehtävä Tiedon avaamiseen osallistuminen yhdessä tietohallinnon ja tietojohtamisen kanssa Tietoaineistojen metatietojen toimittaminen tiedon jakelijalle (kopa, tietojohtaminen)
Tiedon avaaja (Kopa, tietojohtaminen) Priorisoi avattavan datan aika, raha, resurssit, hyöty jalkautuminen hallintokuntiin ylläpitää listaa avattavista datoista 6aika-hankkeen tekemisen huomioiminen hankkeen ajan Tuottaa kriteerit ja ohjeet datan avaamiseen yhteiset 6Aika -ohjeet / roadmap Tiedon tuottajien avustaminen avaamisessa mukana mm. keskusteluissa ohjelmistotoimittajien kanssa Järjestää koulutuksia Tietojen vastaanotto, arviointi ja jakeluun hyväksyminen Tietojohtamisen edistäminen myös avoimen data avulla
Tiedon jakaja (Kopa, tietojohtaminen) Verkkopalvelun ja datajoukon ylläpito Datan lisääminen dataportaaliin, päivittäminen, datan poistaminen lopuksi tarvittaessa Käyttäjäpalautteen kerääminen datasta ja muusta avoimeen dataan liittyvästä Uusien toiveiden kerääminen ja välittäminen hallintokuntiin
Tiedon hyödyntäjät ja loppukäyttäjät Kunnat (myös Oulu!) Yritykset Tutkimuslaitokset Oppilaitokset Kuntalaiset Sovelluskehittäjät kuva: Oulun kaupunki Hyväksyvät käyttöehdot Lataavat ja hyödyntävät tietoja Antavat palautetta ja toiveita datasta
Datan jakelu
Uusi dataportaali Avoimen lähdekoodin (CKAN) dataportaalin hankinta yhdessä Tampereen ja Turun kanssa Esikuvana www.hri.fi Alueelliset portaalit (hajautettu yhteiskehitys) Yhteiskehitys perusteknologialle, jonka jälkeen pienkehitys alueellisesti. Kehitystulokset saatetaan kaikkien käyttöön. Versiopäivitykset ja suuremmat muutokset yhteiskehittämällä (kehittäjäverkosto)
Tavoitetila DATAPORTAALI Tekninen dokumentaatio Käyttöesimerkit Analytiikka Q&A Dashboard Coming soon... Metatiedot (datakatalogi) Rajapintojen hallinta DATASTORE Kysy & vastaa Open data pipeline Sovellusgalleria? Ideapankki
Tavoitteena edistää datojen ja rajapintojen yhteentoimivuutta ja eri osapuolten vuorovaikutusta Ekosysteemi Infrastruktuuri kuvat: Oulun kaupunki
Avoin Data ja rajapinnat tavoitteet Kuutoskaupungit yhteistyössä: 1. Luovat ja käynnistävät prosessit datan avaamiseksi ja julkaisemiseksi 2. Perustavat alueelliset, yhteistyötä tekevät avoimen datan "clearing house" -toiminnot 3. Muuttavat sisäisiä toimintamallejaan siten, että datan avaaminen otetaan osaksi normaalia toimintaa 4. Avaavat tietovarantojaan mahdollisimman laajasti avoimeksi dataksi ICT 2015 -ehdotuksen mukaisesti Jatkuu seuraavalla dialla...
Avoin Data ja rajapinnat tavoitteet 5. 6. 7. 8. 9. Kehittävät yhdessä metatiedoiltaan yhteensopivat datakatalogit Käynnistävät ja vakiinnuttavat yhteistyömallit kehittäjäyhteisöjen kanssa Kehittävät ja valikoiduin osin standardisoivat avoimia ohjelmointirajapintoja kaupungin järjestelmiin hyödynnettäväksi Huomioivat uusissa järjestelmähankinnoissaan datan avoimuuden ja järjestelmien yhteentoimivuuden vaatimukset Harmonisoivat datan rakenteeltaan mahdollisimman yhteensopivaksi ja vertailukelpoiseksi.
Ryhmätyö 1
Mitä dataa organisaatiostasi löytyy? Mitä tietoja organisaatioltasi on kysytty tähän mennessä? Tilastoja toiminnasta? Reaaliaikaista dataa? Huom! Datan hyödyntäjät voivat keksiä datalle uutta innovatiivista käyttöä, jota ei välttämättä tulla palvelualueilla ajatelleeksi!
Avaamisen perusteet käytännössä Miten ja mistä lähteä liikkeelle? Haasteet?
Datan avaamisen vaiheet 1. Datajoukon tunnistaminen (tietojärjestelmäluettelo apuna) 2. Datajoukon arviointi kriteerejä vasten (Täyttääkö avoimen datan kriteerit?) 3. Avattavan datajoukon julkaisutavan valinta ja toteutus (formaatti, metadatat) 4. Datajoukon lisensoiminen (yleensä CC by 4.0) 5. Datan lisääminen kaupungin datakatalogiin 6. Datajoukon ylläpitäminen (päivittäminen, toimivuuden varmistaminen) 7. Datajoukon hävittäminen (Vanhentunut tiedon poistaminen tai korvaaminen jollain muulla datalla)
Tietojärjestelmäluettelo suunnittelun apuna Julkaisua valmistellaan Päivitetään noin kerran vuodessa/puolessa vuodessa Harmonisointi yhdessä muiden 6Aika-kaupunkien kanssa
Mitä tietoja kysellään eniten? Mitä tietoja haluaisit käytettävän enemmän? Tilastot liittyen toimintaan ja asiakkaisiin Kaupungin palveluihin liittyvä data Aikasarjat Reaaliaikainen data Paikkatietoa sisältämä data
Mitä dataa kaivataan?
Tietohallinnon asettamat kriteerit datan avaamiseen (kaupungin linjaukset, tulossa) Aineisto on Oulun kaupungin tuottamaa ja ylläpitämää Aineisto liittyy Oulun kaupunkiin tai sen tekemään yhteistyöhön muiden tahojen kanssa Aineisto on sisällöltään julkista, eikä sen julkaiseminen avoimena datana riko voimassa olevia lakeja, asetuksia tai sopimuksia Tarvittaessa avattava aineisto anonymisoidaan erilaisten tunnistetietojen poistamiseksi Aineisto voidaan tarjota käyttöön maksutta Aineisto on internetin kautta kaikkien saatavilla ja hyödynnettävissä. Aineisto on saatavissa internetistä ilman rekisteröintiä. Jos rekisteröinti kuitenkin jostain syystä vaaditaan, niin sen on oltava kaikille mahdollista. Aineisto voidaan julkaista uudelleenkäytön sallivalla myös kaupalliseen tarkoitukseen
Aineisto on valmistajariippumattomassa koneluettavassa muodossa rakenteisena datana. Esimerkiksi CSV-tiedostona, XML-syötteenä tai avoimena ohjelmointirajapintana (REST/JSON). Aineisto voi olla myös Excel-tiedostoja mikäli edellä mainittujen formaattien tuottaminen aiheuttaa vaikeuksia. PDF-dokumentit tai HTML-sivut, joiden avulla ihmiset voivat selailla tai katsoa dataa mutta joista dataa ei saa irti ns. koneluettavassamuodossa, eivät sovi julkaistaviksi avoimena datana. PDF -dokumenteissa tai HTML-sivuilla olevaa numeerista tietoa on usein työlästä jatkojalostaa ja soveltaa tietoteknisesti. Aineisto sijaitsee ulkoverkossa. Sisäverkossa olevaa aineistoa ei voi julkaista suoraan internetiin. Tällaista aineistoa voivat olla esimerkiksi verkkolevyn sisältö, tietokanta tai osa tietokannasta. Aineistojen julkaisemisessa noudatetaan Oulun kaupungin tietoturvapolitiikkaa sekä ohjeistuksia. Jos kriteerien täyttymisestä ei olla varmoja tai jokin kriteeri ei täyty, ei datajoukkoa tule julkaista. Epäselvissä tilanteissa on oltava yhteydessä tietohallintoon. Lisäksi on huomioitava, että strategisesti merkittävää tai yksiköiden kilpailukykyä markkinoilla heikentävää tietoa ei tule avata.
Missä muodossa avata dataa? Datan avaamiseen on erilaisia tapoja Tiedostona Tiedosto, jossa data ylläpidetään (xls / csv / tab / shp) Otetaan tieto manuaalisesti ulos järjestelmästä Otetaan tieto automatisoidusti ulos järjestelmästä, mutta tiedostomuodossa Rajapinnan kautta Tehdään rajapinta järjestelmästä automatisoidusti ulos otettavaan tietoon Tehdään järjestelmään tai sen kopioon rajapinta Lähde: HRI
Missä muodossa avata dataa? Mieti näitä asioita: Kuinka usein data päivittyy tai päivitetään? Kuinka suuri datamäärä on? Onko data reaaliaikaista vai esim. vuosittaista tietoa? Kuinka paljon käsityötä ja aikaa datan muokkaaminen vaatii? Mihin dataa voi käyttää? (sovellukset, visualisointi, hallinnon avoimuus...) Onko jokin taho jo avannut vastaavan datan? Miten se on tehty? vrt. erityisesti kuutoskaupunkeihin Lähde: HRI
Lisenssi Datan omistaja antaa käyttöoikeuden eli lisenssin datansa kopiointiin, levitykseen, muokkaukseen, yhdistelyyn ym. sekä eikaupallisessa että kaupallisessa käytössä Datan soveltaja kantaa vastuun sovelluksestaan. Kaupunki toivoo, että sovelluskehittäjät ilmoittavat kaupungin dataa hyödyntävistä sovelluksista Lisenssisuositus (JHS 189): Creative Commons By 4.0 Käytössä laajasti maailman laajuisesti Lähde: HRI
Datan avaamisen haasteita MOTIIVI - Ei koeta hyödylliseksi tai koetaan haitalliseksi RESURSSIT - Koetaan ettei ole aikaa, rahaa tai osaamista JURIDIIKKA - Uhka yksityisyydensuojalle tai yleiselle turvallisuudelle TEKNIIKKA - Ei ole sopivassa muodossa, ei ole paikkaa laittaa tiedostoja julkiseen jakeluun VÄÄRINKÄYTÖN PELKO - Pelätään että julkaistua dataa tulkitaan väärin tai käytetään väärin PALAUTTEEN PELKO - Ei haluta julkaista dataa koska pelätään palautteen ja mahdollisen kritiikin aiheuttamaa kuormitusta TOIMINTAKULTTUURIN MUUTOS Lähde: HRI
www.ouka.fi/avoindata
Mitä dataa jatkossa avata ja miten? Tietotarpeet voit ilmoittaa nettisivujen datatoive lomakkeella Missä muodossa data avataan? tiedostona vai rajapintana? Parannetaan datojen löydettävyyttä Edistetään hyödyntämistä Juridiset seikat Lähde: HRI
Datan avaamisen tulevaisuus Datan avaaminen jatkuu osana kaupungin normaalia toimintaa myös hankkeen jälkeen Avaamisen haasteita tunnistettu, mutta ratkaistavissa kyse toimintakulttuurin muutoksesta Avattavaa dataa riittää tuodaan ne näkyville Apuna tietojärjestelmäluettelo Avoimia ja standardoituja rajapintoja tavoitellaan yhä enemmän. Kaupunki on mukana myös standardien määrittämisessä Yhteistyötä yli rajojen: kuntien sisällä, kuntien kesken, valtion kanssa, kansainvälisillä kentillä, asukkaiden, kehittäjien, korkeakoulujen, yrittäjien jne. kanssa Lähde: HRI
Esimerkkejä avatusta datasta ja sen hyödyntämisestä
Mallia muualta Suomesta ja maailmalta
USA:n hallinnon dataa http://www.data.gov/ UK:n hallinnon dataa: https://data.gov.uk/ Singaporen hallinnon dataa: https://data.gov.sg/ Suomen hallinnon dataa: https://www.avoindata.fi/fi
Missä ja milloin bussi tulossa? http://oulunliikenne.fi
Oulun ostolaskut www.oulumaksoi.info
Oulun Valtuustopilvi http://oukadata.ddns.net/
Muuntamot kartalla https://play.google.com/store/apps/details? id=net.sanapeli.muuntamot
Hyvinvointikeskusten jonotusaika http://hyke.t-ocdn.com/
http://fiksaus.metrolive.fi/ Sovelluksella voi ilmoittaa Helsingissä ympäristöä häiritsevästä epäkohdasta. Järjestelmä välittää palautteet Helsingin kaupungin rakennusvirastolle Palauteiden etenemistä voi seurata sekä lukea rakennusviraston antamat vastaukset palvelusta
http://sporat.fi/
http:/www.veropuu.fi/helsinginostot// Visualisointi havainnollistaa Helsingin kaupungin ostot vuosilta 2012-2013 organisaation, kumppaniryhmän ja kululajin tasolla. Datalähteenä on käytetty "Helsingin kaupungin ostot vuosilta 20122013 http://www.hri. fi/fi/dataset/helsin gin-kaupunginostot
Pirkanmaan kirjastot
Case Ostolaskut
Miten lähti liikkeelle? Helsingin kaupunki avasi ostolaskunsa marraskuussa 2014. Oulussa valtuustoaloite 9.3.2015 100 kaupungin ostolaskujen avaamisesta vuodesta 2012 lähtien. KH päätti laskujen avaamisesta. Helsingin Sanomat pyysi keväällä 2015 suurimpia kaupunkeja avaamaan ostolaskunsa -> vauhditti laskujen avaamista.
Oulu avasi laskunsa maaliskuussa 2015 Yhteistyössä Talous- ja omistajaohjauksen, Oulun Konttorin ja Monetran kanssa. Paljon manuaalista työtä Ei mennyt ihan niin kuin Strömsössä, aineistossa oli virheitä Päivitetty aineisto lisättiin seuraavassa kuussa Aineisto herätti heti kiinnostusta
Lähde KSML, 23.4.2015
HS 11.5.2015
Yhteistyö muiden kaupunkien kanssa Mallia on otettu alussa erityisesti Helsingin julkaisemasta aineistosta 6Aika-kaupungit miettineet yhdessä avattavia tietokenttiä Kaikilla ei vielä samanlaisia aineistoja avattuna, mutta pyrkimyksenä harmonisoida data uusien julkaisujen yhteydessä. Kuntaliitto on ollut laatimassa ohjeita ostolaskujen avaamiseen myös muita kaupunkeja varten
Sovellukset Ostolaskuista julkaistu useita sovelluksia/visualisointeja esim. http://webjure.org/ostolaskut/