Avoimen tiedon työpaja KYAMK, Kotka Jyrki J.J. Kasvi Jari Salo 6.5.2015
Aiheet Avoimesta tiedosta ja tiedon avaamisesta Standardeista ja tietomuodoista Rajapinnoista ja tiedonsiirrosta Juridiikasta ja lisensioinnista Avoimen tiedon hyödyntämisestä Suosituksista 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 2
Tiedon avaamisesta
Tieto on avointa kun se on 1. Vapaasti ja laillisesti uudelleenkäytettävissä Tieto on lisensioitu siten, että se on uudelleenkäytettävissä käyttötarkoituksesta tai käyttäjäryhmästä riippumatta 2. Teknisesti uudelleenkäytettävissä Tieto on koneluettavassa ja avoimessa muodossa sekä ladattavissa rekisteröitymättä. 3. Veloituksetta uudelleenkäytettävissä Tieto on maksutonta käyttäjille. Avoin data on raaka-ainetta informaatiolle ja palveluille se parantaa julkishallinnon läpinäkyvyyttä Mahdollistaa innovaatioita ja uutta liiketoimintaa Lisää hallinnon tehokkuutta 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 4
Tiedon avaaminen Tiedon avaamista voidaan tarkastella prosessina Kertaprojekti tai jatkuva toiminto Jos avattava tieto sijaitsee hajallaan ja/tai eri formaateissa voidaan avaaminen jakaa projekteiksi ja julkaisu ja ylläpito jatkuvaksi toiminnoksi Avattavien tietosisältöjen harmonisointi Kerääminen, määrittely, analysointi ja yhteen sovittaminen Metadata ja sanastot Saman tyyppisille aineistoille Tulisi miettiä ja suorittaa jo tietovarantoja määriteltäessä ja koottaessa Haastavaa ja aikaa vievää 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 5
Tiedon avaamisprosessi Julkaisu Kartoitus ja arviointi Tietomuodot Luokittelu Käyttökokemus Käyttäjävaatimukset 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 6
Tiedon avaaminen Hallinta Nimettävä jaettavasta tiedosta vastaava taho Avatun tiedon lähde tulee suojata väärinkäytöksiltä hyökkäykset, oikeudeton muokkaaminen tai poistaminen jne. Käyttäjien luottamus tietoon tulee saavuttaa ja varmistaa Tiedottaminen avoimen tiedon saatavuudesta Erittäin tärkeää käytön lisäämiseksi Jää usein vaille riittävää huomiota Suomessa hieman lapsenkengissä https://www.avoindata.fi/data/fi/dataset http://www.apps4pirkanmaa.fi/resources http://www.lynet.fi/apps4finland/avoimet-tietovarannot-ja-tietopalvelut-1 https://www.tut.fi/avaras/?cat=6 Hajanaisia ja usein sektorikohtaisia luetteloita 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 7
Avoimella tiedolla on arvoa Avoin tieto on suojattava manipuoloinnilta. 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 8
Tiedon avaaminen Haasteita Täysin avoin julkinen tieto on harvinaista ja sellaisena se tulee vielä pitkään säilymään Turvallisuus Tietoaineistojen avaamisen nähdään muodostavat kansallisen turva- tai järjestelmäriskin Yksityisyyden suoja Henkilö- ja sensitiivisiä tietoja sisältävä tieto, jonka anonymisointi on mahdotonta tai kallista Tekijänoikeudet (immateriaalioikeudet) Tekijänoikeusnäkökulmasta rajoitettua tai liikesalaisuuksia sisältävää tietoa, tai niiden osia Kustannukset Avaamista varten tietoa voidaan joutua muokkaamaan eri tavoin (muoto, anonymisointi, jne) toisaalta sen hyödyntäminen voi muodostua kalliiksi Ansainta Tietojärjestelmissä olevan tiedon myyminen voi muodostaa joillekin viranomaisille merkittävän tulolähteen Tieto on valtaa - näkökulma Henkinen kynnys avata tietoa voi olla korkea, samoin vallan menettämisen pelko Yleinen haluttomuus Pieniä yksittäisiä asioita, jotka yhdessä muodostavat esteen avata tietoa, ei kuulu minulle - asenne 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 9
Standardeista ja tietomuodoista
Avoin tieto ja standardit Standardinmukainen tietomuoto tukee tiedon yhdenmukaisuutta, ja sitä kautta avaamista sekä uudelleenkäyttöä Nimetty vastuutaho yhdenmukaistamaan ja opastamaan standardien ja tietomuotojen käyttöä (tiedon harmonisointi) Perusedellytys avoimelle tiedolle on että se on rakenteeltaan: Koneluettavassa muodossa Helposti prosessoitavaa Selkeästi kuvattua (sanastot ja metadata) 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 11
Avoimen tiedon esitysmuotoja Helppoja ja yleisiä JSON XML Laskentataulukko (xls) CSV txt Haastavampia Tekstidokumentit HTML sivut PDF 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 12
Datan voi joutua raapimaan verkkosivuilta 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 13
Rajapinnoista ja tiedonsiirrosta
Avoin tieto & rajapinnat Tietomuodot (standardit) ja koodien käyttö tietovarannoissa Infrastruktuuriarkkitehtuuri tarvitaan Palvelujen rakentajille varmuus siitä, että avointa tietoa on tarjolla jatkuvasti suuri haaste on miten saadaan yritykset uskomaan siihen että avoimen datan päälle rakennettaviin palveluihin kannattaa investoida Data infrasta kuin vettä hanasta! Tiedon julkaisu ohjelmistorajapintojen (API) avulla Ohjelmallisesti määriteltävien tietojoukkojen hakeminen Kytkeytyminen tietokantaan -> ajantasainen tieto 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 15
Avoin tieto & rajapinnat Raaka-/bulkkitieto Koko tietomassan noutaminen kerralla -> tarve päivitetyn tietomassan julkaisuun Ei riippuvuutta alkuperäisen tiedon toimittajasta Palveluntarjoajat (aggregaattorit) voivat jakaa edelleen -> jakelun yksikkökustannus laskee, yksittäinen virheriski pienenee Omien palvelujen kehittäminen, varmuus raakatiedon saannista parempi Tukipalvelut avoimen tiedon hakemiselle Aggregaattoripalvelut voivat toimia puskurina lähdejärjestelmän ja käyttäjän välillä Push vai Pull-malli? Push-malli koetaan tehokkaaksi ja aikaa säästäväksi, voi aiheuttaa turhaa tiedonsiirtoa Pull-malli aiheuttaa turhaakin tiedonsiirtoa, mahdollista ylikuormitusta kohdejärjestelmään. Käyttäjällä on enemmän hallintaa kyselyihin, kyselytiheyden määrittely ja virhetilanteiden havaitseminen helpompaa 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 16
Avoin tieto & tiedonsiirto Julkishallinnon määrittelyt WebService rajapinta HTTPS palvelupyynnöt sovellukselta sovellukselle SFTP materiaalin siirto (myös HTTPS) Tietoturvan tarve eri palveluissa? RDF (Resource Description Framework) Käyttö erityisesti web-ympäristössä (JSON ja XML), RDF mahdollistaa eri tietomalleihin (skeemoihin) pohjautuvan tiedon integroinnin mallinnettua tietoa muokkaamatta JSON Resurssivaatimukset palvelupyynnöissä (määrä, tiheys jne.) 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 17
Juridiikasta ja lisensiointimalleista
Juridiikkaa Viranomaisille annetut tiedot muuttuvat julkisiksi ja ne ovat avoimesti saatavilla periaatteessa Laki viranomaisten toiminnan julkisuudesta 621/1999 Viranomaisten ja yksityisen sektorin säännöt poikkeavat toisistaan Avattaessa tietoa, tulee tarkistaa: Tiedon julkisuus Henkilökohtaisten tietojen sisältyminen aineistoon Tiedon maksuttomuus Muut avaamista rajoittavat syyt 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 19
Avoin tieto & lisensiointimallit Julkishallinnon lisensiointimalli CC4 Nimeä (JHS suositus 189 ) Creative Commons Attribution 4.0 Tarjoaa oikeudellisen varmuuden siitä että tietojen käyttö on luvallista Tiedon lähde tulee mainita käyttöluvasta ilmenevällä tavalla 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 20
Avoimen tiedon hyödyntämisestä
18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 22
18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 23
18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 24
Avoimen tiedon hyödyntämisestä Tim Berners-Lee 5-tähden avoimen tiedon kypsyysluokitus Yksinkertainen ja laajalti käytetty malli Tieto on verkossa avoimella lisenssillä Tieto on koneella prosessoitavassa rakenteisessa muodossa Käytetään järjestelmäriippumatonta tietomuotoa Käytetään yleisiä resurssiosoittimia (URI) ja avoimia standardeja tiedon kuvaamiseen Tieto on linkitetty muiden tarjoamaan tietoon Ylemmällä tasolla olevan tiedon on täytettävä kaikkien alempien tasojen kriteerit 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 25
Esimerkkejä avoimen tiedon hyödyntämisestä Liikennevirasto: Digiroad ja Digitraffic www.digiroad.fi www.digitraffic.fi www.rajaliikenne.fi Ilmatieteen laitos Säätiedot https://ilmatieteenlaitos.fi/avoin-data Maanmittauslaitos: Karttaaineistot www.retkikartta.fi http://routegadget.net/karttapullautin/ 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 26
Anonymisointi Avoin rajapinta Eheys Saatavuus Avoimen datan ekosysteemissä on vielä reikiä Palvelun Palvelun Palvelun tarjoajat tarjoajat tarjoajat Yritykset Yritykset Tietovaranto Datakatalogi Devaajat Käyttäjät
Anonymisointi Avoin rajapinta Saatavuus Eheys Avoimen datan ekosysteemissä on vielä reikiä Tieto- Varanto Aggregaattori Palvelun Palvelun Palvelun tarjoajat tarjoajat tarjoajat Yritykset Yritykset Datakatalogi Devaajat Käyttäjät
Avoimen tiedon hyödyntämisestä Avoimen tiedon hyödyntämiskilpailuja Apps 4 Finland http://www.apps4finland.fi/ ITS in your pocket 2014 kilpailu http://www.its-finland.fi/index.php/fi/tapahtumat/apps-contest.html Ministeriöiden digiturnaus 2015 https://www.youtube.com/watch?feature=player_embedded&v=8uyfb m-zk6q (video) 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 29
Lisää vaatimuksia avoimelle datalle Yleiset vaatimukset avoimelle datalle Ei teknisiä esteitä avattujen tietojen käytölle Ei oikeudellisia esteitä avattujen tietojen käytölle Ei taloudellisia esteitä avattujentietojen käytölle Avatut tiedot ovat helposti löydettävissä ja käytettävissä Kaupallisten palveluiden vaatimukset avoimelle datalle Tiedon saatavuuden turvaaminen (turvaa palvelun käytettävyyden) Tiedon laadun turvaaminen (kokonaisuus, virheettömyys, autenttisuus ja ajantasaisuus) Rajat ylittävien palveluiden vaatimukset avoimelle datalle Avattujen tietojen tekniset määrittelyt, sisältöjen kuvaukset, käyttöehdot ja metadata helposti käytettävissä eri kielillä Kullakin valtiolla on oltava tietojen avaamisesta ja tarjolle saattamisesta vastaava viranomainen, joka verkostoituu vastaaviin viranomaisiin muissa maissa Data roaming kustannukset pidettävä aisoissa 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 30
Suosituksista
Suosituksia tiedon avaamiseen Informaatiopisteen organisointi vastaamaan ja neuvomaan tiedon avaamiseen liittyvissä kysymyksissä ja tiedotuksesta Tiedon arvo kasvaa sitä enemmän mitä laajemmalle ja nopeammin sitä voidaan jakaa ja hyödyntää positiivinen yhteys standardien ja avoimen datan välillä Tiedon hyödyntämistä edistää hyvä kieliriippumaton metadata ja sanasto Tietovarantojen sisällön, lisensiointiehtojen sekä tiedonsiirto- ja ohjelmointirajapintojen tulee mahdollistaa tiedon uudelleenkäyttö Tiedon avaaminen tulee nähdä jatkuvana prosessina Tiedon saatavuus, yhtenäisyys ja tietosuoja tulee taata tiedon avaamisessa, erityisesti tietojen riittävä anonymiteetti tulee taata ennen tietovarantojen avaamista. 18.5.2015 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 32
U.S. Army Photo Sukupuolten välinen digikuilu? Keskustelua Kuvituksena Yhdysvaltojen armeijan kuvamateriaalia suomalaisten kuvien asemesta, koska Yhdysvallat on avannut 30.9.2010 julkisin varoin tuotetut ja ylläpidetyt kuva-arkistot www.kasvi.org yleiseen käyttöön. 33
TIEKE Tietoyhteiskunnan kehittämiskeskus ry TIEKE on v. 1981 perustettu tietoyhteiskunnan puolueeton ja riippumaton vaikuttaja, verkottaja ja vauhdittaja. TIEKEn toiminnan painopisteet ovat 1. Tieto- ja viestintätekniikan osaamisen kehittäminen 2. Sähköisten toimintaprosessien edistäminen 3. Tietoyhteiskunnan tietopalvelut TIEKEn toimintatapoja ovat hankkeet, foorumit, palvelut, seminaarit ja yhteiskunnallinen vaikuttaminen. TIEKEn jäsenenä on yli 80 julkista ja yksityistä organisaatiota Jäsenmaksu liikevaihdon perusteella 3 500, 1 700 tai 800 TIEKEn liikevaihto on n. 1,3 milj. vuodessa TIEKEssä työskentelee 12 henkilöä 2013 TIEKE Tietoyhteiskunnan kehittämiskeskus ry 34