#Liikennelabra goes avoin data - seminaari Trafi, Helsinki

Transkriptio

1 #Liikennelabra goes avoin data - seminaari Trafi, Helsinki

2 Liikenne- ja viestintäministeriön hallinnonalan datan avaaminen ja hyödyntäminen liiketoiminnassa ja päätöksenteossa Liikennelabra goes Avoin Data seminaari Anne Miettinen Liikenne- ja viestintäministeriö 2

3 Avoin, julkinen data Mikä tahansa julkisen organisaation tuottama tai hallinnoima tietovaranto, joka on konekielisessä muodossa ja maksutta kenen tahansa käytettävissä, muokattavissa ja jaettavissa sekä yksityisiin että kaupallisiin tarkoituksiin EI sisällä henkilötietoa, liikesalaisuuksia tai muuta salassapidettävää tietoa henkilötiedot on anonymisoitu ennen avaamista pois ja salassapidettävät tiedot poistettu aineistosta. 3

4 Rakennetaan digitaalisen liiketoiminnan kasvuympäristö Tiedon hyödyntäminen Esineiden internet Liikenne palveluna Robotiikka ja automatisaatio Tietoturva 4

5 Kokonaiskuva liikenne- ja viestintäministeriön hallinnonalasta valtioneuvoston periaatepäätöksen datan hyödyntämisestä liiketoiminnassa toimenpiteistä avoimen datan kannalta Datan jakamisen synergiahyötyihin vaikuttaminen valtion esimerkillä Datan hyödyntämiseen perustuvien toimintamallien kehittymisen markkinoiden avautumisen tuki Osaamisen kasvattaminen Kannustava sääntely ja kansainvälinen yhteistyö Julkiset tietoaineistot ja rajapinnat Datan ja rajapintojen avoimuus hankintaprosesseihin Datan jakamisen ja hyödyntämisen käytänteet Dataperusteinen päätöksenteko Avoimen lähdekoodin tietoalustat ja rajapintapalvelut Datan hyödyntäminen yhteiskehittelyn ja yhteistyön kautta 5

6 Kohti laajempaa datapolitiikkaa ja arvoa datalle hyödyntämällä palveluissa, liiketoiminnassa ja päätöksenteossa Julkisen sektorin datan yhdistäminen muuhun dataan Avoimen datan hyödyntäminen MyData-periaattein toimivissa palveluissa Julkisen ja yksityisen sektorin datan jakaminen Entistä monipuolisempi, reaaliaikaisempi ja laadukkaampi data tukee Liikenteen kehitystä palveluna (MaaS) Liikenteen robotisaation ja automaation kehitystä Turvallisuutta ja toimintavarmuutta Ympäristöystävällistä liikennettä Väyläomaisuuden hallintaa jne. Esimerkiksi tarkkojen paikkatietojen merkitys korostuu 6

7 Toimet julkisten tietoaineistojen ja rajapintojen tarjonnan lisäämiseksi Datakatalogi liikenne- ja viestintäministeriön hallinnonalan avatusta datasta suomen ja englannin kielellä mukset_ja_julkaisut#avoindata Myös vielä avattavia aineistoja ja käyttörajoitteisia aineistoja koskevat tiedot Suurin osa merkittävästä tietoaineistosta avattu suunnitelmallisesti (tiekartta 2013) Aineistoa on avattu osin rajapintapalvelujen kautta, osin tiedostoina ja kyselyliittyminä Avoindata.fi sisältää tietoja kaikkien virastojen datoista Avoin data tulostavoitteissa Kehittämistarpeita ja haasteita: Datan tarkkuus, kattavuus ja reaaliaikaisuus (esim. paikkatiedot), joka mahdollistaa mm. liikenteen robotisaation ja automaation, turvallisuuden ja liikenteen kehittymisen palveluna Rajapinnat, niiden käytettävyys ja dokumentaation ja metatietojen laatu (esim. Avoindata.fi) Vaikuttavuus ja mittarit (valtioneuvoston yhteinen selvityshanke, Ilmatieteen laitoksella käynnissä vaikutusten arviointi) Palvelutaso 7

8 Avattua dataa Liikennevirasto, Trafi, Ilmatieteen laitos, Viestintävirasto Väyläverkon infra-aineistot Kaikkien liikennemuotojen kulkuneuvojen teknisiä tietoja Reaaliaikaiset sää- ja merihavainnot Tietoturvaloukkaushavainnot Reaaliaikainen liikennetieto Digitraffic Joukkoliikenteen reitit ja matkat Matka.fi Tieliikenteen luvanvaraiset korjaamot RPAS-toimijat Autovertaamopalvelut Ilmasto-tiedot Kansallinen sääennustemalli TV- ja radioasemat Alusten meriradionumerot Radioamatöörien kutsumerkit 8

9 Tietoaineistojen hyödyntäminen dataperusteisen päätöksenteon parantamiseksi Vaikutusten arviointi vakiintunut käytäntö LVMssä ja Trafissa Liikenneviraston digitalisaatiohankkeessa uusien tiedon hyödyntämisen menetelmien kehittäminen esim. liikenneverkon suunnittelun ja tilannekuvan tueksi Data-analyysiosaamisen kehittäminen ja pilotit päätöksenteossa 9

10 Tietoaineistojen ja ohjelmistorajapintojen sisällyttäminen tietojärjestelmähankkeiden hankinta-prosesseihin vaatimus tietoaineistojen ja ohjelmistorajapintojen avoimuudesta Liikennevirastossa avoimuus huomioitu hankinta-asiakirjoissa haasteena kolmansien osapuolten tuottamien tietojen käyttörajoitteet Trafi ketterät kehittämismenetelmät Viestintävirasto projektinhallinnan tarkistuslista Liikennekaaressa edellytettäisiin yhteentoimivuuden varmistamista lippu- ja maksujärjestelmiä koskevissa julkisissa hankkeissa Liikkumispalvelujen olennaiset tiedot avoimeen rajapintaan, esim. aikatauludata 10

11 Avoimen lähdekoodin tietoalustojen ja rajapintapalveluiden käyttöä edistetään Avoin lähdekoodi: Liikennevirasto avannut lähdekoodiaan: Harja (kunnossapidon ohjaus), Digitraffic (liikenteen reaaliaikaisen mittaustiedon ja olosuhdetietojen jakelujärjestelmä) ja Digiroad (kansallinen tie- ja katuverkon tietojärjestelmä) Ilmatieteen laitos avannut ja avaamassa edelleen sää- ja ympäristötiedon tuottamiseen, käsittelyyn ja jakeluun liittyviä ohjelmistoja. Lähdekoodia avattu Githubissa Trafin tietopalvelutehdashanke Viestintävirastossa kehitetään yhteisrakentamislain perusteella yrityksille ja kansalaisille tuotettavaa palvelua, jonka kautta voi saada tietoa verkkojen rakennussuunnitelmista. Palvelun tarjoajalta edellytetään rajapintojen avaamista käyttäjien tarpeisiin sekä velvollisuuden tarjota yrityksille tarvittaessa rajapintoja 11

12 Datan jakamisen ja hyödyntämisen käytänteet Kaikilla virastoilla käytössä JHS 189- suositusten mukainen Creative Commons Nimeä 4.0 käyttölupa Liikennevirasto ja Ilmatieteen laitos Inspirepaikkatietodirektiivin mukaisesti Datan hyödyntäjäksi rekisteröitymisen tarpeen ja maksullisuuden osalta erilaisia käytäntöjä Kehittämishaasteena tietotuotteiden automatisointi Trafin tietopalvelutehdas Liikennevirasto: tietoluovutusten periaatteet pienellä revisiolla malliksi muillekin Trafi: Vuosittain julkistettavassa tietotilinpäätöksessä tietovarantojen ja virtojen hallinta sekä hyvän tiedonhallinnan ja tietojenkäsittelyn menettelyt Trafin tietoluovutusten periaatteet ja rekisterit liikennekaaren 2 vaiheessa 12

13 Datan hyödyntäminen yhteiskehittelyn ja yhteistyön kautta Avoin data osa suunnitelmallista kokeilukulttuuria Hyödynnetty liiketoiminnassa liikenne-, viestintä- ja olosuhdepalveluissa Kehittäjäyhteistyö rajapintojen testauksessa ja laadun varmistamissa (Liikennevirasto) Hackathoneihin osallistuttu melko paljon, mutta osallistumista vielä systematisoitava + esittelyt hyödyntäjille (mm. startup, pk-yritykset, oppilaitokset) Tarve kehittää Liikennelabraa avoimen datan, liikenne- ja viestintätiedon yhteyspisteenä ja kokeilujen alustana -> MyDataperiaatteita tukevissa palveluissa, MaaSpalveluissa sekä robotiikan ja automaation piloteissa Tarvitaan markkinointia ja jalkautumista yrityksiin 13

14 Datan hyödyntämiseen perustuvien toimintamallien kehittymisen ja markkinoiden avautumisen tuki Liikenneviraston digitalisaatiohankkeessa tiedon keruumenetelmien kokeileminen ja tuotteistaminen Anonymisoitu tiedonkeruu liikkujista ja liikennevälineistä sekä kerätyn tiedon käyttöperiaatteiden kehittäminen Trafin kasvuyritysyhteistyö ja kokeilut 14

15 Kasvun ja päätöksenteon vahvistaminen osaamisella Osaamishaasteita erityisesti dataanalyysissa, tietojohtamisessa ja anonymisoinnissa LVM selvitys anonymisoitavan datan käsittelyyn liittyvistä palveluista ja käyttöluparatkaisuista Yhteistyöllä voidaan kasvattaa osaamista ja välttää datan yhdistämisen haasteet datan avaamisen ja anonymisoinnin yhteistyö hallinnonalalla 15

16 Datan käyttöä mahdollistetaan kannustavalla sääntelyllä ja datatalouden kehityssuuntiin vaikutetaan kansainvälisellä yhteistyöllä PSI-direktiivi Julkisuuslaki Hallintolaki Arkistolaki Maksuperustelaki ja maksuasetukset Laki hallinnon yhteisistä sähköisen asioinnin tukipalveluista ns KAPA-laki Laki tie- ja katuverkoston tietojärjestelmästä Tietoyhteiskuntakaari (kokeilulakilisäys radioviestinnästä ja välitystiedoista) Liikennekaarihanke INSPIRE-direktiivi Älyliikennedirektiivi Tietosuoja-asetus Sähköisen viestinnän tietosuojadirektiivi EU-yhteistyö (esim. datataloustiedoksianto) ja muu kansainvälinen yhteistyö 16

17 Ehdotettuja toimenpiteitä, mahdollisuuksia ja haasteita Painopisteen siirto datan hyödyntämisen edistämiseen ja kehittäjäyhteistyöhön Liikennelabra liikenne-ja viestintätiedon yhteyspisteenä ja kokeilujen alustana Avointa datapolitiikkaa edistävät teknologiat ja toimintamallit Tietotilinpäätös tms. prosessiohjeistus Avoimuutta edistävät hankintaohjeistukset Helppokäyttöiset datan käyttölupaja sopimusmallit Pilvipalvelujen hyödyntäminen Osaamisesta huolehtiminen Uusien teknologioiden hyödyntäminen Avoimen datan yhteistyöryhmä Yhteentoimivuuden työkalut Keinot mahdollistaa eri tyyppisten ja eri toimijoiden omistamien tietojen yhdistämistä ja hyödyntämistä Viranomaisten ja markkinaehtoisten toimijoiden rooli alustojen ja tietovarantojen osalta Datan laadun parantaminen Peruspalvelutason määritelmä ja palvelulupaus Keinot tiedon keruun, hallinnan ja luovuttamisen automatisoimiseksi Valtion yhteisten ja kansainvälisten palvelujen hyödyntäminen Data-analyysipilotit Rekistereiden tietojen toissijainen käyttö lainsäädäntöhankkeissa 17

18

19 Huomioita avoimen datan käyttötilastoista Ilmatieteen laitos

20 FMI Open Data Finnish Meteorological Institute opened its data in Basically everything that FMI has property rights was opened. Data is provided in freely in machine readable format. 1/25/2017 LiikenneLabra 20

21 FMI Open Data Portal Follows INSPIRE requirements Creative Commons 4.0 license Mandatory registration Reliable, timely service: data is available at the same for FMI and Open data users 1/25/2017 LiikenneLabra 21

22 Registration o o Registration is required to use View and Download Services o Working address is the only mandatory information After registration the user gets an API key which have to be added into all requests o o GET parameter fmi-apikey= & Header fmi-apikey; o o Part of url /wms? One can create several API keys with one 1/25/ LiikenneLabra

23 Usage Limits With one API key it s allowed to o o o o o o do at most requests per day to Download Service do at most requests per day to View Service do at most 600 requests per 5 minutes to both services If all observations from one time step is calculated to as one, little over new data sets are published daily So, with one API key it s allowed load everything once View service can be used for testing but can not be used as a back end for popular clients 1/25/ LiikenneLabra

24 Coming in New datasets: New high resolution weather model Harmonie (2,5km, Scandinavia) More historical observations and air quality data Large datasets are made available in AWS, other cloud providers possible too Ensemble prediction data from Nordic co-operation MEPS=MetCoOp EPS 1/25/2017 LiikenneLabra 24

25 Latausmäärät /25/2017 LiikenneLabra 25

26 Rekisteröityneet vs. dataa ladanneet käyttäjät (tilanne 8/2016) Kaikki Yritykset / organisaatiot Rekisteröityneet Datan käyttäjiä (vähintään yksi lataus) % 43% 46% 53% Opetus ja tutkimus (sis. Yritykset ja organisaatiot)

27 Yritys/organisaatiokäyttäjät: rekisteröinnit ja lataukset Rek. vuosi Kaikki rekisteröity neet org. käyttäjät 2013 latauksia tehneet 2014 latauksia tehneet 2015 latauksia tehneet 2016 latauksia tehneet 2013 (06-12) (01-08) /25/2017 LiikenneLabra 27

28 Avoimen datan lataukset LiikenneLabra 28

29 Opetus ja tutkimus (ei FMI) LiikenneLabra 29

30 Toimialatarkastelu Minkä toimialojen organisaatiot ovat ladanneet eniten dataa ja jatkaneet käyttöä rek. vuoden jälkeen? Tarkastelussa vain rekisteröityneet organisaatiot. Data on yhdistelty Tilastokeskuksen yritystietojen kanssa. 1/25/2017 LiikenneLabra 30

31 Miltä toimialoilta on useampia (>5) yrityksiä, jotka lataava dataa? (TOL 2008) 1/25/2017 LiikenneLabra 31

32 Yritysten/org. kokoluokka (TOL 2008) 1/25/2017 LiikenneLabra 32

33 Yhteenveto Uusia aineistoja tulossa Datan käyttö on kasvanut yli 2x vuoteen 2015 verrattuna Datan käyttö kasvaa eri käyttäjäryhmissä Yrityskäyttäjistä tunnistettu lähes kolmekymmentä eri toimialaa 1/25/2017 LiikenneLabra 33

34 FMI Open Data Portal FMI Open Data Portal follows INSPIRE requirements. Meta data Services Data Models The very same data portal works as Open Data and INSPIRE portal. 1/25/ LiikenneLabra

35 Example of Data Sets Data set Description Time Interval Weather Observations Sun Radiation Marine Observations Weather Radars Lightning Temperature, Wind, Humidity, Ground Temperature UV, Short and Long Term Radiation Waves, Sea Temperature, Sea Level Precipitation Rate, Precipitation Amount Thunder Strikes in Finland Estimated publish date 10 min Open, older data to be added 1 min Open 1 h Open 5 min Open, older data to be added 5 min Open 1/25/ LiikenneLabra

36 Example of Data Sets Data set Description Time Interval Estimated publish date Real Time Observations Climatological Observations Climatological Observations Climatological Reference Real Time Observations from specific location(s) Dayly and monthly temperature mean and extreme values from weather stations Monthly temperature and precipitation rate mean values interpolated to grid Climatological Reference. Temperature, humidity, pressure, precipitation amount and snow depth. AWS 2010 Soundings 1959 Flashes 1998 Sea Level 1971 Waves Open Open Reference seasons: Open older data will be added Open 1/25/ LiikenneLabra

37 Example of Data Sets Data set Description Time Interval Estimated publish date Weather forecast model HIRLAM RCR Sea forecast models Environmental Monitoring Facilities Aviation Observations Ground & mast observations Point forecasts and grid data Sea level point forecasts, Wave (WAM) and current (HBM) as grid data Weather observation stations, radars Latest model run (4 times a day) 0 54 h Latest model run (4 times a day) h Open Open METAR 30 min open Special observations from ground and masts /Open 1/25/ LiikenneLabra

38 Example of Data Sets Data set Description Time Interval Estimated publish date Air Quality Observations Silam Model Air Quality Observations 1h open Dispersion Model for Air Quality, Forest Fire and Pollen Latest model run (once a day) 0 96h HELMI Ice Model Ice forecast model Latest model run (4 times a day) h Soundings Road Weather Observations (LIVI) Temperature, Humidity, Pressure, Wind from ground to 25 km height Road Weather Observations open open 2 times a day open 10 min open 1/25/2017 LiikenneLabra 38

39 View Service (WMS) o Based on GeoServer o Only the most common layers published Catalog Service (CSW) o Based on GeoNetwork 1/25/ LiikenneLabra

40 Download Service (WFS 2.0) o Web Feature Service (WFS) 2.0 Simple Profile o o Based on stored queries o Predefined data sets with possibility for additional parameters (i.e. time and area) In-house production 1/25/ LiikenneLabra

41 Data Models o o Observations and point forecasts as GML o The same data is published in: o o o MultiPointCoverage MeasurementTimeSeries SimpleFeature Gridded data is provided in appropriate binary format (Grib, NetCDF, GeoTiff ) o WFS members contains the metadata envelope with a link to a actual data 1/25/ LiikenneLabra

42 Load Balancer Open Data Service Cluster Client Data Service Cluster S1 S2 S3 S1 S2 S3 Database Data (NFS) Configuration (NFS) Configuration 1/25/2017 LiikenneLabra 42

43 MetoLib o Open source JavaScript library produced by Finnish Meteorological Institute o Helps users to load and use the data Easy requests Cache Parse the data to as JSON o Supports multi point coverage data format o Python version is on the list 1/25/ LiikenneLabra

44 Some Experiences At the moment about registered users And a little over data downloads per day (5,2 req/s) 1/25/ LiikenneLabra

45 Some Experiences Although standards are followed, there s a gap between provided data model and clients capabilities Practically no client supports complex features 1/25/ LiikenneLabra

46 Some Experiences FMI is going to open the same data as simple features to support clients GeoServer is modified to support stored queries in WFS 2.0 (released in version 2.7) 1/25/ LiikenneLabra

47 Some Experiences Amateur and freelancer coders would prefer simple JSON API Industry is happy to use standardized services 1/25/ LiikenneLabra

48 Some Experiences Quite many expected a user interface to load data to i.e. to Excel instead of machine readable interface So far maybe even more professional interest than private 1/25/ LiikenneLabra

49

50 Avoin lähdekoodi Ilmatieteen laitos Mikko Rauhala, Roope Tervo

51 FMI avoin lähdekoodi Data avautui Ensimmäiset ohjelmistot avautuivat Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala

52 FMI avoin data Ilmatieteen laitos avasi datansa vuonna Lähes kaikki data, johon Ilmatieteen laitos omistaa oikeudet on avointa. Dataa jaetaan vapaasti koneluettavassa muodossa. Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala

53 Esimerkkiaineistoja Data set Description Time Interval Weather Observations Weather forecast model HIRLAM RCR Temperature, Wind, Humidity, Ground Temperature Point forecasts and grid data Estimated publish date 10 min Open, older data to be added Latest model run (4 times a day) 0 54 h Open Aviation Observations METAR 30 min open Weather Radars Lightning Precipitation Rate, Precipitation Amount Thunder Strikes in Finland 5 min Open, older data to be added 5 min Open 1/25/ Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala

54 FMI avoin data FMI avoin data on INSPIRE yhteensopiva Meta data ISO19115 Time Series Observations GRIB Data Models Grid Series Observations NetCDF Services O&M GeoTiff WF S Simple Feature WMS CSW Ilmatieteen laitoksen avoimet ohjelmistot 1/25/ Mikko Rauhala

55 Käyttörajoitukset Yhdellä API-avaimella saa tehdä o o o enintään pyyntöä päivässä (Download Service) enintään pyyntöä päivässä (View Service) enintään 600 pyyntöä 5 minuutissa molempiin palveluihin o Jos jokainen havainto lasketaan erikseen, vähän yli uutta data settiä julkaistaan joka päivä o o Yhdellä API-avaimella voi siis ladata kaiken kerran Katselupalvelu on tarkoitettu testaukseen, sovelluksiin sitä ei kuitenkaan voi käyttää suoraan taustapalveluna Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala

56 MIKSI AVATAAN? Julkisin varoin tuotetut ohjelmistot mahdollisimman laajasti kansalaisten, yritysten ja muiden organisaatioiden käytettävissä Avoin tieto ja jatkuvasti kehittyvät suurten tietomassojen hyödyntämismenetelmät tarjoavat merkittäviä mahdollisuuksia niin liiketoiminnalle kuin yhteiskunnalle Julkisen tiedon saatavuus on yhteiskunnan palvelukehityksen ja innovaatiotoiminnan sekä yhteiskunnan läpinäkyvyyden kannalta tärkeä tekijä Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 56

57 MIKSI AVATAAN? Parantaa avoimen datan käytettävyyttä Kehitystyön tehostaminen Yhteistyö helpottuu kumppanien kanssa Tutkimusprojetien tukeminen Yritystoiminnan tukeminen Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 57

58 LISENSSI Ohjelmistot julkaistaan pääsääntöisesti MIT-lisenssillä, joka asettaa hyvin vähän rajoituksia ohjelmiston käytölle. Ohjelmistokohtaisesti saatetaan käyttää myös muuta avointa lisenssiä yhteistyötahojen ja/tai rahoittajan toivomuksesta. Sallittu Kaupallinen käyttö Jakelu Muokkaus Yksityinen käyttö Ehdolla Alkuperäinen lisenssi ja tekijänoikeus merkintä säilytettävä Ilman Vastuuta Takuuta Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 58

59 MITÄ AVATAAN? 2016: SmartMet Server 2017: HIMAN (hila manipulaattori), SmartMet työasema Noin 30 muuta ohjelmistoa harkitaan avattavaksi Uudet ohjelmistot lähtökohtaisesti avoimia Arviointityö käynnissä Onko ohjelmisto erotettavissa tuotantojärjestelmästä? Ollaanko ohjelmistoa vielä jatkokehittämässä? Onko ohjelmistosta mahdollisesti hyötyä Ilmatieteen laitoksen ulkopuolella? Onko turvallisuuteen liittyviä kysymyksiä tai kolmannen osapuolen IPR? Onko rahoittajalla vaatimuksia? Onko projektin nimi vapaa? Onko projekti dokumentoitu riittävällä tasolla ja mitä pitää tehdä että avaaminen voidaan tehdä? Laitoksen johto tekee jokaisesta ohjelmistosta päätöksen erikseen Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 59

60 MITÄ AVATTU? Ennestään avoimia ohjelmistoja SILAM leviämismallin lasketaohjelmisto RACK tutkadatan käsittelyyn tarkoitettu ohjelmisto MetOLib avoimen datan käyttämistä helpottava kirjasto PyTroll satelliittidatojen käsittelyyn tarkoitettu ohjelmisto, jonka kansainvälisessä kehitystiimissä Ilmatieteen laitos on merkittävällä panoksella mukana Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 60

61 MAHDOLLISET KÄYTTÄJÄT Muiden maiden kansalliset sääpalvelut Ympäristöalan kansainväliset organisaatiot (ECMWF, EUMETSAT jne) Ympäristöalan yritykset ja organisaatiot Ilmatieteen laitoksen avointa dataa käyttävät yritykset ja organisaatiot Yksityiset kehittäjät Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 61

62 JULKAISU Ohjelmistot julkaistaan GitHub-verkkopalvelussa, joka on yksi maailman suurimmista lähdekoodi-verkkopalveluista GitHub tarjoaa GIT-versionhallinnan, wiki-sivun, bugtrackkerin sekä tehtävien hallinnan ohjelmistoprojekteille Ohjelmistot dokumentoidaan GitHub-palveluun Ilmatieteen laitos tekee oman kehitystyönsä suoraan GitHubpalveluun Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 62

63 KÄYTÄNNÖT Pienet muutokset lähdekoodiin -> Pull Request Isommista muutoksista on syytä tehdä ensin suunnitelma GitHub wikiin Kehitystyöhön osallistuvien on hyväksyttävä CLA (Contributor License Agreement). Tällä varmistetaan että henkilöllä on oikeus annettavaan lähdekoodiin. Havaituista ongelmista voi kuka tahansa GitHub-tunnuksen omaava raportoida GitHub Issue Tracker työkalulla Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 63

64 SmartMet datapalvelin Data- ja tuotepalvelin MetOcean datalle Korkea saatavuus ja kapasiteetti Data haetaan ja tuotteet luodaan aina lennosta INSPIRE yhteensopiva Operatiivinen vuodesta 2008 Ilmatieteen laitoksella Avoimen datan taustapalveluna vuodesta 2013 Lisätietoja Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 64

65 SmartMet Server Pikaopas / Kääntäminen Asenna RHEL 7 tai CentOS 7 Asenna repot: rpm -ivh && Asenna riippuvuudet: yum install bzip2-devel cairo-devel cairo-gobject-devel elfutils-devel file fmt-devel gcc gcc-c++ gdal-devel geos-devel gdk-pixbuf2-devel git grib_api grib_api-devel gobject-introspection-devel jemalloc-devel jsoncpp-devel libaio-devel libcroco-devel libtool libatomic libconfig-devel libicu-devel libjpeg-devel libpqxx-devel libspatialite-devel make cmake imake mariadb-devel mysql++-devel netcdf-devel netcdf-cxx-devel openssl-devel pango-devel protobuf-devel protobuf-compiler postgresql93-devel python-devel scons soci-devel soci-sqlite3-devel Lataa ja asenna Oraclen paketit oracle-instantclient11.2-devel x86_64.rpm ja oracle-instantclient11.2-basic x86_64.rpm Lataa ja käännä kirjastot Lataa: mkdir -p /usr/local/include/jssatomic && wget -O /usr/local/include/jssatomic/atomic_shared_ptr.hpp Kloonaa, käännä ja asenna seuraavat paketit (git clone / make / make install) Kirjastot: smartmet-library-* (newbase,macgyver,gis,spine,locus,tron,imagine) Serveri: smartmet-server Enginet: smartmet-engine-* (sputnik,querydata,geonames,observation,gis,contour) Pluginit: smartmet-plugin-* (timeseries,download,admin,backend,meta,wfs) Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 65

66 SmartMet Server Pikaopas / Käyttäminen Lataa Ilmatieteen laitoksen HIRLAM malli: tion1h,windspeedms,humidity,pressure&format=qd&producer=hirlam&origintime= t00z&fmiapikey=$apikey Tee serverille konffi esim. /etc/smartmetd/server.conf sekä tarvittavat engine ja plugin konffit (esimerkit löytyvät git paketeista). Helpointa on aloittaa timeseries pluginin käytöllä. Datan sijainti konfiguroidaan /etc/smartmetd/engines/querydata.conf tiedostoon (edellä ladattu data tiedosto) Käynnistä serveri /usr/sbin/smartmetd -d -v logrequests Testaa timeseries ction,windcompass8,windspeedms&format=debug Käytä sovelluksessa, javascript sovulluksissa formaatti kannattaa muuttaa format=json Timeseries dokumentaatio TimeSeries Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 66

67 SmartMet Server Pikaopas / Huomioitavaa Dokumentaatio GitHubin wikissä ja REAME.md tiedostoissa Tällä hetkellä vai querydata tiedostoformaatti tuettu, muut formaatit konvertoitava querydataksi Suomalaisen HIRLAM mallin saa ladattua Ilmatieteen laitoksen avoin data porttaalista. Pikaohje: (huom käytä formaattina qd) Muut mallit on ensin konvertoitava Grib v1 & v2 tai NetCDF formaatista querydataksi Dataa voi ladata koordinaateilla, jos haluaa käyttää nimiä on lisäksi asennettava nimistötietokanta. Esimerkin voi asentaa dockeriin Server konffissa kannattaa ladata vain tarvittavat pluginit ja niiden tarvitsemat enginet. Kokeilun helpottamiseksi tulossa Docker Hubiin SmartMet Server image ja RPM-repository Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 67

68 Mitä seuraavaksi? Seuraa: Uusista julkaisuista kerrotaan näissä osoitteissa. 1/25/2017 Ilmatieteen laitoksen avoimet ohjelmistot Mikko Rauhala 68

69

70 Case - Tilannekuvajärjestelmä Kokemukset Ilmatieteen laitoksen avoimesta datasta Mika Vuorio CGI Group Inc. CONFIDENTIAL

71 Säätiedot Tilannekuvajärjestelmä tukena Tilannekuvajärjestelmässä seurataan karttapohjaisesti laajan kokonaisuuden tilannetta operatiivisten töiden tukena Incidentin/vian selvitys Ennakkovarautumista operatiiviseen toimintaan Jälkikäteen analysointi töiden suunnittelun tueksi 71

72 Säätiedot Tilannekuvajärjestelmä tukena Datalähteet Mm. havaintodata, salamatiedot ja tutkakuvat Visualisoidaan lämpötilakäyrät, tuulensuunta, salamaniskut ja sateen intensiteetti Hyödyt Vian selvitys on nopeampaa, varautuminen tilanteisiin myrskyn edetessä Syy-seuraus suhteinen ymmärtäminen helpompaa Aika aspecti hyödyllinen jälkikäteen analysoinnissa/suunnittelun tukena Toiveet ja opit Ennuste tykkylumesta puiden oksilla Ison tietomassan haku, esim. mekanismi joka kertoo että uudet tutkakuvat ovat valmiit 72

73 Kiitos

74

75 Liikennelabra-tilaisuus Tomi Lapinlampi/Jari Myllärinen Liikenneviraston avoin data

76 Avoin data Liikennevirastossa LÄHTÖKOHTA: KAIKKI Liikenneviraston omistamat tietoaineistot ovat avoimia ellei niiden avoimuutta rajoita varautumisen vaatimukset, lainsäädäntö tai ne on määritelty liikesalaisuuksiksi Datan aktiivinen avaaminen käynnistynyt INSPIREdirektiivin (2012) ja LVM hallinnonalan avoin datatiekartan (2013) myötä

77 Avoin data Liikennevirastossa PERIAATTEET: Avoin data julkaistaan - maksuttomana - tasapuolisesti kaikille - uudelleenkäytettävänä (CC 4.0 Nimeä)

78 Avaamisen prosessi Kartoita ja selvitä Arvioi ja valitse Valmistele ja avaa Seuraa ja kehitä Julkaisukelpoisuuden arviointi: Vastuut, rajoitteet, velvoitteet Tiedon luovutuksen periaatteet Määrittele: Julkaisukanava Avaamisen tekninen taso 1-5 Prosessivaikutukset Kulut, resurssit Määrittele: Lisenssi, käyttöoikeudet Palautekanavat ja käyttäjätuki Ylläpitoprosessit Avaamisen toteutus Käytön seuranta: Monitorointi Aktiivinen palautteen kerääminen Julkaistun tiedon laadun parantaminen Julkaisuprosessin kehittäminen Lähde: Avoin data opas (Avoindata.fi) Jari Myllärinen 78

79 Avoin data Aineistot ja hyödyntäminen

80 DIGITRAFFIC Liikenneviraston avoimen datan palvelu reaaliaikaisen liikenne- ja olosuhdetiedon jakeluun digitraffic.fi

81 DIGITRAFFIC Digitrafficin historiaa Tutkimusprojekti VTT/TKK 2002-> Tiehallinto, ELYkeskus > Liikennevirasto > v Tutkimusprojektista palveluksi Ei avointa dataa sopimuspohjainen SOAP/XML rajapintoja ja staattisia metatietoja

82 DIGITRAFFIC v Avoin käyttölupa Creative Commons 4.0 Nimeä Kehitys avointa lähdekoodia Avoin vuorovaikutus hyödyntäjien kanssa Uudet tietolajit: vesiliikenne, rautatieliikenne Uudet rajapintateknologiat (REST/JSON, Websocket, Swagger ) Metatietorajapinnat Jakelu pilvipalvelun kautta

83 tie.digitraffic.fi Avatut tiedot: Tieliikenteen mittaustiedot Tiesääasemien tiedot Kelikamerakuvat Keliennusteet Sujuvuustiedot Häiriötiedotteet Tulossa vuonna 2017 mm. Tietyötiedot Kunnossapitotiedot (HARJA) Muuttuvat nopeusrajoitukset Kokeilut: 6aika-LIIRA yhteistyö AURORA-projekti DIGITRAFFIC tieliikenne

84 meri.digitraffic.fi Avatut tiedot: Alusten sijaintitiedot (AIS) Merivaroitukset Satamakäynnit (Portnet) Tulossa mahdollisesti Jäänmurto Luotsaus Satamarajoitukset DIGITRAFFIC vesiliikenne

85 rata.digitraffic.fi Avatut tiedot: Junien aikataulutiedot Toteumatiedot Kokoonpanotiedot Kulkutietoviestit Ratainfran kuvaus Ratatyöt (ennakkotiedot) Tulossa 2017 mm.: RouteSet, TrackSet-sanomat Aikataulut koko aikataulukaudelta lähtövalmiusilmoitukset DIGITRAFFIC rautatieliikenne

86 Digitraffic-yhteisö Avasimme rajapintojen ja datan lisäksi myös viestinnän hyödyntäjien kanssa (google groups) Avoimet yhteisöt tie-, rata ja vesiliikenteen Digitrafficpalveluille Kehitys ja toiminta on avointa Kysymyksiin tarvitsee (yleensä) vastata vain kerran

87 Digitraffic käytön tilastointi Rajapintahakujen määrä ei enää kasva voimakkaasti Uudet teknologiat vähentävät hakujen määrä Hyödyntäjät jakavat dataa eteenpäin, joten kaikki kasvu ei näy Liikenneviraston rajapinnoissa Digitraffic -rajapintojen haut Miljoonaa hakua / kk rata, REST tie ja vesi, SOAP ja REST

88 PAIKKATIETO

89 Avoimet merikartat Merikarttarasteri avattu karttakuvapalveluna Ei korvaa virallista merikarttaa, ei navigointikäyttöön ndata/tietoaineistot/merikartat

90 Avoimet paikkatietoaineistot Lataus- ja katselupalvelu Rajapintapalvelut Tiedostolataukset Aineistojen katselu kartalla Vesiväylät Tieverkko (sis. Digiroad) Rautatiet Tulossa 2017: Merenmittausaineistoja Lisää rata-aineistoja Ym

91 Avointen paikkatietoaineistojen käyttö Merikarttojen karttakuvapalvelu n. 8 milj. hakua ( alkaen) Muiden aineistojen karttakuvapalvelu n. 41 milj. hakua(2016) Vektorirajapintapyyntöjä n 1,3 milj. kpl (2016) Ladattuja aineistopaketteja n kpl (2016)

92 JOUKKOLIIKENNE

93 Uusi avoin kansallinen reittiopas beta.matka.fi Avoin lähdekoodi Avoimet rajapinnat (digitransit.fi) Avoin tietosisältö Tutustu myös: beta.reittiopas.fi

94 Reaaliaikainen liikennetieto joukkoliikenteestä HSL-alueella jo käytössä Liikennevirastolla käynnissä valtakunnallinen joukkoliikenteen reaaliaikapilotti -projekti

95 AVOIN LÄHDEKOODI

96 Avoin lähdekoodi JIT2015 ehdot käytössä Liikenneviraston sopimusmalleissa Räätälöidyt tietojärjestelmähankinnat oletuksena avoimena lähdekoodina github.com/finnishtransportagency

97 Esimerkkejä beta.vr.fi Kelikamerat.info aluskartta.com

98 Tulevaisuus Datan avaaminen ei ole projekti vaan prosessi! Valtavat datamäärät Ekosysteemi(e)n kehittyminen MyData <-> avoin data?

99 KIITOS!

100

101 #Liikennelabra goes avoin data Hannu Parkkisenniemi Vastuullinen liikenne. Rohkeasti yhdessä.

102 Trafin ydintiedot 1. Trafi-tason tieto Konsernitason tieto, jota käytetään koko organisaatiossa 2. Liikennemuototason tieto Tieto, jota käytetään vain tietyssä liikennemuodossa 3. Järjestelmätason tieto Tieto, jota käytetään vain yhdessä järjestelmässä Liikenteen turvallisuusvirasto 102

103 Tunnistetaan, määritellään ja kuvataan hallinnoitavat tietovarannot. Tunnistetaan datasta potentiaalia perustuen asiakastarpeeseen. Tunnistetaan oikea ja mahdollistava avoimen datan lisenssimalli tukemaan tiedon hyödyntämistä. Huomioidaan ja huolehditaan tietosuojasta ja turvasta. Riskipohjainen lähestymistapa. Miten Trafi luo käyttörajoitteisesta tiedosta avointa dataa? Anonymisoidaan data avattavaan muotoon. Hankitaan tarvittaessa anonymisointipalvelua. Huomioidaan datan avaamisen mahdollisuudet T&K ja muissa hankinnoissa jo sopimusvaiheessa. Kehitetään aktiivisesti innovatiivisia ratkaisuja käyttörajoitteisen tiedon hyödyntämiseen. Vastuullinen liikenne. Rohkeasti yhdessä.

104 Trafin avoin data Ajoneuvojen avoin data Vesikulkuneuvojen avoin data Kauppa-alusten avoin data Rautatiekaluston avoin data Ilma-alusten avoin data Tutkimuksien avoin data Liikenteen turvallisuusvirasto 104

105 Trafin avoimen datan hyödyntäminen Liikenteen turvallisuusvirasto 105

106 Avoimen datan tunnuslukuja Latausmäärät joulukuu 2016 Ajoneuvot Vesikulkuneuovot Alukset Ilmailu Rautatiet Liikennevälineet avoimen datan aineistoissa. Ajoneuvot 3 milj. Kauppalaivat Ilma-alukset Rautatiekalusto Vesikulkuneuvo Liikenteen turvallisuusvirasto 106

107 Trafi tarjoaa palvelun tuottajien käyttöön sovellus-sovellus rajapintayhteyksiä, aineistohakurajapintoja ja aineistoja eräpalveluna. Trafi hyväksyy palvelusi käyttöönoton sekä tukee ja opastaa tietojen hyödyntämisessä ja tietosuoja-asioissa. Laadi kuvaus suunnittelemastasi palvelusta. Trafi hyväksyy palvelukuvauksesi, jonka jälkeen laaditaan sopimus tietojen luovuttamisesta. Rajapintakuvaukset, ohjeet ja sopimusyhteyshenkilön yhteystiedot saat osoitteesta Pääset testaamaan tuottamasi palvelun Trafin asiantuntijoiden tukemana. Tee sopimus myös integraatiopalvelun tuottajan kanssa. Trafin tarjoamien tietojen hinnasto ja jo toteutuneita palveluja löydät osoitteesta Trafi.fi Liikenteen turvallisuusvirasto 107

108 HAE Moottoriveneiden tekniset- ja tunnistetiedot sekä organisaatioasiakkaiden lupa- ja tunnistetiedot Asiakas Juna Rautatiekalusto Alus Vene Vesikulkuneuvo Ilma-alus Ajoneuvo Tekniset tiedot Tekniset tiedot Tekniset tiedot Tekniset tiedot Tekniset tiedot Tunnistetiedot Tapahtumatiedot Lupatiedot Rajoitus- ja rasitetiedot Limukohtaiset asiakastiedot Tunnistetiedot Tunnistetiedot Tunnistetiedot Tunnistetiedot Tunnistetiedot Tapahtumatiedotiedotiedotiedotiedot Tapahtuma- Tapahtuma- Tapahtuma- Tapahtuma- Tapahtuma Tapahtuma Tapahtuma Tapahtuma Tapahtuma Lupatiedot Lupatiedot Lupatiedot Lupatiedot Lupatiedot Sijaintitiedot Sijaintitiedot Sijaintitiedot Sijaintitiedot Sijaintitiedot Asiakastiedot Asiakastiedot Asiakastiedot Asiakastiedot Asiakastiedot Liikenteen turvallisuusvirasto 108

109 Trafi myöntää ja ylläpitää tietoja henkilöiden ajo-oikeuksista Trafi olisi datan lähde ja mahdollistaisi tietosuoja ja turvanäkökulmat huomioivan rajapintatoteutuksen henkilön ajo-oikeustietoihin. Etäkäyttö- ja hallintapalvelut? Autentikaatio- ja luottamuspalvelut? Datan tallennuspalvelut? Tiedon hyödyntäjä/ palvelun tarjoaja Jari Juhani on kiinnostunut vuokraamaan ajoneuvon tilapäiseen käyttöönsä. Jari Juhani haluaa todentaa oman ajo-oikeuden voimassaolon vuokranantajalle. Jari Juhani antaa vertaisvuokrauspalvelua tuottavalle palvelulle oikeuden hakea tiedot Trafilta. Jari Juhani määrittelee myös muut palvelut, jotka voivat saada Jari Juhanin ajo-oikeustietoja. Liikenteen turvallisuusvirasto

110 Linkki tietotilinpäätökseen Liikenteen turvallisuusvirasto 110

111 Trafi on tietoviranomainen Rekisteröidyn oikeus ilmoittaa tietojenluovutuskielloista ja hakea turvakieltoa konkretisoivat rekisteröidyn vaikutusmahdollisuuksia. Tietosuoja-asetus yhdistää henkilötietojen käsittelyä koskevan eurooppalaisen sääntelyn ja tuo one stop shop -mekanismin ohjaukseen ja valvontaan. Tietojen käsittelyn, tietosuojan ja -turvan oikeudellinen viitekehikko täydentyy määräyksillä, ohjeilla ja suosituksilla. Rekisterinpitäjä on aina vastuussa tietojen käsittelyn asianmukaisuudesta ja käsittelemiensä tietojen osalta yksityisyyden suojaamisesta. Trafi kehittää rekisteriensä kuvaamista ja hallintaa. Trafi ylläpitää tietosuojaja tietoturvaosaamista kouluttamalla sekä laatimalla ohjeita ja käytännesääntöjä. Käytännesäännöillä ohjataan myös tiedon hyödyntäjien toimintaa. Trafi mahdollistaa sähköisen asioinnin kehittämisellä rekisteritietojen katselun asioinnin yhteydessä. Rekisteröity voi tarkastella omia tietojaan ajoneuvoja vesikulkuneuvopalveluissa. Tietosuojavastaavalta odotetaan tietosuojakäytäntöjen asiantuntemusta ja valmiutta kehittää organisaation tietosuojaosaamista. Tiedonhallinnalla tarkoitetaan toimenpiteitä, menetelmiä ja käytäntöjä, jotka mahdollistavat tietojen löytämisen, käsittelyn ja hyödyntämisen tietojen koko elinkaaren ajan. Käyttötarkoitussidonnaisuus kattaa koko tiedon elinkaaren. Henkilötietojen käsittelyä koskevan sääntelyn tulisi jatkossa tukea selkeämmin käyttörajoitteisen tiedon hyödyntämistä. Henkilötietojen käsittely perustuu aina lakiin. Lakiin on sisällytetty muun muassa käsittelyn oikeutus ja käsiteltävät tiedot Liikenteen turvallisuusvirasto 111

112 Liikenteen turvallisuusvirasto Kumpulantie 9, Helsinki PL 320, Helsinki Puhelin Vastuullinen liikenne. Rohkeasti yhdessä.

113

114 Viestintäviraston avoin data #Liikennelabra goes avoin data seminaari Heidi Strang, suunnittelija

115 Millaista dataa on saatavilla?

116 Viestintävirasto julkaisee säännöllisesti tietoa eri aiheista Taajuuksien käyttö Viestintäverkkojen ja -palveluiden toimivuus, käyttö ja hinnat Postipalvelut Tietoturva Puhelinverkon numerointi.fi -verkkotunnukset

117 Runsaasti tietolähteitä Valvottavilta yrityksiltä pääosin ohjaus- ja valvontakäyttöön kerättävät tiedot Viraston tuottamat tiedot kuten päätökset ja taajuussuunnittelu Viestintäviraston teettämät kuluttajatutkimukset

118 Miten data on saatavilla?

119 Avoimen datan rajapintoja toistaiseksi vähän Viestintäviraston Kyberturvallisuuskeskuksen Autoreporter-palvelun tilastotiedot haittaohjelmista ja tietoturvaloukkaushavainnoista Tietoa oikeushenkilöiden rekisteröimistä.fi-verkkotunnuksista Muut tiedot ovat saatavilla esim. xlsx-, csv- tai tekstitiedostoina

120 Miten data on saatavilla?

121 Miten data on saatavilla?

122 Mitä seuraavaksi?

123 Tulossa avoimia rajapintoja Rajapintojen avaus meneillään» Viestintäviraston verkkosivuilla julkaistut tiedot» Avoimia rajapintoja rakennetaan järjestelmien päivitysten yhteydessä Tavoite: suurin osa julkisista tiedoista on saatavilla avoimen rajapinnan kautta vuoden 2017 aikana

124 Tulossa tietoa taajuuksista Lähiaikoina avataan taajuusjakotaulukko, eli tiedot taajuuksien jaosta eri käyttötarkoituksiin sekä käytön ehdot

125 Miten dataa on hyödynnetty?

126 Mikrofonitaajuuksien haku Ilmainen karttapalvelu Yhden avoimen datan idean pohjalta rakennettu (c) iltalehti.fi

127 MONITORi-palvelu Paikkatietoon pohjautuva palvelu Alueellista tietoa viestintä- ja postipalveluista Viestintäviraston verkkosivujen ohjeistukseen ja toimialatietoon alueellinen ulottuvuus

128 Kiitos!

129

130 Organisointi Ydinryhmä Yhteyspiste Neuvottelut/sopimukset Palvelut Verkkosivut Lainsäädäntö Tutkimushankkeet ja testialueet Tiedon hyödyntäminen Rahoituskanavat Liikenteen markkina Liikenteen kokeilut Digitaaliset palvelut Automaatio RPAS Veneilyn liikennepalvelut MaaS Viestintä Seminaarit Infot Uutiskirjeet Tiedotteet

131 #Liikennelabra kiittää!