Mitä Paikkatiedon laatu on? Antti Jakobsson Maanmittauslaitos
Esityksen sisältö Mitä laatu on? Laadunhallinnan lähestymistavat Tietolähtöisen laadun perusteet Laadunvarmistusprosessista Laatuvaatimusten asettamisesta Laatutulosten yhdistämisestä
Mitä paikkatietojen laatu on? Laatupuutteet =virheet Käytettävyys Laatuvaatimukset aste, jolla joukko ominaisia piirteitä täyttää vaatimukset
Esimerkkejä laadusta (Paikkatietoikkunan avulla) Pellon reunaviiva Peltolohkore kisterin mukaan (lila reunaviiva) Maastotiet okannan Pellon reunaviiva (keltainen täytetty alue)
Esimerkkejä laadusta Tiestö, Osoitenumerot ja rakennukset ovat keskeisiä tietoja esim. pelastuspalvelussa. Esimerkissä on Väestörekisterikeskuks en osoitepisteet (rakennukset), maastotietokannan rakennukset ja tiestö. Ainakin kahdelta lomaasunnolta puuttuu osoitepiste, maastotietokannan rakennus puuttuu vaikka rakennus onkin esitetty taustakartalla Osoite puuttuu Rakennus on maastotiet okannassa Maastotietokannan rakennus puuttuu (osoitepiste on)
Mikä merkitys laadulla on? Edellä kuvatut esimerkit on haettu satunnaisesti kuvaamaan esimerkkejä, joissa aineiston laatutiedoilla voisi olla merkitystä käyttäjän kannalta. Paikkatietoikkunan käyttäjä ei voi päätellä mitkä aineistot on ajan tasalla ja onko kyseessä virhe vai onko jokin aineisto vanhentunut. - >laatutiedon kuvaus/esitys puuttuu Metatietohakemistossa ei ole kuvattu laatutietoja. - >laatuvaatimukset puuttuvat Laaduarviointiprosessit ovat puutteellisia tai niitä ei ole toteutettu
Laadunhallinnan lähestymistavat Tietolähtöinen; Keräytyn paikkatiedon laadun arviointi ja sen esittäminen ->ISO 19157, ISO 8000 (ei koske suoraan paikkatietoja) Prosessi- ja organisaatiolähtöinen: Organisaation, prosessin ja henkilöstön kyky tuottaa laatua ->ISO 9000, ISO/TS 19158, Organisaation paikkatietokyvykkyysmalli Käyttäjälähtöinen: Vastaako kerätty tieto tarvetta ja luottaako käyttäjä aineistoihin. -> Sertifiointi, akreditointi, käytettävyyden arviointi, riskin arviointi -> usein subjektiivinen
Tilanne Suomessa JHS 160 julkaistu 2006 ja alunperin voimassa vuoteen 2009, nyt toistaiseksi JHS perustuu ISO 19113, 19114 ja ISO/TS 19138, jotka standardi ISO 19157 on korvannut. Lisäksi on julkaistu ISO/TS 19158:2012 Quality Assurance of Data Supply, joka käsittelee tuottajan kyvykkyyttä tuottaa haluttua laatua INSPIRE spesifikaatiossa on käsitelty joitakin laatuun liittyviä vaatimuksia lähinnä ATS:ien osalta. Lisäksi INSPIRE on julkaissut raportin aiheesta. ESDIN projektissa on esitetty yhtenäinen laatumalli keskeisille paikkatiedoille ja esitetty laadun automaattista validointia ELF (European Location Framework) projekti on toteuttamassa ESDIN projektin pohjalta laadun automaattista validointia keskeisille INSPIRE tiedoille Paikkatiedon terminologia on jo uudistettu laatukäsitteiden osalta perustuen uusiin standardeihin ISO 8000 Master Data Quality ja ISO 22745 koskettavat tiedon laatua
Tietolähtöinen lähestymistapa Miten Määritellään laatumittareita jotka kuvaavat jonkun laadun osatekijän esim. täydellisyys, temaattinen tarkkuus, sijaintitarkkuus, looginen eheys Määritellään laatuvaatimukset käyttäen mittareita. Laatuvaatimukset asetetaan käyttäjien vaatimusten perusteella Testataan päästäänkö laatuvaatimuksiin: Osa testeistä voidaan automatisoida Raportoidaan laatu Huomattavaa Yleensä käyttäjät eivät ymmärrä mittareita eikä heidän välttämättä tarvitse sitä tehdä Laatuvaatimukset asetetaan yleensä AQL lukuina koska halutaan käyttää testausstandardia prosessikeskiarvo (esim. ISO 2859-1:1999) Raportoinnissa tulisi käyttää DQL lukua ESDIN esittää kolme perusmittaria error, error rate ja CE95 Ulkopuolinen auditointi voi tarkistaa DQL luvun paikkansa pitävyyden (esim ISO 2858-4:2002 tai ISO 3951-4:2011) Huomattava että laatutulokset ovat riippuvaisia tietojen määrittelystä esim. geometria tai yksityiskohtaisuustaso Case suuret aineistokokoelmat?
AQL luvusta Acceptable Quality Limit laatutaso joka on huonoin hyväksyttävissä oleva Jos halutaan esimerkiksi että vain 1,5% joltain toimittajalta saatavasta tuotannosta on viallisia AQL = 1,5% Kriittiset puutteet AQL= 0 esimerkiksi joku kuolee tms Suuret puutteet AQL= 2,5% yleensä loppukäyttäjä ei hyväksy tuotetta Pienet puutteet AQL= 4,0% esim spesifikaatio ei täyty mutta käyttäjä ei yleensä reklamoi Ovat markkinasta riippuvia, miten paikkatietomarkkinoilla? DQL asettaa ostajan riskin pienemmäksi =5%. Hyväksy tty Hylätty Hyvä laatu ok Tuottaja n riski Huono laatu Ostajan riski ok AQL asettaa Tuottajan riskin hylätä hyvä laatu 5% kun ostajan riski hyväksyä huono laatu on 10% Esimerkki 500 näytteenotolla ja halutaan että vain 1,5% on virheellisiä hylkäysraja = 8, AQL hylkäysraja on 15
ISO 19157 Yhdistää ISO 19113, ISO 19114 ja ISO 19138 standardit Terminologia muutoksia mm. data quality scope, subelements ja elements ->data quality elements Usability elementti Uusi tulosten raportointitapa deskriptiivinen tulos Metaquality Aggregaatio (eri laatuelementtien yhdistäminen) ja derivaation (useiden tulosten yhdistäminen saman elementin sisällä) selostettu Purpose, usage ja lineage ->ISO 19115
Muutamia knoppeja Rate of change Kattavuus Täydellisyys Ajantasaisuus Coverage Completeness Up-to-dateness Date of the last update Metatieto laatutekijä Metatieto
ISO 19158 laadunvarmistus tietojen toimittamisessa Quality management system Customer Quality assurance Quality evaluation Tiedon tilaaja voi varmistua että tuottajaorganisaatiot ovat kykeneviä toimittamaan haluttua laatua Production/update Process Product Feedback Data Quality evaluation report (Metadata) Quality evaluation report (Metadata) Laatuvaatimukset keskeisessä osassa Miksi? Tilanteisiin jossa tilaaja/käyttäjä ei voi suoraan hallita tuotantoprosessia, laadunkorjaaminen jälkikäteen on kallista/mahdotonta, sertifiointi on kallista Customer requirements and product design Sub process Team Feedback Data Feedback Data Feedback Quality evaluation report (Metadata) Quality evaluation report (Metadata) Individual Data Quality evaluation report (Metadata) Feedback
laadunvarmistusprosessista ESDIN laatumalli on paras esitys asiasta https://www.paikkatietoikkuna.fi/c/document_library/get_file?uuid=53245a0f-9187-42a5-9f1bdcd7aa9d2324&groupid=108478
Data flow in SDIs Producer MS INSPIRE User communities Data Specification Inspire specifications User Specification Conformance levels Production/quality control NSDI conformance levels for reference information INSPIRE quality evaluation metadata requirements for reference data Data INSPIRE conformance Levels (e.g. logical consistency) User community conformance levels Quality evaluation transformation transformation Quality Evaluation Quality Evaluation Conformance testing Conformance testing Conformance testing Automation Metadata Data /Metadata Data /Metadata
Laatuvaatimusten asettamisesta 1. Tiedon kerääminen organisaatiosta Onko käyttäjien vaatimukset tunnettu? Ovatko vaatimukset muuttuneet/muuttumassa? Ovatko vaatimukset kuvattu? Tuotantoprosessin kuvaus tarpeeksi yksityiskohtaisesti Tuotteen spesifkaation selvittäminen. Ovatko laatuvaatimukset kuvattu? Onko ne muuttuneet? Onko laatuvaatimukset kuvattu yksityiskohtaisesti 2. Puuttuvien laatuvaatimusten määrittely Asetetaan yleensä kohdetyypeillle Voidaan käyttää laatutasoja esim. A ja B jotka kohdistuvat esim. Erilaisten alueiden perusteella (taajama/haja-asutusalue) tai esim. historiallisen tiedonkeruun perusteella Kohdetyypit voidaan luokitella niiden epämääräisyyden perusteella esim. luonnon kohteet, ihmisen rakentamat kohteet Asetettujen laatuvaatimusten testaus olemassa olevan datan perusteella Lopullisten vaatimusten asettaminen
Quality requirements/conformance levels To set the requirements use the quality measures To consider the nature of reality Feature vagueness Change rates Themes Suggested guidance for positional accuracy Suggestion on setting the classification of conformance levels
Positional accuracy
Voiko laatutuloksia yhdistää? Process/Organisation capability ISO 19158 Basic/Operational/Full INSPIRE ELF Crossborder Pan- Use case Europeanname Valdiation results/expert reviews Lähde:ELF projekti
Expert Reviews Used to determine overall quality of data within ELF To check whether certain quality requirements are met As a result data may be Rejected : Data does not meet INSPIRE ATS and can not be published in ELF. Testing done nationally and confirmed by expert review INSPIRE schema: Checked that INSPIRE schema is valid -> INSPIRE tools Generic ELF: Data meets ELF minimum requirements, ELF national validation was performed, ELF metadata is available Generalisation: Data meets generalisation requirements Edge-matching :edge matching tool has been run or edge matching done nationally; Data can be used for cross-border use cases 22 October, 2015
Grading data quality example Grade Data Quality description Excellent Only class A for all quality measures Very good A majority of A s, but also some B s Good Adequat A majority of B s, some A s, no C s Only a very few C s, the other B s and better Marginal A majority of C s but also some B s Not good No measure reached the class B (i.e. all measures on class C)
Yhteenveto Laatutiedoilla tuottaja voi varmistua että se saavuttaa laatuvaatimukset Paikkatietojen laatuvaatimuksiin vaikuttavat Käyttäjän tarpeet Kohteiden yksikäsitteisyys/epämääräisyys Muutosnopeus Laatuvaatimukset voi luokitella kohteittain/alueittain ja tai virheen merkityksellä käyttäjälle (low, high) (MoScoW) Prosessin/organisaation kyvykkyys on keskeistä ja siihen kannattaa panostaa (esim. ISO 19158) Käyttäjäorganisaatio voi käyttää laatuauditointia, jos haluaa varmistua laadusta myös quality review voi tulla kysymykseen (esim. Prince 2 mukainen) Laatutuloksia voi yrittää yhdistää ja kuvata esim. tähdillä