Vertailutestien tulosten tulkinta Mikä on hyvä tulos?

Transkriptio

1 Vertailutestien tulosten tulkinta Mikä on hyvä tulos? Pertti Virtala PANK-menetelmäpäivä

2 Sisältö Mittaustarkkuuden käsitteitä Mittaustarkkuuden analysointi Stabiilius Kohdistuvuus Toistettavuus Uusittavuus Case kiviainestutkimukset Vertailukokeet 2015 kiviaineksen testit SFS-EN Litteysluku SFS-EN Los Angeles testi SFS-En Kuulamyllytesti 2

3 Mittaustarkkuuden käsitteitä Kohdistuvuus (Trueness, Accuracy): Mittaustuloksen suhde tosimittaan, mittanormaaliin tai referenssilaitteeseen. Stabiilius (Stability): Mittaustuloksen pysyvyys kun saman kohteen mittausta suoritetaan tietyin aikavälein. Toistettavuus (Repeatability, Precision): Peräkkäisten mittaustulosten yhtäpitävyys, kun yksittäiset mittaukset suoritetaan lyhyin aikavälein samalla tavalla (=samalla laitteella ja saman operaattorin toimesta). Uusittavuus (Reproducibility, Precision): Peräkkäisten mittaustulosten välinen yhtäpitävyys, kun yksittäiset mittaukset suoritetaan eri menetelmillä tai eri operaattoreiden toimesta tai eri laboratorioissa. Mittausepävarmuus: Toistettavuus ja uusittavuus yhdessä 3 KIVIAINESTEN YLEISTEN OMINAISUUKSIEN TESTAUS. OSA 6: TOISTETTAVUUDEN JA UUSITTAVUUDEN MÄÄRITELMÄT Tests for general properties of aggregates. Part 6: Definitions of repeatability and reproducibility

4 Hyvä kohdistus ja tarkka Hyvä kohdistus mutta epätarkka Huono kohdistus mutta tarkka Huono kohdistus ja epätarkka 4

5 Hyvä kohdistus ja tarkka Hyvä kohdistus mutta epätarkka Huono kohdistus mutta tarkka Huono kohdistus ja epätarkka Stabiili Epästabiili Stabiili / Epästabiili Epästabiili 5

6 Mittaustarkkuuden analysointimenetelmät Lähteet (Measurement System Analysis) Laatutekniikan oppikirjat Tilastolliset ohjelmistot Laatutekniikan kouluttajat Stabiilius analysoidaan (hallitaan) SPC:llä Kohdistus testataan Bias & Linearity testillä Toistettavuus ja uusittavuus testataan gagerr-testillä raportoidaan yhdessä (ISO 5725/SFS EN 932-6) 6

7 Mittaustarkkuuden tavoitearvot Tarkkuuden laji Tavoitearvo Stabiilius Kohdistuvuus Toistettavuus ja uusittavuus GageRR <=30% Luokittelukyky >=5 tai stabiili, LCL-UCL sopimuskysymys SFS-EN

8 8 Stabiiliuden analysointi

9 Stabiiliuden hallinta Valvontarajojen määrittäminen 1. Valvontarajojen käyttäminen 2. 9

10 10 Kohdistuvuuden analysointi

11 Kohdistuvuuden analysointi Kohdistuvuustesti jaetaan usein kahteen komponenttiin: Gage Bias test: Tarkastelee testattavan laitteen ja referenssilaitteen tulosten välistä tasoeroa. Se vastaa kysymykseen: tuottaako laite yhtä suuria tuloksia kuin referenssilaite? Gage Linearity test: Kertoo miten yhteneväisiä tuloksia testattava laite tuottaa suhteessa referenssilaitteen tuloksiin mitattavalla arvoalueella. Se vastaa kysymykseen: riippuuko laitteen kohdistuvuus arvoalueesta?. 11

12 Toistettavuuden ja uusittavuuden analysointi

13 Toistettavuuden ja uusittavuuden analysointi 10 mitattavaa osaa tyypilliseltä vaihtelualueelta kolme operaattoria, laitetta tai laboratoriota, kaksi toistoa mittausjärjestys mielellään satunnaistettu. RunOrder Parts Operators

14 Osat (näytteet) valittava niin, että niiden arvoalue edustaa tuotantotoimintaa ts. on pieniä arvoja, suuria arvoja ja keskisuuria arvoja Summary Report for C6 Anderson-Darling Normality Test A-Squared 0.25 P-Value Mean StDev Variance Skewness Kurtosis N Minimum st Quartile Median rd Quartile Maximum % Confidence Interval for Mean % Confidence Interval for Median % Confidence Interval for StDev % Confidence Intervals Mean Median

15 Gage name: PTM-FIN 2014 C1-testin osa Date of study: Reported by: Pertti Virtala Tolerance: Misc: PANK-menetelmäpäivä Part-to-Part Reprod Repeat Gage R&R Percent % Contribution % Study Var OSA Sample Range _ R=0 UCL=0 LCL=0 P44 P46 P61 P62 P68 P OSA Sample Mean _ X=7.50 UCL=7.50 LCL=7.50 P44 P46 P61 P62 P68 P OSA P69 P68 P62 P61 P46 P Mittauslaite OSA Average P44 P46 P61 P62 P68 P69 Mittauslaite Components of Variation R Chart by Mittauslaite Xbar Chart by Mittauslaite Uramax by OSA Uramax by Mittauslaite OSA * Mittauslaite Interaction Gage R&R (Expanded) Report for Uramax 15 Gage-RR% ANOVA A D B E C F

16 GageRR-analyysin six-pack tulokset A. GageRR-tunnusluku ja sen komponentit B. Operaattori-laite-laboratorioiden toistettavuus C. Operaattoreiden tulosprofiilit D. Vaihteluaulue E. Graafinen varianssianalyysi Tasoerot F. Poikkeavat operaattorit/laitteet/laboratoriot 16

17 Vaihtoehtoinen tapa tarkastella tuloksia Gage Evaluation Study Var %Study Var Source StdDev (SD) (6 SD) (%SV) Total Gage R&R Repeatability Reproducibility Mittauslaite Part-To-Part OSA Total Variation Number of Distinct Categories = 14 17

18 Case kiviainestutkimukset Vertailukokeet 2015 Kuulamyllyarvo 2x15x2 18

19 Kuulamyllyarvo - stabiilius I Chart of KM by Näyte Individual Value _ UCL=5.78 X=5.13 LCL= Laboratorio

20 Gage R&R (Expanded) Report for KM Gage name: Kiviainestutkimusten vertailututkinus 2015 Date of study: Reported by: Tolerance: Misc: Pertti Virtala Components of Variation KM by Näyte 100 % Contribution % Study Var 24 A Percent 50 0 Gage R&R Repeat Reprod Part-to-Part Näyte 2 D R Chart by Laboratorio Lab Lab 1 10 Lab 11 Lab 13 Lab 14 Lab 16 Lab 18 Lab 19 Lab 2Lab 20 Lab 21 Lab 5Lab 7Lab 8Lab 9 24 KM by Laboratorio B Sample Range C Sample Mean 20 UCL=2.069 _ R=0.633 LCL= Näyte Xbar Chart by Laboratorio Lab Lab 1 10 Lab 11 Lab 13 Lab 14 Lab 16 Lab 18 Lab 19 Lab 2Lab 20 Lab 21 Lab 5Lab 7Lab 8Lab Näyte UCL=14.04 _ X=12.51 LCL= Average Lab Lab 10 Lab 11 Lab 13 Lab 14 Lab 16 Lab 18 Lab 19 Lab 2 Lab 20 Lab 21 Lab 5 Lab 7 Lab 8 Lab 9 Laboratorio Näyte * Laboratorio Interaction Näyte 2 E Laboratorio Lab 1 Lab F10 Lab 11 Lab 13 Lab 14 Lab 16 Lab 18 Lab 19 Lab 2 Lab 20 Lab 21 Lab 5 Lab 7

21 Gage-RR analyysi - kuulamyllyarvo Gage Evaluation Study Var %Study Var Source StdDev (SD) (6 SD) (%SV) Total Gage R&R Repeatability Reproducibility Laboratorio Part-To-Part Näyte Total Variation Number of Distinct Categories = 17 Huom. Tulosten tarkkuutta tutkittiin vain kahden näytteen avulla. 21

22 Case kiviainestutkimukset Vertailukokeet 2015 Micro Deval 2x5x2 22

23 Micro Deval mittauksen stabiilius I Chart of Micro Deval by Näyte Individual Value Laboratoriot, juokseva numerointi 5.0 Laboratoriot, juokseva numerointi _ UCL=4.69 X=4.1 LCL= Laboratorio

24 Gage R&R (Expanded) Report for Micro Deval Gage name: Kiviainestutkimusten vertailututkinus 2015 Date of study: Reported by: Tolerance: Misc: Pertti Virtala Components of Variation Micro Deval by Näyte 100 % Contribution % Study Var 15 A 50 Percent 0 Gage R&R Repeat Reprod Part-to-Part Näyte 2 D 1.6 B Sample Range R Chart by Laboratorio Lab 14 Lab 18 Lab 2 Lab 5 Lab Näyte 2 UCL=1.634 _ R=0.5 LCL= Lab 14 Micro Deval by Laboratorio Lab 18 Lab 2 Lab 5 Laboratorio E Lab 7 15 C 10 5 Sample Mean Xbar Chart by Laboratorio Lab 14 Lab 18 Lab 2 Lab 5 Lab 7 _ UCL=9.92 X=8.95 LCL=7.98 Average Näyte * Laboratorio Interaction Laboratorio Lab 14 Lab F18 Lab 2 Lab 5 Lab Näyte Näyte 2

25 Gage-RR-analyysi Micro Deval Gage Evaluation Study Var %Study Var Source StdDev (SD) (6 SD) (%SV) Total Gage R&R Repeatability Reproducibility Laboratorio Part-To-Part Näyte Total Variation Number of Distinct Categories = 14 25

26 Case kiviainestutkimukset Vertailukokeet 2015 Los Angeles luku 2x14x1 26

27 LA-luku mittauksen stabiilius I Chart of Losa by Näyte Individual Value UCL=14.87 _ X=13.19 LCL= Observation 27

28 LA-luku Multi-Vari Multi-Vari Chart for Losa by Laboratorio - Näyte Losa COV=3 % Laboratorio Lab 1 Lab 10 Lab 14 Lab 15 Lab 16 Lab 17 Lab 18 Lab 2 Lab 20 Lab 21 Lab 5 Lab 7 Lab 8 Lab 9 14 COV=4,6 % Näyte

29 Case kiviainestutkimukset Vertailukokeet 2015 Litteysluku 2x17x1 29

30 Stabiilius - litteysluku I Chart of Litteysluku by Näyte Individual Value UCL=10.10 _ X= LCL= Observation 30

31 Litteysluku Multi-Vari Multi-Vari Chart for Litteysluku by Laboratorio - Näyte Litteysluku COV=15 % COV=10 % Laboratorio Lab 1 Lab 11 Lab 12 Lab 13 Lab 14 Lab 15 Lab 18 Lab 19 Lab 2 Lab 20 Lab 21 Lab 3 Lab 4 Lab 5 Lab 6 Lab 7 Lab 8 Lab 9 1 Näyte 2 Huom. Ilman toistoja ei voida kakettaa 31

32 Multi-Vari tarkastelu - Massa Multi-Vari Chart for Massa (g) by Tunnus - Osa Massa (g) Tunnus A B C D E F G H I J K Osa Huom. Ilman toistoja ei voida kakettaa 32

33 Yhteenveto Tunnusluku Stabiilius Kohdistuvuus Mittaustarkkuus RR% - Litteysluku (OK) - 61%, EI OK - LA-luku OK - 9%, OK - KM-arvo OK - 11%, OK - Litteysluku OK LA-luku OK KM-arvo OK - 8.1%, OK - MD OK - 9,7%, OK - Massa OK Tiheys OK Paksuus OK

34 Näytekoon pienuudesta johtuva huomautus MINITAB ASSISTANT WHITE PAPER This paper explains the research conducted by Minitab statisticians to develop the methods and data checks used in the Assistant in Minitab 17 Statistical software. Operators 2 or Parts < 10 Measurement variation: Estimated from the parts, it is broken down into Reproducibility and Repeatability. The number of parts and operators does not meet the typical requirement of 10 parts and 3 operators. The estimates of measurement variation may not be precise. You should view the estimates as indicating general tendencies, rather than precise results. Jos laboratorioita enintään 2 ja näytteitä alle 10: Tulos ei ole kovin luotettava. Se on vain suuntaa antava. 34