IV Näytteiden välisten erojen mittaaminen

Transkriptio

1 IV Näytteiden välisten erojen mittaaminen Raija-Liisa Heiniö ja Anja Lapveteläinen 1. Johdanto Erotustestit on kehitetty näytteiden välisten pienten erojen havaitsemiseen: ne ovat erityisen herkkiä testejä. Erotustestien avulla selvitetään, eroavatko näytteet aistittavilta ominaisuuksiltaan toisistaan tai voidaanko näytteiden välinen ero havaita jonkin nimetyn ominaisuuden suhteen. Mahdolliset näytteiden väliset ulkonäköerot pitää eliminoida esimerkiksi värivaloin (luku X) silloin, kun ulkonäköerot eivät ole erotustestin kiinnostuksen kohteena. Tyypillisiä, usein käytettyjä erotustestejä ovat kolmitesti, parivertailutesti ja pari- kolmitesti. Tutkittaessa näytteiden välisiä eroja jonkin nimetyn ominaisuuden suhteen käytetään esimerkiksi suunnattua parivertailutestiä tai usean vaihtoehdon pakkovalintatestiä. Näytteiden välisen eron varmuus voidaan määrittää R-indeksin avulla. Erotustesteillä ei voida määrittää näytteiden välisen eron suuruutta. Siihen soveltuvat tässä luvussa kuvatut asteikot tai kuvailevat menetelmät (luku V). Erojen määrittämiseen soveltuvia menetelmiä on kuvattu yksityiskohtaisesti kansainvälisissä ISO- ja ASTM-standardeissa sekä alan laajoissa oppikirjoissa. 75

2 2. Erotustestit 2.1. Kolmitesti Periaate Kolmitestissä (triangle test) arvioijalle esitetään samanaikaisesti arvioitavaksi kolme näytettä, joista kaksi on samanlaista ja yksi poikkeava. Arvioijan tehtävänä on tunnistaa poikkeava näyte sarjasta (kuva 1). Arvausmahdollisuus on 1/3. Toteutus 76 Näytteet A ja B voidaan esittää arvioitavaksi kuutena yhdistelmänä: AAB, ABA, BAA, BBA, BAB, ABB. Kaikki vaihtoehdot pyritään esittämään tasapuolisesti yhtä monta kertaa. Arvioitavien näytteiden lukumäärä on suuri, koska kutakin tutkittavaa näytettä (A tai B) kohden on kolme arvioitavaa näytettä (jokin edellä mainituista näytesarjoista). Tämän vuoksi samanaikaisesti arvioitaviksi ei pitäisi esittää kuin kaksi tai kolme näytesarjaa, varsinkin jos näytteet ovat aistittavilta ominaisuuksiltaan voimakkaita tai vaativat pureskelua. Kolmitestin käyttöä saattaakin rajoittaa arvioitavien näytteiden suuresta lukumäärästä johtuva aistien väsyminen, edeltävän näytteen vaikutus seuraavan näytteen aistimiseen tai adaptaatio (mukautuminen) johonkin näytteissä havaittavaan ominaisuuteen. Tulosten tilastollinen merkitsevyys selviää valmiiksi lasketuista tilastollisista taulukoista (liite 1). Arvioitavina on kolme näytettä, joista kaksi on keskenään samanlaisia. Huuhtele suusi vedellä ennen arviointia sekä näytteiden välillä. Haista ja maista näytteet annetussa järjestyksessä, vasemmalta oikealle. Merkitse rengastamalla näytesarjan poikkeava näyte. Arvaa, mikäli et ole varma vastauksestasi. Näytesarja Kuva 1. Kolmitestin lomakemalli hajun ja maun perusteella tehtävään arvioon. Esimerkki 1. Tutkimuksen tarkoituksena oli selvittää, voidaanko suklaapatukan kääremateriaalin A (muovilaminaatti) vaihtaa kääremateriaaliin B (paperi), ilman että muutoksella olisi vaikutusta tuotteen aistittaviin ominaisuuksiin. Kolmitestillä tutkittiin,

3 poikkeaako kääreeseen B pakattu suklaa kääreeseen A pakastusta suklaasta, kun molempia on säilytetty kääreissään 3 kk varastoinnin ajan. Harjaantunut raati (n = 12) arvioi näytteet siten, että kuudella arvioijalla poikkeavana näytteenä oli muovikääreessä ja kuudella paperikääreessä varastoitu suklaanäyte. Yhdeksän arvioijaa kahdestatoista erotti poikkeavan suklaan kahdesta muusta näytteestä. Tilastollisen taulukon (liite 1) perusteella voidaan todeta, että kääremateriaali aiheuttaa merkitsevän eron (p < 0,01) suklaan aistittaviin ominaisuuksiin. Kääremateriaalin A vaihtaminen materiaaliin B vaikuttaa näin ollen aistittaviin ominaisuuksiin. Muuta tietoa kolmitesti ei tarjoa, jollei esimerkiksi pyydetä vapaamuotoista kuvailua havaitusta erosta Pari-kolmitesti Periaate Pari-kolmitestissä (duo-trio test) arvioijalle esitetään ensin vertailunäyte ja sen jälkeen kaksi näytettä, joista toinen on samanlainen kuin vertailunäyte. Arvioijan tehtävänä on tunnistaa vertailun kaltainen näyte (kuva 2). Arvausmahdollisuus on 1/2. 77 Toteutus Testi voidaan toteuttaa joko vakioidulla vertailunäytteellä R A (constant reference), kuten esimerkissä 2 (näytteet R A BA, R A AB), tai tasapainotetun vertailunäytteen (balanced reference) avulla siten, että puolet arvioijista saa vertailunäytteeksi yhden näytteistä R A ja puolet toisen näytteen R B (näytesarjat: R A BA, R A AB, R B BA, R B AB). Näytteiden esitysjärjestys satunnaistetaan tai tasapainotetaan näytteiden esitysjärjestystä systemaattisesti vaihtelemalla sekä parien sisäisesti että sarjojen välisesti. Näytepareja ei pidä esittää kerralla arvioitavaksi enempää kuin neljä tai viisi. Kun näytepareja arvioidaan kerralla enemmän kuin yksi, arvioitavien näytteiden lukumäärä on tässä testissä kolmitestiä pienempi, koska vertailunäyte on sama koko näytesarjalle. Tämä on edullista erityisesti voimakkaanmakuisten tai -hajuisten tuotteiden kohdalla. Tulosten tilastollinen merkitsevyys selviää valmiiksi lasketuista tilastollisista taulukoista (liite 2).

4 Arvioitavina on kolme näytettä: vertailunäyte R sekä koodein merkitty näytepari, jonka näytteistä toinen on sama kuin vertailunäyte. Haista ensin vertailunäytettä ja sitten koodattuja näytteitä. Merkitse sitten rengastamalla, kumpi näytteistä on samanlainen kuin R. Arvaa, mikäli et ole varma vastauksestasi. Haista näytteet annetussa järjestyksessä, vasemmalta oikealle. Näytesarja R Kuva 2. Pari-kolmitestin lomakemalli hajun perusteella tehtävään arvioon. 78 Esimerkki 2. Diasetyylin hajun kynnysarvo tislatussa vedessä määritettiin vakioidun vertailunäytteen pari-kolmitestillä. Diasetyylistä valmistettiin viiden liuoksen geometrinen pitoisuussarja, jossa pitoisuus kasvoi kertoimella 2 (0,00001; 0,00008; 0,0004; 0,002 ja 0,01 mg/kg). Näytteet esitettiin 17 arvioijalle siten, että kutakin pitoisuutta verrattiin haistamalla pelkkään tislattuun veteen, joka oli vakioitu vertailunäyte. Näytteiden arviointijärjestys satunnaistettiin näyteparien sisäisesti ja välisesti. Ärsytyskynnysarvo määritettiin oikeista vastauksista graafi sesti koordinaatistossa siten, että x-akselille merkittiin pitoisuudet ja y-akselille oikeiden vastausten määrä. Ärsytyskynnysarvoksi saatiin se diasetyylin pitoisuus, jossa oikeita vastauksia oli 50 % enemmän arvaamalla saatavaan määrään verrattuna eli pari-kolmitestissä 75 %. Kun arvioijia oli 17, kynnystä vastaava määrä (75 %) oikeita vastauksia = 12,75. Graafi sen kuvaajan perusteella tätä kohtaa y-akselilla vastasi diasetyylin määrä 0,0004 mg/kg. Tämä oli siis hajun ärsytyskynnysarvo. Jos pari-kolmitestin sijasta käytettäisiin kolmitestiä, kynnystä vastaava kohta oikeita vastauksia olisi 66,7 % Parivertailutesti Periaate Parivertailutestissä (difference paired comparison, simple difference test, same/ different test) arvioijan tehtävänä on ilmoittaa, ovatko näyteparin näytteet samanlaisia vai erilaisia (kuva 3). Arvausmahdollisuus on 1/2. Toteutus Näytteet A ja B voidaan esittää arvioitavaksi neljänä yhdistelmänä: AA, BB, AB, BA. Esitettävissä näytesarjoissa puolet näytepareista sisältää eri näytteet ja puo-

5 let saman näytteen kahdesti. Näytteiden esitysjärjestys satunnaistetaan parien sisäisesti ja sarjojen välisesti. Pääsääntöisesti näytepareja ei pidä esittää kerralla arvioitavaksi enempää kuin neljä tai viisi. Tulosten tilastollinen merkitsevyys selviää valmiiksi lasketuista tilastollisista taulukoista (liite 2). Arvioitavina on neljä näytesarjaa, joissa kaikissa on kaksi näytettä. Huuhtele suusi vedellä ennen arviointia sekä näytteiden välillä. Haista ja maista näytteet annetussa järjestyksessä, vasemmalta oikealle. Merkitse rengastamalla, ovatko sarjan näytteet keskenään samanlaisia vai erilaisia. Arvaa, mikäli et ole varma vastauksestasi Näytesarja I Samanlaisia Erilaisia Näytesarja II Samanlaisia Erilaisia Näytesarja III Samanlaisia Erilaisia Näytesarja IV Samanlaisia Erilaisia Kuva 3. Parivertailutestin lomakemalli hajun ja maun perusteella tehtävään arvioon Usean vaihtoehdon pakkovalintatesti Edellisessä kappaleessa kuvatussa parivertailutestissä arvioijalle ei siis ilmoiteta ominaisuutta, jonka perusteella hänen tulee erottaa näyteparin näytteet toisistaan. Sen sijaan suunnatussa parivertailutestissä (2-AFC test) arvioijalle ilmoitetaan ominaisuus, jonka perusteella näyteparin näytteitä verrataan toisiinsa. Kolmen vaihtoehdon pakkovalintatesti (3-AFC test) muistuttaa puolestaan kolmitestiä, mutta myös siinä näytteet mahdollisesti erottava ominaisuus ilmoitetaan arvioijalle. Kahden tai kolmen näytteen pakkovalintatestit ovat tavallisimpia usean vaihtoehdon pakkovalintatesteistä (n-alternative forced choice methods). Näissä testeissä ei esitetä näytesarjoja, joissa molemmat tai kaikki näytteet olisivat samoja. 79

6 Suunnattu parivertailutesti Periaate Suunnattu parivertailutesti (directional paired comparison method, 2-alternative forced choice method, 2-AFC) on suhteellisen yksinkertainen ja paljon käytetty erotustesti. Siinä näytteet esitetään arvioijalle pareittain verrattaviksi jonkin mainitun aistittavan ominaisuuden (kuvassa 4 makeuden) tai miellyttävyyden suhteen. Tutkittavat näytteet saavat poiketa toisistaan ainoastaan nimetyn ominaisuuden suhteen. Toteutus 80 Näytteiden esitysjärjestys satunnaistetaan sekä parien sisäisesti että sarjojen välisesti. Näytteet A ja B voidaan esittää arvioitavaksi kahtena yhdistelmänä: AB, BA. Molempia näytepareja valmistetaan sama määrä arvioitavaksi. Arvausmahdollisuus on 1/2. Näytepareja ei pidä esittää arvioijalle kerrallaan arvioitavaksi enempää kuin neljä tai viisi. Tulosten tilastollinen merkitsevyys selviää valmiiksi lasketuista tilastollisista taulukoista (liite 2). Jos näytteiden välisen eron suunta tiedetään etukäteen (kuten esimerkiksi seuraavassa olutesimerkissä), käytetään yksisuuntaista merkitsevyystaulukkoa. Ellei näytteiden välisen eron suuntaa tunneta etukäteen (kuten esimerkiksi mieltymysmittauksissa), käytetään kaksisuuntaista merkitsevyystaulukkoa (liite 2). Arvioitavanasi on kaksi näytesarjaa, joissa molemmissa on kaksi näytettä. Merkitse rengastamalla sarjan makeampi näyte. Arvaa, mikäli et ole varma vastauksestasi. Huuhtele suusi vedellä ennen arviointia sekä näytteiden välillä. Maista näytteet annetussa järjestyksessä, vasemmalta oikealle. Näytesarja I Näytesarja II Kuva 4. Suunnatun parivertailutestin (2-AFC) lomakemalli, esimerkkinä makeuden arviointi. Esimerkki 3. Suunnatulla parivertailutestillä tutkittiin kahta olutta, joiden valmistuksessa oli käytetty eri määrä humalaa: oluet A ja B, B:ssä enemmän humalaa. Arvioijien

7 tuli ilmoittaa, kumpi oluista oli maultaan karvaampaa. Puolet raadista (n = 20) maistoi ensin olutta A ja puolet ensin olutta B. Neljätoista arvioijaa kahdestakymmenestä piti olutta B karvaampana kuin olutta A. Tilastollisen taulukon (liite 2) perusteella voidaan todeta, että oluiden karvauden välillä ei ollut havaittavissa tilastollisesti merkitsevää eroa (p > 0,05) tutkimuksessa käytetyillä humalatasoilla. Koska merkitsevän eron havaitsemisen raja on viisitoista arvioijaa kahdestakymmenestä eli hyvin lähellä saatua tulosta, olisi tuloksen varmistamiseksi suositeltavaa toistaa testi tai jatkaa koetta niin, että saadaan lisää arviointituloksia Kolmen vaihtoehdon pakkovalintatesti Periaate Esimerkki usean vaihtoehdon pakkovalintatesteistä (n-afc tests) on kolmen vaihtoehdon pakkovalintatesti (3-alternative forced choice method, 3-AFC). Testiä voi kutsua suunnatuksi kolmitestiksi : arvioijille esitetystä kolmen näytteen sarjasta tulee löytää näyte, jossa nimetty ominaisuus aistitaan voimakkaampana tai heikompana kuin muissa näytteissä. Yhdessä koeasetelmassa esitetään kuitenkin vain kolme näytesarjaa eikä kuutta, kuten kolmitestissä. Näytteet esitetään arvioijalle verrattaviksi jonkin mainitun aistittavan ominaisuuden (kuvassa 5 suolaisuuden) suhteen. Tutkittavat näytteet saavat poiketa toisistaan ainoastaan nimetyn ominaisuuden suhteen. Toteutus 81 Näytteet A ja B voidaan esittää arvioitaviksi kolmessa järjestyksessä: AAB, ABA, BAA. Kaikkia näyteyhdistelmiä valmistetaan sama määrä arvioitavaksi. Näytteiden esitysjärjestys satunnaistetaan sekä parien sisäisesti että sarjojen välisesti. Arvausmahdollisuus on 1/3. Näytteiden välisen eron merkitsevyyden määrittämiseksi ei ole suoraan käytettävissä valmiita tilastollisia taulukoita, vaan tulos on laskennallinen (ks. ISO 13301:2002 tai Lawless & Heymann 1999, s ).

8 Arvioitavana on kaksi näytesarjaa, joissa molemmissa on kolme näytettä. Merkitse rengastamalla näyte, joka on suolaisempi kuin muut näytteet. Arvaa, mikäli et ole varma vastauksestasi. Huuhtele suusi vedellä ennen arviointia sekä näytteiden välillä. Maista näytteet annetussa järjestyksessä, vasemmalta oikealle. Näytesarja I Näytesarja II Kuva 5. Kolmen vaihtoehdon pakkovalintatestin (3-AFC) lomakemalli, esimerkkinä suolaisuuden arviointi. 3-AFC-testiä käytetään erityisesti hajun ja maun tunnistuskynnysten määrittämiseen, jolloin testin tulosten merkitsevyydellä ei ole yllä kuvattua merkitystä. Tällainen sovellus kuvataan esimerkissä Esimerkki 4. Valmistaja halusi pakkausmateriaalin vaihtoehtoja hakiessaan selvittää, mikä on tietyn virhemaun aiheuttajan kynnysarvo oluessa. Kynnysarvon määritystä varten yhdisteestä (3- metyyli-2-buteeni-1-tioli) valmistettiin olueen geometrinen kuuden pitoisuuden sarja (0, ppb), jossa pitoisuus kasvaa kertoimella 3. Raadissa oli 25 arvioijaa, joille esitettiin yksi 3-AFCsarja satunnaistetussa järjestyksessä kussakin pitoisuudessa. Tällöin jokainen arvioija maistoi 3 x 6 = 18 olutnäytettä. Sarjat esitettiin kaikille arvioijille nousevassa pitoisuusjärjestyksessä, ja kunkin 3-AFC-sarjan tapauksessa arvioijan tehtävänä on tunnistaa virhemaun omaava näyte. Niille arvioijille, jotka tunnistivat yhdisteen pienimmässä pitoisuudessa, esitettiin lisäksi vähintään yksi 3-AFC sarja vielä pienemmässä pitoisuudessa. Samoin niille arvioijille, jotka eivät tunnistaneet virhemakua suurimmassakaan pitoisuudessa, esitettiin vähintään yksi voimakkaampi 3-AFC-sarja. Arviointitulokset taulukoitiin (+ = tunnistus oikein, 0 = tunnistus väärin):

9 Pitoisuudet (ppb) Kynnysarvo, geometrinen keskiarvo Arvioija 0,27 0,80 2,41 7,28 21,7 65, ppb , , , , , , , , , , , , , , , , , , , , , , , ,19 83 Yksittäisen arvioijan kynnysarvo saadaan laskemalla alimman tunnistetun pitoisuuden ja ylimmän tunnistamattoman pitoisuuden geometrinen keskiarvo. Yhdisteen keskimääräinen kynnysarvo lasketaan kaikkien kynnysarvojen geometrisenä keskiarvona, jonka arvoksi esimerkkitapauksessa saatiin 2,35 ppb.

10 2.5. On ei ole -testi Periaate On ei ole -testi (A-not-A test) on tunnistamistesti, jossa arvioija tutustuu ensin yhteen näytteeseen ja saa sen jälkeen arvioitavakseen tuntemattoman näytteen. Arvioijan tehtävänä on ilmoittaa, onko jälkimmäinen näyte samanlainen kuin ensimmäinen näyte vai ei. Olennaista on, että arvioija tekee päätöksensä muistinvaraisesti, sillä ensimmäinen näyte ei ole enää arvioijan käytettävissä jälkimmäistä näytettä arvioitaessa. Arvausmahdollisuus on 1/2. On ei ole -testistä on aikaisemmassa kirjallisuudessa useita erilaisia versioita, mutta niihin ei puututa tässä. Toteutus 84 Näytteiden esitysjärjestyksen satunnaistaminen on tässäkin menetelmässä tärkeää. Kaksi näytettä A ja B esitetään arvioitavaksi tasapainoisesti neljänä yhdistelmänä: AA, BB, AB, BA. Pääsääntöisesti tutkittavia näytteitä ei vertailunäytteen lisäksi pidä esittää arvioijalle kerrallaan arvioitavaksi enempää kuin neljä tai viisi. On ei ole -testiä käytetään usein samoihin tarkoituksiin kuin parivertailutestiä. Sitä pidetään erityisen käyttökelpoisena silloin, kun tutkittavissa näytteissä on sellaisia pieniä eroja esimerkiksi ulkonäössä, että ne rinnakkain esitettyinä paljastaisivat poikkeavan näytteen. Muistinvarainen vertaaminen vähentää näytteiden tunnistamisriskiä väärän ominaisuuden perusteella kuitenkin vain, jos kyseiset erot ovat hiuksenhienoja. Tulokset taulukoidaan ja analysoidaan vertaamalla oikeiden vastausten lukumäärää väärien vastausten lukumäärään 2 -testillä. Sarakkeina ovat esitetyt näyteparit (A /ei A) ja riveinä vastaukset (A /ei A) (esim. Lawless & Heymann 1999, s. 689) Kaksi viidestä -testi Periaate ja toteutus Kaksi viidestä -testissä (two-out-of-fi ve test) arvioijalle esitetään samanaikaisesti viisi näytettä, jotka hänen tulee jakaa kahteen ryhmään. Yhden ryhmän tulee sisältää kaksi muista kolmesta poikkeavaa näytettä. Arvausmahdollisuus oikean kahden näytteen valitsemiseksi kaikista viidestä näytteestä on vain 1/10. Pieni

11 arvausmahdollisuus on tämän menetelmän pääasiallinen etu muihin verrattuna, mutta suuri arvioitavien näytteiden lukumäärä on selkeä haitta. Tulosten tilastollinen merkitsevyys selviää valmiiksi lasketusta tilastollisesta taulukosta (liite 3). Kaksi viidestä -testi on esimerkki lajittelutesteistä (sorting methods), joissa arvioijan tehtävänä on lajitella tutkittavat näytteet kahteen ryhmään. Lajittelutestejä ei juurikaan käytetä näytteiden hajun ja maun arvioinnissa, vaan mieluummin tuotteiden välisten erojen arviointiin vähemmän aisteja väsyttävissä tehtävissä, kuten ulkonäön arvioinnissa tai käsin tunnustelussa. 3. Eron varmuuden määrittäminen Edellä kuvattujen erotustestien avulla voidaan selvittää, onko tutkittavien näytteiden välillä ylipäätään eroa, sekä mahdollisesti eron suuntaa kysytyn ominaisuuden suhteen. Niillä ei kuitenkaan saada selville eron varmuutta samalla tavoin kuin R-indeksimäärityksellä. Signaalidetektioteoriaan (luku I) perustuva R-indeksin (R index) määritys tarjoaa vaihtoehtoisen tarkastelutavan tuotteiden välisten pienten aistittavien erojen mittaamiseen. Signaalidetektioteoriassa todelliset havainnot erotetaan arvauksista. Tutkitaan kahta eritasoista, mutta hyvin heikkoa ärsykettä, joista toinen on tyhjä tai kohinaa aiheuttava ärsyke (noise) ja toinen heikko, lähellä kynnysarvoa oleva todellinen ärsyke (signal). Arvioija voi tulkita sekä tyhjän että todellisen ärsykkeen joko tyhjäksi tai todelliseksi ärsykkeeksi eli vastata kummankin näytteen tapauksessa oikein tai väärin. R-indeksimääritys poikkeaa edellä kuvatuista testityypeistä, koska sen avulla voidaan näytteiden välisen eron lisäksi selvittää myös havaitun eron varmuutta. R-indeksi on todennäköisyysarvio: se on arvioijan todennäköinen mahdollisuus erottaa kaksi näytettä. Mitä suurempi näytteiden välinen ero todellisuudessa on, sitä suuremmalla todennäköisyydellä näytteet kyetään erottamaan toisistaan. 85 Periaate R-indeksimäärityksessä arvioija tutustuu ensin vertailunäytteeseen AR ja saa sen jälkeen arvioitavakseen usean koodatun näytteen sarjan satunnaistetussa järjestyksessä. Tehtävänä on verrata koodattuja näytteitä vertailunäytteeseen ja ilmoittaa, onko näyte mahdollisesti tai varmasti sama kuin vertailu (A, A?, B?, B; kuva 6).

12 Toteutus Epävarmuuden asteen ilmaisemiseksi voidaan käyttää myös useampia vaihtoehtoja, esimerkiksi A, A?, A??, B??, B? B (tulosten laskemistapaa ei esitellä tässä). Menetelmällä voidaan verrata kerrallaan useita näytteitä (jopa 5 7) vertailunäytteeseen nähden, mikä on suuri etu esimerkiksi kolmitestiin verrattuna. R- indeksimäärityksessä ei käytetä valmiita tilastollisia taulukoita. Sen sijaan arviointitulokset taulukoidaan niin, että kullekin näytteelle (esimerkiksi A ja B) annettujen arvioiden (esimerkiksi A, A?, B? ja B) lukumäärät lasketaan yhteen. Näyte Arvio A (varmasti A) A? (ehkä A) B? (ehkä B) B (varmasti B) A a b c d n A = a + b + c + d B e f g h n B = e + f + g + h Taulukon lukujen perusteella lasketaan R-indeksi näytteelle: 86 a( f + g + h) + b( g + h) + ch + 0,5 ( ae + bf + cg R = ( a + b + c + d) ( e + f + g + h) + dh ) 100 R-indeksi vaihtelee välillä %; jos R-indeksin arvo on 50 %, näytteet eivät eroa toisistaan, mutta jos arvo on 100 %, näytteet ovat erotettavissa täysin toisistaan. Arvioitavina on viisi näytettä, joista vertailunäyte on merkitty AR ja loput neljä on merkitty koodein. Haista ja maista näytteet annetussa järjestyksessä, vasemmalta oikealle. Huuhtele suusi vedellä ennen arviointia sekä näytteiden välillä. Merkitse rengastamalla lomakkeeseen, ovatko koodatut näytteet vertailunäytteen kaltaisia vai eivät sekä miten varma olet vastauksestasi käyttäen seuraavaa asteikkoa: A = Näyte on varmasti sama kuin AR A? = Näyte on ehkä sama kuin AR B? = Näyte on ehkä eri kuin AR B = Näyte on varmasti eri kuin AR Näyte AR Arvio Kuva 6. R-indeksin lomakemalli hajun ja maun perusteella tehtävään arvioon.

13 Esimerkki 4. Tutkimuksessa selvitettiin, miten lehmien ruokinta vaikuttaa maidon laatuun. Osa lehmistä ruokittiin menetelmällä A ja toinen osa menetelmällä B. A-menetelmällä ruokittujen lehmien maidot yhdistettiin keskenään, samoin tehtiin B-menetelmällä ruokittujen lehmien maidolle. Kummastakin maitoerästä otettiin näyte aistinvaraista arviointia varten. Raadille esitettiin näytteet A ja B tunnettuina sekä sen jälkeen (koodattuina) 34 kertaa A-näyte ja 34 kertaa B-näyte. Arvioijien tuli ilmoittaa kunkin näytteen kohdalla, kumpi näyte oli kyseessä ja miten varmoja he olivat vastauksestaan (vaihtoehdot A, A?, B? ja B). Tulokset taulukoitiin: Näyte Arvio A A? B? B A n A = 34 B n B =34 Edellä esitetyn laskukaavan perusteella laskettaessa R-indeksin arvoksi saadaan 56,4 % eli maitojen A ja B erottuminen toisistaan on varsin epätodennäköistä Erojen suuruuden mittaaminen Tutkittavien näytteiden välisen eron suuruutta ei voida kysyä erotustestin yhteydessä, eikä siitä näin ollen pääsääntöisesti saada tietoa erotustestien avulla. Jos eron suuruus halutaan selvittää, se on suositeltavinta määrittää erikseen käyttäen esimerkiksi tarkoitukseen sopivaa asteikkomenetelmää. Eräs näytteiden välisten erojen suuruutta mittaava menetelmä on monivertailutesti. Asteikkomenetelmänä monivertailutesti ei herkkyydeltään yllä perinteisten erotustestien tasolle ja soveltuukin siten parhaiten tapauksiin, joissa tutkittavien näytteiden väliset erot ovat selvästi havaittavia.

14 4.1. Monivertailutesti Periaate Monivertailutestissä (ero vertailuun-testi; multiple comparison test) arvioija tutustuu ensin vertailunäytteeseen R ja saa sen jälkeen arvioitavakseen useita koodattuja, tuntemattomia näytteitä. Arvioijan tehtävänä on verrata kysyttyjä ominaisuuksia koodattujen näytteiden ja vertailunäytteen välillä annetulla asteikolla (kuva 7). Toteutus 88 Tutkittavia näytteitä voidaan esittää kerrallaan arvioitavaksi kahdesta viiteen muun muassa aistittavan ominaisuuden haasteellisuudesta ja näytteiden välisten erojen suuruudesta riippuen. Arviointitulosten luotettavuutta voidaan mitata esittämällä joko jokin tutkittavista näytteistä kahdesti tai annettu vertailunäyte kätkettynä muiden joukossa. Arviointitulosta voidaan pitää sitä luotettavampana, mitä vähemmän toistojen arvioinnit poikkeavat toisistaan tai mitä lähempänä 0-arviota kätketyn näytteen arviointitulos on. Kullekin näytteelle lasketaan pisteiden keskiarvo. Tulokset käsitellään esimerkiksi Dunnettin testillä, jota käytetään vertailtaessa yksittäisiä käsittelyjä kontrollinäytteeseen. Toinen vaihtoehto on käyttää t-testejä (näyte vastaan vertailunäyte). Useaa rinnakkaista t-testiä tehtäessä on liian helpon tilastollisen eron löytäminen estettävä korjaamalla t-testin merkitsevyystasoja esimerkiksi käyttäen Bonferronin kerrointa. Tällöin tiukennetaan merkitsevyyden rajaa siten, että haluttu merkitsevyystaso (esim. p = 0,05) jaetaan verrattavien parien määrällä (esim. 3), eli 0,05/3 = 0,017. Tuloksia tarkasteltaessa tämä merkitsevyystaso otetaan edustamaan merkitsevyystasoa 0,05. Sen perusteella katsotaan, poikkeavatko näytteet toisistaan merkitsevyystasolla p = 0,05.

15 Arvioitavina on viisi näytettä, joista vertailunäyte on merkitty R-kirjaimella ja loput neljä koodein. Huuhtele suusi vedellä ennen arviointia sekä näytteiden välillä. Haista näytteet annetussa järjestyksessä, vasemmalta oikealle. Arvioi näytteiden virhehajun voimakkuus vertailunäytteeseen R nähden käyttäen asteikkoa 0 3, jossa 0 = ei virhehajua, samanlainen kuin R 1 = heikko virhehaju 2 = selvä virhehaju 3 = voimakas virhehaju Näyte R Virhehajun voimakkuus asteikolla 0 3 Kuva 7. Monivertailutestin lomakemalli Samanlaisuuden/erilaisuuden kartan muodostaminen Näytteiden samanlaisuutta/erilaisuutta arvioidaan numeerisella tai jana-asteikolla ankkuroimalla asteikko päistään esimerkiksi termein hyvin samanlainen ja hyvin erilainen. Monimuuttujamenetelmiä voidaan käyttää tulosten havainnollistamiseen muodostamalla niistä kaksi- tai useampiulotteinen havaintokartta (perceptual map). Tällöin tulokset käsitellään moniulotteisella asteikoittamisella (multidimensional scaling, MDS), jonka avulla näytteet sijoittuvat keskinäisten erojen suuruutta kuvaavalle havaintokartalle. Mitä erilaisempia näytteet ovat, sitä kauemmas toisistaan ne sijoittuvat kartassa Erotustestien tunnuspiirteitä Näytteiden välisten erojen mittaamisessa käytetyt menetelmät ovat tyypillisiä laboratoriomenetelmiä, joissa arvioijina käytetään yleensä laboratorioraatia. Verrattuna esimerkiksi kuvailevien menetelmien raateihin (luku V), raadin ei tarvitse olla kovin harjaantunut. Arviointiin pätevät muutoin samat säännöt kuin muihinkin aistinvaraisiin laboratoriomenetelmiin (luvut IX ja X). Erityisesti yksinkertaisiin erotustesteihin liittyviä erityispiirteitä ja -vaatimuksia kuvataan seuraavassa.

16 5.1. Testin valinta Arvioijan kannalta yksinkertaisimpia ovat erotustestit, mutta testin järjestäjän tulee tuntea erotustestien erityispiirteet osatakseen valita kulloinkin tilanteeseen parhaiten soveltuvan menetelmän. Erotustestejä käytetään määritettäessä, aiheuttaako esimerkiksi raaka-aineiden tai valmistusprosessien muutos, pakkaus tai varastointi muutoksia tuotteissa. Lisäksi useat erotustestit soveltuvat kemiallisten yhdisteiden kynnysarvojen määrittämiseen. Tällöin kynnysmäärityksen väliaineella (esimerkiksi vesi tai ilma) on keskeinen merkitys. Erotustestejä voidaan käyttää myös koulutettaessa arvioijia näytteiden välisten pienten erojen havaitsemiseen Raati 90 Arvioijien on ymmärrettävä testin tarkoitus yksiselitteisesti. Arvioitaessa eroa tietyn ominaisuuden suhteen raati harjaannutetaan tuntemaan kyseisen ominaisuuden aistittavat ulottuvuudet. Arvioijien lukumäärä vaikuttaa oleellisesti testituloksen luotettavuuteen, ja siksi raadin tulee olla riittävän suuri. Raadin koko on erotustesteissä usein suurempi kuin monissa muissa aistinvaraisissa menetelmissä. Tietyt testityypit asettavat omat erityisvaatimuksensa raadin koolle. Yksinkertaisissa erotustesteissä raadin kooksi suositellaan jopa 40 arvioijaa, joskin pienempi raati saattaa mainiosti riittää. Jos erotustestin perusteella on odotettavissa hyvin tärkeä päätös ja pienehkön raadin avulla saadaan merkitsevän rajoilla oleva tulos, kannattaa jatkaa arvioiden keräämistä, kunnes tulos on hyvin selvä. Tutkijan asiantuntemus auttaa arvioimaan, missä määrin arvioijien määriä koskevia suosituksia ja normeja tai tiukkoja merkitsevyysrajoja on otettava huomioon. Mikäli käytettävissä ei ole riittävän suurta raatia, voi pienempi raati toistaa testin kahdesti tai useammin. Pienen raadin toistokokeiden tulokset eivät kuitenkaan ole toisistaan riippumattomia, joten tulos ei välttämättä vastaa yhden isomman raadin tulosta Koesuunnitelma ja näytteiden esittäminen Koska erotustesteissä näytteiden erot ovat hyvin pieniä, tutkittavan näytemateriaalin tulee olla erityisen tasalaatuista. Näytteiden esitysjärjestys satunnaistetaan ja ne esitetään koodattuina (tavallisesti kolminumeroisin) satunnaisluvuin. Esitysjärjestyksen satunnaistaminen on ehdottoman tärkeää tulosten luotetta-

17 vuuden kannalta. Satunnaistettaessa tehdään koodiavainkartta, jossa näytteiden esitysjärjestys tasapainotetaan asettamalla näytteet keskenään kaikkiin mahdollisiin esitysjärjestyksiin, joita sitten käytetään yhtä monta kertaa. Siten näytteet tulee arvioida aina annetussa esitysjärjestyksessä. Taulukossa 1 on esimerkki kahden näytesarjan näytteiden esitysjärjestyksen satunnaistamisesta kolmitestissä. Arvioitaessa suurta näytemäärää tai voimakkaanmakuisia tai -hajuisia näytteitä on suun huuhtelu näytteiden välillä erityisen tärkeää. Taulukko 1. Kolmitestin näytteiden satunnaistaminen: kaksi näytesarjaa. Arvioija Sarja I: Näyteyhdistelmät AAB, ABA ja BAA sekä BBA, BAB ja ABB Paikka näytesarjassa: Sarja II: Näyteyhdistelmät CCD, CDC ja DCC sekä DDC, DCD ja CDD Paikka näytesarjassa: I II III I II III 1 B-637 A-968 A-438 D-237 D-211 C A-673 B-904 A-608 D-472 C-628 D A-754 A-509 B-199 C-432 D-490 D B-953 B-410 A-464 C-131 D-467 C B-610 A-944 B-457 D-763 C-899 C A-752 B-846 B-701 C-597 C-957 D B-538 A-556 A-392 D-654 D-788 C A-390 B-767 A-393 D-949 C-883 D A-381 A-885 B-241 C-698 D-156 D B-862 B-625 A-384 C-998 D-197 C B-965 A-251 B-191 D-136 C-546 C A-308 B-127 B-222 C-988 C-829 D B-294 A-908 A-374 D-277 D-229 C A-371 B-203 A-877 D-548 C-284 D A-291 A-961 B-934 C-231 D-154 D B-491 B-978 A-571 C-685 D-261 C B-876 A-356 B-645 D-939 C-301 C A-640 B-842 B-825 C-245 C-742 D B-692 A-606 A-850 D-181 D-891 C A-746 B-586 A-911 D-186 C-975 D

18 5.4. Tulosten käsittely 92 Tulosten tilastollinen merkitsevyys selvitetään useimmiten valmiista binomijakaumaan perustuvista tilastollisista taulukoista, jotka ovat yksisuuntaisia (one-tailed) tai kaksisuuntaisia (two-tailed) (liite 2). Näytteiden välisen eron tilastollinen merkitsevyys luetaan arvioijien lukumäärän kohdalta tietyllä merkitsevyystasolla siten, että poikkeavan näytteen valinneiden arvioijien lukumäärän tulee olla yhtä suuri tai suurempi kuin taulukossa, jotta näytteiden välisestä eroa voidaan pitää tilastollisesti merkitsevänä kyseisellä merkitsevyystasolla. Parivertailutestissä ja suunnatussa parivertailutestissä käytetään kaksisuuntaista tilastollista taulukkoa, jos näytteiden välisestä erosta ei etukäteen voida olettaa mitään. Esimerkiksi arvioitaessa kahden pitoisuudeltaan eroavan aromiyhdistenäytteen aromin voimakkuutta keskenään tulos voidaan lukea yksisuuntaisesta taulukosta. Jos arvioidaan samojen näytteiden miellyttävyyksiä kahden vaihtoehdon pakkovalintatestillä, ei voida tehdä ennakko-oletuksia niiden miellyttävyysjärjestyksestä, joten käytetään kaksisuuntaista taulukkoa. Tulosten käsittelyn helpottamiseksi taulukot on rakennettu tiettyjen perinteisesti käytettyjen todennäköisyystasojen mukaan: p < 0,05 (melkein merkitsevä, merkintä *), p < 0,01 (merkitsevä, merkintä **) ja p < 0,001 (erittäin merkitsevä, merkintä ***), vaikka p-arvot todellisuudessa vaihtelevat 0 ja 1:n välillä. Taulukoita erotustestien tulosten tilastollisen merkitsevyyden toteamiseksi on julkaistu useissa alan oppikirjoissa sekä menetelmiä koskevissa kansainvälisissä standardeissa. Nykyisin ohjelmat laskevat usein suoraan testiin liittyvän p-arvon, josta voidaan tehdä päätelmät ilman valmiita taulukoita. Tuloksia tulkittaessa on huomattava, että vaikka kahden näytteen olisikin havaittu erotustestin perusteella olevan aistinvaraisesti erilaisia, eivät näytteet kuitenkaan välttämättä poikkea miellyttävyyden suhteen toisistaan. On myös mahdollista, ettei kuluttajien enemmistö edes huomaa laboratorioraadin löytämää eroa.

19 Kysymyksiä: 1. Millaiseen tilanteeseen erotustestit sopivat? Anna esimerkkejä. 2. Kuvaa kolmitestin näytteiden satunnaistaminen. 3. Selosta R-indeksin määrittämisen periaate. 4. Millaisiin käyttötarkoituksiin näytteiden välistä eroa mittaavat asteikkomenetelmät soveltuvat? 5. Kokeen järjestäjä halusi selvittää kahdella makeutusainepitoisuudella valmistettujen tuotteiden (K ja L) aistittuja makeuseroja. Kokeessa A koulutetuille arvioijille (n = 40) esitettiin näytteet suunnatulla parivertailutestillä, jolloin arvioijan tehtävänä oli tunnistaa koodatusta näyteparista makeampi näyte. 26 arvioijaa piti suurempaa pitoisuuden omaavaa näytettä (K) makeampana. Onko makeusero tilastollisesti merkitsevä? Millaisin johtopäätöksin tulkitsisit tuloksen? Myös kokeessa B kuluttajat (n = 40) arvioivat vastaavat näytteet suunnatulla parivertailutestillä, jossa tehtävänä oli ilmaista, kummasta näytteestä piti enemmän. 26 kuluttajaa piti näytettä K parempana, kun taas 14 piti näytettä L parempana. Millaisin johtopäätöksin tulkitsisit kokeen B tuloksen? Millaisen johtopäätöksen tekisit molempien testien perusteella kyseisten makeutusaineiden vaikutuksesta tutkittujen tuotteiden aistittavaan laatuun ja miellyttävyyteen? 93

20 94