Arvohäviö Rank Inclusion in Criteria Hierarchies menetelmässä. Jari Mustonen, 47046C,

Samankaltaiset tiedostot
monitavoitteisissa päätöspuissa (Valmiin työn esittely) Mio Parmi Ohjaaja: Prof. Kai Virtanen Valvoja: Prof.

Preference Programming viitekehys: epätäydellisen preferenssi-informaation elisitointi ja mallintaminen, dominanssi

Kandidaatintyön esittely: Epätäydellisen preferenssi-informaation huomioon ottavien päätöksenteon tukimenetelmien vertailu

Aihioiden priorisointi ja portfolioanalyysi ennakoinnissa (valmiin työn esittely)

Epätäydellisen preferenssi-informaation huomioon ottavien päätöksenteon tukimenetelmien vertailu (aihe-esittely)

Eräs tyypillinen virhe monitavoitteisessa portfoliopäätösanalyysissa + esimerkkitapaus

Additiivinen arvofunktio projektiportfolion valinnassa

Aihioiden priorisointi ja portfolioanalyysi ennakoinnissa

Lisäinformaation arvo monikriteerisessä projektiportfoliovalinnassa (valmiin työn esittely)

RPM-menetelmän päätössääntöjen tilastollinen vertailu

5. Painottamisen harhat ja analyyttinen hierarkiaprosessi

Osakesalkun optimointi. Anni Halkola Turun yliopisto 2016

Lineaaristen monitavoiteoptimointitehtävien ratkaiseminen Bensonin algoritmilla

Ominaisarvojen jakauma balansoidulla asteikolla AHP:ssa

Portfoliolähestymistapa CO2 - kiilapelin analysoinnissa (valmiin työn esittely) Tuomas Lahtinen

Polkuriippuvuus trade-off-painotuksessa (valmiin työn esittely)

Kasvuyrityksen tuotekehitysportfolion optimointi (valmiin työn esittely)

Lineaaristen monitavoiteoptimointitehtävien ratkaiseminen Bensonin algoritmilla

Preference Programming viitekehys tehokkuusanalyysissä

Mat Optimointiopin seminaari

Demo 1: Simplex-menetelmä

Lineaaristen monitavoiteoptimointitehtävien

Talousmatematiikan perusteet: Luento 12. Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla

Additiivinen arvofunktio

1 Kertaus. Lineaarinen optimointitehtävä on muotoa:

12. Hessen matriisi. Ääriarvoteoriaa

Aircraft Maintenance Scheduling with Multi- Objective Simulation- Optimization

KKT: log p i v 1 + v 2 x i = 0, i = 1,...,n.

Simulaatiotutkimus kognitiivisten vinoumien vaikutuksen vähentämisestä Even Swaps menetelmässä (valmiin työn esittely)

MS-A0003/A0005 Matriisilaskenta Malliratkaisut 5 / vko 48

8 KANNAT JA ORTOGONAALISUUS. 8.1 Lineaarinen riippumattomuus. Vaasan yliopiston julkaisuja 151

Talousmatematiikan perusteet: Luento 11. Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla

Ellipsoidimenetelmä. Samuli Leppänen Kokonaislukuoptimointi. S ysteemianalyysin Laboratorio

Duaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki

Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu

Robust portfolio modeling (RPM) epätäydellisellä hintainformaatiolla ja projektiriippuvuuksilla

Harjoitus 6 ( )

min x x2 2 x 1 + x 2 1 = 0 (1) 2x1 1, h = f = 4x 2 2x1 + v = 0 4x 2 + v = 0 min x x3 2 x1 = ± v/3 = ±a x 2 = ± v/3 = ±a, a > 0 0 6x 2

Kaksi sovellusta robustien päätössuositusten tuottamisesta

MS-A0004/MS-A0006 Matriisilaskenta Laskuharjoitus 6 / vko 42

Harjoitus 6 ( )

Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu

Matematiikan tukikurssi

Projektiportfolion valinta

MATEMATIIKAN KOE, PITKÄ OPPIMÄÄRÄ HYVÄN VASTAUKSEN PIIRTEITÄ

MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I

Algoritmit 1. Luento 10 Ke Timo Männikkö

Luento 6: Monitavoitteinen optimointi

5. Analyyttinen hierarkiaprosessi

, tuottoprosentti r = X 1 X 0

Matematiikan tukikurssi, kurssikerta 3

Monitavoitteiseen optimointiin soveltuvan evoluutioalgoritmin tarkastelu

Joonas Haapala Ohjaaja: DI Heikki Puustinen Valvoja: Prof. Kai Virtanen

b 1. b m ) + ( 2b Ax) + (b b)

Osakesalkun optimointi

2. Teoriaharjoitukset

Malliratkaisut Demot

Likimääräisratkaisut ja regularisaatio

Tehtäväsarja I Kertaa tarvittaessa materiaalin lukuja 1 3 ja 9. Tarvitset myös luvusta 4 määritelmän 4.1.

Kimppu-suodatus-menetelmä

Malliratkaisut Demo 4

Yhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Matematiikan tukikurssi

MESTA työkalu suunnitelmavaihtoehtojen monikriteeriseen vertailuun ja parhaan vaihtoehdon etsintään

Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus

Lineaariset kongruenssiyhtälöryhmät

Talousmatematiikan perusteet: Luento 15. Rajoitettu optimointi Lagrangen menetelmä Lagrangen kerroin ja varjohinta

Matematiikan tukikurssi

Inversio-ongelmien laskennallinen peruskurssi Luento 2

Mat Lineaarinen ohjelmointi

Ratkaisuehdotukset LH 3 / alkuvko 45

Lineaarialgebra ja matriisilaskenta I

MS-C1340 Lineaarialgebra ja

Graafin 3-värittyvyyden tutkinta T Graafiteoria, projektityö (eksakti algoritmi), kevät 2005

TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio. Kimmo Berg. Mat Optimointioppi. 9. harjoitus - ratkaisut

Harjoitus 7: vastausvihjeet

1 Rajoitettu optimointi I

1 Rajoittamaton optimointi

Trimmitysongelman LP-relaksaation ratkaiseminen sarakkeita generoivalla algoritmilla ja brute-force-menetelmällä

Puumenetelmät. Topi Sikanen. S ysteemianalyysin. Laboratorio Aalto-yliopiston teknillinen korkeakoulu

Ominaisarvo ja ominaisvektori

Johdatus lukuteoriaan Harjoitus 2 syksy 2008 Eemeli Blåsten. Ratkaisuehdotelma

806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy (1 α) = 99 1 α = 0.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

Malliratkaisut Demot

Malliratkaisut Demot

Harjoitus 3 ( )

Osa IX. Z muunnos. Johdanto Diskreetit funktiot

= 2±i2 7. x 2 = 0, 1 x 2 = 0, 1+x 2 = 0.

4. Lasketaan transienttivirrat ja -jännitteet kuvan piiristä. Piirielimien arvot ovat C =

Matematiikan tukikurssi

/1. MTTTP5, luento Kertausta. Olk. X 1, X 2,..., X n on satunnaisotos N(µ, ):sta, missä tunnettu. Jos H 0 on tosi, niin

Algoritmit 1. Luento 1 Ti Timo Männikkö

Algoritmit 2. Luento 1 Ti Timo Männikkö

Luento 4: Lineaarisen tehtävän duaali

Nollasummapelit ja bayesilaiset pelit

TIES592 Monitavoiteoptimointi ja teollisten prosessien hallinta. Yliassistentti Jussi Hakanen syksy 2010

Referenssipiste- ja referenssisuuntamenetelmät

Talousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu

Transkriptio:

Arvohäviö Rank Inclusion in Criteria Hierarchies menetelmässä Jari Mustonen, 47046C, jari.mustonen@iki. 4. huhtikuuta 2005

Sisältö 1 Johdanto 2 2 Aikaisempi tutkimus 3 2.1 Arvopuuanalyysi......................... 4 2.2 SMART-menetelmä........................ 5 2.3 AHP-menetelmä.......................... 5 2.4 PAIRS-menetelmä........................ 6 2.5 RICH-menetelmä......................... 6 3 Simulointimenetelmät 9 3.1 Koesuunnitelma.......................... 9 3.2 Simuloinnin kulku......................... 11 3.3 Tärkeysjärjestysinformaation määritteleminen......... 12 3.4 Päätössuosituksen ratkaiseminen................. 13 3.5 Arvohäviö............................. 14 4 Tulokset 14 5 Keskustelua 16 Viitteet 17 A Simuloinnin tulokset 19 1

1 Johdanto Päätöksenteko-ongelmalla tarkoitetaan ongelmaa, jossa päätöksentekijä valitsee useasta vaihtoehdosta parhaaksi katsomansa. Tyypillinen päätöksenteko-ongelma voisi olla auton hankinta. Ostajan tulee valita erilaisista autoista parhaaksi katsomansa. Autoja voi vertailla keskenään usean eri attribuutin suhteen: esimerkiksi suorituskyky, varustelutaso, väri ja hinta. Monikriteerisessä päätöksenteossa eli MCDM:ssä (Multi-Criteria Decision Making) tavoitteena on löytää mahdollisista vaihtoehdoista riittävä tai paras vaihtoehto. Eräs suosittu apuväline monikriteeriseen päätöksentekoon on arvopuuanalyysi [4], jossa attribuuttien tärkeyttä mitataan painoilla. Arvopuuanalyysi kuuluu MAVT (Multi Attribute Value Theory) -tekniikoihin. Tavanomaisesti arvopuuanalyysi olettaa, että päätöksentekijä tietää tarkasti eri attribuuttien suhteelliset tärkeydet. Tämä ei kuitenkaan ole aina mahdollista; saattaa olla, että päätöksentekijä kykenee antamaan vain epätarkkoja arvioita painoista ja vaihtoehtojen pisteytyksistä eri attribuuttien suhteen. Tämän epätäydellisen tiedon käyttämiseksi päätöksenteko-ongelman ratkaisemiseksi on kehitetty useita menetelmiä (katso esimerkiksi [6], [3], [15], [11], [10], [5]). Rank Inclusion in Criteria Hierarchies eli RICH-menetelmä [14] antaa päätöksentekijälle mahdollisuuden määrittää preferenssi-informaatiota arvioimalla attribuuttien suhteellista tärkeyttä. Menetelmässä päätöksentekijä antaa arvioita, joissa hän liittää attribuuttijoukon tärkeysjärjestysjoukkoihin. Esimerkiksi päätöksentekijä voi arvioida, että attribuutit 1, 2, ja 3 sisältävät tärkeimmän attribuutin ja kolmanneksi tärkeimmän attribuutin. Toinen esimerkki on, että päätöksentekijä arvioi, että attribuutit 1, ja 2 ovat kaksi tärkeintä attribuuttia ja attribuutti 3 on kolmanneksi tai neljänneksi tärkein attribuutti. Tässä työssä tutkitaan simuloimalla RICH-menetelmän tuottaman päätöksenteko-ongelman ratkaisusuosituksen hyvyyttä. Seuraavassa kappaleessa 2

esitellään päätöksenteko-ongelmiin liittyviä menetelmiä erityisesti RICHmenetelmä tarkemmin ja formalisoidaan ne. Kolmannessa kappaleessa käydään läpi simulointimenetelmät. Neljännessä kappaleessa käsitellään simulointitulokset. 2 Aikaisempi tutkimus Monen attribuutin päätöksenteko-ongelman määrittelee attribuuttijoukko A = {a 1, a 2,..., a n } ja vaihtoehtojoukko X = {x 1, x 2,..., x m } [4]. Jokaisella vaihtoehdolla x j on pisteytys v i (x j ) kunkin attribuutin a i mielessä. Pisteytyksille luodaan rajat määrittelällä paras kuviteltavissa oleva vaihtoehto x sekä huonoin kuviteltavissa oleva vaihtoehto x 0. Vaihtoehto x saa parhaan mahdollisen pisteytyksen kunkin attribuutin mielessä ja vaihto ehto x 0 saa huonoimman mahdollisimman pisteytyksen kunkin attribuutin mielessä. Tällöin pätee, että v i (x ) v i (x j ) v i (x 0 ), kaikilla i = 1, 2,..., n ja x j X. (1) On tavanomaista normeerata v i (x ) = 1 ja v i (x 0 ) = 0 kaikilla i = 1, 2,..., n. Huomautettakoon, että on mahdollista, että v i (x ) > v i (x j ) > v i (x 0 ) kaikilla x j X. Määrittelemme kullekin attribuutille a i painon w i > 0. Niiden avulla voimme määritellä kaikille vaihtoehdoille additiivisen arvofunktion V (x j ) = n w i v i (x j ), (2) i=1 joka kuvaa vaihtoehdon hyvyyttä. Paino w i kuvaa kuinka paljon vaihtoehdon x j arvo kasvaa, kun sen pisteytys attribuutin a i mielessä v i (x) kasvaa huonoimmasta tuloksesta v i (x) = v i (x 0 ) parhaaseen tulokseen v i (x) = v i (x ). Tavanomaisesti painot normeerataan siten, että i w i = 1. 3

Painot muodostavat painojoukon S w, joka määritellään seuraavasti: { } n S w = w = (w 1, w 2,..., w n ) R n w i b i = 1, 2,..., n, w i = 1. (3) Painojoukossa on rajoitettu painoja siten, että kullakin painolla on minimiarvo b > 0. Tämä johtuu siitä, että ei ole mielekästä asettaa painoa nollaksi; muutenhan koko attribuuttia ei olisi tarvinnut ottaa tarkasteluun edes mukaan. i=1 Mikäli vaihtoehto x on käyvässä alueessa S S w kaikialla vähintään yhtä hyvä kuin vaihtoehto y sanomme, että vaihtoehto x dominoi vaihtoehtoa y S:ssä. Mikäli vaihtoehtoa ei dominoi yksikään vaihtoehto, kutsumme vaihtoehtoa ei-dominoiduksi (tehokkaaksi) S:ssä. Paras vaihtoehto löytyy eidominoitujen vaihtoehtojen joukosta, sillä jokaiselle dominoidulle vaihtoehdolle voidaan osoittaa vaihtoehto, joka on sitä parempi käyvässä alueessa. 2.1 Arvopuuanalyysi Arvopuuanalyysissä [4] attribuuteista muodostetaan puurakenne, jossa attribuutit ovat lehtinä. Puussa voi olla useita tasoja. Päätöksentekijä asettaa arvopuun kunkin solmun oksille painot, jotka kuvaavat oksan alla olevien attribuuttien tärkeyttä. Kussakin solmussa olevien painojen summa on yksi. Esimerkiksi kuvassa 1 tämä tarkoittaa sitä, että w 8 + w 9 = 1, w 4 + w 7 = 1, w 5 + w 6 = 1 ja w 1 + w 2 + w 3 = 1. Puu kuvaa päätöksentekijän tapaa hahmottaa päätöksenteko-ongelma. Puun avulla voidaan määrittää yksittäisten attribuuttien painot, kun ylempien tasojen painot tunnetaan. Attribuutin paino on niiden painojen tulo, joiden alla kyseinen attribuutti on. Esimerkki puussa siis attribuutin a 2 lopullinen paino on w 2 w 7 w 8. 4

w8 w9 a8 a9 w7 w4 w5 w6 a7 a4 a5 a6 w1 w2 w3 a1 a2 a3 Kuva 1: Arvopuu 2.2 SMART-menetelmä SMART (Simple Multiattribute Rating Technique) -menetelmässä [2] päätöksentekijä identioi vähiten merkityksellisen attribuutin ja antaa sille 10 pistettä. Tämän jälkeen hän pisteyttää muut attribuutit siten, että pisteitten väliset osamäärät kuvaavat attribuuttien suhteellista tärkeyttä vähiten tärkeään attribuuttiin nähden. Esimerkiksi jos attribuutti a i on neljä kertaa niin tärkeä kuin vähiten tärkeä attribuutti, sille annetaan 40 pistettä. Lopuksi pisteytykset normeerataan siten, että pisteytyksien summaksi tulee 1 ja niitä käytetään attribuuttien painoina. 2.3 AHP-menetelmä AHP (Analytic Hierarchy Process) -menetelmä [9] perustuu attribuuttien kahdenkeskeiseen vertailuun. Päätöksentekijä käy läpi kaikki mahdolliset attribuuttiparit ja arvioi suhteen r ij = w i w j. (4) 5

Lisäksi r ji = 1 r ij ja r ii = 1. Arvot sijoitetaan n n matriisiin R = [r ij ]. Matriisista ratkaistaan painot minimoimalla epäjohdonmukaisuutta ratkaisemalla suurin ominaisarvo λ max ja valitsemalla sitä vastaava ominaisvektori w painovektoriksi: Rw = λ max w. (5) AHP-menetelmään on luotu asteikoita, joilla sanalliset arviot muunnetaan suhteiksi (4). Saaty [9] alunperin esitti tasavälistä asteikkoa {1, 2,..., 9}. Lisäksi muita asteikkoja on esitetty, esimerkiksi tasapainotettua asteikkoa [12] ja geometristä asteikkoa [7]. 2.4 PAIRS-menetelmä PAIRS (Preference Assessment by Imprecise Ratio Statements) menetelmässä päätöksentekijä ei anna tarkkoja suhteita painoille vaan antaa ne intervalleina. Hän saattaa esimerkiksi sanoa, että w 1 on 3-4 kertaa niin tärkeä kuin w 2. Tämä tarkoittaa, että 3w 2 w 1 4w 2. Tällaiset lausunnot rajaavat painojen käypää aluetta pienemmäksi. Painojen käypä alue on konveksi joukko, joka on lineaarisesti rajoitettu. Koska arvofunktio (2) on myös lineaarinen, voimme laskea vaihtoehtojen pareittaiset dominanssit vertailemalla arvofunktioiden arvoja ekstreemipisteissä. Mikäli päätöksentekijän antamat lausunnot nimeävät yhden eidominoidun vaihtoehdon, on se suositeltava vaihtoehto. Muussa tapauksessa päätöksentekijä voi muokata antamaansa informaatiota. 2.5 RICH-menetelmä RICH (Rank Inclusion in Criteria Hierarchies) -menetelmässä pyritään rajoittamaan painojen käypää aluetta lineaarisilla ehdoilla, jolloin voimme laskea kuten PAIRS menetelmässä vaihtoehtojen välisiä pareittaisia dominansseja. Lineaariset ehdot ovat suotavia, koska tällöin ratkaistavana optimointitehtävänä on lineaarinen tehtävä; onhan kohdefunktion (2) ja käypä 6

alue (3) lineaarisia. Merkitään kaikkien mahdollisten tärkeysjärjestysten joukkoa R. Se sisältää n! alkiota, jotka ovat joukon {1, 2,..., n} permutaatiot. Kukin R:n alkio kuvaa yhtä tapaa asettaa attribuutit tärkeysjärjestykseen. Tärkeysjärjestyksessä vektori (r 1, r 2,..., r n ) kuvaa r i attribuutin a i tärkeyttä: r i < r j w i w j. (6) Päätöksentekijä antaa preferenssi-informaatiota eli määrittelee menetelmässä attribuuttien osajoukon I A, joka sisältää tärkeysjärjestykset J {1, 2,..., n}. Esimerkiksi kun päätöksentekijä arvio, että attribuutit a 1 ja a 2 ovat kaksi tärkeintä attribuuttia, tarkoitaa se, että I = {a 1, a 2 } ja J = {1, 2}. On myös mahdollista että I J. Esimerkiksi jos päätöksentekijä arvio, että paras vaihtoehto on mainittujen attribuuttien joukossa eli I = {a 1, a 2 } ja J = {1}, on I > J. Toisaalta päätöksentekijä voi myös arvioida, että kumpikin mainittu vaihtoehto on kolmen tärkeimmän attribuutin joukossa eli I = {a 1, a 2 } ja J = {1, 2, 3}, jolloin J > I. Päätöksentekijä voi antaa myös useita attribuuttijoukko-tärkeysjärjestys-pareja. Esimerkiksi hän voi määrittää, että attribuutti a 1 on tärkein ja attribuutti a 2 on toiseksi tai kolmanneksi tärkein eli I 1 = {a 1 }, J 1 = {1}, I 2 = {a 2 } ja J 2 = {2, 3}. Erilaiset tärkeysjärjestykset määrittelevät mahdollisten tärkeysjärjestysten osajoukon R f R. Yhtälön (6) perusteella kutakin R f :n alkiota vastaa joukko rajoitusehtoja, jotka määrittelevät käyvän alueen. Yhdistämällä kaikki R f :n alkioitten määrittelemät käyvät alueet saamme antamamme tärkeysjärjestysmääritelmän osittaman käyvän alueen S(R f ) S w. Tämä yleisesti epäkonveksi alue voidaan jakaa konvekseihin osiin. Koska mainitut konveksit alueet ovat lineaarisesti rajoitettuja (3), (6) ja kohdefunktio (2) on lineaarinen, on tehtävä lineaarinen ja tehtävän ratkaisut löytyvät käyvän alueen ekstreemipisteistä. Mikäli vaihtoehtojen joukosta löytyy yksi ei-dominoitu vaihtoehto, suo- 7

sitellaan sitä. Usein kuitenkin käy niin, että ei-dominoituja vaihtoehtoja on useita. Siksi tarvitsemme heuristiikan suositeltavan vaihtoehdon valitsemiseen. Tässä työssä käytämme keskimääräisen arvon vaihtoehto (eng. Central Values) tapaa: Valitsemme vaihtoehdon x ka j, jonka arvofunktion maksimin ja minimin summa on suurin 1 : x ka j = arg max x k X ( ) max V (x k ) + min V (x k ). (7) w S(R f ) w S(R f ) Attribuuttien osajoukko I ja sitä vastaava tärkeysjärjestysjoukko J määrittelevät siis käyvän alueen joukosta S w. Merkitsemme tätä käypää aluetta S(I, J). Tällä käyvällä alueella on seuraavat tämän työn kannalta tärkeät ominaisuudet [14]: Päätöksentekijän määrittäessä attribuuttijoukon, jossa on p tärkeintä attribuuttia (J = {1, 2,..., p}), on S(I, J) konveksi jos ja vain jos I = p. Kahden p:n suuruisen attribuuttijoukon, jotka on määritelty p:ksi parhaimmaksi attribuutiksi määrittelemillä käyvillä alueilla on yhteisiä pisteitä vain reunoilla. Toisin sanoen, mikäli J = {1, 2,..., p}, I 1 = I 2 = p ja I 1 I 2 pätee että int(s(i 1, J)) int(s(i 2, J)) =. Painojoukon rajaamista ja käyttäytymistä selkeyttävät kuvien 2 ja 3 esimerkit. Kuvassa 2 on näkyvissä kolmen attribuutin päätöksenteko-ongelman painojen käypä alue, jonka rajaavat pisteet A = (1 2b, b, b), B = (b, 1 2b, b) ja C = (b, b, 1 2b). Rajoitusehdot w 1 w 2 ja w 1 w 3 rajaavat alueesta konveksin osan ja liittyvät päätöksenteko-ongelmaan, jossa päätöksentekijä on määrittänyt, että attribuutti a 1 on tärkein (I = {a 1 }, J = {1}). Käypäalue on varjostettu. Lineaarisen funktion ääriarvot löytyvät ekstreemipisteistä, joita ovat A, D, E ja F. Kuvassa 3 on näkyvissä vastaava tilanne, 1 Keskimääräisen arvon vaihtoehto menetelmä suosittelee aina ei-dominoitua vaihtoehtoa ja on siinä mielessä tehokas. 8

jossa rajoitusehdot ovat (w 1 w 2, w 1 w 3 ) (w 3 w 1, w 3 w 2 ). Ne rajaavat alueesta epäkonveksin osan. Rajoitusehdot vastaavat tilannetta, jossa päätöksentekijä on määrittänyt, että joko attribuutti a 1 tai a 3 on tärkein (I = {a 1, a 3 }, J = {1}). Käypäalue on varjostettu. Alueen {A, C, G, F, D} voi rajata kahdeksi erilliseksi konveksiksi alueeksi {A, E, F, D} ja {C, E, F, G}. Nämä konveksit tehtävät vastaavat määrityksiä I = {a 1 }, J = {1} ja I = {a 3 }, J = {1}. w1 w1=w3 E A F D w1=w2 B w2 C w3 Kuva 2: Kolmen attribuutin päätöksenteko-ongelman painojen käypä alue, jossa käypä alue on konveksi. 3 Simulointimenetelmät 3.1 Koesuunnitelma RICH-menetelmää tutkittiin simuloimalla riittävän suurella toistojen määrällä päätösehdotuksen odotettua arvohäviötä. Tietokonetta komennettiin MATLAB kielellä. Simuloinnissa varioitiin käytettävää tärkeysjärjestysinformaatiota, attribuuttien määrää ja vaihtoehtojen määrää. Simulaatiolla pyrittiin tutkimaan erilaisten tärkeysjärjestysinformaatioiden keskinäistä hyvyyt- 9

w1 w1=w3 A E G C F w2=w3 w1=w2 D B w2 w3 Kuva 3: Kolmen attribuutin päätöksenteko-ongelman painojen käypä alue, jossa käypä alue on ei-konveksi. tä. Työssä tutkittiin kolmea eri attribuuttimäärää: n = 3, 4, 5, neljää eri vaihtoehtojen määrää m = 3, 4, 5, 10. Kullekin eri attribuuttimäärä-vaihtoehtomäärä parille generoitiin satunnaisesti 100 päätöksenteko-ongelmaa. Lisäksi testattiin ohjelman toimintaa ajamalla kaksi simulaatiota kahdeksalla attribuutilla ja m = 3, 4, 5, 8 vaihtoehdolla. Taulukossa 1 on nähtävissä päätöksenteko-ongelmien määrät eri tapauksissa. Kullekin tehtävälle ratkaistiin päätössuositukset seuraavilla preferenssiinformaatioilla: 1. Attributtien tärkeysjärjestys on tunnettu (RICHP). 2. Tärkein attribuutti on tunnettu (RICH1). 3. Kaksi tärkeintä attribuuttia on tunnettu (RICH2). 4. Kolme tärkeintä attribuuttia on tunnettu (RICH3). 10

Taulukko 1: Vaihtoehtoskenaarioiden määrät sekä tehtyjen simulointien määrät. Ensimmäinen luku on generoitujen vaihtoehtomatriisien määrä ja jälkimmäinen luku on generoitujen painovektorien määrä. Simulointien määrä on näiden lukujen tulo. Attribuuttien määrä Vaihtoehtojen määrä 3 4 5 8 3 100 100 100 100 100 100 2 8 4 100 100 100 100 100 100 2 8 5 100 100 100 100 100 100 2 8 8 - - - 2 8 10 10 10 10 10 10 10-5. Kolme attribuuttia, joiden joukossa on kaksi tärkeintä attribuuttia on tunnettu (RICH2/3). Kahta viimeistä koejärjestelyä (RICH3 ja RICH2/3) ei ole mielekästä toteuttaa kolmen attribuutin tehtäville. Näille päätössuositukset ratkaistiin vain RICHP-, RICH1- ja RICH2-preferenssi-informaatioilla. 3.2 Simuloinnin kulku Simuloinnin kulku oli seuraava. 1. Generoitiin N päätösongelmaa, jossa on n attribuuttia ja m vaihtoehtoa. Päätösongelman generointi koostui painojen generoinnista ja vaihtoehtojen generoinnista. Erilliseksi päätösongelmaksi laskettiin jokainen mahdollinen painovektori-vaihtoehtomatriisi pari. Toisin sanoen, generoitaessa N w painovektoria ja N A vaihtoehtomatriisia N = N w N A. 2. Kullekin päätösongelmalle: (a) Simuloidaan päätöksentekijää valitsemalla painovektorista RICHP, RICH1, RICH2, RICH3 tai RICH2/3 tärkeysjärjestysinformaatio. (b) Kullekin preferenssi-informaatiolle i. Lasketaan RICH-menetelmän antama päätössuositus laskemalla keskimääräisen arvon vaihtoehto. 11

ii. Lasketaan toteutunut arvohäviö (katso kappale 3.5). 3. Lasketaan odotettu arvohäviö eli toteutuneiden arvohäviöiden keskiarvo. Painot generoitiin tasajakautuneesti siten, että i w i = 1, ja w i b = 1 3n. Attribuuttien pisteytykset generoitiin tasajakautuneesti ja normeerattiin siten, että kussakin päätöksenteko-ongelmassa jokaiselle attribuutille on olemassa vaihtoehto, joka saa pisteytyksen 1, sekä vaihtoehto joka saa pisteytyksen 0. 3.3 Tärkeysjärjestysinformaation määritteleminen Tavoitteena oli simuloida päätöksentekijää, joka ei tunne painovektoria, mutta hänellä on tietoa attribuuttien tärkeysjärjestyksistä. Päätöksentekijää kuvattiin tietokoneelle tärkeysjärjestysvektorilla r tai joukolla jotka määrittelevät tärkeimmät attribuutit I. Koesuunnitelmassa esiintyy kolmenlaisia informaatioita: päätöksentekijä tuntee kaikkien attribuuttien tärkeysjärjestyksen, päätöksentekijä tuntee p tärkeitä attribuuttia tai päätöksentekijä tuntee joukon I ( I = 3), jossa on 2 tärkeintä attribuuttia. Kun päätöksentekijä tuntee attribuuttien tärkeysjärjestyksen, kuvataan päätöksentekijää vektorilla r R, jossa kukin alkio on kokonaisluku ja viittaa sitä vastaavan painovektorin alkion tärkeyteen (ks. (6)). Kun päätöksentekijä tietää, että q:n attribuutin joukossa on p tärkeintä attribuuttia, tietokoneelle määriteltiin erikseen tärkeimpien attribuuttien määrä. Tällöin joukkoa I generoitaessa päätöksentekijän informaatiota kuvattiin siten, että valitsemme tärkeimpien attribuuttien joukkoon p tärkeitä attribuuttia ja satunnaisesti p q attribuuttia muitten attribuuttien joukosta. Koesuunnitelmassa olevassa RICH2/3- tehtävässä siis valittiin tärkeimpien attribuuttien joukkoon kaksi tärkeintä attribuuttia ja yksi sattumanvarainen attribuutti. 12

3.4 Päätössuosituksen ratkaiseminen Päätössuosituksen ratkaisemiseen luotiin kaksi tietokonerutiinia. Ensimmäinen rutiini ratkaisee tehtävän, jossa päätöksentekijä tuntee attribuuttien tärkeysjärjestyksen. Rutiinille annetaan argumenttina tärkeysjärjestysvektori r R (ks. 6) ja matriisi v, joka sisältää vaihtoehdot siten, että v ij = v i (x j ). Rutiini etsii vektoria r vastaavan painojoukon käyvän alueen ekstreemipisteet W = (w 1, w 2,..., w n ). Ekstreemipisteet w p, p = 1, 2,..., n, lasketaan 1 n p 3n p siten, että painovektorin elementti w p i = p:n tärkeimmän attributin joukoon. Muuten w p i = b = 1 3n n = 3 ja r = (2, 1, 3) on mikäli attribuutti a i kuuluu. Esimerkiksi kun b = 1 9, ( 1 w 1 = 9, 7 9, 1 ), 9 ( 4 w 2 = 9, 4 9, 1 ), 9 ( 1 w 3 = 3, 1 3, 1 ). 3 Rutiini laskee kullekin vaihtoehdolle keskimääräinen arvon V cv (x j ) = max w W n i=1 w i v ij + min w W n w i v ij (8) ja palauttaa sen vaihtoehdon, joka saa suurimman keskimääräisen arvon. Tämä vaihtoehto on siis keskimääräisen arvon vaihtoehto (7) ja rutiinin tuottama päätössuositus. i=1 Toiselle rutiinille määritellään I: Tärkeimpien attribuuttien indeksijoukko. p: Tärkeimpien attribuuttien määrä indeksijoukossa I. v: Päätöksentekotilannetta kuvaavat vaihtoehdot. 13

Rutiini päättelee kaikki mahdolliset tärkeysjärjestykset R f R (ks. 6) jotka ovat yhteensopivia annetun preferenssi-informaation kanssa. Nämä tärkeysjärjestykset määrittelevät kukin konveksin osan painojoukosta. Yllä olevalla tavalla kullekin konveksille alueelle ratkaistaan ekstreemipisteet W 1, W 2,..., W K, jossa K = R f Kun ekstreemipisteet tunnetaan, rutiini laskee päätössuosituksen kuten edellinen rutiini. 3.5 Arvohäviö RICH-menetelmän tehokkuutta voidaan mitata joillakin tilastollisilla suureilla. Eräs tällainen suure on päätösmenetelmän aiheuttama odotettu arvohäviö. Koska teemme simulaatio tutkimusta, tunnemme parhaan valittavissa olevan vaihtoehdon x + X. Voimme verrata vaihtoehdon x arvofunktion arvoa V (x) vaihtoehdon x + X arvofunktion arvoon V (x + ). Määrittelemme arvohäviön seuraavasti: AH(x) = n w i (v i (x + ) v i (x)) (9) i=1 Laskemalla tämän suureen joukolle tapauksia, saamme lasketuksi arvohäviön odotusarvon estimaatin havaittujen arvohäviöiden keskiarvona. 4 Tulokset Taulukossa 1 on käytettyjen simulointitoistojen määrät ja liitteessä A esitetyissä taulukoissa 2-17 on simuloinnin tulokset. Taulukoissa on esitetty keskimääräisen arvon vaihtoehdon (7) tuottama arvohäviön odotusarvo sekä huonoimman ei-dominoidun vaihtoehdon arvohäviön odotusarvo. Simulointi on painottunut pienten ongelmien arvohäviöön. Suuria ongelmia on simuloitu vain pieniä määriä. Tulokset suurista ongelmista ovat par- 14

haimmillaankin vain suuntaa antavia. Huonoimman ei-dominoidun vaihtoehdon valitseminen voidaan tulkita tilastolliseksi worst-case skenaarioksi. Mikäli päätöksentekijä vahingossa valitsisi ei-dominoitujen vaihtoehtojen joukon huonoimman vaihtoehdon, arvohäviö kasvaisi keskimäärin noin kaksinkertaiseksi. Täydellisen tärkeysjärjestyksen tunteminen tuottaa pientä arvohäviötä. Arvohäviö on pienissä tehtävissä (3-5 vaihtoehtoa ja 3-5 attribuuttia) suurimmillaan 0.018. Lisäksi vaihtoehtojen määrän kasvattaminen ei vaikuttanut kasvattavan arvohäviötä. Tehtävissä, joissa oli 3-5 attribuuttia ja 10 vaihtoehtoa arvohäviö oli suurimmillaan 0.017. Tämä on tosin epävarma tulos, sillä otoskoko on liian pieni tilastollisesti merkittävien johtopäätösten tekemiseen. Vaikuttaa kuitenkin siltä, että vaihtoehtojen määrän kasvattaminen ei merkittävästi lisää arvohäviötä. Lisäksi työssä tehtiin muutama koe kahdeksalla attribuutilla. Tällöin arvohäviö kasvoi arvoon 0.05. Kun päätöksentekijä tietää tärkeimmän attribuutin, arvohäviö on hieman suurempi kuin päätöksentekijän tuntiessa täydellisen tärkeysjärjestyksen. Arvohäviö on pienissä tehtävissä suurimmillaan 0.03. Preferenssi-informaatioiden paremmuusjärjestys on seuraava: RICHP, RICH1, RICH2, RICH3, RICH2/3. Tosin RICH3- ja RICH2/3-tehtävissä arvohäviöissä suurin ero oli 5 attribuutin tehtävässä vain 0.005. Huomautettakoon vielä, että RICH2-tehtävä kolmen attribuutin tehtävässä tarkoittaa merkityksettömimmän attribuutin tuntemista. Tällöin arvohäviö ei kuitenkaan ole sen suurempi kuin 0.05. Vastaavasti neljän attribuutin tehtävässä RICH3:n arvohäviö on suurimmillaan 0.08. Yksittäisen kahdeksan attribuutin tehtävien suorittamisessa kului useita kymmeniä minuutteja ja pahimmillaan noin tunti, kun tehtävä oli epäkonveksi ja vaihtoehtoja oli kahdeksan. On syytä epäillä, että valitsemalla 15

tehokkaampi ohjelmointikieli suoritusajat olisivat huomattavasti paremmat. Punkka ja Salo ovat kehittäneet tehokkaaman algoritmin päätössuositusten tuottamiseen RICHER-menetelmällä [8]. 5 Keskustelua Tässä työssä tutkittiin RICH-menetelmässä esiintyvää arvohäviötä pienissä tehtävissä. Tulokset olivat kannustavia. Simulointien mukaan RICH-menetelmää voi käyttää, kunhan ottaa huomioon, että se ei välttämättä valitse parasta vaihtoehtoa. Tosin tämä sama ongelma on myös muilla päätöksenteko-ongelmia helpottavilla menetelmillä. RICH-menetelmän etuna on sen helppous. Pienissä RICH-tehtävissä pelkästään tärkeimmän attribuutin tunteminen tuottaa jo hyvän suosituksen. Voidaan kuitenkin spekuloida, että mikäli parhaan attribuutin tunteminen tuottaa parhaan vaihtoehdon valinnan, päätöksentekijä kykenisi valitsemaan sen ilman minkäänlaisen menetelmän käyttöä intuitiivisesti. Suosittelen, että jatkossa tutkitaan tehtäviä, joissa vaihtoehtojen arvofunktioiden arvot on pakotettu lähelle toisiaan. RICH-menetelmän hyvyyttä päätöksentekoon mitattiin arvohäviöllä. Arvohäviö on intuitiivinen mitta menetelmän hyvyydelle, mikäli päätöksentekijä pystyy antamaan tulkinnan arvofunktion arvoille. Esimerkiksi tilanteessa, jossa päätöksentekijä kykenee muuntamaan arvofunktion arvon rahalliseksi hyödyksi, arvohäviö antaa helposti hahmotettavan mittarin RICHmenetelmän käyttöön liittyvästä riskistä ja sen suuruudesta päätöksentekotilanteessa. Tämä työ ei vastaa kattavasti arvohäviön suuruuteen suurissa tehtävissä. Tätä on syytä tutkia jatkossa. 16

Viitteet [1] Clemen R. T., Making Hard Decisions: An Introduction to Decision Analysis. Duxbury Press, 2nd Edition (August 15, 1997). [2] Edwards, W. (1977). How to Use Multiattribute Utility Measurement for Social Decision Making. IEEE Transactions on Systems, Man and Cybernetics, vol. 7, pp. 326-340. [3] Hazen, G. B. (1986). Partial Information, Dominance, and Potential Optimality in Multiattribute Utility Theory. Operations Research vol. 34, pp. 296-310. [4] Keeney, R. L., ja Raia, H. (1976). Decisions with Multiple Objectives: Preferences and Value Trade-os. John Wiley, New York. [5] Kim, S. H., ja Han, C. H. (2000). Establishing Dominance Between Alternatives with Incomplete Information in a Hierarchically Structured Attribute Tree. European Journal of Operational Research vol. 122, pp. 79-90. [6] Kirkwood, C. W., ja Sarin, R. K. (1985). Ranking with Partial Information: A Method and an Application. Operations Research vol. 33, pp. 38-48. [7] Légrády, K., Lootsma F. A., Meisner J., ja Schellemans, F. (1984). Multicriteria Decision Analysis to Aid Budget Allocation. Katso Grauer, M., ja Wierzbicki, A. P (toim.) Interactive Decision Analysis, Springer- Verlag, Berlin. [8] Punkka, A., ja Salo, A. (2005). Preference Programming with Incomplete Ordinal Information. Lähetetty julkaistavaksi. [9] Saaty, T. L. (1980). The Analytic Hierarchy Process, McGraw-Hill, New York. [10] Salo, A. (1995). Interactive Decision Aiding for Group Decision Support. European Journal of Operational Research vol. 84, pp. 134-149. 17

[11] Salo, A., ja Hämäläinen, R. P. (1992). Preference Assessment by Imprecise Ratio Statements. Operations Research vol. 40, pp. 1053-1061. [12] Salo, A., ja Hämäläinen R. P. (1997). On the Measurement of Preferences in the Analytic Hierarchical Process. Journal of Multi-Criteria Decision Analysis, vol. 6, pp. 309-319. [13] Salo, A., ja Hämäläinen, R. P. (2001). Preference Rations in Multivariate Evaluation (PRIME) - Elicitation and Decision Procedures under Incomplete Information. IEEE Transactions on Systems, Man, and Cybernetics vol. 31, pp. 533-545. [14] Salo, A., ja Punkka, A. (2005) Rank Inclusion in Criteria Hierarchies, European Journal of Operational Research, vol. 163, pp. 338-356. [15] Weber, M., (1987). Decision Making with Incomplete Information. European Journal of Operational Research vol. 28, pp. 44-57. 18

A Simuloinnin tulokset Taulukko 2:, kun n = 3 ja m = 3. Täydellinen RICH-informaatio 0.0111 RICH1 (keskimääräisen arvon vaihtoehto) 0.0142 RICH1 (huonoin vaihtoehto) 0.0183 RICH2 (keskimääräisen arvon vaihtoehto) 0.0484 RICH2 (huonoin vaihtoehto) 0.0914 Taulukko 3:, kun n = 3 ja m = 4. Täydellinen RICH-informaatio 0.0112 RICH1 (keskimääräisen arvon vaihtoehto) 0.0145 RICH1 (huonoin vaihtoehto) 0.0187 RICH2 (keskimääräisen arvon vaihtoehto) 0.0453 RICH2 (huonoin vaihtoehto) 0.0844 Taulukko 4:, kun n = 3 ja m = 5. Täydellinen RICH-informaatio 0.0134 RICH1 (keskimääräisen arvon vaihtoehto) 0.0185 RICH1 (huonoin vaihtoehto) 0.0251 RICH2 (keskimääräisen arvon vaihtoehto) 0.0457 RICH2 (huonoin vaihtoehto) 0.0846 Taulukko 5:, kun n = 3 ja m = 10. Täydellinen RICH-informaatio 0.0107 RICH1 (keskimääräisen arvon vaihtoehto) 0.0154 RICH1 (huonoin vaihtoehto) 0.0211 RICH2 (keskimääräisen arvon vaihtoehto) 0.0287 RICH2 (huonoin vaihtoehto) 0.0517 19

Taulukko 6:, kun n = 4 ja m = 3. Täydellinen RICH-informaatio (keskimääräisen arvon vaihtoehto) 0.0156 Täydellinen RICH-informaatio (huonoin vaihtoehto) 0.0159 RICH1 (keskimääräisen arvon vaihtoehto) 0.0230 RICH1 (huonoin vaihtoehto) 0.0328 RICH2 (keskimääräisen arvon vaihtoehto) 0.0390 RICH2 (huonoin vaihtoehto) 0.0764 RICH3 (keskimääräisen arvon vaihtoehto) 0.0801 RICH3 (huonoin vaihtoehto) 0.1605 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0736 RICH2/3 (huonoin vaihtoehto) 0.1301 Taulukko 7:, kun n = 4 ja m = 4. Täydellinen RICH-informaatio 0.0135 RICH1 (keskimääräisen arvon vaihtoehto) 0.0234 RICH1 (huonoin vaihtoehto) 0.0369 RICH2 (keskimääräisen arvon vaihtoehto) 0.0319 RICH2 (huonoin vaihtoehto) 0.0607 RICH3 (keskimääräisen arvon vaihtoehto) 0.0598 RICH3 (huonoin vaihtoehto) 0.1198 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0611 RICH2/3 (huonoin vaihtoehto) 0.1019 Taulukko 8:, kun n = 4 ja m = 5. Täydellinen RICH-informaatio (keskimääräisen arvon vaihtoehto) 0.0149 Täydellinen RICH-informaatio (huonoin vaihtoehto) 0.0150 RICH1 (keskimääräisen arvon vaihtoehto) 0.0247 RICH1 (huonoin vaihtoehto) 0.0370 RICH2 (keskimääräisen arvon vaihtoehto) 0.0343 RICH2 (huonoin vaihtoehto) 0.0645 RICH3 (keskimääräisen arvon vaihtoehto) 0.0613 RICH3 (huonoin vaihtoehto) 0.1210 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0668 RICH2/3 (huonoin vaihtoehto) 0.1089 20

Taulukko 9:, kun n = 4 ja m = 10. Täydellinen RICH-informaatio (keskimääräisen arvon vaihtoehto) 0.0165 Täydellinen RICH-informaatio (huonoin vaihtoehto) 0.0166 RICH1 (keskimääräisen arvon vaihtoehto) 0.0329 RICH1 (huonoin vaihtoehto) 0.0338 RICH2 (keskimääräisen arvon vaihtoehto) 0.0335 RICH2 (huonoin vaihtoehto) 0.0605 RICH3 (keskimääräisen arvon vaihtoehto) 0.0580 RICH3 (huonoin vaihtoehto) 0.1125 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0582 RICH2/3 (huonoin vaihtoehto) 0.0931 Taulukko 10:, kun n = 5 ja m = 3. Täydellinen RICH-informaatio (keskimääräisen arvon vaihtoehto) 0.0.175 Täydellinen RICH-informaatio (huonoin vaihtoehto) 0.0176 RICH1 (keskimääräisen arvon vaihtoehto) 0.0280 RICH1 (huonoin vaihtoehto) 0.0429 RICH2 (keskimääräisen arvon vaihtoehto) 0.0388 RICH2 (huonoin vaihtoehto) 0.0759 RICH3 (keskimääräisen arvon vaihtoehto) 0.0637 RICH3 (huonoin vaihtoehto) 0.1283 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0645 RICH2/3 (huonoin vaihtoehto) 0.1154 Taulukko 11:, kun n = 5 ja m = 4. Täydellinen RICH-informaatio 0.0177 RICH1 (keskimääräisen arvon vaihtoehto) 0.0297 RICH1 (huonoin vaihtoehto) 0.0469 RICH2 (keskimääräisen arvon vaihtoehto) 0.0386 RICH2 (huonoin vaihtoehto) 0.0752 RICH3 (keskimääräisen arvon vaihtoehto) 0.0591 RICH3 (huonoin vaihtoehto) 0.1194 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0645 RICH2/3 (huonoin vaihtoehto) 0.1115 21

Taulukko 12:, kun n = 5 ja m = 5. Täydellinen RICH-informaatio (keskimääräisen arvon vaihtoehto) 0.0163 Täydellinen RICH-informaatio (huonoin vaihtoehto) 0.0164 RICH1 (keskimääräisen arvon vaihtoehto) 0.0316 RICH1 (huonoin vaihtoehto) 0.0511 RICH2 (keskimääräisen arvon vaihtoehto) 0.0369 RICH2 (huonoin vaihtoehto) 0.0705 RICH3 (keskimääräisen arvon vaihtoehto) 0.0555 RICH3 (huonoin vaihtoehto) 0.1096 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0605 RICH2/3 (huonoin vaihtoehto) 0.1031 Taulukko 13:, kun n = 5 ja m = 10. Täydellinen RICH-informaatio (keskimääräisen arvon vaihtoehto) 0.0153 Täydellinen RICH-informaatio (huonoin vaihtoehto) 0.0154 RICH1 (keskimääräisen arvon vaihtoehto) 0.0329 RICH1 (huonoin vaihtoehto) 0.0570 RICH2 (keskimääräisen arvon vaihtoehto) 0.0332 RICH2 (huonoin vaihtoehto) 0.0621 RICH3 (keskimääräisen arvon vaihtoehto) 0.0464 RICH3 (huonoin vaihtoehto) 0.0910 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0627 RICH2/3 (huonoin vaihtoehto) 0.1039 Taulukko 14:, kun n = 8 ja m = 3. Täydellinen RICH-informaatio 0.0034 RICH1 (keskimääräisen arvon vaihtoehto) 0.0159 RICH1 (huonoin vaihtoehto) 0.0317 RICH2 (keskimääräisen arvon vaihtoehto) 0.0184 RICH2 (huonoin vaihtoehto) 0.0352 RICH3 (keskimääräisen arvon vaihtoehto) 0.0207 RICH3 (huonoin vaihtoehto) 0.0416 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0167 RICH2/3 (huonoin vaihtoehto) 0.0348 22

Taulukko 15:, kun n = 8 ja m = 4. Täydellinen RICH-informaatio 0.0128 RICH1 (keskimääräisen arvon vaihtoehto) 0.0419 RICH1 (huonoin vaihtoehto) 0.0773 RICH2 (keskimääräisen arvon vaihtoehto) 0.0295 RICH2 (huonoin vaihtoehto) 0.0592 RICH3 (keskimääräisen arvon vaihtoehto) 0.0359 RICH3 (huonoin vaihtoehto) 0.0759 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0371 RICH2/3 (huonoin vaihtoehto) 0.0741 Taulukko 16:, kun n = 8 ja m = 5. Täydellinen RICH-informaatio 0.0249 RICH1 (keskimääräisen arvon vaihtoehto) 0.0522 RICH1 (huonoin vaihtoehto) 0.0835 RICH2 (keskimääräisen arvon vaihtoehto) 0.0421 RICH2 (huonoin vaihtoehto) 0.0835 RICH3 (keskimääräisen arvon vaihtoehto) 0.0403 RICH3 (huonoin vaihtoehto) 0.0812 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0662 RICH2/3 (huonoin vaihtoehto) 0.1241 Taulukko 17:, kun n = 8 ja m = 8. Täydellinen RICH-informaatio 0.0467 RICH1 (keskimääräisen arvon vaihtoehto) 0.0559 RICH1 (huonoin vaihtoehto) 0.0885 RICH2 (keskimääräisen arvon vaihtoehto) 0.0551 RICH2 (huonoin vaihtoehto) 0.0989 RICH3 (keskimääräisen arvon vaihtoehto) 0.0552 RICH3 (huonoin vaihtoehto) 0.1124 RICH2/3 (keskimääräisen arvon vaihtoehto) 0.0760 RICH2/3 (huonoin vaihtoehto) 0.1352 23