RPM-menetelmän päätössääntöjen tilastollinen vertailu

Transkriptio

1 Mat Sovelletun matematiikan erikoistyöt RPM-menetelmän päätössääntöjen tilastollinen vertailu Topi Sikanen 55670A Tfy N

2 Sisältö 1 Johdanto 2 2 Projektiportfolion valinta epätäydellisellä informaatiolla Robusti portfoliomallinnus Päätössäännöt apuna ei-dominoidun portfolion valitsemisessa Portfolion arvoon perustuvat päätössäännöt Ydinlukuihin perustuvat päätössäännöt Analyysiaineisto ja koesuunnitelma 9 4 Päätössääntöjen tilastollinen tarkastelu Päätössääntöjen tuottamien portfolioiden tilastolliset ominaisuudet Päätössääntöjen vertailu Päätössääntöjen herkkyys tehtävän parametreille Parametrien vaikutus normeerattuihin arvoihin V Parametrien vaikutus kvantiileihin K Sääntöjen väliset korrelaatiot Päätössääntöjen luokittelu Yhteenveto ja johtopäätökset 23 1

3 1 Johdanto Monikriteerisessä projektiportfolion valintatehtävässä pyritään löytämään projektivaihtoehtojen joukosta paras mahdollinen osajoukko, joka toteuttaa annetut rajoitusehdot. Projektit pisteytetään kahden tai useamman mahdollisesti keskenään ristiriitaisen arvostelukriteerin suhteen. Portfolion valintatehtäviä tulee vastaan usein teollisuuden ja julkisen hallinnon päätöksenteossa Ewing Jr et al., 2006; Golabi et al., 1981; Stummer & Heidenberger, 2003). Monimutkaisissa ja laajoissa päätöksentekotilanteissa erilaiset systemaattiset päätöksentekomenetelmät voivat lisätä päätöksenteon johdonmukaisuutta ja läpinäkyvyyttä. Monikriteerinen päätöksenteko ja projektinvalinta on ollut tutkimuksen kohteena jo varsin pitkään luvun alusta käytössä olleet perinteiset arvopuumenetelmät Value Tree Analysis, Multiattribute Value Theory) soveltuvat yksittäisten monikriteerisesti arvioitujen portfolioiden valintaan useiden vaihtoehtojen joukosta Keeney & Raia, 1976). Arvopuuanalyysissä päätöksentekijä arvioi jokaista päätösvaihtoehtoa useiden kriteerien suhteen. Nämä kriteerit on asetettu hierarkkiseen rakenteeseen, jossa alimmalla tasolla ovat vaihtoehdosta mitattavissa tai pisteytettävissä) olevat kriteerit ja ylimmällä tasolla on jonkin kokonaistavoitteen toteutumista mittaava kriteeri. Jokaiselle arviointikriteerille on määritetty kriteerikohtainen paino, joka kuvaa kriteerin tärkeyttä kokonaistavoitteen saavuttamisessa. Hierarkiassa korkeammalla tasolla oleville kriteereille saadaan arvot laskettua alemman tason pisteytyksistä kriteerikohtaisilla painoilla painotettuna summana additiivinen arvofunktio). Aina päätöksentekijä ei kuitenkaan ole halukas antamaan tarkkoja arvioita eri vaihtoehtojen pisteytyksille ja kriteerikohtaisille painoille tai tämän tiedon hankkiminen on liian kallista, vaikeaa tai muuten ongelmallista ks. esim. Weber 1987; Pöyhönen & Hämäläinen 2001). Tämän huomioimiseksi onkin esitetty useita eri menetelmiä, joita kutsutaan Preference Programming -menetelmiksi. Näissä menetelmissä päätöksentekijän epävarmuus kriteerikohtaisista pisteytyksistä ja painoista eli epätäydellinen informaatio) mallinnetaan joukkojen avulla: piste-estimaattien sijaan päätöksentekijä määrittelee käyvän alueen jossa parametri voi sijaita. Parhaan portfolion sijaan etsitään ei-dominoituja portfolioita, eli portfolioita joille ei löydy toista portfoliota joka olisi kaikilla parametrien arvoilla parempi katso esim. White et al. 1984; Weber 1987; Salo & Hämäläinen 1992, 1995, 2001; Kim et al. 1999; Kim & Han 2000; Eum et al. 2001; Puerto et al. 2000). 2

4 Robusti portfoliomallinnus Robust Portfolio Modelling, RPM; Liesiö et al. 2007) laajentaa aikaisempia Preference Programming -menetelmiä koskemaan projektiportfolion valintaa. RPM-menetelmässä portfolion kokonaisarvo lasketaan siihen kuuluvien projektien kriteerikohtaisista pisteytyksistä ja painoista additiivisena arvona. Epätäydellisen informaation mallintamiseen käytetetään joukkoja, joissa parametrien arvot sijaitsevat. RPM-menetelmä tarjoaa myös uusia päätössääntöjä, jotka pyrkivät löytämään projekteja, jotka kannattaa valita aina vaikka uutta tietoa saataisiinkin ja toisaalta löytämään projekteja, joita ei missään tilanteessa kannata valita. Mikäli ei-dominoituja portfolioita on paljon, voidaan ratkaisuehdotusten hakemiseen käyttää päätössääntöjä Salo & Hämäläinen, 2001). Päätössäännöt antavat ratkaisuehdotuksia, jotka voivat perustua esimerkiksi portfolion ominaisuuksiin, kuten suurimpaan mahdolliseen arvoon. Erilaisia päätössääntöjä on kirjallisuudessa esitetty useita ja tässä työssä niistä käsitellään muutamia Preference Programming -menetelmissä käytettyjä päätössääntöjä Salo & Hämäläinen, 2001) sekä muutamia portfolion koostumukseen perustuvia päätössääntöjä. Työn tarkoituksena on: 1. Tutkia eri päätössääntöjen tuottamien ratkaisujen eroja ja hyvyyttä. 2. Tutkia löytyykö päätössäännöistä samoin käyttäytyviä pareja. 3. Tutkia löytyykö päätössääntöjä, jotka tuottavat merkittävästi parempia ratkaisuja kuin toiset. 2 Projektiportfolion valinta epätäydellisellä informaatiolla 2.1 Robusti portfoliomallinnus RPM-menetelmän Liesiö et al., 2007) tarkoituksena on tukea portfolion valintaa kun käytössä on useita arvostelukriteereitä ja informaatio on epätäydellistä. Yleisessä monikriteerisessä portfolion valintatehtävässä on m projektikandidaattia, jotka on pisteytetty n kriteerin suhteen. Projektikandidaattien joukkoa merkitään X = {x 1,..., x m }. Portfolio p on jokin kaikkien projektien osajoukko p X. Kaikkien mahdollisten portfolioiden joukko P on X:n potenssijoukko P = P X). Projektin x j pisteet kriteerien i = 1,..., n 3

5 suhteen muodostavat pistevektorin v j = [v 1 x j ),..., v n x j )] T. Nämä pistevektorit muodostavat pistematriisin v sarakkeet: v 1 x 1 ) v 1 x 2 )... v 1 x m ) v v = 2 x 1 ) ) v n x 1 ) v n x 2 )... v n x m ) Kriteerikohtaiset painot w i kuuluvat joukkoon { } n Sw 0 = w R n w i 0, w i = 1. 2) Näiden painojen avulla kunkin projektin arvo voidaan mallintaa additiivisena arvona n i=1 w iv i x j ) ks. esim. Golabi et al. 1981; Golabi 1987). Portfolion p kokonaisarvo on sihen kuuluvien projektien kokonaisarvojen summa V p, w, v) = x j p i=1 n w i v j i xj ). 3) Projektikandidaateista voidaan muodostaa P = 2 m erilaista portfoliota. Yleensä kuitenkin vain osa näistä voidaan toteuttaa resurssien puitteissa. Resurssien määrää kuvataan budjettivektorilla B = [B 1,..., B q ] T, missä B j kertoo resurssin j määrän. Vastaavasti kaikille projekteille määritellään kustannukset kullekin q resurssityypille. Kunkin projektin kustannuksia vastaa vektori Cx j ) = [c 1 x j ),..., c q x j )] T ja portfolion kokonaiskustannus on Cp) = x j p Cxj ). Käypien portfolioiden joukko on i=1 P F = {p P Cp) B}. 4) Mikäli informaatio on täydellistä, voidaan tehtävä ratkaista kokonaislukuoptimointitehtävänä { max V p, w, v) = max zp) T vw Cp) B, zp) {0, 1} m}. 5) p P F p P F Tässä zp) = [z 1,..., z m ], missä z i = 1, jos x i p ja z i = 0 muuten. Epätäydellisen informaation tapauksessa sekä kriteerikohtaiset painot että projektikohtaiset pisteytykset mallinnetaan käypien alueiden avulla. Kriteerikohtaisille pisteytyksille määrätään vektorit v j ja v j, jotka sisältävät ala- ja ylärajat 4

6 kriteerikohtaisille pisteytyksille. Nämä vektorit muodostavat matriisien v ja v sarakkeet. Käypien arvojen joukko on siis S v = { v R m n v v v }. 6) Preference Programming -menetelmien avulla päätöksentekijän epävarmuus kriteerikohtaisista painoista voidaan ilmaista käyvän alueen S w Sw 0 avulla ks. esim. Salo & Punkka 2005). Yhdessä arvojen ja painojen käyvät alueet muodostavat informaatiojoukon S = S w S v. Kun informaatiojoukko on annettu, portfolion p arvo vaihtelee välillä [ ] V p, w, v) min V p, w), maxv p, w), 7) w S w w S w missä V p, w) = x j p n i=1 w iv i x j ) ja V p, w) = x j p n i=1 w iv i x j ). Nyt portfolion valintatehtävää ei voida enää ratkaista tavallisena optimointitehtävänä, sillä parametrien w ja v arvoja ei tunneta. Sen sijaan pyritään etsimään portfolioita, jotka ovat tehokkaita siten, että ei löydy toista portfoliota, jonka kokonaisarvo olisi kaikissa informaatiojoukon pisteissä suurempi. Tämän ominaisuuden kiteyttää dominanssi Liesiö et al., 2007). Määritelmä 1. Olkoon p, p P ja informaatiojoukko S = S w S v. Portfolio p dominoi portfoliota p informaatiojoukon S mielessä, jos V p, w, v) V p, w, v) w, v) S ja w, v) S s.e V p, w, v) > V p, w, v). Merkitään p S p. Oletetaan, että rationaalinen päätöksentekijä haluaa aina valita ei-dominoidun portfolion, sillä dominanssin määritelmän mukaan jokaiselle dominoidulle portfoliolle löytyy ei-dominoitu portfolio jonka arvo on kaikilla käyvillä parametrien arvoilla suurempi. Tällöin mielenkiinto voidaan kohdentaa eidominoitujen portfolioiden joukkoon P N S) := {p P F p P F s.e. p S p}. 8) Tätä varten on kehitetty algoritmi joka pystyy muodostamaan joukon P N, kun vaihtoehtoja ja kriteerejä on riittävän vähän Liesiö et al., 2007). RPM-menetelmä tarjoaa tukea yksittäisten projektien hyvyyden arviointiin ydinlukujen kautta Liesiö et al., 2007). 5

7 Määritelmä 2. Informaatiojoukolle S Projektin ydinluku CIx j ) = p PN x j p / PN Ydinprojektien joukko XS) = { x j X CIx j ) = 1 } Rajatapausprojektien joukko XS) = { x j X 0 < CIx j ) < 1 } Ulkoprojektien joukko XS) = { x j X CIx j ) = 0 } Projektin ydinluku kertoo kuinka suuressa osassa ei-dominoiduista portfoliosta ko. projekti esiintyy. Paino- ja pisteytysinformaation tiukentaminen ei pienennä ydin- ja ulkoprojektien joukkoja. Tästä syystä ydinprojekteja voidaan aina suositella ja toisaalta ulkoprojektit jättää pois tarkastelusta. Huomio voidaan siis kohdistaa rajatapausprojektien joukkoon. Tässä erikoistyössä tarkastellaan tilannetta, jossa epävarmuutta on ainoastaan kriteerikohtaisissa painoissa. RPM-menetelmää on kuitenkin laajennettu myös resurssien määrän epävarmuuksien ja projektien välisten vuorovaikutusten mallintamiseksi Liesiö et al., 2008). 2.2 Päätössäännöt apuna ei-dominoidun portfolion valitsemisessa Päätössääntöjä voidaan käyttää päätöksenteon tukena, kun päätöksentekijän antama informaatio ei riitä rajaamaan ei-dominoitujen portfolioiden joukkoa riittävästi katso esim. Salo & Hämäläinen 2001; Puerto et al. 2000). Tässä informaatiolla tarkoitetaan kriteeripainojen ja pisteytysten ts. informaatiojoukon) käyvän alueen rajaamista. Päätössäännöt antavat esimerkiksi projektien ominaisuuksien perusteella ehdotuksen valittavaksi portfolioksi. Päätössäännöt voivat myös auttaa päätöksentekijää minimoimaan portfolion valintaan liittyvää riskiä. Erityisesti päätöksentekijää saattavat kiinnostaa portfoliot, joiden arvo V pysyy mahdollisimman hyvänä riippumatta siitä miten kriteeri painot muuttuvat. Tätä voidaan tutkia esimerkiksi päätössäännön ehdottamien portfolioiden kokonaisarvon V jakaumaa tarkastelemalla. Hyvän päätössäännön tuottamien portfolioiden kokonaisarvon jakaumalla tulisi olla hyvin lyhyt vasen häntä ts. hyvin vähän erittäin pieniä lukuja). Mikäli päätössääntö tuottaa lisäksi paljon erittäin hyviä portfolioita, tämä on tietenkin hyvä asia. Huonojen valintojen välttäminen on saattaa kuitenkin olla päätöksentekijälle ensisijainen kriteeri. Preference Programming -menetelmiä käsittelevässä kirjallisuudessa on esitetty useita päätössääntöjä, joista tässä erikoistyössä keskitytään tutki- 6

8 maan muutamia portfolion valintatehtäviin laajennettuja sääntöjä. Nämä säännöt perustuvat portfolion arvon vaihteluvälin ks. yhtälö 7) ääriarvoihin. 2.3 Portfolion arvoon perustuvat päätössäännöt Tässä erikoistyössä tarkastellaan seuraavia portfolion kokonaisarvoon perustuvia katso esim. Salo & Hämäläinen 2001) päätössääntöjä: Maximin -päätössäännössä maksimoidaan portfolion arvon pienintä mahdollista alarajaa. Maximin päätössäännön ehdottama portfolio on siis p = arg max V p, w). 9) min p P N w S Maximax -päätössäännössä maksimoidaan portfolion arvon suurinta mahdollista ylärajaa. Maximax -päätösäänön ehdottama portfolio on siis p = arg max V p, w). 10) max p P N w S Central Values -päätössäännössä etsitään portfoliota, jonka suurimman ja pienimmän mahdollisen arvon keskiarvo on mahdollisimman suuri. Central Values -päätössääntö ehdottaa siis portfoliota [ ] p = arg max p P N max w S V p, w) + maxv p, w) w S. 11) Minmax regret -päätössäännössä etsitään portfoliota, jonka suurin mahdollinen arvotappio muihin vaihtoehtoihin verrattuna on pienin. Minmax Regret -päätössäännön ehdottama portfolio voidaan laskea maksimoimalla portfolion p arvon erotusta kaikkiin muihin ei-dominoituihin portfolioihin nähden: p = arg min p P N max p P N w Sw [ V p \ p, w) V p \ p, w) ]. 12) 7

9 2.4 Ydinlukuihin perustuvat päätössäännöt RPM-menetelmä tarjoaa päätöksentekijälle projektien ydinlukuihin perustuvia päätössääntöjä. Näiden päätössääntöjen tarkoituksena on identioida projekteja, jotka ovat mahdollisimman robusteja, eli projekteja jotka pysyvät suositeltavina mahdollisimman monilla parametrien kriteerikohtaiset painot, kriteerikohtaiset pisteet) toteutuneilla arvoilla. Tässä erikoistyössä tutkitaan seuraavia päätössääntöjä: Ydinlukujen summa -päätössäännössä etsitään ei-dominoitua portfoliota johon kuuluvien projektien ydinlukujen summa on mahdollisimman suuri. Eli etsitään portfolio p = arg max p P N m CIx j ). 13) Suurin ydinlukujen summa -päätössäännössä ydinlukujen summaa painotetaan kustannuksilla. Ehdotettu ei-dominoitu portfolio on siis p = arg max p P N j=1 m c j CIx j ). 14) Conditional Core -päätössäännössä portfolioon lisätään yksitellen projekteja, joiden ydinluku on senhetkisessä tilanteessa suurin: j=1 1. Asetetaan k = 1, P 0 = P N ja p 0 =. 2. Etsitään ne projektit) x j joiden ydinluku tämän hetkisessä tilanteessa CI ) { k x j p P k 1 x j p } =, P k 1 on suurin: X k = { x j X x j / p k 1, CI ) } k x j = max CI k x s ). x s X k 1 3. Mikäli löytyy ei-dominoitu portfolio p johon kaikki projektit X k kuuluvat: p P k 1 s.e. p k 1 X k p, 8

10 niin lisätään kaikki projektit X k portfolioon p k = p k 1 X k. Muuten valitaan projekteista x j X k vain yksi tässä työssä pieni indeksisin) ja lisätään se portfolioon 4. Päivitetään P : p k = p k 1 x j, missä j = min j x j X k. P k = { p P k 1 p k p }. Jos P k > 1, aseta k = k + 1 ja mene kohtaan 2. Suurimmat päältä -päätössäännössä lisätään portfolioon aina projekti, jolla on suurin ydinluku, kunnes käypää portfoliota ei enää pystytä muodostamaan. Maximin -päätössääntö pyrkii estämään kaikkein huonoimman mahdollisen lopputuloksen. Maximax -päätössääntö puolestaan tavoittelee suurinta mahdollista portfolion arvoa. Central Values -päätössääntö vastaa portfolion arvon odotusarvon maksimointia tilanteessa, jossa portfolion arvo on symmetrisesti jakautunut ääriarvojensa välille ja kaikki informaatiojoukon pisteet ovat yhtä todennäköisiä. Minmax Regret -päätössääntö käyttäytynee käytännössä melko samankaltaisesti Central Values -päätössäännön kanssa. 3 Analyysiaineisto ja koesuunnitelma Tässä erikoistyössä käytetään päätössääntöjen testaamiseen simuloituja portfolion valintatehtäviä. Kussakin tapauksessa tehtävästä tunnetaan RPM-menetelmällä määritetty ei-dominoitujen portfolioiden joukko, projektien kustannukset, kriteerikohtaiset pisteytykset ja kriteerikohtaisten painojen epävarmuusvälit. Aineistona käytetyt tehtävät on tuotettu generoimalla tasajakaumasta normeerattujen kriteerikohtaisten arvojen summat V x j ) = n i=1 v ix j ) ja tämän jälkeen arvottu kriteerikohtaiset pisteet tasajakautuneeksi alueeseen { } n vx j ) R n v i x j i ) [0, 1], v i x j i ) = V x j ). 9 i=1

11 Projektien kustannukset puolestaan on määrätty siten, että c j = e y j V x j ), missä y j N0, ln3)/1, 96 2). Projektien kriteerikohtaisista painoista on käytettävissä ns. rank-ordering -informaatio w 1... w n siten, että painot toteuttavat ehdon w i 1/3n. Lisäksi jokaiselle tapaukselle oli luotu oikea painovektori w tasajakaumasta käyvän alueen yli. Tehtävien kokoa vaihdeltiin tehtävien kriteerien ja projektikandidaattien määrää sekä budjettia muuttamalla. Kaiken kaikkiaan käytiin läpi 3 3 tapausta arvoille n = 3, 5, 7, m = 40, 50, 60 ja B/ m i=1 c j = 0.3, 0.5, 0.7. Jokaisesta yhdistelmästä oli käytössä 100 simulaatiota. Kullekin tehtävälle laskettiin painovektoria w hyväksikäyttäen oikea ratkaisu p joka maksimoi portfolion arvon oikealla painovektorilla p = arg max p P N V p, w, v) 15) ja huonoin ratkaisu p p = arg min p P N V p, w, v). 16) Näiden ratkaisujen avulla voidaan kaikkien portfolioiden arvot skaalata välille [0, 1] parempaa vertailtavuutta varten: Ratkaisujen hyvyyttä tutkitaan suhteella V p) = V p) V p ) V p ) V p ). 17) Kp) = p P N V p ) V p). 18) P N Osamäärä K kertoo siis mihin kvantiiliin saatu ratkaisu sijoittuu toisiin ratkaisuihin verrattuna. Päätössääntöjen testaamista varten laskettiin kullekin tehtävälle eri päätössääntöjen ehdottamat portfoliot ja kullekin näistä portfolioista niiden K ja V. Tarkastelemalla K:n ja V :n tilastollisia ominaisuuksia pyritään löytämään päätössäännöistä eroja. 4 Päätössääntöjen tilastollinen tarkastelu Kaikkiaan simuloituja tehtäviä oli siis Kuvassa 1 esitetään portfolioiden hyvyyden mittareiden K ja V jakaumia koko aineistosta estimoituna. 10

12 Painotettu CI summa Painotettu CI summa Satunnainen Satunnainen Maximax Maximax Maximin Maximin Minmax Regret Minmax Regret Suurimmat päältä Suurimmat päältä Suurin CI summa Suurin CI summa Conditional Core Conditional Core Central Values Central Values a) K b) V Kuva 1: Portfolion hyvyyden mittareiden a) K ja b) V laatikko ja viiksi kuviot. Kuvassa laatikot ilmaisevat alueen jolle 50 % arvoista asettuu ja viikset puolestaan kuvaavat normaalien arvojen vaihteluväliä. Musta piste merkitsee mediaanin paikan. Viiksien ulkopuolella näkyvät pallot merkitsevät keskimääräisestä merkitsevästi poikkeavia arvoja 11

13 Tutkittavaksi on otettu myös aikaisemmin mainittujen päätössääntöjen rinnalle satunnaisesti valittu ei-dominoitu portfolio. Näin voidaan paremmin arvioida eri päätössääntöjen hyvyyttä, sillä haluaisimme, että käytettävä päätössääntö toimii paremmin kuin puhdas arvaus. Kuvassa näkyvät ns. box and whiskers-kuviot kertovat jakauman mediaanin paikan musta piste) sekä 25 % ja 75 % kvantiilit laatikon rajat). Näiden kuvien perusteella eri päätössäännöt tuntuisivat jakautuvan samankaltaisesti käyttäytyviin ryhmiin. Yhden ryhmän muodostavat Central Values, Minmax Regret ja Painotettu ydinlukujen summa -päätössäännöt, jotka myös näyttäisivät tuottavan parhaita ratkaisuja. Seuraavan ryhmän muodostavat säännöt Conditional Core, Suurin ydinlukujen summa ja Suurimmat päältä. Maximin -päätössääntö tuntuisi tuottavan ratkaisuja, jotka jäävät jonnekin kahden edellä mainitun ryhmän väliin. Kaikkein huonoimmin toimii Maximax -päätössääntö, jonka jakaumat ovat selvästi vinoja pieniin arvoihin päin. Minmax Regret ja Painotettu ydinlukujen summa näyttäisivät käyttäytyvän melko saamankaltaisesti. Molempien mediaanit ja 25 % ja 75 % kvantiilit ovat lähes identtiset. Molemmilla säännöillä n. 75 % tapauksista on V > 0.8 ja K > 0.6. Minmax Regret tuotti kuitenkin vain muutamia portfolioita, joille V < 0.4. Suurin ydinlukujen summa tuotti tällaisia ratkaisuja huomattavasti useammin. Enemmän tietoa päätössääntöjen tarjoamien ratkaisujen hyvyydestä saadaan tarkkailemalla K:n ja V :n jakaumia jonkin verran voidaan jakaumista sanoa laatikko- ja viiksikuvien perusteellakin). Erityisesti voidaan havaita, että yksikään päätössääntö ei ollut erehtymätön, vaan kaikki päätössäännöt tuottivat myös ehdotuksia, jotka olivat lähellä huonointa vaihtoehtoa K:n ja V :n mielessä. Lisää tietoa päätössääntöjen käyttäytymisestä voidaan hakea esimerkiksi histogrammien avulla ks. kuva 2 ja seuraava kappale). 4.1 Päätössääntöjen tuottamien portfolioiden tilastolliset ominaisuudet Kuvassa 2 on esitetty eri päätössääntöjen tuottamien ratkaisujen normeeratun arvon histogrammit, joihin on lisäksi piirretty jakauman mediaanin paikka pystysuoralla viivalla. Päätössäännöllä Suurimmat päältä päädytään välillä dominoituun ratkaisuun, ja näin ollen arvo saattaa olla myös negatiivinen. Histogrammeja piirrettäessä negatiiviset arvot on asetettu nollaksi tässä 63 tapausta), mistä seuraa pieni piikki histogrammiin nollan kohdalle. Selvästi huonoimmin toimii Maximax -päätössääntö, jonka histogrammis- 12

14 sa on piikit sekä suurilla että pienillä V arvoilla. Maximin ja Central Values toimivat lähes identtisesti. Myös muut päätössäännöt toimivat huomattavan samankaltaisesti keskenään. Huomionarvoista on myös, että satunnaisesti valitun portfolion arvo ei ole täysin tasajakautunut vaan hieman vasemmalle vino. Parhaiten näyttäisivät toimivan Minimax Regret ja Painotettu ydinlukujen summa -päätössäännöt. Kummallakin päätössäännöllä tuotettujen portfolioiden arvot painottuvat suuriin V :n arvoihin ja alle 0.5:n tuloksia ei ole juuri lainkaan. Minmax Regret päätössäännöllä tämä käytös on hieman voimakkaampaa ja alle 0.5 tuloksia on häviävän vähän Maximax Satunnainen Painotettu CI summa Suurimmat päältä Minmax Regret Maximin 30 Prosenttia Central Values Conditional Core Suurin CI summa V Kuva 2: Eri päätössääntöjen tuottamien portfolioiden normeeratun arvon V histogrammit. Pystysuora viiva osoittaa mediaanin paikan. 13

15 Normeerattua arvoa V parempi työkalu päätössääntöjen keskinäiseen vertailuun on K. Kuvaan 3 on piirretty K:n histogrammit eri päätössäännöillä. Kuvasta voidaan nähdä, että satunnaisesti valitun portfolion sijoitus muihin nähden on normeeratuista arvoista V poiketen lähes tasajakautunut. Parhaimpia tuloksia näyttäisivät tuottavan Minmax Regret ja Painotettu ydinlukujen summa -päätössäännöt, joilla on selkeä piikki suurilla K:n arvoilla ja toisaalta hyvin vähän K:n arvoja alle 0.2 :n. Maximax -päätössäännön tulokset ovat yhtä epämääräisiä K:n, kuin normeerattujen arvojenkin mielessä. 4.2 Päätössääntöjen vertailu K:n ja V :n jakaumia tutkittaessa kävi ilmi, että eri päätössääntöjen välillä on merkittäviä eroja. Eräs mielenkiintoinen tutkimuksen kohde onkin eri päätössäätöjen K:n ja V :n odotusarvojen erot. Erityisesti halutaan tietää voidaanko joukosta erottaa keskiarvoltaan samankaltaisia päätössääntöjä. Toisaalta taas halutaan selvittää onko jokin päätössääntö odotusarvoltaan ylitse muiden. K:n keskiarvo kuvaa melko suoraan kunkin päätössäännön menestystä suhteessa muihin. Näin ollen on mielenkiintoista vertailla päätössääntöjä K:n keskiarvon mielessä. Käytetty menetelmä päätössääntöparien vertailuun on Tukeyn testi Montgomery & Runger, 2003). Tukeyn testissä suoritetaan kaikki mahdolliset parivertailut päätössääntöjen kesken. Tulokseksi saadaan keskiarvojen erotukset ja niiden simultaaniset luottamusvälit 1, jotka on esitetty kuvassa 4. Mikäli 0 kuuluu erotuksen luottamusväliin, ei keskiarvoja voida tilastollisesti erottaa toisistaan. Säännöt Conditional Core, Suurimmat päältä ja Maximin muodostavat yhden homogeenisen ryhmän. Nämä säännöt ovat myös ainoat, joille K:n keskiarvot ovat tilastollisesti merkitsevästi yhtäsuuret. Suurin K:n keskiarvo on Suurin ydinlukujen summa päätössäännöllä: Kaikki parivertailujen erotukset ovat positiivisia sääntö esiintyy kaikissa erotuksissa vasemmalla puolella, jolloin positiivinen erotus tarkoittaa suurempaa keskiarvoa). Seuraavana on Minmax Regret, joka häviää vain yhden vertailun ja päätyy tasapeliin Central Values -päätössäännön kanssa. 1 Kun tehdään useita testejä tässä tapauksessa kaikki 21 parivertailua) tyypin I virheiden todennäköisyys kasvaa. Simultaaniset luottamusvälit korjaavat tätä virhettä Katso esim. Montgomery & Runger 2003). 14

16 Maximax Satunnainen Painotettu CI summa Suurimmat päältä Minmax Regret Maximin 30 Prosenttia Central Values Conditional Core Suurin CI summa K Kuva 3: K:n histogrammit eri päätössäännöillä. Pystysuora viiva osoittaa mediaanin paikan. 15

17 K keskiarvojen vertailu Conditional Core Central Values Suurin CI summa Central Values Suurimmat päältä Central Values Minmax regrets Central Values Maximin Central Values Painotettu CI summa Central Values Suurin CI summa Conditional Core Suurimmat päältä Conditional Core Minmax regrets Conditional Core Maximin Conditional Core Painotettu CI summa Conditional Core Suurimmat päältä Suurin CI summa Minmax regrets Suurin CI summa Maximin Suurin CI summa Painotettu CI summa Suurin CI summa Minmax regrets Suurimmat päältä Maximin Suurimmat päältä Painotettu CI summa Suurimmat päältä Maximin Minmax regrets Painotettu CI summa Minmax regrets Painotettu CI summa Maximin ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) Erotus Kuva 4: K:n keskiarvojen vertailu eri päätössäännöillä. Kuvassa Tukeyn testin luottamusvälit keskiarvojen erotuksille. 16

18 4.3 Päätössääntöjen herkkyys tehtävän parametreille Koko aineistoa tarkkailtaessa ei kuitenkaan välttämättä saada kokonaiskuvaa sääntöjen käyttäytymisestä erilaisissa tehtävissä. On odotettavissa, että esimerkiksi tehtävän koko ts. ei-dominoitujen portfolioiden määrä) tai budjettirajoitukset vaikuttavat päätössääntöjen tuottamien ratkaisujen laatuun. Seuraava tutkimuksen kohde onkin, pysyvätkö kappaleessa neljä havaitut päätössääntöjen väliset suhteet samoina kaikilla muunneltavilla parametrien arvoilla? Jokin päätössääntö saattaa esimerkiksi toimia erityisen hyvin, kun projektikandidaatteja on paljon, tai kun budjettirajoitukset ovat tiukat. Parametrien m, n ja B/ m i=1 c i vaikutusta saatuihin tutkitaan seuraavaksi varianssianalyysillä ANOVA). Varianssianalyysi on tilastollinen menetelmä, jolla pyritään tutkimaan onko yhdellä tai useammalla tekijällä vaikutusta vastemuuttujan saamiin arvoihin. Aineisto jaetaan tekijöiden suhteen ryhmiin ja nollahypoteesina on, että odotusarvot kaikissa ryhmissä ovat samat. Yleisenä hypoteesina on, että aineisto on normaalijakautunutta, ja että kaikilla ryhmillä on sama varianssi. Tässä erikoistyössä käytettävä aineisto on kuitenkin niin ANOVA:n kuin muidenkin tilastollisten menetelmien kannalta ongelmallinen, sillä vastemuuttujat eivät selvästikään ole normaalijakautuneita. Oletus varianssien yhtäsuuruudesta on sekin hieman kyseenalainen. Varianssianalyysille ei ole olemassa epäparametrista vastinetta useamman kuin yhden tekijän tapauksessa Kruskal-wallisin testi). Menetelmä saadaan kuitenkin hieman robustimmaksi tekemällä vastemuuttujalle rankkimuunnos Montgomery & Runger, 2003). Rankkimuunnoksessa vastemuuttujan X arvot asetetaan suuruusjärjestykseen ja kukin havainto korvataan sitä vastaavalla järjestysluvulla X rank X). Varianssianalyysin nollahypoteesin pätiessä täytyisi järjestyslukujen sekoittua melko hyvin ryhmien kesken ja näin ollen kunkin ryhmän järjestyslukujen summien odotusarvot ovat samat. Tämä muunnos vähentää poikkeavien havaintojen etäisyys ryhmän keskiarvosta > 2σ), varianssien erisuuruuden ja normaalisuuspoikkeamien vaikutusta. Samalla menetelmä myös hieman heikentää testin tarkkuutta. Kaikki jatkossa esitettävät ANOVA-taulukot on laskettu rankkimuunnetuille vastemuuttujille. Varianssianalyysistä saadut tulokset eri parametrien vaikutuksesta eivät yksinään riitä johtopäätösten tekemiseen. Tilastollisen merkitsevyyden lisäksi on selvitettävä ovatko havaitut erot myös absoluuttisten K:n ja V :n arvo- 17

19 jen suhteen merkitseviä. Tätä tutkitaan piirtämällä kuvia havaituista vaikutuksista Parametrien vaikutus normeerattuihin arvoihin V Central Values Conditional Core Suurin CI summa Suurimmat päältä Minmax Regret Maximin Painotettu CI summa V m B ci 1 Kuva 5: Normeerattujen arvojen V keskiarvot eri budjettirajoituksilla B/ c i ). Säännön ja budjettirajoituksen yhteisvaikutus näkyy risteävinä suorina. Taulukossa 1 on esitetty varianssianalyysin tulokset päätössääntöjen tuottamille normeeratuille arvoille V. Ainoat tilastollisesti merkitsevät vaikutukset ovat päätössäännön ja projektien määrän m päävaikutukset sekä päätössäännön ja budjettirajoitusten yhteisvaikutus. 18

20 Kuvaan 5 on piirretty V keskiarvot ja keskiarvojen 95 % luottamusvälit eri budjettirajoituksilla. Maximax -päätössääntö on jätetty kuvasta ja kaikista jatkossa esitettävistä kuvista) pois muiden päätössääntöjen keskinäisen vertailun helpottamiseksi. Maximax tuotti kaikissa tapauksissa huonoimpia tuloksia, joten sen sisällyttäminen kuviin ei ollut tarkoituksenmukaista. Päätössäännön vaikutusta tarkasteltiin jo kappaleessa 4 ks. kuvat 1a-b), joten päävaikutuksia ei enää ANOVA:n yhteydessä käsitellä. Päätössäännön vaikutukseen verrattuna, budjettirajoituksen ja päätössäännön yhteisvaikutus on kuitenkin melko vähäistä ks. risteävät suorat kuvassa 5). Suurimmat päältä ja Suurin ydinlukujen summa huonontavat tulostaan tiukemmilla budjettirajoituksilla, kun muut päätössäännöt tuottavat suunnilleen yhtä hyviä portfolioita. Erot eivät kuitenkaan ole suuria ja erityisesti vaihtelu tapahtuu edellä tunnistettujen ryhmien sisällä. Source Df SS MS F P < F ) SÄÄNTÖ e e e + 00 *** m e e e 01 n e e e 04 *** BtoC e e e 01 SÄÄNTÖ:m e e e 02 SÄÄNTÖ:n e e e 01 mn e e e 01 SÄÄNTÖ:BtoC e e e 20 *** m:btoc e e e 01 n:btoc e e e 01 SÄÄNTÖ:m:n e e e 01 SÄÄNTÖ:m:BtoC e e e 01 SÄÄNTÖ:n:BtoC e e e 01 m:n:btoc e e e 01 SÄÄNTÖ:m:n:BtoC e e e 01 Residuals e e + 07 Taulukko 1: Varianssianalyysi portfolioiden normeerattujen arvojen V järjestysluvuille. Tähdillä ***) merkityt vaikutukset ovat tilastollisesti merkitseviä. Tekijä BtoC on budjetin ja projektikohtaisten kustannusten suhde B/ m i=1 c i. Ainoat tilastollisesti merkitsevät vaikutukset ovat päätössäännön ja projektien määrän m päävaikutukset sekä päätössäännön ja budjettirajoitusten yhteisvaikutus Parametrien vaikutus kvantiileihin K Taulukossa 2 on esitetty varianssianalyysin tulokset päätössääntöjen K:n arvoille. Päätössäännön päävaikutuksen lisäksi merkitseviä ovat arviointikritee- 19

21 Central Values Conditional Core Suurin CI summa Suurimmat päältä Minmax Regret Maximin Painotettu CI summa Central Values Conditional Core Suurin CI summa Suurimmat päältä Minmax Regret Maximin Painotettu CI summa K 0.70 K m B ci 1 a) b) m Kuva 6: K:n keskiarvot ja keskiarvojen 95 % luottamusvälit a) eri budjettirajoituksilla B/ m i=1 c i b) eri projektien määrillä m. rien määrän n vaikutus, budjettirajoitusten ja päätössäännön yhteisvaikutus sekä projektivaihtoehtojen määrän ja päätössäännön yhteisvaikutus. Kuvista 6a) ja b) voidaan nähdä, että budjettirajoituksen vaikutus K:hon on kaikilla päätössäännöillä samankaltainen kuin V :n arvoilla. Erot ovat tosin hieman korostuneempia. Projektien määrän kasvaessa Kuva 6b) Painotettu ydinlukujen summa kasvattaa eroaan muihin päätössääntöihin ja tuottaa kaikilla testatuilla projektien määrillä keskimäärin parasta tulosta. Luottamusvälit ovat melko pieniä, joten eroja voinee pitää tilastollisesti merkitsevinä. Maksimissaan K:n erotus Painotettu ydinlukujen summa -säännön ja seuraavaksi tulevien välillä on noin Sääntöjen väliset korrelaatiot Keskiarvot eivät kerro kaikkea sääntöjen käyttäytymisestä. Vaikka keskiarvoja tarkastelemalla huomattiinkin sääntöjen muodostavan ryhmiä, jotka käyttäytyvät samankaltaisesti, ei kuitenkaan voida vielä sanoa tuottavatko jotkin kaksi sääntöä yleensä hyviä ratkaisuja samanaikaisesti. Tätä ratkaisujen samankaltaisuutta voidaan tutkia korrelaatioiden avulla. Korrelaation mi- 20

22 Source Df SS MS F P>F) SÄÄNTÖ e e e + 00 *** m e e e 01 n e e e 03 *** BtoC e e e 01 SÄÄNTÖ:m e e e 02 * SÄÄNTÖ:n e e e 01 m:n e e e 01 SÄÄNTÖ:BtoC e e e 24 *** m:btoc e e e 01 n:btoc e e e 01 SÄÄNTÖ:m:N e e e 01 SÄÄNTÖ:m:BtoC e e e 01 SÄÄNTÖ:n:BtoC e e e 01 m:n:btoc e e e 01 SÄÄNTÖ:m:n:BtoC e e e 01 Residuals e e + 07 Taulukko 2: Varianssianalyysin tulokset kvantiileille K. ***) erittäin merkitsevä *) heikosti merkitsevä 0.05). Tekijä BtoC on budjetin ja projektikohtaisten kustannusten suhde B/ m i=1 c i. taksi valitaan jälleen epäparametrinen mitta: Spearmanin rankkikorrelaatio. Spearmanin korrelaatiokerroin on tavallinen Pearsonin korrelaatiokerroin laskettuna rankkimuunnetuille muuttujille. Etuna on tässäkin tapauksessa jakaumaoletusten löysääminen ja robustius poikkeavien arvojen suhteen. Taulukoiden 3 ja 4 mukaan eri päätössääntöjen tuottamien ratkaisujen välillä ei esiinny vahvoja korrelaatioita. Vahvin korrelaatio 0.50) on Suurin ydinlukujen summa ja Conditional Core -päätössääntöjen normeerattujen arvojen V välillä. Näiden sääntöjen käyttäytymisessä on nähtävissä yhdenmukaisuutta myös kuvissa 2, 3 ja 5. Histogrammit muistuttavat toisiaan ja molemmat reagoivat samoin tiukkenevaan budjettirajoitukseen. Kuitenkin Suurin ydinlukujen summa tuottaa tilastollisesti parempia ratkaisuja ks. kuvat 4 ja 5). Korrelaatiot eri päätössääntöjen K arvojen välillä ovat hieman heikompia kuin V :lle lasketut. Näyttäisi siis siltä, etteivät päätössäännöt valitse samoja portfolioita. Päätössääntöjen korreloimattomuus voidaan nähdä myös positiivisena asiana: Todennäköisesti kaikki päätössäännöt eivät tuota huonoa ehdotusta yhtä aikaa. 4.5 Päätössääntöjen luokittelu Edellä esitetyn perusteella voidaan sanoa, että eri päätössääntöjen välillä on huomattaviakin eroja niiden tuottamien ratkaisujen hyvyydessä. Kaikki käy- 21

23 Maximax Maximin Central Values Minmax Regret Suurin CI summa Painotettu CI summa Suurimmat päältä Conditional Core Maximax Maximin Central.Values Minmax Regret Suurin CI summa Painotettu CI summa Suurimmat päältä Conditional Core Taulukko 3: Normeerattujen arvojen V väliset Spearmanin rankkikorrelaatiot eri päätössäännöille. Vahvimmat >0.3) korrelaatiot lihavoitu lukemisen helpottamiseksi. Maximax Maximin Central Values Minmax Regret Suurin CI summa Painotettu CI summa Suurimmat päältä Conditional Core Maximax Maximin Central Values Minmax Regret Suurin CI summa Painotettu CI summa Suurimmat päältä Conditional Core Taulukko 4: K:n arvojen väliset Spearmanin rankkikorrelaatiot eri päätössääntöjen välillä. Vahvimmat korrelaatiot >0.30) lihavoitu lukemisen helpottamiseksi 22

24 tetyt mittarit asettavat päätössäännöt suunnilleen samaan järjestykseen eivätkä eri parametrien arvot vaikuta kovin merkittävästi päätössääntöjen suorituskykyyn. Vaikka joissakin tapauksissa parametrien vaikutus olikin tilastollisesti merkitsevää, vaikutukset olivat K ja V arvoilla mitattuna erittäin pieniä verrattuna päätössäännön tuottamaan vaikutukseen. Päätössääntöjen asettaminen ehdottomaan paremmuusjärjestykseen ei onnistu, mutta edellä esitettyjen tulosten perusteella päätössäännöistä on kuitenkin eroteltavissa ryhmiä, joiden väliset erot ovat merkitseviä. Maximax -päätössääntö pärjää kaikissa tapauksissa huonoiten, kun taas Painotettu ydinlukujen summa pärjää keskimäärin parhaiten. Parhaan päätössäännön valinta ei kuitenkaan ole yhtä selvä kuin huonoimman päätössäännön. Tilastollisten ominaisuuksiensa perusteella voidaan päätössäännöt jakaa karkeasti neljään melko samankaltaiseen ryhmään. Nämä ryhmät ovat parhaimmasta huonompaan eri mittareiden keskiarvojen perusteella: 1. Painotettu ydinlukujen summa, Central Values ja Minmax regret. 2. Suurin ydinlukujen summa 3. Conditional Core, Maximin ja Suurimmat päältä 4. Maximax. Pelkät keskiarvot ja niiden luottamusvälit eivät kuitenkaan välttämättä kerro kaikkea päätössäännön suorituskyvystä. Kaikki päätössäännöt tuottivat välillä myös erittäin huonoja ratkaisuja ja tuotettujen ratkaisujen arvojen varianssi oli melko suuri kaikilla päätössäännöillä. Maximax -päätössääntöä ei voida suositella käytettäväksi missään tilanteessa, kun taas parhaasta kolmikosta kaikkia voitaisiin suositella käyttöön. Tärkeimmät erot parhaiden päätössääntöjen väliltä löytynevät niiden tuottamien portfolioiden kokonaisarvojen jakauman vasemmasta hännästä ts. huonojen portfolioiden valintatiheydestä). Sekä Minmax Regret että Suurin ydinlukujen summa tuottivat erittäin vähän huonoja ratkaisuja. Suurimmat päältä saattaa valita dominoidun portfolion, jolloin sen tuottamat normeeratut arvot ovat erittäin huonoja. 5 Yhteenveto ja johtopäätökset Tässä erikoistyössä on suoritettu tilastollinen analyysi päätössääntöjen toiminnasta monikriteerisen portfolion valinnan tukena. Tilastollisissa analyy- 23

25 seissä ilmeni, että testattujen päätössääntöjen välillä oli eroja, jotka olivat sekä tilastollisesti merkitseviä, että suuruudeltaan merkitseviä. Päätössäännöt voitiin jakaa karkeasti neljään toisistaan poikkeavaan ryhmään, joiden sisällä päätössääntöjen väliset erot eivät olleet merkittäviä. Kaikkein suositeltavimmiksi päätössäännöiksi paljastuivat Painotettu ydinlukujen summa sekä Minmax Regret. Molemmilla säännöillä n. 75 % tapauksista valittiin portfolio, joka oli parempi kuin 80 % muista portfolioista. Nämä säännöt ovat siis varsin robusteja. Päätössääntöjen herkkyyttä tehtävän parametreille tarkasteltiin varianssianalyysin avulla. Sääntöjen havaittiin olevan enimmäkseen varsin robusteja eri parametrien suhteen. Vahvin vaikutus päätössääntöjen käyttäytymiseen oli budjettirajoituksella, jonka tiukentaminen vaikutti erityisesti Suurin ydinlukujen summa päätössäännön käyttäytymiseen. Kaikki parametrien aiheuttama vaihtelu tapahtui kuitenkin aiemmin määriteltyjen ryhmien sisällä. Yllättävää oli, että ydinlukuihin perustuvat päätössäännöt eivät juuri poikenneet edukseen verrattuna yksinkertaisempiin informaatiojoukon kärkipisteisiin perustuviin päätössääntöihin. Parhaiten toimivat säännöt jotka pyrkivät hakemaan keskimäärin hyvää portfoliota, eli Minmax Regret, Central Values ja Painotettu ydinlukujen summa -päätössäännöt. Ensin mainittu oli jopa hieman robustimpi kuin ydinlukuihin perustuneet säännöt. Tutkimusaineiston simuloinnissa käytetyllä tasajakaumalla on luultavasti oma osuutensa tuloksissa. Nyt jokainen informaatiojoukon piste oli yhtä todennäköinen. Tämän voisi olettaa suosivan ydinlukuihin perustuvia päätössääntöjä. Toisin jakautuneella koeaineistolla saattaisivat esimerkiksi ääripäitä suosivat Maximax ja Maximin -päätössäännöt parantaa asemiaan. Vahvasti vino jakauma toteutuneille kriteerikohtaisille painoille heikentäisi luultavasti kaikkien ydinlukuihin perustuvien sääntöjen tehoa. 24

26 Viitteet Y. Eum, K. Park, & S. Kim, 2001). Establishing dominance and potential optimality in multi-criteria analysis with imprecise weight and value. Computers and Operations Research, Vol. 28, pp P. Ewing Jr, W. Tarantino & G. Parnell, 2006). Use of Decision Analysis in the Army Base Realignment and Closure BRAC) 2005 Military Value Analysis. Decision Analysis, Vol. 3, pp K. Golabi, 1987). Selecting a group of dissimilar projects for funding. IEEE Transactions on Engineering Management, Vol. 34, pp K. Golabi, C. Kirkwood & A. Sicherman, 1981). Selecting a portfolio of solar energy projects using multiattribute preference theory. Management Science, Vol. 27, pp R. Keeney & H. Raia, 1976). Decisions with Multiple Objectives. Preferences and Value Trade-os. John Wiley & sons Inc. S. Kim & C. Han, 2000). Establishing dominance between alternatives with incomplete information in a hierarchically structured attribute tree. European Journal of Operational Research, Vol. 122, pp S. Kim, S. Choi & J. Kim, 1999). An interactive procedure for multiple attribute group decision making with incomplete information: Range-based approach. European Journal of Operational Research, Vol. 118, pp J. Liesiö, P. Mild, & A. Salo, 2007). Preference programming for robust portfolio modeling and project selection. European Journal of Operational Research, Vol. 181, pp J. Liesiö, P. Mild, & A. Salo, 2008). Robust portfolio modeling with incomplete cost information and project interdependencies. European Journal of Operational Research, Vol. 190, pp D. Montgomery & G. Runger, 2003). Applied statistics and probability for engineers. Third edition. John Wiley & sons Inc. 25

27 M. Pöyhönen & R. Hämäläinen, 2001). On the convergence of multiattribute weighting methods. European Journal of Operational Research, Vol. 129, pp J. Puerto, A. Marmol, L. Monroy & F. Fernandez, 2000). Decision criteria with partial information. International Transactions in Operational Research, Vol. 7, pp A. Salo & R. Hämäläinen, 2001). Preference ratios in multiattribute evaluation prime) - elicitation and decision procedures under incomplete information. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, Vol. 31, pp A. Salo & R. Hämäläinen, 1995). Preference programming through approximate ratio comparisons. European Journal of Operational Research, Vol. 82, pp A. Salo & R. Hämäläinen, 1992). Preference assessment by imprecise ratio statements. Operations Research, Vol. 40, pp A. Salo & A. Punkka, 2005). Rank inclusion in criteria hierarchies. European Journal of Operational Research, Vol. 163, pp C. Stummer & K. Heidenberger, 2003). Interactive R&D portfolio analysis with project interdependencies and time proles of multiple objectives. Engineering Management, IEEE Transactions on, Vol. 50, pp M. Weber, 1987). Decision making with incomplete information. European Journal of Operational Research, Vol. 28, pp C. White, III, A. Sage & S. Dozono, 1984). A model of multiattribute decision making and trade-o weight determination under uncertainty. IEEE transactions on systems, man, and cybernetics, Vol. 14, pp