2 sovellusta: VEA + preferenssiinformaation mallintaminen varmuusalueilla Mat-2.4142 Optimointiopin seminaari kevät 2011 Lähteet: Korhonen ym.: Value efficiency analysis of academic research Thompson ym.: Comparative Site Evaluations for Locating a High-Energy Physics Lab
Esityksen rakenne VEA akateemisten yksiköiden arvioinnissa Lähestymistapa Datan keruu Malli & tulokset Varmuusalueet: hiukkaskiihdyttimen sijoittaminen Teksasiin Lähtötilanne Muuttujat & malli Varmuusalueet & tulokset Kotitehtävä
VEA akateemisten yksiköiden arvioinnissa Ongelma: miten vertailla akateemisten yksiköiden suorituskykyä objektiivisin mittarein Kaksi lähestymistapaa: Prosessilähtöinen: Hyvä prosessi tuottaa hyviä tuloksia Tuloslähtöinen: Erilaisia mittareita ulostuloille Koska prosesseja vaikea mitata, yleensä käytetään tuloslähtöistä arviointitapaa niin myös tässä Kolme vaihetta: (1) Kriteerien ja mittarien määrittäminen (2) Datan kerääminen ja tarvittaessa kvantifiointi (3) VEA-pisteytyksen laskeminen
(1) Kriteerit ja mittarit Kriteerit Tutkimuksen laatu Tutkimuksen määrä Tutkimuksen vaikuttavuus Käytetyt viisi kriteeriä määritettiin etsimällä konsensus täydellisen tutkimusyksikön ominaisuuksista Liikuttava riittävän abstraktilla ylätasolla, jotta samat kriteerit pätevät kaikkiin arvioitaviin yksiköihin Täydellinen tutkimusyksikkö Koulutustoiminta Aktiivisuus tieteellisessä yhteisössä
(1) Kriteerit ja mittarit Kriteerit Mittarit Tutkimuksen laatu Tutkimuksen määrä Tutkimuksen vaikuttavuus Täydellinen tutkimusyksikkö Koulutustoiminta Aktiivisuus tieteellisessä yhteisössä Vierailijoiden lukumäärä Julkaisujen lukumäärä vertaisarvioiduissa lehdissä Viittausten lukumäärä Kriteereitä arvioitiin erilaisilla konkreettisilla mittareilla Ei saa pystyä manipuloimaan mittareita ilman, että se vaikuttaa kriteerin suoritustasoon Pyritään minimaaliseen, mutta kattavaan ja kuvaavaan mittaristoon kunkin kriteerin kohdalla
Kriteerit (1) Kriteerit ja mittarit Mittarit Tutkimuksen laatu Tutkimuksen määrä Tutkimuksen vaikuttavuus Täydellinen tutkimusyksikkö Koulutustoiminta Aktiivisuus tieteellisessä yhteisössä Vierailijoiden lukumäärä Julkaisujen lukumäärä vertaisarvioiduissa lehdissä Viittausten lukumäärä
(1) Kriteerit ja mittarit: aggregointi Mittarit ([0,1]) pitää aggregoida yhdeksi kriteerin arvoksi Tällaisen funktion määrittäminen ongelmallista Yksi suoraviivaisimpia tapoja on määrittää kriteerien painotettu summa mutta tässä menetelmissä on monia huonoja puolia: Miten kriteerit skaalataan? Osaavatko painojen määrittäjät ottaa huomioon mm. kriteerien skaalauksen? Miten kriteerien väliset yhteydet otetaan huomioon? Ongelmista huolimatta menetelmää käytettiin
(2) Data Data kerättiin, tarvittaessa kvantifioitiin ja skaalattiin välille [0,1] Viidennen kriteerin (aktiivisuus tieteellisessä yhteisössä) mittareista ei löytynyt luotettavaa dataa, joten se jätettiin huomiotta Yhdeksän eksperttiä määritti painot kullekin mittarille ja painojen keskiarvoja käytettiin kunkin kriteerin arvoja laskettaessa Tulos: Osastokohtaiset arvot kullekin kriteerille (outputit), lisäksi kunkin osaston budjetit (input)
(2) Data
(3) VEA-malli graafisesti Approksimoidaan arvofunktiota MPSpisteen kautta kulkevilla tangenteilla Matemaattisesti ideana sallia MPS-portfolion shorttaaminen
(3) VEA-malli matemaattisesti Standardin BBC-O-mallin primaali max Z 0 = θ + ε(1 T s + + 1 T s ) s.e. Yλ θy 0 s + = 0 Xλ + s = x 0, 1 T λ + z = 1, λ 0, z 0, s +, s 0, ε > 0 Vastaava VEA-malli max Z 0 = θ + ε(1 T s + + 1 T s ) s.e. Yλ θy 0 s + = 0 Xλ + s = x 0, 1 T λ + z = 1, λ j 0 jos λ j = 0, z 0 jos z = 0, s +, s 0, ε > 0 Lambda saa olla negatiivinen vain niillä DMU:illa, jotka kuuluvat MPS-portfolioon Mahdollistaa tehokkaan rintaman ulkopuolelle siirtymisen tangentilla Käytännössä tehdään kombinaatioita annetuista DMU:ista
(3) VEA: MPS-pisteen valinta Käytettiin Pareto Race ohjelmistoa, jolla DM voi liikkua tehokkaalla rintamalla (eli siten, että outputit maksimoituvat ja input minimoituu) ja valita suosikkipisteensä
(3) Tulokset Löydettiin neljä BCC-tehokasta yksikköä Kuitenkin vain kolme näistä oli VEA-tehokkaita Huomattavaa on, että VEA-tehokkuus BCC-tehokkuus
Ongelmia Mittarien valinta Subjektiivisten arvioiden käyttäminen mittarien painotuksessa MPS-pisteen valinta Mittarien ja kriteerien vertailtavuus yksiköiden välillä
Varmuusalueet: hiukkaskiihdyttimen sijoittaminen Teksasiin Lähtökohta: Kuusi vaihtoehtoista sijaintia hiukkaskiihdyttimelle Kolme kriteeriä: (a) Laitoskulut (b) Käyttäjien viivekerroin (c) Ympäristövaikutusindeksi 1 Dominanssialueet Varmuusalue 6 5 4 3 2
(a) Laitoskulut Rakentamiskulut ja käyttökulujen nykyarvo Käytettiin todennäköisimpiä arvoja Takana mm. melko perusteelliset geologiset analyysit
(b) Käyttäjien viivekerroin Luokiteltiin kukin sijainti kolmen mittarin mukaan asteikolla A-C: Lentoyhteydet, tekninen tuki, tutkimusyliopiston läheisyys Pyydettiin tutkijaeksperttejä määrittämään tutkimusprojektin kesto: ideaalisijainnissa ei-ideaalisessa sijainneissa (kuinka monta % kauemmin) Tulos: Tutkimusyliopiston läheisyydellä ei väliä, lentoyhteyksillä ja tenkisellä tuella kyllä Sijainti 1 2 3 4 5 6 Lentoyhteydet A A B+ B B C Tekninen tuki A A B+ B B+ C Viivekerroin 1.00 1.00 1.091 1.182 1.125 1.599
(c) Ympäristövaikutusindeksi Määritettiin kussakin sijainnissa, miten ympäristö vaikuttaa hiukkaskiihdyttimen toimintaan ja toisin päin Sijainnit laitettiin järjestykseen, suurimmalle riskille annettiin kunkin mittarin kohdalla 6 pistettä ja pienimmälle 1 piste
(a), (b) & (c) Data
Dominanssialueet Perinteisessä DEA-analyysissä havaittiin sijainti 5 tehottomaksi Seuraavaksi määritetään, millä kriteerien painotuksilla kukin sijainti on paras vaihtoehto Tarkastellaan tilannetta sijainti 1:n näkökulmasta. Tällöin: Toisin sanoen normeerataan sijainti 1:n inputien painotettu summa ja vaaditaan, että muiden sijaintien inputien painotettu summa on suurempi x 11 v 1 + x 21 v 2 + x 31 v 3 = 1 x 12 v 1 + x 22 v 2 + x 32 v 3 1 x 13 v 1 + x 23 v 2 + x 33 v 3 1 x 14 v 1 + x 24 v 2 + x 34 v 3 1 x 15 v 1 + x 25 v 2 + x 35 v 3 1 x 16 v 1 + x 26 v 2 + x 36 v 3 1
Dominanssialueet Saadaan neljä sijainnin 1 dominanssialuetta karakterisoivaa yhtälöä: (sijainti 2 vs. 1) (sijainti 3 vs. 1) (sijainti 4 vs. 1) (sijainti 6 vs. 1) v 3 v 1 1.03 v 3 v 1 0.056 0.144 v 2 v 3 0.31 + 0.26 v 2 v 1 v 1 v 3 0.10 0.666 v 2 v 1 v 1 v 1 a 1 v 1 + b 1 v 2 + c 1 v 3 = 1 a 2 v 1 + b 2 v 2 + c 2 v 3 1 v 3 v 1 b 2 b 1 c 1 c 2 v 2 v 1 + a 2 a 1 c 1 c 2
Varmuusalue Määritetään lisäksi todennäköisimmät arvot suhteille v 3 /v 1 sekä v 2 /v 1 Toisin sanoen kiinnitettiin v 1 arvoon 1 ja määritettiin muiden painojen järkevät suhteet tähän: Kyselydatasta saatiin v 2 :lle odotusarvo 5 ja standardipoikkeama. 99% luottamusväli oli [3.6, 6.5] Lisäksi ekspertit totesivat, että ympäristövaikutukset voidaan kompensoida tunnelointikustannuksiin nähden pienellä summalla Todettiin, ettei ympäristövaikutusten kompensointi voi ylittää $500 miljoonaa (koska tunnelointikustannukset olivat kaikki $540m sisällä) Δx 3 v 3 $0.5b, joten koska Δx 3 = 1.6, v 3 0.313 Lisäksi on todettu, että arvo voi heittää noin kertaluvulla kolme, joten intervalliksi saadaan 0.104 v 3 0.939
Varmuusalue 3. 6 v 2 v 1 6. 5 0. 104 v 3 v 1 0. 939 Tulkinta: 1% heikompi tehokkuus vastaa 36-65 miljoonaa dollaria 1 riskiluokka vastaa 104-939 miljoonaa dollaria
Tulokset
Tulokset Sijainti 1 dominoi varmuusaluetta: erittäin hyvä kandidaatti Sijainti 2 on optimaalinen, jos sekä ympäristöä että käyttäjäviivettä painotetaan samanaikaisesti Sijaintia 4 preferoidaan vain erittäin suurella ympäristövaikutusten painolla Sijainteja 3 ja 6 preferoidaan vain äärimmäisen pienillä ympäristön ja käyttäjäviiveen painoilla Vaihtoehtoisia analyyseja: Kaksikerroksista kiihdytintä käytettäessä sijainti 2 jakaa varmuusaluetta sijainnin 1 kanssa Kuitenkin, jos käytetään päivitettyä ympäristövaikutusarviota, sijainnista 2 tulee tehoton
Ongelmia Käyttäjäviiveen määrittäminen ja sen subjektiivisuus, esimerkiksi: Onko ison lentokentän läheisyydellä todellakin suuri merkitys? Eikö hiukkaskiihdytin synnytä ympärilleen riittävän teknisen tuen? Ympäristövaikutusten varsin subjektiivinen ja arbitraarinen määrittäminen Määritettiin vain todennäköisin skenaario: ei olisi vaatinut paljoa laatia myös pessimistinen ja optimistinen versio! Kustannusarvioiden luotettavuus
Kuinkas sitten kävikään Sijainti 1 (hieman Dallasista etelään) valittiin ja varsinaiset rakennustyöt alkoivat 1991 Vuonna 1993 alkuperäinen $4.4 miljardin budjetti oli paisunut $13 miljardin budjettiarvioon Projekti lakkautettiin lokakuussa 1993, kun kiihdytintä varten oli kaivettu 23.5 kilometriä tunnelia ja käytetty noin $2 miljardia Lähde: http://en.wikipedia.org/wiki/superconducting_super_collider
Yhteenveto Preferenssi-informaatiota voi mallintaa monella tavalla VEA-analyysi on hyvä tapa rajata päätösvaihtoehtoja, jos MPS-pisteen valinta on loogista ja perusteltua Varmuusaluemallinnuksen hyvä puoli ovat: Analyysiä ei pelkistetä yhteen arbitraariseen lukuarvoon Varmuusalueella on looginen tulkinta Varmuusalueen voi määritellä tarpeeksi isoksi MUTTA kuitenkin tärkeintä on mallin ja sen kriteerien määrittäminen, mittaaminen ja käsittely
Kotitehtävä Muokkaa alla olevia kriteerejä mielestäsi soveliaalla tavalla Määritä ja piirrä kunkin vaihtoehdon dominanssialueet Määritä oma varmuusalueesi Tulkitse tulokset Vaihtoehto Palkka Työaika Uranäkymät Konsultointi 80 000 60 h Hyvät Yliopisto 50 000 40 h Erinomaiset Purjehdusopettaja 30 000 20 h Huonot