Tehokkuusanalyysin käyttömahdollisuuksia yliopistoyksiköiden vertailussa

TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-2.108 Sovelletun matematiikan erikoistyöt Tehokkuusanalyysin käyttömahdollisuuksia yliopistoyksiköiden vertailussa 9.10.2007 Samuli Leppänen (53918T) Teknillisen fysiikan ja matematiikan osasto

Sisältö 1 Johdanto 3 2 Tehokkuusanalyysin periaatteet ja tunnusluvut 4 2.1 Tuotokset, panokset ja tehokkuus.......................... 4 2.2 Arvostus-DEA..................................... 5 2.3 Pareittainen dominanssi............................... 6 2.4 Sijalukujen vaihteluvälit............................... 6 2.5 Päätöksentekijöiden painoarvojen rajaaminen................... 7 3 Tehokkuusanalyysin soveltaminen 7 3.1 Teknillisen korkeakoulun osastojen tehokkuusanalyysi............... 7 3.2 CLUSTER-yliopistojen tehokkuusanalyysi..................... 10 4 Pohdinnat ja yhteenveto 13 2

1 Johdanto Tehokkuusanalyysin tavoitteena on tuottaa tietoa tarkasteltavien yksiköiden kyvystä saada aikaan tuotoksia käytettävissä olevilla resursseilla. Yksikköjä kuvaavasta numeerisesta aineistosta pyritään etsimään oleellisia huomioita yksiköfiden tehokkuuseroista ja niihin vaikuttavista tekijöistä sekä muodostamaan kokonaiskuva. Tehokkuusanalyysille on sovelluskohteita monissa organisaatioissa, joissa on tarvetta tehdä esimerkiksi budjetointipäätöksiä tai tehostaa yksiköiden toimintaa. Päätöksentekijän on kuitenkin tunnettava vertailussa käytetyt menetelmät ja niiden rajoitukset, sillä lopullisia vastauksia analyysillä ei voida tuottaa; kyse on pikemminkin laajojen aineistojen sisältämän tiedon jalostamisesta. Yliopistoyksiköitä (tässä työssä yliopistoja tai niiden osastoja) tarkasteltaessa ongelmallista on yksiköiden yksioikoisen vertailun vaikeus: yksiköt tuottavat useita tuotoksia, joiden yhteismitallinen arviointi esimerkiksi rahassa on yleisesti mahdotonta. Tällaisten yksiköiden tehokkuuksien vertailemiseen on kuitenkin kehitetty menetelmiä, joista tunnetuin on DEA (Data Envelopment Analysis; Charnes ym., 1978, 1979). Kattava esitys DEA:sta ja sen muutamasta johdannaisesta löytyy Syrjäsen diplomityöstä (1998) sekä Cooperin ym. kirjasta (2006). Käyttökelpoisten tulosten aikaansaamiseksi tehokkuusanalyysin menetelmien käyttö edellyttää, että vertailtavat yksiköt ovat riittävän samankaltaisia ja toteuttavat esimerkiksi seuraavat ehdot (Golany ja Roll, 1989): 1. Kaikki yksiköt hoitavat samoja tehtäviä samoin tavoittein. 2. Kaikki yksiköt toimivat samanlaisissa toimintaolosuhteissa. 3. Tehokkuuteen vaikuttavat tuotokset ja panokset ovat kaikille yksiköille samat lukuunottamatta eroja näiden määrässä. Tehokkuusanalyysin menetelmistä työssä esitellään arvostus-dea (Korhonen ja Syrjänen, 2004), tarkastelu pareittaisen dominanssin (White ym., 1982; Salo ja Hämäläinen, 1992) avulla ja sijalukuanalyysi (Punkka ja Salo, 2007). Kahteen viimeksi mainittuun menetelmään liittyvä DEA-malleihin soveltuva teoria on uutta. Kaikille esiteltäville menetelmille on yhteistä, että ne huomioivat ennakkoon annetut päätöksentekijöiden arvostukset. Tämä tarkoittaa sitä, että päätöksentekijöiden arvostamat ominaisuudet korostuvat ja vaikuttavat näin kunkin yksikön tehokkuuslukuun ja siten analyysin lopputulokseen. Työssä esitetään ensin tehokkuusanalyysin idea ja käytetyt menetelmät, minkä jälkeen tarkastellaan menetelmien soveltamista erikseen Teknillisen korkeakoulun osastoihin ja eurooppalaisiin teknillisiin yliopistoihin. Työn lopussa pohditaan menetelmien ominaisuuksia ja saatuja tuloksia. TKK:n osastoihin kohdistuva tehokkuusanalyysi jatkaa Jussi Kangaspunnan erikoistyön (2007) analyysiä Teknillisen korkeakoulun resurssitoimikunnan päätöksenteon tueksi. Mallien matemaattinen kuvaus on liitteissä. 3

2 Tehokkuusanalyysin periaatteet ja tunnusluvut Yliopistoyksiköiden välisessä vertailussa joudutaan huomioimaan tekijöitä, jotka eivät ole keskenään yhteismitallisia. Tällaisissa tilanteissa tehokkuusanalyysissä voidaan soveltaa erilaisia DEA-menetelmiä. Työssä esiteltävä arvostus-dea eroaa perinteisestä DEAmenetelmästä siten, että se huomioi päätöksentekijän/-tekijöiden preferenssit. Preferenssit voidaan selvittää erilaisilla menetelmillä, kuten SMART (Simple Multi-Attribute Rating Technique; Edwards, 1977) tai SWING (von Winterfeldt & Edwards, 1986). Tavanomaisilla DEA-menetelmillä voidaan erottaa tehokkaat yksiköt tehottomista. Lisätarkasteluina voidaan tutkia esimerkiksi yksiköiden välisiä pareittaisia dominansseja ja mahdollisia sijalukuja. Pareittaisen dominanssin ajatuksena on verrata kaikkia yksiköitä pareittain ja selvittää, onko valituista yksiköistä toinen aina välttämättä toista tehokkaampi. Sijalukuanalyysillä puolestaan pyritään saamaan tietoa yksikön mahdollisista sijaluvuista järjestyksissä, joissa vertailuryhmän yksiköt on järjestetty tehokkuuden suhteen. 2.1 Tuotokset, panokset ja tehokkuus Yliopistoyksikkö voidaan ajatella systeemiksi, joka pyrkii käytettävissä olevilla resursseilla (panoksilla) tuottamaan haluttuja tuotoksia. Panoksiksi voidaan mieltää esimerkiksi rahoitus sen eri muodoissa ja tuotoksiksi toisaalta erilaiset tutkinnot ja julkaisut. Tuotosten ja panosten avulla määritellään yksikölle tehokkuus, joka esitetään suhdelukuna Tehokkuus = Tuotokset Panokset, (1) missä Tuotokset ja Panokset lasketaan painotettuina summina käytettävästä aineistosta. Tehokkuus kertoo yksikön kyvystä tuottaa tavoiteltavia tuotoksia annetuilla panoksilla. Koska tuotokset ja panokset muodostuvat useista tekijöistä, suhdeluvun laskeminen edellyttää arvottamista, mistä edellä mainittujen painotettujen summien painokertoimet määräytyvät. Tätä varten päätöksentekijöitä voidaan pyytää esittämään mieleisensä arvostukset sekä tuotosten että panosten suhteen vertailemalla eri tuotoksia (panoksia) keskenään. Mallissa sovellettavina arvostuksina voidaan käyttää esimerkiksi päätöksentekijöiltä lukuarvoina saatuja arvostusvektoreita tuotoksille ja panoksille sekä kaikkia sellaisia arvostuksia, jotka saadaan yhdistelemällä näitä arvostuksia. Päätöksentekijöiden arvostusten mukaisista painotuksista tuotoksille ja panoksille muodostetaan painotetut summat, joilla lasketaan kaavan (1) mukainen tehokkuus. Tämä voidaan tulkita siten, että sallitaan päätöksentekijöiden antamat arvostukset sekä kaikki mahdolliset arvostukset näiden arvostusten väliltä. Näin saatavia arvostusten yhdistelmiä kutsutaan mahdollisten arvostusten joukoksi. Edellä esitetty tapa on vain yksi keino mahdollisten arvostusten joukon määrittämiseksi. Yleisemmin voidaan tarkastella tilannetta, jossa tuotosten ja panosten keskinäisiä tärkeyksiä rajataan väitteillä kuten tuotos 1 on tärkeämpi kuin tuotos 2 tai tuotokset 1 4 ovat 4 4

tärkeintä. Tällainen rajaaminen voi olla hyödyllistä esimerkiksi jos päätöksentekijöitä on vain yksi, mutta mahdollisten arvostusten joukosta halutaan yhtä pistettä laajempi joukko. Oletetaan esimerkin vuoksi, että tarkasteltavana on neljä yksikköä A, B, C ja D ja kaksi päätöksentekijää antaa näiden tuotoksista ja panoksista arvostuksensa piste-estimaatteina (arvostusvektoreina). Oletetaan yksinkertaisuuden vuoksi, että panosmuuttujia on vain yksi. Kuvassa 1 pystyakselilla on yksikön tehokkuus ja vaaka-akselilla päätöksentekijöiden suhteellinen painotus. Pystyakseleilta voidaan nyt lukea järjestykset, joihin yksiköiden tehokkuusluvut asettuvat päätöksentekijöiden 1 ja 2 preferenssien mukaan. Kuva 1: Esimerkin yksiköiden suhteelliset tehokkuudet mahdollisilla arvostuksilla. Tehokkuusanalyysissä huomioidaan kaikki mahdolliset arvostukset päätöksentekijöiden antamien arvostusten väliltä. Kuvan vaaka-akseli kuvaa, kuinka painotus jakautuu päätöksentekijän 1 ja kuinka paljon päätöksentekijän 2 preferensseille. Esimerkiksi pisteessä u on painotettu 60 prosenttia päätöksentekijän 1 ja 40 prosenttia päätöksentekijän 2 antamista arvostuksista ja käytetty saatua arvostusten yhdistelmää tehokkuuslukujen laskentaan. Tässä pisteessä yksiköiden tehokkuusluvut ovat järjestyksessä B, A, D, C. 2.2 Arvostus-DEA Arvostus-DEA-menetelmällä lasketaan tarkasteltavien yksiköiden suhteelliset tehokkuudet päätöksentekijöiden arvostukset huomioiden. Tehokkaiksi luetaan yksiköt, joiden tehokkuus on joillakin mahdollisilla arvostuksilla suurempi tai yhtäsuuri kuin muiden yksiköiden tehokkuudet. Tehokkaiden yksiköiden tehokkuusluvuksi normeerataan luku 1. Yksikkö, joka ei ole tehokas millään mahdollisilla arvostuksilla on tehoton. Sen tehokkuusluku saadaan ko. yksikön ja jonkin tehokkaan yksikön tehokkuuksien suurimpana mahdollisena suhteena. 5

Kuvan 1 esimerkissä arvostus-dea:n mukaan yksiköt A, B ja D ovat tehokkaita: esimerkiksi pelkillä päätöksentekijän 1 arvostuksilla yksikkö A on tehokkain, pisteessä u yksikkö B ja pelkillä päätöksentekijän 2 arvostuksilla yksikkö D. C puolestaan on tehoton yksikkö, sillä se ei ole missään pisteessä tehokkain. C:n tehokkuusluku saadaan etsimällä maksimi C:n tehokkuuden ja tehokkaimman yksikön tehokkuuden suhteelle. Kuvassa maksimia vastaa piste t, jossa C:n tehokkuusluku on t 2 /(t 1 + t 2 ) eli noin 0.45. DEA-menetelmissä tutkittavista yksiköistä muodostettu vertailuryhmä vaikuttaa siihen onko yksikkö tehokas vai ei. Vertailuryhmän valinta vaikuttaa siis merkittävästi analyysin lopputulokseen. Lisätarkastelua varten esitellään seuraavaksi muita lähestymistapoja. 2.3 Pareittainen dominanssi Tehokkuuslukujen laskenta ei tuota tietoa esimerkiksi siitä, onko yksikkö i kaikilla mahdollisilla arvostuksilla tehokkaampi kuin yksikkö j. Tämä voidaan selvittää etsimällä arvostusvektorit, jotka minimoivat lausekkeen Tehokkuus i Tehokkuus j 1. Jos lausekkeen minimi on negatiivinen, on olemassa arvostusvektorit, joilla yksikkö j on tehokkaampi kuin yksikkö i. Jos minimi sen sijaan on positiivinen tai nolla, niin sanotaan, että yksikkö i dominoi yksikköä j. Tällöin em. lausekkeen minimi kertoo kuinka monta prosenttia tehokkaampi yksikkö i on vähintään verrattuna yksikköön j. Tällainen pareittainen dominanssi ei DEA:n tavoin riipu siitä, mitkä yksiköt ovat mukana vertailussa. Mikään yksikkö ei voi dominoida DEA:lla tehokkaaksi luokiteltuja yksiköitä, mutta tehottomista yksiköistä voidaan pareittaisen dominanssin avulla tehdä johtopäätöksiä esimerkiksi yksiköiden keskinäisestä paremmuudesta tai vertailuryhmän vaikutuksesta yksikön DEA:n mukaiseen tehokkuuteen. Kuvan 1 esimerkissä pareittainen dominanssi voidaan lukea kuvasta siten, että kahden yksikön määräämien janojen leikatessa kumpikaan yksiköistä ei dominoi toista. Mikäli janat eivät leikkaa, yläpuolella olevaa janaa vastaava yksikkö dominoi alapuolella olevaa janaa vastaavaa yksikköä, koska tällöin sen tehokkuus on suurempi kaikilla mahdollisilla arvostuksilla. Näin ollen yksiköt A ja B dominoivat yksikköä C, mutta muita dominanssitapauksia ei ole. 2.4 Sijalukujen vaihteluvälit Sijaluvulla tarkoitetaan yksikön sijoittumista, kun kaikki yksiköt järjestetään tehokkuuden mukaan suurimmasta pienimpään. Yksikön tehokkuus muuttuu arvostusvektorien painotuksia muutettaessa, minkä seurauksena yksiköiden sijoitukset voivat vaihdella. Jokaiselle yksikölle voidaan selvittää sen paras ja huonoin mahdollinen sijaluku, jolloin tiedetään millä välillä yksiköiden sijaluvut vaihtelevat arvostusvektorien puitteissa. 6

Yksikön paras (huonoin) sijaluku aikaisemmassa esimerkissä saadaan selville kuvasta 1 katsomalla kuinka monta janaa on vähimmillään (enimmillään) yksikköä vastaavan janan yläpuolella. Esimerkiksi yksikön B huomataan olevan kuvan vasemmassa ja oikeassa reunassa toiseksi tehokkain yksikkö, mutta keskellä tehokkain. Täten yksikön B sijaluku vaihtelee välillä 1 2. 2.5 Päätöksentekijöiden painoarvojen rajaaminen Joissain tapauksissa voi olla perusteltua, että päätöksentekijöiden painoarvot eroavat toisistaan päätöksenteossa. Esimerkiksi voidaan katsoa, että erityisen merkittävän päätöksentekijän arvostuksien painoarvo kaikkien päätöksentekijöiden joukossa on vähintään 50 prosenttia. Toisaalta saatetaan haluta, että kaikkien päätöksentekijöiden arvostuksia painotetaan vähintään jonkin verran. Lisärajoitukset pienentävät mahdollisten arvostusten joukkoa, minkä seurauksena tehokkaiden yksiköiden lukumäärä voi pienentyä ja sijalukujen vaihteluvälit kaventua. Jos aiemmin esitellyssä esimerkissä rajoitetaan, että päätöksentekijän 1 arvostukset tulee huomioida vähintään 60 prosenttisesti, niin tällöin sallitaan vain kuvan pisteen u vasemmalle puolelle jäävät arvostukset. Tämän rajoituksen johdosta yksikkö D ei olisi enää tehokas ja yksiköt A ja B dominoisivat sitä. Työssä tehdyissä sovelluksissa päätöksentekijöiden painoarvoja ei rajattu. 3 Tehokkuusanalyysin soveltaminen 3.1 Teknillisen korkeakoulun osastojen tehokkuusanalyysi Erikoistyössä jatkettiin Salon ja Kangaspunnan Teknillisen korkeakoulun resurssitoimikunnalle tekemää Teknillisen korkeakoulun osastoja vertailevaa tehokkuusanalyysiä. Analyysissä resurssitoimikunnan jäsenet toimivat päätöksentekijöinä, joiden arvostusten perusteella suoritettiin arvostus-dea -analyysi, joka on raportoitu Kangaspunnan erikoistyössä (Kangaspunta, 2007). Resurssitoimikunnan kokouksen 30.5.2007 pohjalta päätettiin muokata Kangaspunnan erikoistyön mallissa käytettyjä tuotoksia (taulukko 1). Taulukossa 2 esitetään taulukossa 1 ilmoitetuista muutetuista tuotoksista käytetty aineisto. Erikoistyössä laaditussa tehokkuusanalyysissä resurssitoimikunnan jäsenet toimivat arvostukset laativina päätöksentekijöinä. Arvostusten kartoittamiseen käytettiin kyselylomaketta, jossa tuotokset oli jaoteltu samankaltaisia tuotoksia sisältäviin tuotosluokkiin. Tuotoksia painotettiin tuotosluokkien sisällä vertaamalla niitä toisiinsa, minkä jälkeen tuotosluokkia painotettiin keskenään. Panoksina mukana olivat ainoastaan toimintamenorahoitus ja projektirahoitus, joita 7

Taulukko 1: TKK:n osastojen tehokkuusanalyysiä varten tehdyt muutokset tuotoksissa verrattuna Kangaspunnan (2007) erikoistyöhön Tuotos Muutos 1 kv-huippujulkaisu yhdistetty tuotoksen 1 artikkeli muissa referee-aikakauslehdissä kanssa 1 kv-huippujulkaisu (Nature, Science) lisätty, sillä haluttiin erottaa yksiköiden Natureen ja Scienceen tuottamat artikkelit muista kv-julkaisuista Seuraavat tuotokset lisättiin tuotosluokkaan Kansainvälistyminen 1 suomalainen jatko-opiskelija ulkomailla 1 ulkomaalainen perusopiskelija TKK:ssa 1 ulkomaalaisen suorittama jatkotutkinto 1 ulkomaalainen virkaannimitetty professori Taulukko 2: Aineisto Kangaspunnan erikoistyöstä poikkeaville tuotoksille kolmen vuoden vuosittaisena keskiarvona laskettuna painotettiin suoraan vertaamalla. Päätöksentekijöiden painotuksien kartoittaminen on kuvattu tarkemmin Kangaspunnan erikoistyössä. Resurssitoimikunnalta saadut arvostusvektorit on esitetty taulukossa 3. Käytettävissä olevalla aineistolla suoritettiin analyysi käyttäen kohdissa 2.2 2.4 esitettyjä menetelmiä. Arvostus-DEA:lla lasketut osastojen tehokkuudet on esitetty kuvassa 2. Tehokkuusluvuista päätellen tulokset ovat hyvin samansuuntaisia kuin Kangaspunnan analyysissä. TKK:n osastoille parittaisella dominanssilla lasketut tunnusluvut on esitetty taulukossa 4. Taulukosta voidaan lukea dominanssit siten, että rivillä i olevan yksikön dominanssi yksiköstä sarakkeella j luetaan solusta (i, j). Jos yksikkö dominoi toista yksikköä, niin taulukon vastaava solu ilmoittaa kuinka monta prosenttia vähintään yksikkö on dominoimaansa yksikköä tehokkaampi. Jos yksikkö ei dominoi toista yksikköä, vastaavassa solussa on tähti (*). Esimerkiksi yksikön A dominanssi yksiköstä F luetaan ensimmäisen rivin kuudennelta sarakkeelta taulukon solusta (1, 6): yksikkö A on vähintään 32.3 % tehokkaampi kuin yksikkö F. Sijalukuanalyysillä selvitettiin yksiköiden sijalukujen vaihteluväli mahdollisilla arvostuksilla. 8

Taulukko 3: TKK:n osastojen analyysissä käytetyt arvostusvektorit Kuva 2: TKK:n osastoille ja TKK:lle arvostus-dea:lla lasketut tehokkuusluvut. 9

Taulukko 4: Pareittaisella dominanssilla lasketut tunnusluvut TKK:n osastoille Analyysin tulokset on esitetty kuvassa 3. Sijalukujen ja pareittaisen dominanssin tuloksista voidaan todeta ainakin yksiköitä A ja K koskeva huomio: arvostus-dea:n mukaan yksikkö A luokitellaan tehokkaaksi ja yksikkö K tehottomaksi, mutta yksikkö K dominoi selvästi useampaa yksikköä kuin yksikkö A. Lisäksi yksikön K sijaluku vaihtelee ainoastaan välillä 2 4, kun taas yksikön A sijaluku vaihtelee välillä 1 7. Yksikköä K dominoi ainoastaan yksikkö L, joten jos yksikkö L jätettäisiin pois vertailuryhmästä, niin yksikkö K luokiteltaisiin tehokkaaksi ja sen sijaluku olisi huonoimmillaankin 3. Yksiköt D, F ja H puolestaan erottuvat siksi, että usea muu yksikkö dominoi niitä. Tämän lisäksi huomataan, että nämä yksiköt jakavat kolme viimeistä sijaa, valittiinpa arvostusvektorit miten tahansa mahdollisten arvostusten joukosta. Kuva 3: TKK:n osastojen sijalukujen vaihteluvälit. 3.2 CLUSTER-yliopistojen tehokkuusanalyysi CLUSTER (Consortium Linking Universities of Science and Technology for Education and Research) on 12 eurooppalaisen teknillisen yliopiston muodostama verkosto. Verkostoon kuuluvat teknilliset yliopistot on lueteltu taulukossa 5. CLUSTER-yliopistoille suoritettiin tehokkuusanalyysi käyttämällä tuotoksina ja panoksina taulukon 6 aineistoa. Analyysin tarkoituksena oli esitellä tehokkuusanalyysiä, kun käytettävissä 10

Taulukko 5: CLUSTER-verkoston yliopistot Technical University of Catalonia, Barcelona Technische Universität Darmstadt Teknillinen korkeakoulu, Helsinki Technische Universiteit Eindhoven Karlsruhe Institute of Technology Ecole polytechnique fédérale, Lausanne Imperial College, Lontoo Katholieke Universiteit, Leuven Instituto superior técnico, Lisbon Kungliga tekniska högskolan, Tukholma Politecnico di Torino on vain osittaista tietoa päätöksentekijöiden arvostuksista (Salo ja Punkka, 2005). Yksikkö L päätettiin jättää pois tarkastelusta, sillä aineiston mukaan sen saama rahoitus on yli kymmenen kertaa keskimääräistä pienempi. Tätä voidaan pitää epärealistisena, kun huomioidaan yksikön tuotokset. Oletetaan, että päätöksentekijä(t) asettaa seuraavat mielipiteet tuotosten ja panosten keskinäisistä tärkeyksistä: Suoritettu tohtorin tutkinto on arvokkaampi kuin suoritettu perustutkinto joka puolestaan on arvokkaampi kuin tieteellinen julkaisu. Suoritetun perustutkinnon ja tieteellisen julkaisun painotusten on oltava vähintään 15 prosenttia tuotosten kokonaispainotuksesta. Vakituisen professorin vuoden työpanos ja 100 000 euroa budjetoitua rahoitusta ovat molemmat arvokkaampia kuin opetushenkilön vuoden työpanos. Nämä päätöksentekijöiden mielipiteet voidaan toteuttaa taulukossa 7 näkyvillä arvostusvektoreilla, sillä kaikki niistä muodostuvat arvostusten yhdistelmät toteuttavat annetut ehdot ja kääntäen. Kuvissa 4 ja 5 ja taulukossa 8 on esitetty CLUSTER-yliopistojen aineistolla lasketut tulokset arvostus-dea:lle, sijalukujen vaihteluvälille sekä pareittaiselle dominanssille. Huomataan, että kolme yliopistoa luokitellaan tehokkaaksi. Toisaalta sijalukujen vaihteluväleistä huomataan, että yksikön I vaihtelu on näistä merkittävästi vähäisintä. Selvästi heikoiten menestyy yksikkö K. 11

Taulukko 6: CLUSTER-yliopistojen analyysissä käytetty aineisto Taulukko 7: CLUSTER-yliopistojen analyysissä käytetyt arvostusvektorit Kuva 4: CLUSTER-yliopistoille DEA:lla lasketut tehokkuusluvut. Kuva 5: CLUSTER-yliopistojen sijalukujen vaihteluvälit. 12

Taulukko 8: CLUSTER-yliopistojen pareittaiset dominanssit 4 Pohdinnat ja yhteenveto Erikoistyössä tarkasteltiin kuinka tehokkuusanalyysiä voidaan soveltaa yliopistoyksiköiden vertailuun. Tehokkuusanalyysin menetelmistä esiteltiin arvostus-dea, pareittainen dominanssi ja sijalukuanalyysi. Menetelmien tulokset voidaan laskea lineaarisina malleina, mikä helpottaa niiden käyttöä suurien aineistojen kanssa. Erikoistyössä esiteltiin myös lyhyesti päätöksentekijöiden painotusten rajaamista. Pareittaisen dominanssin ja sijalukutarkastelun avulla saadaan DEA-menetelmien tuloksia täydentävää tietoa. Pareittaiset dominanssit kertovat esimerkiksi vertailuryhmän vaikutuksesta yksikön DEA:n mukaiseen tehokkuuslukuun. Tällaisesta tarkastelusta voi olla hyötyä esimerkiksi tilanteessa, jossa yksikkö luokitellaan DEA-tarkastelussa tehottomaksi, mutta sen tehokkuusluku on arvoltaan lähellä lukua 1. Sijalukutarkastelulla puolestaan voitaisiin jopa korvata DEA, sillä sen avulla voidaan tuottaa DEA:n mukainen tehokas/tehoton -jaottelu (jos yksikön paras mahdollinen sijaluku on 1, niin se on DEA-menetelmän mukaan tehokas ja kääntäen) ja lisäksi selvittää yksiköiden sijalukujen vaihteluvälit. Toisaalta sijalukutarkastelun kokonaislukumalli on laskennallisesti haastavampi, mikä korostuu aineiston koon kasvaessa. Johdannossa esiteltiin Golanyn ja Rollin esittämät vaatimukset tehokkuusanalyysin vertailuryhmän samankaltaisuudelle. Laadituissa sovelluksissa voidaan sanoa ehtojen 1 2 toteutuneen riittävän hyvin, mutta ehto 3 osoittautui ongelmalliseksi. Esimerkiksi TKK:n osastoille laaditussa vertailussa yksiköiden tuotoksiin haluttiin lisätä yksikön Nature- tai Science-lehdissä julkaistut artikkelit. Tuotos on sikäli arveluttava, että Nature ja Science ovat luonnontieteisiin keskittyviä julkaisuja, jolloin esimerkiksi arkkitehti- tai maanmittausosastolla ei ole juurikaan mahdollisuutta tuottaa tätä tuotosta. Tämän epäkohdan vaikutusta analyysin lopputulokseen voidaan kuitenkin pitää merkityksettömänä, sillä jos tuotos poistetaan ja laskennat suoritetaan uudelleen niin tulokset eivät muutu juuri lainkaan. Yliopistoyksiköiden tapauksessa tuotoksiin luettaviin julkaisuihin liittyy myös yleisemmällä tasolla ongelmia, sillä julkaisun määritelmä voi yksikkökohtaisesti vaihdella, jolloin käytettävä aineisto ei ole vertailukelpoista. Erityisesti CLUSTER-yliopistojen analyysissä tämä tulee esille taulukon 6 tieteellisten julkaisujen lukumäärissä. 13

Teknillisen korkeakoulun yksiköihin kohdistuneessa tehokkuusanalyysissä yksiköille laskettiin merkittäviä tehokkuuseroja. Analyysin perusteella voidaan tehdä seuraavia johtopäätöksiä yksiköiden keskinäisistä tehokkuuksista: Yksiköt J, K ja L sijoittuvat neljän tehokkaimman yksikön joukkoon kaikilla mahdollisilla arvostusvektorien painotuksilla. Yksikkö A on DEA-mielessä tehokas, mutta sen sijaluku vaihtelee välillä 1 7, mistä voidaan päätellä, että yksikkö menestyy joillain osa-alueilla, mutta on korkeintaan keskinkertainen toisaalla. Yksiköt B, C, E, G ja I sijoittuvat kaikilla arvostuksilla sijoille 4 9. Yksiköt D, F ja H jakavat kolme viimeistä sijaa (10 12) kaikilla mahdollisilla arvostuksilla. CLUSTER-yliopistojen tehokkuusanalyysissä esiteltiin tilanne, jossa päätöksentekijän preferensseistä on käytettävissä vain osittaista informaatiota. Kriteerien keskinäisistä järjestyksistä oletettiin tunnetuksi vain kolme väittämää, joista voitiin muodostaa niitä vastaavat arvostusvektorit. Tämän seurauksena sijalukujen vaihteluvälit muodostuivat melko suuriksi melkein jokaisella yksiköllä, koska preferensseistä käytettävää tietoa oli vähän ja täten mahdollisia arvostuksia paljon. Kuitenkin yliopistoista voitiin erottaa kolme tehokasta ja yksi selvästi muita tehottomampi yksikkö sekä muodostaa yleiskuva kunkin yliopiston suhteellisesta tehokkuudesta vertailuryhmässä. Tässä työssä käsitellyille tehokkuusmalleille on tunnusomaista, että tehokkuuksia laskettaessa päätöksentekijöiden arvostuksia tuotoksille ja panoksille painotetaan erikseen. Tämä sallii tilanteet, joissa käytetään eri päätöksentekijän painoja tuotoksille kuin panoksille. TKK:n osastoille tehdyssä analyysissä tämä näkyi siinä, että kun päätöksentekijöitä oli kymmenen ja panosmuuttujia kaksi, niin menetelmät huomioivat panoksia painotettaessa ainoastaan ääripäiden painotuksia. Jatkotutkimuksena voitaisiin tarkastella tehokkuuslaskentaa, jossa kunkin päätöksentekijän arvostuksia tuotoksille ja panoksille painotetaan samassa suhteessa. 14

Viitteet [1] Abbot M., Doucouliagos C., (2003) The efficiency analysis of Australian universities: a data envelopment analysis, Economics of Education Review, 22, 89-97. [2] Andersen P., Petersen N. C., (1993) A procedure for ranking efficient units in data envelopment analysis, Management Science, 39, 1261-1264. [3] Cooper W., Seiford L. Tone K., (2006) Introduction to data envelopment analysis and its uses, Springer Science+Business Media, LCC. [4] Edwards W., (1977) How to use multi-attribute utility measurement for social decisionmaking, IEEE Transactions on Systems, Man and Cybernetics, 7, 326-340. [5] Golany B., Roll Y., (1989) An application procedure for DEA, Omega International Journal of Management Science, 17, 237-250. [6] Kangaspunta J., (2007) Teknillisen korkeakoulun osastojen tehokkuusanalyysi, erikoistyö, http://www.sal.tkk.fi/opinnot/mat-2.108/e-kokoelma.html. [7] Kao C., Hung H., (2005) Efficiency analysis of university departments: an empirical study, Omega International Journal of Management Science, to appear. [8] Korhonen P., Syrjänen M., (2004) Resource allocation based on efficiency analysis, Management Science, 50, 1134-1144. [9] Korhonen P., Tainio R., Wallenius J., (2001) Value efficiency analysis of academic research, European Journal of Operations Research, 130, 121-132. [10] Mustajoki J., Hämäläinen R., Salo A., (2005) Decision support by interval SMART/SWING - incorporating imprecision in the SMART and SWING methods, Decision Sciences, 36, 317-339. [11] Punkka A., Salo A. Extremum rankings in preference programming, manuscript. [12] Räty T., Kivistö J., (2006) Mitattavissa oleva tuottavuus Suomen yliopistoissa, VATT- TUTKIMUKSIA 124, Valtion taloudellinen tutkimuskeskus. [13] Salo A., Punkka A., (2005) Rank inclusion in criteria hierarchies, European Journal of Operational Research, 163, 338-356. [14] Salo A., Hämäläinen R., (1992) Preference assessment by imprecise ratio statements, Operations Research, 40, 1053-1061. [15] Syrjänen M., (1998) Data envelopment analysis-menetelmän mahdollisuudet yliopistojen johtamisessa, diplomityö, http://www.sal.hut.fi/publications/t-index.html. [16] White C., Sage A. and Scherer W., (1982), Decision support with partially identified parameters, Large Scale Systems, 3, 177-189. 15

[17] von Winterdfeldt D., & Edwards W., (1986) Decision analysis and behavioral research, Cambridge,UK: Cambridge University Press. 16

Liitteet Liite 1: Tehokkuusanalyysissä käytettyjen menetelmien periaatteet Merkintöjä ja määritelmiä Olkoon tarkasteltavien yksiköiden lukumäärä K, analysoitavien tuotosten lukumäärä N ja panosten lukumäärä M. Merkitään yksikön k {1,..., K} tuotoksen n {1,..., N} suuruutta y nk :lla ja panoksen m {1,..., M} suuruutta x mk :lla. Määritellään tuotoksille arvostusvektori α = (α 1,..., α N ), missä α n on tuotoksen n arvokkuus suhteessa muihin tuotoksiin ja panoksille vastaavasti arvostusvektori γ = (γ 1,..., γ M ). Määritelmä 1. Olkoon A α R N N, A γ R M M ja b α R N, b γ R M, missä N, M Z +. Merkitään kaikkien mahdollisten arvostusten joukkoja S α = {α = (α 1,..., α N ) A α α b α, α n [0, ) n, n α n > 0} S γ = {γ = (γ 1,..., γ M ) A γ γ b γ, γ m [0, ) m, m γ m > 0}. Arvostuksille määritellään lineaariset rajoitukset matriisien A α, A γ ja vektorien b α, b γ avulla. Käytännössä rajoitukset saadaan päätöksentekijöiden preferensseistä. Summaehdon vuoksi arvostusvektorien on poikettava nollavektorista. Voidaan olettaa, että kaikilla k, n ja m on voimassa 0 y nk, x mk <, k n siten, että y nk > 0 ja että m, n s.e. α n, γ m > 0 α S α, γ S γ ja y nk, x mk > 0 k. Täten on olemassa jokin merkittävä tuotos ja panos, jota jokainen yksikkö tuottaa/kuluttaa. Esitetään määritelmä tehokkuudelle. Määritelmä 2. Yksikön k tehokkuus saadaan jakamalla tuotosten painotettu summa panosten painotetulla summalla: E k (α, γ) = n α ny nk m γ, missä α S α, γ S γ. mx mk Edellä esitetyillä oletuksilla pätee m γ mx mk > 0, joten 0 < E k (α, γ) < k, α S α, γ S γ, ja tehokkuus on olemassa jokaiselle yksikölle. Lemma 1. Arvostusvektorit α = (α 1,..., α N ) S α, γ = (γ 1,..., γ M ) S γ voidaan kertoa mielivaltaisilla positiivisilla reaaliluvuilla ilman, että yksiköiden tehokkuuksien suhteet muuttuvat: kaikilla a, c (0, ), k, l. E k (α,γ) = E k(aα,cγ) E l (α,γ) E l (aα,cγ) Todistus: seuraa määritelmästä 2. a E k (α, γ) E l (α, γ) = E c k(α, γ) a E c l(α, γ) = a n αny nk c m αmx mk a n αny nl c m αmx ml = E k(aα, cγ) E l (aα, cγ) 17

Tarkastellaan seuraavaksi päätöksentekijän preferenssien huomioimista. Oletetaan, että P päätöksentekijää antaa arvostuksensa tuotosten ja panosten suhteellisista tärkeyksistä. Preferenssien konveksit kombinaatiot määräävät mahdollisten arvostusten joukot, jotka ovat konvekseja polytooppeja A α α b α ja A γ γ b γ (määritelmä 1). Oletetaan, että näiden joukkojen ekstreemipisteiden lukumäärät ovat p α ja p γ. Merkitään ekstreemipisteitä α i ja γ j vastaavia vektoreita α i = (α1, i..., αn i ) ja γj = (γ1, j..., γ j M ), i = 1,..., pα, j = 1,..., p γ. Konveksi joukko voidaan esittää ekstreemipisteidensä konvekseina kombinaatioina (kaikki arvostusvektorit eivät välttämättä ole ekstreemipisteitä, mutta sillä ei ole merkitystä jatkon kannalta), jolloin määritelmän 1 kaikkien mahdollisten arvostusvektorien joukot voidaan ilmoittaa muodossa S α = {α = (α 1,..., α N ) α n = p α i=1 wα i αn i n = 1,..., N, i wα i = 1, wi α 0 i}, S γ = {γ = (γ 1,..., γ M ) γ m = p γ j=1 wγ j γj m m = 1,..., M, j wγ j = 1, wγ j 0 j}. (2) Huomioidaan, että summaehdot pakottavat painovektorien jotkin komponentit nollaa suuremmiksi. Määritelmän 2 tehokkuus voidaan nyt kirjoittaa muotoon E k (α, γ) = n α ny nk m γ = n( i wα i αn)y i nk i mx mk m ( = wα i n αi ny nk, i wγ i γi m)x mk i wγ i m γi mx mk missä summat n:n ja m:n yli tiedetään, jolloin voidaan merkitä y ik = n αi ny nk ja x jk = m γj mx mk. Nyt edellä mainittu tehokkuus saadaan muotoon i E k (α, γ) = wα i y ik j wγ j x = E k (w α, w γ ). (3) jk DEA ja arvostus-dea Tässä esiteltävät perinteinen DEA ja arvostus-dea eroavat toisistaan ainoastaan kaikkien mahdollisten arvostusvektoreiden osalta: perinteisessä mallissa arvostusvektoreille ei aseteta normeerausta ja ei-negatiivisuutta lukuunottamatta mitään rajoituksia (jolloin A α ja A γ voidaan asettaa esimerkiksi nollamatriiseksi ja b α ja b γ nollavektoreiksi), kun taas arvostus- DEA:ssa arvostusvektorit valitaan päätöksentekijöiden preferenssien määrämästä joukosta. Matemaattisena mallina tehokkaiden yksiköiden laskenta voidaan kuvata seuraavalla tavalla: max E k(u, v) = n u ny nk w α,w γ m v mx mk s.e. m v m = 1, (4) n u ny nl m v 1; l = 1,..., K, mx ml u n, v m 0; n = 1,...N; m = 1,...M, missä u n = tuotoksen n:n painokerroin v m = panoksen m:n painokerroin. 18

Mallissa esiintyvä rajoitusehto m v m = 1 voidaan korvata myös muotoa m x mkv m = 1 olevalla rajoituksella jollakin k, koska lemman 1 mukaan kertoimien normeeraus ei vaikuta tehokkuuslukujen suhteisiin. Arvostus-DEA:ssa tarkastellaan tehokkuuslukuja E k (α, γ), kun painokertoimia rajoittavat joukot S α ja S γ (2). Siirtymällä yhtälön (3) tehokkuuslukuun E k (w α, w γ ) saadaan malli max E k(w α, w γ ) = w α,w γ s.e. i wα i y ik j wγ j x jk j wγ j = 1, i wα i y il j wγ j x jl 1; l = 1,..., K, (5) wi α, w γ j 0; i, j = 1,..., p, mikä muistuttaa huomattavasti perinteistä DEA-menetelmää. Saatu malli (5) voidaan w γ :n normeerausta vaihtamalla muuttaa lineaariseksi malliksi (kuten myös (4) luonnollisesti), jolloin se saadaan muotoon max w α,w γ i wα i y ik s.e. j wγ j x jk = 1, i wα i y il j wγ j x jl 0; l = 1,..., K, w α i, w γ j 0; i, j = 1,..., p. Tässä w α :n normeeraus saadaan ehdosta, että ainakin jollekin yksikölle q pätee: E q (w α, w γ ) = 1, jolloin w α :lle saadaan i wα i y iq = j wγ j x jq. Pareittainen dominanssi Määritelmä 3. Tarkastellaan yksikköä k ja sen tehokkuuden suhdetta yksikköön l. Määritellään funktio ( ) Ek (w α, w γ ) D k (l) = min 1 w α,w γ E l (w α, w γ ) kuvaamaan yksikön k dominanssia yksiköstä l. Jos D k (l) 0 sanotaan, että yksikkö k dominoi yksikköä l. D k (l) 0 voidaan ymmärtää luvuksi, joka ilmoittaa kuinka monta prosenttia tehokkaampi yksikkö k on vähintään yksikköä l. Jos D k (l) 0, niin on olemassa painot, joilla yksikkö l on yksikköä k tehokkaampi tai yhtä tehokas. Tarkastellaan seuraavaksi parittaisen dominanssien laskentaan soveltuvaa matemaattista mallia. Poistetaan epälineaarisuudet kohdefunktiosta asettamalla normeeraukset i wα i y il j wγ j x jl = 0 j wγ j x jk = 1, 19 (6)

missä ensimmäinen rajoitus kiinnittää yksikön l tehokkuudeksi arvon 1 (huom. nyt tehokkuutta ei tulkita DEA:n tavoin, jolloin ainoastaan tehokkuuksien välisillä suhteilla on merkitystä) ja toinen normeeraa painot w γ siten, että tehokkuusfunktion E k (w α, w γ ) nimittäjä voidaan jättää huomiotta. Näin saadaan lineaarinen malli min w α,w γ i wα i y ik s.e. i wα i y il j wγ j x jl = 0 j wγ j x jk = 1 (7) josta D k (l) = min w α,w γ Sijalukuanalyysi i w α i y ik 1. w α i, w γ j 0; i, j = 1,..., p, Kaikilla mahdollisilla painovektoreilla w α, w γ voidaan jokaiselle yksikölle laskea vastaava tehokkuusluku E k (w α, w γ ). Lemman 1 perusteella tiedetään, että tehokkuuslukujen keskinäiset suhteet eivät ole riippuvaisia painovektoreiden normeerauksesta, joten yksiköille voidaan määritellä järjestysluku tai sijaluku: Määritelmä 4. Yksikön k sijaluku r k (w α, w γ ) Z + kuvaa yksikön tehokkuuden suhdetta muiden yksiköiden tehokkuuksiin. Määritellään sijaluku joukon R wα,w γ k = {l {1, 2,..., K} E k (w α, w γ ) < E l (w α, w γ )} avulla siten, että r k (w α, w γ ) = R wα,w γ k + 1, jolloin r k (w α, w γ ) = 1 kun E k (w α, w γ ) E l (w α, w γ ) l ja r k (w α, w γ ) = r l (w α, w γ ) kun E k (w α, w γ ) = E l (w α, w γ ). Eräs tehokkuusanalyysin kannalta mielenkiintoinen kysymys on millä välillä yksikön k sijaluku voi vaihdella mahdollisilla arvostusvektoreilla. Tämä voidaan muotoilla lineaarisen optimoinnin kokonaislukutehtäväksi tarkastelemalla ensin yksikön parasta (pienintä) ja sitten huonointa (suurinta) mahdollista sijalukua. Muotoillaan ensin parhaan mahdollisen sijaluvun tehtävä yksikölle k: asetetaan aluksi E k (w α, w γ ) = 1, mistä saadaan toinen normeerausehto painovektoreille. Määritellään sitten indikaattorimuuttujat z = {z 1,..., z K }, z l {0, 1} siten, että z l = 1 20

kun E l (w α, w γ ) > 1, muutoin z l = 0. Lineaarisena tehtävänä tämä saadaan muotoon l z l min w α,w γ,z s.e. i wα i y il j wγ j x jl + Lz l i wα i y ik = 1 j wγ j x jk = 1 (8) z k = 1 w α i, w γ j 0; i, j = 1,..., p z l {0, 1}, l = 1,..., K. Tässä mallissa L:ksi voidaan valita jokin riittävän suuri luku. Normeeraus j wγ j x jk = 1 olisi voitu tehdä toisin, mutta tässä tapauksessa muunlaisista normeerauksista ei saavuteta lisäetua. Ehto z k = 1 pitää huolen siitä, että yksikön k paras sijaluku on vähintään 1. Nyt yksikön k paras sijaluku voidaan ilmoittaa tehtävän (8) avulla muodossa rk min = min w α,w γ,z l z l. Huonoin mahdollinen sijaluku puolestaan saadaan muuttamalla edellisessä mallissa minimointi maksimoinniksi ja rajoitusehto i wα i y il j wγ j x jl + Lz l muotoon j wγ j x jl i wα i y il + (1 z l )L. Näillä rajoituksilla huonoin mahdollinen sijaluku on rk max = max w α,w γ,z l z l. Jos tilanteessa, jossa yksikkö k saavuttaa parhaan sijalukunsa pätee E k (w α, w γ ) = E l (w α, w γ ) joillakin l, niin ylläoleva lineaarinen malli tulkitsee, että yksiköt jakavat tämän sijaluvun. Huonoimman sijaluvun malli puolestaan pitää tällaisessa tapauksessa yksikköä k muita yksiköitä l huonompana. Arvostusvektorien minimi/maksimipainottaminen Joissain tilanteissa voi olla perusteltua, että jonkin päätöksentekijän antamat arvostukset katsotaan tärkeämmiksi (vähemmän tärkeiksi) kuin muiden tai kaikkien päätöksentekijöiden arvostuksia halutaan huomoioida edes jonkin verran. Tällöin voidaan asettaa rajoituksia, jotka määräävät, että päätöksentekijän t arvostuksia on huomioitava vähintään (korkeintaan) qt min (qt max ) prosenttia. Minimi- ja maksimipainottaminen voidaan huomioida edellä esitellyissä malleissa lisäämällä rajoitukset wt α qt min i wα i 0 t w γ t qt min j wγ j 0 t qt max i wα i wt α (9) 0 t qt max j wγ j wγ t 0 t, missä 0 q min, q max 1 ovat päätöksentekijöiden minimi- ja maksimipainotukset sisältävät vektorit. 21