Mat-2.108 Sovelletun matematiikan erikoistyöt Teknillisen korkeakoulun osastojen tehokkuusanalyysi Jussi Kangaspunta, 60689D 8. lokakuuta 2007 TEKNILLINEN KORKEAKOULU Teknillisen fysiikan ja matematiikan osasto Systeemianalyysin laboratorio
Sisältö 1 Johdanto 1 2 Arvostus-DEA-menetelmä 3 2.1 Tuotokset ja panostukset..................... 3 2.2 Suhteellisten arvostusten määrittäminen............ 4 2.3 Yksikön tehokkuus........................ 5 3 Tehokkuusanalyysi TKK:n osastojen välisessä vertailussa 6 3.1 Osastojen tuotokset ja panostukset............... 6 3.2 Asiantuntijoiden arvostukset................... 8 3.3 Tehokkuuslukujen laskenta.................... 8 4 Tulokset 11 4.1 TKK:n osastojen tehokkuudet.................. 11 4.2 Tehokkuuslukujen vertailua ja herkkyysanalyysi........ 14 5 Pohdinnat 15 6 Yhteenveto 16 i
1 Johdanto Korkeakoulujen sisällä tapahtuvaa rahoituksen suunnittelua tehtäessä on tarpeen tehdä vertailuja eri yksiköiden kesken, jotta rahoitus saataisiin kohdistettua korkeakoulun kannalta mahdollisimman tehokkaasti. Aiemmin on tehty tutkimuksia ja vertailuja eri yliopistojen ja korkeakouluyksiköiden kesken (Abbott ja Doucouliagos, 2003), mutta ongelmana on kuitenkin ollut vertailtavien yksiköiden epähomogeenisuus opetusmenetelmien ja -tavoitteiden suhteen (Räty ja Kivistö, 2006). Sen sijaan yhden korkeakouluyksikön sisällä tapahtuva vertailu on huomattavasti selkeämpää (Kao ja Hung, 2006) ja tämän työn tavoitteena onkin selvittää eri yksiköiden välisiä eroja yhden korkeakoulun sisällä tehokkuusanalyysin menetelmiin perustuen. Näin saatuja tuloksia voidaan jatkossa käyttää esimerkiksi resurssien jaon suunnittelun tai seurannan perustana. Arkikielessä tehokkuudella ymmärretään kykyä hyödyntää käytettävissä olevia panostuksia (esim. resursseja) tuotosten aikaansaamiseksi (Farrell, 1957). Korkeakoulujen moniulotteisesta toiminnasta johtuen ei voida kuitenkaan yksikäsitteisesti määritellä relevantteja panos- ja tuotosmuuttujia, joiden perusteella eri korkeakoulujen yksiköiden vertailu tehtäisiin. Eräs tapa tehdä yksiköiden välisiä vertailuja on arvostus-dea-menetelmä (Data Envelopment Analysis) (Korhonen ja Syrjänen, 2004), joka mahdollistaa vertailun myös monimutkaisissa systeemeissä. Arvostus-DEA-menetelmässä tuotoksia ja panostuksia kuvaavien muuttujien suhteellista tärkeyttä kuvataan painokertoimilla, joista voidaan pyytää arvioita usealta asiantuntijalta. Menetelmä mahdollistaa näin erilaisia tuotoksia ja panostuksia koskevat tulkinnat. Tässä yhteydessä tuotos- ja panosmuuttujien tärkeydellä tarkoitetaan eri tuotosten arvokkuuksia sekä kuinka merkittäviä näiden tuotosten tuottamiseen tarvittavat panostukset ovat. 1
Tämän työn tarkoituksena on hyödyntää arvostus-dea-menetelmää Teknillisen korkeakoulun (TKK) osastojen välisessä vertailussa, jonka tuloksia voidaan edelleen käyttää esimerkiksi TKK:n sisäisen resurssien jaon suunnittelussa tai osastojen tavoitteiden asetannassa. Osastojen tuotoksina voidaan pitää opetus- ja tutkimussuoritteita kuten esimerkiksi valmistuneiden tohtoreiden tai julkaisujen lukumäärää ja panostuksina käytettyjä resursseja kuten toimintamenorahoitusta (Beasley, 1995; Johnes ja Johnes, 1995). Tehokkuusanalyysi mahdollistaa myös erilaisten laatutekijöiden huomioon ottamisen. Tämä työ on jäsennelty seuraavasti. Luvussa 2 esitetään lyhyesti arvostus- DEA menetelmä. Luku 3 keskittyy tehokkuusanalyysin hyödyntämiseen TKK:n osastojen välisessä vertailussa ja luvussa 4 esitetään tehdyn tehokkuusanalyysin tulokset. Pohdinnat tehdään luvussa 5 ja lopuksi yhteenveto esitetään luvussa 6. 2
2 Arvostus-DEA-menetelmä Arvostus-DEA-menetelmässä tuotosten ja panostusten suhteellista tärkeyttä arvotetaan usean asiantuntijan arvostusten mukaisesti siten, että asiantuntijoita voidaan pyytää arvioimaan tuotosten ja panostusten suhteellisia tärkeyksiä. Kunkin yksikön tuotosten ja panostusten sekä asiantuntija-arvioiden perusteella voidaan jokaiselle yksikölle laskea yksiköiden tehokkuutta kuvastavat tehokkuusluvut, joita voidaan edelleen käyttää yksiköiden välisten vertailujen perustana. 2.1 Tuotokset ja panostukset Olkoon yksiköitä n kpl, jotka jokainen tuottavat p kpl erilaisia tuotoksia ja käyttävät m kpl erilaisia panostuksia kuvan 1 mukaisesti. Kuva 1: Yksikön i tuotokset ja panostukset. Yksikkö i tuottaa tuotosta j määrän y ij. Olkoot tuotosten suhteelliset arvostukset α = (α 1,..., α p ), missä α j on tuotoksen j arvokkuus suhteessa muihin tuotoksiin. Yksikön i tuotosten kokonaisarvo arvostukset huomioiden on p V i (α) = α j y ij i = 1,..., n. (1) j=1 Yksikkö i käyttää panostusta k määrän x ik. Olkoot panostusten suhteelliset arvostukset β = (β 1,..., β m ), missä β k on panostuksen k arvokkuus suhteessa muihin panostuksiin. Yksikön i panostusten kokonaisarvo arvostukset 3
huomioiden on R i (β) = m β k x ik i = 1,..., n. (2) k=1 2.2 Suhteellisten arvostusten määrittäminen Yksinkertaisin menetelmä asiantuntijoiden arvostusten selvittämiseksi on pyytää asiantuntijoita määrittämään jokaiselle tuotokselle ja panostukselle sen suhteellista tärkeyttä kuvaava luku. Lopuksi määritetään jokaiselle asiantuntijalle tuotosten ja panostusten suhteellisia arvostuksia kuvaavat normeeratut vektorit α ja β asiantuntijan antamien pisteytyksien perusteella. Tällainen suora menetelmä on kuitenkin varsin työläs asiantuntijan kannalta, mikäli tuotosten ja panostusten lukumäärä on suuri. Tässä työssä tuotokset ja panostukset on jaettu eri luokkiin ja asiantuntijoita on pyydetty arvioimaan tuotoksia ja panostuksia ensin kunkin luokan sisällä, minkä jälkeen eri luokkien välillä otetaan jokaisesta luokasta yksi tuotos-/panostus-muuttuja vertailukohdaksi. Asiantuntijoiden antamien arvostusten jälkeen määritetään kaikkien mahdollisten arvostusten joukko eri asiantuntijoiden arvostusten painotettuna summana. Olkoon asiantuntijoita L kpl ja olkoon asiantuntija l:n antamat tuotosten arvostukset α l = (α1, l..., αp) l ja panostusten arvostukset β l = (β1, l..., βm). l Tällöin kaikkien mahdollisten arvostusten joukko tuotoksille S α ja panostuksille S β saadaan seuraavasti { } L S α = α = (α 1,..., α p ) α j = w l αj l j = 1,..., p { S β = β = (β 1,..., β m ) β k = missä w l 0 l = 1,..., L. l=1 } L w l βk l k = 1,..., m, l=1 (3) 4
2.3 Yksikön tehokkuus Yksikön tehokkuudella tarkoitetaan yksikön kaikkien tuotosten ja panostusten välistä suhdetta, kun tuotoksia ja panostuksia on painotettu asiantuntijoiden antamien arvostusten mukaisesti kyseiselle yksikölle suotuisimmalla tavalla. Toisin sanoen yksikön tehokkuusluku E saadaan i) maksimoimalla tuotosten ja panostusten välistä suhdetta annettujen arvostusten mukaisesti painottaen asiantuntijoiden näkemyksiä siten, että yksikön tehokkuusluku on suurin mahdollinen ja lisäksi vaaditaan, että ii) tehokkuusluku ei ole suurempi kuin yksi. Tehokkaalla yksiköillä tarkoitetaan sellaista yksikköä, jonka yhteenlaskettujen tuotosten ja panostusten suhde on vähintään yhtä hyvä kuin minkä tahansa muun yksikön. Yksikön i tehokkuus E i on siis E i = V i R i = p j=1 α jy ij m k=1 β kx ik, i = 1,..., n, (4) missä α S α ja β S β on valittu siten, että yksikön tehokkuus on mahdollisimman suuri ehdolla E i 1. Tehokkuusluku yksikölle I saadaan määritettyä ratkaisemalla seuraava lineaarinen ohjelmointitehtävä max α,β p α j y Ij (α) j=1 s.e. p α j y ij j=1 m β k x Ik = 1 k=1 missä i = 1,..., n; α S α ja β S β. m β k x ik (5) k=1 5
3 Tehokkuusanalyysi TKK:n osastojen välisessä vertailussa Tämän työn tavoitteena on hyödyntää tehokkuusanalyysia TKK:n osastojen tehokkuuksien arvioinnissa. Osastoja on yhteensä 12kpl ja niitä merkitään kirjaimilla A-L. Tehokkuuslukujen laskemiseksi määritetään aluksi käytettävät tuotos- ja panostusmuuttujat, minkä jälkeen asiantuntijoita pyydetään antamaan suhteelliset arvostukset tuotoksille ja panostuksille. Lopuksi lasketaan jokaiselle osastolle tehokkuusluvut. 3.1 Osastojen tuotokset ja panostukset Käytettävissä on kolmen vuoden ajalta kerätty aineisto TKK:n kunkin osastojen tuotoksista ja rahamääräisistä panostuksista. Tarjolla olevaan aineistoon perustuen osastojen tuotosmuuttujat jaetaan 7 eri luokkaan: 1. Opintopisteet ja tutkinnot 2. Kansainvälinen julkaisutoiminta 3. Kotimainen julkaisutoiminta 4. Kansainvälinen liikkuvuus 5. Kansainvälinen muu tieteellinen toiminta 6. Kotimainen muu tieteellinen toiminta 7. Kansainvälistyminen Käytettäviksi panostusmuuttujiksi valitaan 1) toimintamenorahoitus sekä lisäksi 2) projektirahoitus, joka ottaa huomioon sen, että TKK:n tuloksesta merkittävä osa syntyy ulkopuolisella projektirahoituksella. Lisäksi jokaiseen 6
tuotosluokkaan kuuluu useita eri tuotoksia. Panostukset sekä tuotosluokkien sisältämät tuotokset on listattu taulukossa 1. Taulukko 1: Tehokkuusanalyysissä käytetyt tuotokset ja panostukset. Tuotokset Opintopisteet ja tutkinnot Kansainvälinen muu tieteellinen toiminta 1 diplomi-insinöörin tai arkkitehdin tutkinto 1 lausunnon antaminen tieteellisiä kansainvälisiä 1 tekniikan tohtorin tutkinto virkoja täytettäessä 100 opintoviikkoa 1 konferenssin, ohjelma- tai järjestelytoimikunnan puheenjohtajuus Kansainvälinen julkaisutoiminta 1 tieteellisten lehtien ja kirjojen toimittajuus 1 kansainvälinen huippujulkaisu 1 väitöskirjan esitarkastajana toimiminen 1 artikkeli muissa referee-aikakausilehdissä 1 vastaväitös ulkomailla 1 artikkeli kokoomateoksessa 1 plenaariesitelmä Kotimainen muu tieteellinen toiminta 1 kutsuttu esitelmä 1 vastaväitös Suomessa 1 muu esitelmä 1 tieteellisten lehtien ja kirjojen toimittajuus 1 kirja 1 väitöskirjan esitarkastajana toimiminen 1 muu kirja 1 lausunnon antaminen tieteellisiä kotimaisia 1 opetusjulkaisu virkoja täytettäessä 1 tietokoneohjelma 100 keuroa hankittua projektirahoitusta 1 myönnetty patentti Kansainvälistyminen Kotimainen julkaisutoiminta 1 perusopiskelija ulkomailla vaihdossa 1 kotimainen opetusjulkaisu 1 ulkomaalainen perusopiskelija TKK:ssa 1 artikkeli alan huippulehdessä 1 ulkomaalaisen TKK:ssa suorittama tutkinto 1 artikkeli muissa referee-aikakausilehdissä 1 artikkeli kokoomateoksessa Kansainvälinen liikkuvuus 1 plenaariesitelmä 1 tutkijan työskentely ulkomailla (kesto > 1 kk) 1 kutsuttu esitelmä 1 ulkomaisen tutkijan vierailut (kesto > 1 kk) 1 muu esitelmä 1 kirja 1 muu kirja 1 tietokoneohjelma 1 myönnetty patentti Panostukset 100 keuroa toimintamenorahoitusta 100 keuroa projektirahoitusta 7
3.2 Asiantuntijoiden arvostukset Tuotosten ja panostusten arvottamiseksi asiantuntijoiksi valitaan TKK:n resurssitoimikunta, jonka jäseniä pyydetään arvioimaan eri tuotosluokkien välisiä tärkeyksiä sekä lisäksi jokaisen tuotoksen ja panostuksen tärkeyttä erikseen luokkien sisällä. Näiden arvostusten perusteella jokaiselle asiantuntijalle määritetään tuotosten ja panostusten välisiä suhteellisia tärkeyksiä kuvaavat painovektorit α ja β, joiden painotettuna summana saadaan kaikkien mahdollisten arvostusten joukko tuotoksille S α ja panostuksille S β. Malli mahdollistaa siis asiantuntijoiden antamien arvostusten mukaiset erilaiset tulkinnat tuotosten ja panostusten tärkeyksistä. Kunkin osaston tuotoksista ja panostuksista otetaan tarjolla olevasta aineistosta kolmen vuoden keskiarvot, joita käytetään tehokkuuslukujen laskennassa. 3.3 Tehokkuuslukujen laskenta Asiantuntija-arvostusten ja tehokkuuslukujen laskentaan käytetään Microsoft Excel-taulukkolaskentaohjelmistoa. Taulukoissa 2 ja 3 on esitetty kyselypohja, joka resurssitoimikunnan jäseniä pyydetään täyttämään. Kyselylomakkeella kartoitetaan resurssitoimikunnan jäsenten näkemyksiä siitä, miten arvokkaita TKK:n eri tuotokset ja panostukset ovat suhteessa toisiinsa. Näkemykset pyydetään pisteytyksinä, jotka kirjataan kyselylomakkeeseen. Kysely koostuu kolmesta eri vaiheesta, joissa ensimmäisessä annetaan pisteitä kunkin tuotosluokan sisällä siten, että annetut pisteet kuvastavat tuotosten keskinäistä arvoa. Toisessa vaiheessa pisteytetään eri tuotosluokista valittuja yksittäisten tuotosten arvoa. Näiden pisteytysten perusteella eri luokkien tuotokset voidaan rinnastaa toisiinsa. Kolmannessa vaiheessa arvioidaan, miten arvokasta toimintamenorahoitus on suhteessa projektirahoitukseen. 8
Taulukko 2: Vaihe 1 TKK:n eri tuotosten ja panostusten arvokkuuksien määrittämiseen laaditusta kyselylomakkeesta. 9
Taulukko 3: Vaiheet 2 ja 3 TKK:n eri tuotosten ja panostusten arvokkuuksien määrittämiseen laaditusta kyselylomakkeesta. Vastaukset normeerataan kunkin tuotosluokan sisällä ja sarakeessa "Suht. painot" on tuotosten suhteelliset painot kunkin tuotosluokan sisällä. Toisin sanoen sarake "Suht.painot"kertoo minkä arvoinen tuotos on verrattuna johonkin toiseen samaan luokkaan kuuluvaan tuotokseen. Tehokkuuslukujen laskennassa käytettävät suhteelliset painot ja kyselyssä annettuja pisteytyksiä vastaavat kokonaispainot on esitetty sarakkeessa "Abs.painot". Tehokkuuslukujen laskennassa pisteillä sinänsä ei ole merkitystä vaan ainoastaan niiden keskinäisillä suhteilla eli kokonaispainoilla. Eri tuotosluokkien sisällä annettujen pistemäärien ei siis tarvitse olla vertailukelpoisia. 10
4 Tulokset TKK:lta saatu aineisto osastojen tuotoksista sekä panostuksista kootaan Excel-taulukkoon yhdessä resurssitoimikunnan jäsenten antamien arvostusten kanssa. Tämän Excel-taulukon tuotososio on esitetty taulukossa 4 ja resurssitoimikunnan arvostukset on esitetty taulukossa 5. Tämän jälkeen ratkaistaan jokaiselle osastolle tehokkuusluvut muodostamalla lineaarisen ohjelmoinnin ongelma (5), joka ratkeaa varsin nopeasti Excelin oman ratkaisijan avulla. Exceliin rakennettu malli mahdollistaa myös tehokkuuslaskentaan olennaisesti liittyvän herkkyysanalyysin ja muutosten tarkastelun. Voidaan esimerkiksi pyytää lisää asiantuntijoita pisteyttämään tuotoksia ja painotuksia, minkä jälkeen lasketaan tehokkuusluvut uudestaan. 4.1 TKK:n osastojen tehokkuudet Kuvassa 2 on esitetty TKK:n osastoille lasketut tehokkuusluvut. Lisäksi kuvassa on koko TKK:n tehokkuus, joka on määritetty asettamalla kaikkien osastojen tuotosten ja panostusten summa TKK:n kokonaistuotoksiksi ja -panostuksiksi. Tämän jälkeen TKK:n tehokkuus lasketaan kuten jokaiselle osastolle maksimoimalla tuotosten ja panostusten suhdetta asiantuntijaarvostukset huomioiden. Toisin sanoen V T KK (α) = R T KK (β) = p n α j ( y ij ) j=1 i=1 m n β k ( x ik ). k=1 i=1 Koko TKK:n tehokkuus on sinänsä mielenkiintoinen suure vaikka sitä ei suoraan voida verrata yksittäisten osastojen tehokkuuteen, mutta jatkotutkimuksia ajatellen tällä tavoin voitaisiin esimerkiksi tehdä kansainvälisiä yliopistovertailuja eri korkeakouluyksiköiden kesken. 11
Taulukko 4: Laskennassa käytetyn Excel-taulukon tuotososio. 12
Taulukko 5: Laskennassa käytetyn Excel-taulukon arvostus-osio. 13
Kuva 2: TKK:n osastoille lasketut tehokkuusluvut sekä koko TKK:n tehokkuus. 4.2 Tehokkuuslukujen vertailua ja herkkyysanalyysi Tulosten perusteella osastoille lasketuissa tehokkuusluvuissa on hyvinkin suuria eroja, mikä tarkoittaisi käytännössä sitä, että ilman lisäoletuksia tehokkaat osastot säilyttäisivät paikkansa tehokkaiden osastojen joukossa vaikka näille myönnettäisiin huomattavasti enemmän toimintamenorahoitusta. Vastaavasti ei-tehokkaiden osastojen tulisi saada samat tuotokset aikaiseksi huomattavasti pienemmällä toimintamenorahoituksella, jotta niistä tulisi tehokkaita. Voidaan myös sanoa, että ei-tehokkaiden osastojen tulisi saada huomattavasti enemmän tuotoksia aikaiseksi samalla toimintamenorahoituksella. Laskettujen tehokkuuslukujen perusteella voidaan siis tehdä herkkyysanalyysiä ja pyrkiä vastaamaan mm. seuraaviin kysymyksiin 1. Kuinka paljon enemmän toimintamenorahoitusta tehokkaalle osastolle voisi antaa, jotta se olisi edelleen tehokas? 2. Kuinka paljon pienemmällä toimintamenorahoituksella ei-tehokkaan osaston tulisi saada samat tuotokset aikaiseksi, jotta se olisi tehokas? 14
3. Kuinka paljon enemmän tuotoksia ei-tehokkaan osaston tulisi saada nykyisellä toimintamenorahoituksellaan, jotta siitä tulisi tehokas? 5 Pohdinnat Arvostus-DEA menetelmää sovellettaessa on huomattava, että vertailtavien yksiköiden on oltava riittävän homogeenisia, jotta vertailu ylipäätään on mahdollista. Golany ja Roll (1989 s.239) esittävät vertailtavan ryhmän homogeenisuudelle seuraavat vaatimukset: 1. Tehokkuuteen vaikuttavat tuotokset ja panostukset ovat kaikille yksiköille samat lukuun ottamatta eroja määrissä. 2. Kaikki yksiköt toimivat samanlaisissa toimintaolosuhteissa 3. Kaikki yksiköt hoitavat samoja tehtäviä samoin tavoittein Tässä työssä vertailtavina yksiköinä on TKK:n osastot, joiden vertailuperusteina on käytetty TKK:n kirjanpidon mukaisia tuotoksia ja panostuksia, jolloin vertailtavien yksiköiden tuotokset ja panostukset ovat annetun aineiston perusteella kaikille samat, mutta määrät vaihtelevat. Voidaan myös olettaa, että TKK:n osastot toimivat kutakuinkin samoissa toimintaolosuhteissa, Teknillisessä korkeakoulussa. Sen sijaan samojen tehtävien ja tavoitteiden olettaminen saattaa olla vähemmän selkeää, koska herää kysymys hoitavatko eri alojen yksiköt samoja tehtäviä samoin tavoittein? Tehokkuusanalyysin antamien suurien tehokkuuserojen perusteella ei muutoksia voida yliopiston osastojen suhteen tehdä kovinkaan nopeasti, koska resurssien suhteellisen suuret leikkaukset johtaisivat väistämättä suuriin rakennemuutoksiin. On kuitenkin huomattava, että tehokkuusluvut antavat suuntaviivoja osastojen tavoitteiden asetannalle ja muutoksia voidaan pyrkiä tekemään haluttuun suuntaan esimerkiksi vähentämällä ei-tehokkaan osaston 15
toimintamenorahoitusta porrastetusti tai asettamalla kausittaisia tuotostavoitteita. Tällaisen toimintamallin avulla resurssitasojen muutokset pysyisivät kohtuullisina ja lisäksi myös tehokkaita osastoja kannustettaisiin entistä tehokkaampaan toimintaan. 6 Yhteenveto Tässä työssä vertailtiin Teknillisen korkeakoulun osastojen tehokkuutta arvostus-dea menetelmää käyttäen. Osastojen tuotoksiksi ja panostuksiksi valittiin TKK:lta saadun aineiston mukaiset suureet, joista otettiin tarkasteltavaksi kolmen vuoden keskiarvot. Valittujen tuotosten ja painotuksien suhteellisen tärkeyden määrittämiseksi valittiin asiantuntijoiksi TKK:n resurssitoimikunta, jonka jäseniltä kysyttiin erillisen kyselylomakkeen avulla näkemyksiä siitä, miten arvokkaita TKK:n eri tuotokset ja panostukset ovat suhteessa toisiinsa. Osastojen tehokkuuksien määrittämiseksi käytettiin Microsoft Excel taulukkolaskentaohjelmistoa, jonka avulla rakennettiin malli, joka on varsin nopeasti ratkaistavissa. Malli mahdollistaa herkkyysanalyysin tekemisen ja se on lisäksi suhteellisen dynaaminen jatkotutkimusten ja mahdollisesti tehtävien muutosten suhteen. Laskettujen tulosten perusteella TKK:n osastojen tehokkuuksissa on huomattaviakin eroja. Muutosten tekeminen ja resurssien siirtämistä ei-tehokkailta yksiköiltä tehokkaille ei kuitenkaan voida tehdä ainoastaan tehokkuusanalyysiin perustuen. On otettava myös huomioon uudistuksista aiheutuvat rakenteelliset muutokset ja pyrittävä vaiheittaiseen ja porrastettuun muutokseen. 16
Viitteet [1] Abbott M. ja Doucouliagos C. (2003). The eciency of Australian universities: a data envelopment analysis. Economics of Education Review, 22, 89-97. [2] Beasley J.E. (1995). Determining Teaching and Research Eciencies. The Journal of Operational Research Society, Vol. 46, No. 4, 441-452. [3] Farrell M.J (1957). The Measurement of Productive Eciency. Journal of the Royal Statistical Society, Vol 120, No. 3, 253-290. [4] Golany B. ja Roll Y. (1989). An Application Procedure for DEA. Omega, The International Journal of Management Science 17/3, 237-250. [5] Johnes J. ja Johnes G. (1995). Research Funding and Performance in U.K. University Departments of Economics: A Frontier Analysis. Economics of Education Review, 14/3, 301-314. [6] Kao C. ja Hung H.-T. (2006). Eciency analysis of university departments: An empirical study. Omega, The International Journal of Management Science, 36, 653-664. [7] Korhonen P. ja Syrjänen M. (2004). Resource Allocation Based on Ef- ciency Analysis. Management Science 50/8, 1134-1144. [8] Opetusministeriö (2005). Yliopistojen tulosohjauksen kehittämistyöryhmä III. Opetusministeriön työryhmämuistioita ja selvityksiä 2005:24. [9] Räty T. ja Kivistö J. (2006). Mitattavissa oleva tuottavuus Suomen yliopistoissa. VATT-tutkimuksia 124. 17
[10] Syrjänen M. (1998). Data Envelopment-menetelmän mahdollisuudet yliopistojen johtamisessa. Diplomityö, systeemianalyysin laboratorio, Teknillinen korkeakoulu. 18