Benchmarking korkeakoulujen kehittämisvälineenä

Transkriptio

1 1 Kauko Hämäläinen & Minna Kaartinen-Koutaniemi (toim.) Benchmarking korkeakoulujen kehittämisvälineenä KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA 13:2002

2 2 ISBN ISSN Kansi: Edita, Suvi Lepistö Taitto: Pikseri Julkaisupalvelut Oyj Edita Abp Helsinki 2002

3 3 Esipuhe Benchmarking-metodi pyrkii nopeuttamaan organisaation oppimista. Viime vuosina metodi on omaksuttu varsin laajasti toiminnan kehittämismuodoksi myös korkeakouluissa. Korkeakoulujen arviointineuvosto on omalta osaltaan ollut mukana metodin levittämisessä. Arviointineuvosto on vuodesta 2000 lähtien tukenut useita korkeakoulujen omaehtoisen arviointitoiminnan hankkeita, joissa on hyödynnetty tätä metodia. Lisäksi neuvosto on järjestänyt korkeakouluille aihetta käsitteleviä työseminaareja. Korkeakoulujen arviointineuvoston toimintaperiaatteena on tukea korkeakoulujen kehittämistä arvioinnin avulla. Tämä ajattelun mukaisesti arviointineuvosto on halunnut olla tukemassa myös korkeakoulujen omaehtoisen arviointitoiminnan kehittämistä korkeakoulujen omilla ehdoilla ja niiden tarpeista lähtien. Arviointineuvoston osalta benchmarking-metodi on koettu hyödylliseksi, sillä sen avulla korkeakoulut ovat voineet suunnitella arviointinsa joustavasti vastaamaan omia tarpeitaan. Jo valmistuneista hankkeista saatu palaute kertoo, että korkeakouluissa metodi on koettu hyväksi tavaksi toimia. Jokainen arviointihanke on alusta loppuun oppimis- ja tiedostamisprosessi. Arviointihanketta käynnistettäessä organisaatiolla on oltava tarve kehittää toimintaansa, minkä jälkeen syntyvään tiedontarpeeseen on haettava kuhunkin tilanteeseen sopiva menetelmä. Sitoutuminen arviointihankkeeseen ja sen kokeminen omaksi varmistavat saatujen tulosten hyödyntämisen. Arvioinnin vaikuttavuus on siten suoraan yhteydessä arvioinnin omistajuuteen. Kun korkeakoulu ja sen toimijat kokevat hankkeen omakseen, he myös haluavat hyödyntää arvioinnin tuloksia. Tämä julkaisu on tuotettu syventämään benchmarking-metodista käytävää keskustelua ja auttamaan sen avulla omaa toimintaansa kehittämään lähteviä korkeakouluja. Julkaisuun on koottu seitsemän arviointihankkeen toteuttajien kokemuksia hankkeen toteutuksesta, menetelmän toimivuudesta ja tulosten käytettävyydestä. Case-tapauksiin tutustuminen auttaa epäilemättä myös muita arviointihankkeita suunnittelevia korkeakouluja ja niiden yksiköitä. Julkaisun alussa pohditaan myös arvioinnin yleisiä onnistumisen edellytyksiä ja benchmarking-arvioinnin teoreettista viitekehystä korkeakoulujen näkökulmasta. Julkaisun päätteeksi kootaan yhteen eri tapausten kokemuksia ja annetaan suosituksia menetelmän soveltamista varten. Korkeakoulujen arviointineuvoston puolesta kiitämme kaikkia tämän julkaisun kirjoittajia heidän arvokkaasta panoksestaan korkeakoulujen ja niiden arviointitoiminnan kehittämiseen. Helsingissä Ossi V. Lindqvist puheenjohtaja Tapio Huttula pääsihteeri

4 4

5 5 Sisällys Tiivistelmä 6 I JOHDANTO 7 Kauko Hämäläinen: Arvioinnin onnistumisen edellytyksiä 7 Asko Karjalainen: Mitä benchmarking-arviointi on? 10 II CASE-ESIMERKIT 20 Soili Niinikoski: Yhteistyöhön tähtäävä korkeakoulujen kansainvälinen luova benchmarking (Creative Benchmarking) 20 Erika Löfström: Kieltenopetuksen kehittäminen yliopistossa ja ammattikorkeakoulussa 33 Vuokko Lohiniva & Kirsti Ylipulli-Kairala: Hoitotyön opiskelijoiden harjoittelun kehittäminen 42 Minna Kaartinen-Koutaniemi: Yliopisto- ja ammattikorkeakouluopiskelijoiden harjoittelun kehittäminen 54 Airi Härkönen, Kari Juntunen & Eeva-Liisa Pyykkönen: Yrityspalvelujen, T&K-toiminnan ja aikuiskoulutuksen kehittäminen 64 Esko Alasaarela & Lasse Jansson: Korkeakoulu väyläksi yrittäjyyteen kansainvälisen yrittäjyyskasvatuksen ja yrittäjävalmennuksen benchmarking 78 Mirja Toikka: Opintojen ohjauksen benchmarking tekniikan alan koulutusohjelmissa 90 III VERTAILU JA SUOSITUKSET 98 Minna Kaartinen-Koutaniemi: Case-esimerkkien vertailu ja benchmarking-malli 98 Minna Kaartinen-Koutaniemi: Suositukset menetelmän soveltamista varten 104 Kirjallisuusluettelo 109

6 6 Tiivistelmä Julkaisun tavoitteena on esitellä niitä kokemuksia ja esimerkkejä, joita Korkeakoulujen arviointineuvoston tukemien benchmarking-hankkeiden kautta on saavutettu suomalaisessa korkeakoulujen kehittämistyössä viime vuosina. Julkaisun ensimmäisessä osassa pohditaan arvioinnin onnistumisen ja benchmarking-menetelmän käytön edellytyksiä korkeakouluissa. Kauko Hämäläinen käsittelee arvioinnin haasteita ja käytännön toteutusta nykytilanteessa. Asko Karjalainen puolestaan kirjoittaa katsauksen benchmarking-menetelmän määrittelyn haasteista sekä sovellutuksista käytännössä. Toisessa pääluvussa on seitsemän yhteenvetoa erilaisista benchmarking-projekteista. Case-esimerkit on tarkoituksellisesti kirjoitettu systemaattisesti samaa sisällöllistä rakennetta noudattaen, jotta niiden välinen vertailu olisi helpompaa. Näiden esimerkkien kautta pyritään elävöittämään kuvaa benchmarkingmenetelmästä käytännön tilanteissa, mutta myös tuomaan julki prosessiin osallistuneiden kokemukset. Case-esimerkkien toivotaan kannustavan benchmarkingin käyttöön jatkossakin erityisesti menetelmän ilmeisten vahvuuksien innostamana. Julkaisun viimeisessä osassa onkin tehty vertailua esimerkkitapauksista, mutta erityisesti tuotu esille ne suositukset, joita benchmarking-hankkeeseen osallistuneet ovat kokemustensa pohjalta halunneet korostaa. Viimeisen luvun toivotaan sellaisenaan olevan apuna benchmarking-menetelmää soveltaville. Lisäksi julkaisun lopussa on kirjallisuuslista aiheen syvempää perehtymistä varten.

7 7 I JOHDANTO Arvioinnin onnistumisen edellytyksiä Kauko Hämäläinen Työ korkeakouluissa on tullut viime vuosikymmeninä entistä vaativammaksi. Opetuksen ja tutkimuksen ohella on alettu puhua kolmannesta tehtävästä, alueellisen kehittäjän roolista. Opiskelijamäärät ovat lisääntyneet moninkertaisiksi 1970-luvun lopusta asti. Kansainvälinen yhteistyö on lisääntynyt opiskelija- ja opettajavaihdon muodossa. Tutkimusta arvioidaan yhä tiiviimmin kansainvälisin kriteerein. Suuret muutospaineet ovat johtaneet siihen, että korkeakoulujen on kehitettävä omaa toimintaansa erittäin voimakkaasti. Mistä sitten voi saada ideoita kehittämiseen? Yhtenä vastauksena on tarjottu arviointia: opetusta, tutkimusta, hallintoa, kansainvälisyyttä, kirjaston toimintaa tai työelämäyhteyksiä arvioimalla voidaan saada kuva toimintojen vahvuuksista ja kehittämistarpeista. Opetuksen ja tutkimuksen arvioinnilla onkin jo vuosisatainen historia. Kokemus sinänsä ei opeta eikä arvioinnistakaan automaattisesti ole hyötyä. Arvioinnin avulla voidaan avata silmiä näkemään sokeita tai toimintaa haittaavia kohtia. Arvioinnin käytöstä kehittämisen tukena on olemassa sekä hyviä että huonoja kokemuksia. Arvioinnin hyödyllisyydellä on monta edellytystä. Yksi on arvioinnin omistajuus. Jos kehittämisen kohteilla itsellään on mahdollisuus vaikuttaa arvioinnin suunnitteluun ja toteuttamiseen, on todennäköistä, että tuloksia käytetään hyväksi. Jos sen sijaan arviointi on suunniteltu ja toteutettu ulkopuolisin voimin, tuloksiin sitoutuminen voi olla heikompaa. Ulkopuolisia tahoja voi olla valtakunnalliset arviointielimet tai arviointiin erikoistuneet konsultit. Toinen edellytys on se, että arvioinnin pitäisi mahdollistaa osanottajien oppimien. Tällöin arvioinnin kommunikatiivinen luonne korostuu (Hämäläinen & Kauppi 2001). Ne, jotka osallistuvat arviointien tavoitteiden asetteluun, toteutukseen ja raportointiin, oppivat eniten. Siksi olisi hyvä, jos eri vaiheissa pystyttäisiin aktivoimaan mahdollisimman moni yksikön edustaja mukaan. Eri intressiryhmien on syytä olla mukana arvioinnissa. Näin opiskelijoilla, kouluttajilla, tutkijoilla ja hallinnon edustajilla yhtä hyvin kuin työelämän edustajilla ja ylläpitäjillä on syytä tarpeen mukaan osallistua arvioinnin eri vaiheissa. Tärkeää on myös se, että arvioidaan olennaisia asioita. Oikeellisuus tarkoittaa tässä sitä, että valitaan kohteiksi perustoiminnan kannalta tärkeitä asioita. Esimerkiksi koulutusohjelmia arvioitaessa on syytä pohtia, mitkä seikat ovat

8 8 oppimisen ja tavoitteiden saavuttamisen kannalta olennaisia. Näitä on sitten syytä ottaa tarkastelun kohteeksi. Arvioinnin suunnittelussa on syytä pohtia, minkälaista osaamista hyvän suunnitelman valmistaminen edellyttää. Onko esimerkiksi oman henkilökunnan asiantuntijuus riittävää? Onko riittävää, että kollegat arvioivat toisiaan? Mikä osuus tulee olla opiskelijoiden mielipiteillä? Luonnollista on tietysti se, että mukana on arvioitavan asian tuntijoita. Jos arvioidaan opetusta, tarvitaan siis sen alan huippuosaajia samoin kuin oppimisen asiantuntijoita. Jos arvioinnin kohteena taas on kirjaston toiminta, on tunnettava kirjaston laatukriteerit. Lisäksi on turvattava arvioinnin osaaminen. Arviointien hyödyllisin osa on yleensä itsearviointi. Itsearvioinnin tavoitteena on oman toiminnan, sen perusteiden ja seuraamusten kriittinen analysointi. Tavoitteena on myös tiedon saaminen kehittämisen pohjaksi ja itsetyytyväisyyden unesta herättäminen. Jos itsearviointiin paneudutaan kunnolla ja siihen osallistuu mahdollisimman moni asianomainen, joudutaan miettimään syvällisesti työn tavoitteita, toimintamuotoja, laatujärjestelmiä jne. Oman työn reflektointi jo sinällään voi tuoda uusia oivalluksia hyvistä ja huonoista käytänteistä. Syvällinen itsearviointi yleensä aiheuttaa sen, että ulkoisen arvioinnin tulokset vastaanotetaan myönteisemmin ja tietoja käytetään hyväksi. Ulkoisen ja sisäisen arvioinnin yhteys on mielenkiintoinen. Ulkoinen arviointi pohjaa yleensä itsearviointiin. Ulkoisen arvioinnin tehtävänä on varmistaa itsearvioinnin tiedot ja lisätä niihin sitten ulkopuolisin silmin nähtyjä vahvuuksien ja kehittämiskohteiden kuvauksia. Ulkoinen arviointi sinällään ei välttämättä aiheuta mitään muutoksia toiminnassa (Harvey 2002). Sen sijaan arviointineuvoston kokemuksien mukaan itsearviointi vahvistettuna ulkoisen arvioinnin tuloksilla voi olla hyvinkin merkittävä kehittämisen kimmoke (Ponkala 2001). Arvioinnit tulee resurssoida riittävästi. Tämä koskee sekä aikaa, rahaa että asiantuntijuutta. Arvioinnin suunnittelua ja itsearviointia varten on varattava aikaa, jotta tarvittavaan toiminnan kuvaamisen lisäksi tapahtuvaa kriittistä analysointia voi tapahtua. Myös johdon tuki on tarpeen. Arviointi voidaan nähdä johtamisen välineenä, työkaluna. Johtaja voi omalla esimerkillään ja asenteellaan tehdä arvioinnista onnistuneen tai epäonnistuneen. Suuri syy arviointitiedon hyväksikäyttämättömyyteen on siinä, että johtaja ei palaa saatuihin tuloksiin eikä ota palautetietoa kehittämisen pohjaksi. Kertaluontoinen arviointi on harvoin hyödyllinen. Arviointi on parhaimmillaan osa kehittämistä, joka kestää pidemmän aikaa. Arvioinnin avulla voidaan saada tietoa toimintojen eri muodoista, ja näin saatavaa palautetta voidaan käyttää hyväksi. Keskeinen kysymys arvioinneissa on se, kuka määrittää oppilaitoksen laadun ja arvioinnin kohteen. Tapahtuuko se oppilaitoksen sisällä vai sen ulkopuo-

9 9 lella? Arvioinnissa on kyse myös siitä, kenen subjektiivisesta näkemyksestä tulee objektiivinen totuus. Arvioinnin onnistuminen perustuu luottamukseen. Jos arviointiin osallistuvat pelkäävät, että tuloksia voidaan käyttää heitä vastaa, ei voida odottaa itsearvioinnilta kriittisyyttä tai avoimuutta. Jos esimerkiksi tuloksia käytetään rahanjaon pohjana, jokainen yrittää luonnollisesti antaa mahdollisimman myönteisen kuvan itsestään. Arvioinneilla tulee olla jonkinlainen käyttösuunnitelma. Kuka tarvitsee tietoa ja miksi. On mietittävä etukäteen miten tietoa tullaan käyttämään ja miten kerättävä tieto liittyy oppilaitoksen kehittymiseen. Jos näihin kysymyksiin ei ole vastattu, ei arviointiakaan kannata jatkaa. Minkälainen arviointitapa sitten parhaiten täyttää edellä mainittuja vaatimuksia? Yhtenä tapana on käytetty benchmarking-menettelyä. Tässä raportissa paneudutaan siitä saatuihin kokemuksiin. Ensin Asko Karjalaisen kirjoituksessa määritellään benchmarking-käsite ja pohditaan sen luonnetta. Sen jälkeen esitellään seitsemän benchmarking-hanketta, joissa on kehitetty jotakin korkeakoulun toiminnan osaa. Näitä hankkeita vertaillaan, esimerkiksi niiden tavoitteita, toteuttamistapoja ja tulosten hyödyllisyyttä. Tältä pohjalta tehdään suosituksia, mitä benchmarking-hankkeita suunniteltaessa tulisi ottaa huomioon. Korkeakoulujen arviointineuvosto on tukenut yhtenä toimintamuotonaan korkeakoulukohtaisia arviointihankkeita. Taloudellisen ja konsulttituen kohteena ovat olleet hankkeet, joissa on kehitetty uusia arviointimenettelyitä, joissa useat korkeakoulut tekevät yhteistyötä ja joissa on mielellään ulkomaisia partnereita mukana. Tältä pohjalta on kehittynyt useita benchmarkingia käyttäviä projekteja. Nämä tapaukset ovat tämän raportin pohjana. Lähteet Harvey, L The End of Quality? Quality in Higher Education, Vol.8, No.1. Hämäläinen, K. & Kauppi, A Evaluation in Today s Education. From Control to Empowerment. Lifelong Learning in Europe. 2: Miettinen, A. & Pajarre, E. Tuotantotalouden koulutuksen arvioinnin seuranta. Korkeakoulujen arviointineuvoston julkaisuja 12. Helsinki: Edita. Ponkala, O Terveysalankorkeakoulutuksen arvioinnin seuranta. Korkeakoulujen arviointineuvoston julkaisuja 11. Helsinki: Edita.

10 10 Mitä benchmarking-arviointi on? Asko Karjalainen Benchmarking-arviointi sisältää aina vertaamista, vertailua ja kiinnostusta siihen miten toiset tekevät ja toimivat. Kaikki muu kuitenkin on avointa ja joustavaa. Aktivoiva tarkastelu Seuraavassa lyhyessä tarkastelussa käsittelen benchmarking-arvioinnin teoreettista ja käsitteellistä rakentumista väljästi korkeakouluinstituution näkökulmasta. Hyödynnän toisessa yhteydessä rakentamaani (Karjalainen 2002) arvioinnin käsitteistön yleistä analyysia välttäen kuitenkin liiallista filosofointia. Näyttäisi siltä, että benchmarking-arviointia on mahdotonta määritellä yksiselitteisesti. On tyydyttävä luonnehdintaan ja ajatusten virittämiseen. Tavoitteenani on, että kirjoitus antaa aineksia jokaiselle benchmarking-arvioinnin tekijälle oman menetelmän pohdiskeluun. Mitään käytännöllisiä ohjeita ja menettelytapojen kuvauksia en tee. Tämän julkaisun muissa artikkeleissa on esimerkkejä käytännön toteutuksesta. Myös vertailevan arvioinnin alueella nähdäkseni pätee seuraava Jakku-Sihvosen & Heinosen (2001) kiteytys arviointiosaamisen kehityksestä: Vähitellen on myös oivallettu, että tärkeintä ei niinkään ole se, millaisia menetelmiä arvioinnissa käytetään kuin se, miten arvioija itse ymmärtää arviointitoiminnan luonteen ja arvioinnin tarkoituksen. Ongelmallinen arviointi Tarkasteltaessa arviointia on kaiken aikaa muistettava sen pragmaattinen olemassaolon oikeutus. Arviointi on järkevää toimintaa ainoastaan silloin, kun se täyttää tekijänsä tiedostamistarpeet ja toiminnan kehittämistarpeet. Arviointi ei määritelmällisesti voi olla itsetarkoituksellista toimintaa. Tässä on yksi mielenkiintoinen arviointia varsinaisesta tutkimustoiminnasta erottava piirre. Benchmarking-arvioinnissa pragmaattinen tekijä on läsnä erityisen konkreettisesti. Arviointi eri muodoissaan on siis hyvin arkinen ilmiö. Arviointi on käytännöllistä toimintaa, josta on oltava tekijälleen hyötyä. Arvioinnin perustehtävä on toiminnan kehittäminen. Kyky arvioida oman toiminnan tuloksellisuutta, tehokkuutta, taloudellisuutta, vaikuttavuutta ja toimintaan kytkeytyviä ulkoisia ja sisäisiä tekijöitä on olemassaolon ja selviytymisen perusedellytys niin mikrokuin makrotasollakin. Sekä yksilöt, tiimit että organisaatiot arvioivat toimintaansa turvatakseen olemassaolonsa ja kehittyäkseen edelleen. Arviointi voi myös olla kontrollin väline, ja se voi uhata tietyn toiminnan jatkumista. Arviointi usein edeltää vaikeaa päätöksentekoa ja antaa oikeutuksen korjaaville toimenpiteille. Tästä syystä paitsi yksilöt niin myös organisaatiot voivat kehittää suojautumiskeinoja arviointeja vastaan. Suojautua voi esimer-

11 11 kiksi väärän tai kaunistellun tiedon antamisen avulla. (Bohte & Meier, 2000) Tähän näkökulmaan liittyen on hyödyllistä pohtia, voisiko benchmarking-arvioinnissakin olla jotakin sellaista, joka pakottaa organisaatioita kehittämään suojautumiskeinoja? Millaista harkintaa ja strategista varautumista arviointikumppaniksi suostuminen voikaan aiheuttaa? Voi olla, että kilpailutilanteessa on joskus suojauduttava, ehkä jopa harhautettava. Jokaisen benchmarking-projektin epäilemättä kannattaa kysyä itseltään myös näitä kysymyksiä. Johtuen osin juuri runsaista käytännöllisistä sidoksista, arvioinnin määrittely on käsitteellisesti vaikea asia. Eri näkökulmista tarkasteltuna arviointi saa ristiriitaisia ja loogisesti epäyhtenäisiä määreitä. Toisaalta arvioinnin käsitteistö näyttää olevan muissakin kuin suomen kielessä köyhä ja itseään toistava silloin, kuin yritetään tarkastella ilmiön syvempää ajatuksellista rakentumista. Itsestään selvän ja arkipäiväisen tiedostaminen on aina vaikeaa ja johtaa usein kehäpäätelmiin. Filosofisesta näkökulmasta voi olettaa, että arvioinnin käsitekorrelaatteja ovat esimerkiksi sellaiset mentaalisen tarkastelun perustermit kuin tietoisuus, itsetietoisuus, reflektio ja itsereflektio. Toiminnallisesti tarkasteltuna kaikki arviointi ei kuitenkaan ole tietoista, vaan arviointitoiminta sisältää runsaasti latentteja ja implisiittisiä prosesseja. Sama käsitteellinen sekavuus ja määrittelyn vaikeus, joka arviointi-ilmiötä yleensä luonnehtii, kohdataan myös benchmarking-arvioinnissa. Suomalaista vertaantumista Suomen kieleen ei käsitteelle benchmarking ole kyetty luomaan yleistä ja käyttökelpoista käännöstä, josta syystä sitä meillä, ja myös tässä katsauksessa, käytetään lainasanana. Käännöksinä on erilaisissa yhteyksissä käytetty vertailua, vertailevaa arviointia, parhaiden käytänteiden etsimistä, esikuva-arviointia ja jopa parastamista. Näiden sinällään mainioiden sanailujen ongelma on, että ne kuvaavat osuvasti jotakin ilmiön puolta, mutta eivät kovin hyvin kokonaisuutta. Asia ei toisaalta liene kovin ongelmallinen, sillä termi benchmarking ei englannin kielessäkään ole merkitykseltään yksiselitteinen. Se on ehkä jopa poikkeuksellisen homonyyminen sanailmaisu. Suomen kielestä ei kuitenkaan löydy sellaistakaan sanaa, joka yhtä aikaa loisi mielikuvan vertailusta ja parhaiden käytänteiden etsimisestä. Lisää kotimaisia ehdokkaita toivottavasti kuitenkin keksitään arvioinnin sanastoamme rikastuttamaan. Erilaisten humoristisilta ja käyttökelvottomiltakin vaikuttavien ehdotusten ideoiminen toimii kehittävänä itse menetelmän periaatteisiin pureutuvana käsitteellisenä analyysina. Suosittelen sitä lämpimästi. Mitä erilaisia mielikuvia herättävät esimerkiksi seuraavat perisuomalaiset benchmarking-luonnehdinnat: kilpailija-arviointi, vertaantuminen, vertaannuttaminen, vertautuva arviointi, utelias arviointi, uteluarviointi, vierailuarviointi, tutustumisarviointi, yhteisarviointi, rinnastusarviointi, rinnastava arviointi, kumppanuusarviointi?

12 12 Melkein mitä tahansa vertailua Käsite benchmarking viittaa alunperin jonkin yleisen mittapuun asettamiseen, johon muut mitat suhteutetaan. Esimerkiksi rakennuksen perustuksia pystytettäessä ensimmäinen tolppa ja siihen piirretty korkeusmerkki, on benchmark, jonka mukaan muut korkeusmerkit vesivaa an tai kehittyneemmän välineistön avulla määritellään. Hakutermillä benchmarking löytyvästä kirjallisuudesta huomattava osa käsittelee sellaista arviointia, jossa näitä oman aseman vertailukohdiksi käyviä benchmarkkeja etsitään ja tutkitaan. Esimerkkejä tällaisesta menetelmän käsittämisestä löytyy runsaasti myös korkeakoulusektorilta (Esim. teoksesta Jackson & Lund, 2000; Grant, 2001; Pepper & kmp., 2001; Wan Endut & kmp. 2000). Korkeakoulutuksen alueella benchmarkingia näytetään ajatuksellisesti yhdistettävän akkreditointiarvioinnissa (tai muussakin kansallisessa laadunarvioinnissa) käytettävään menettelyyn, jossa esimerkiksi koulutusohjelman laadukkuutta arvioidaan rinnastamalla se tiettyyn yleiseen kansalliseen standardiin eli laatuluokitukseen (esim. Hodginson, 2002; Jackson & Dándrea, 2002). Akkreditointimenettely omaa USA:ssa jo vuosisataisen perinteen, joten näin ajatellen benchmarking-arvioinnilla olisikin yliopistolaitoksessa jo pitkä ja merkittävä historia. On kuitenkin huomattava, että termiä benchmarking ei tässä yhteydessä aiemmin ole käytetty, vaikka arviointi on rakenteellisesti ollutkin hyvin saman kaltaista benchmarkkien käytön kanssa. Kirjallisuudesta löytyy myös kannanottoja, että tällainen benchmarking ei ole oikeaa benchmarkingia (true benchmarking). Oikeaksi benchmarkingiksi benchmarkkien tuottaminen muuttuu vasta silloin, kun se laajentuu parhaiden käytäntöjen identifioinniksi ja soveltamiseksi oman organisaation toiminnan kehittämisen prosessissa (Palfreyman, 1999). Käsitteen varsinainen ekspansio ja yleistyminen erilaisiin organisaatiokonteksteihin alkoi lukujen taitteessa, ja sen käynnistäjänä on kaikkien tuntema Xerox. Täältä alkoi käsitteen merkitysevoluutio parhaiden käytäntöjen etsimisenä. Parhaiden käytäntöjen etsimisessä oli alunperin tavoitteena löytää toisista organisaatioista sovelluskelpoisia ratkaisuja oman organisaation ongelmiin. Sittemmin parhaiden käytäntöjen etsiminen on yleistynyt merkitsemään toimivien käytänteiden etsimistä muista saman alan organisaatioista, eri alan organisaatioista ja myös oman organisaation eri osista. Tällaisen arvioinnin vaiheiksi on kiteytynyt neli- tai viisiportainen eteneminen, jossa aluksi itsearvioinnin avulla löydetään oma kehittämistä kaipaava prosessi, seuraavaksi etsitään vertailukumppani, jossa kyseinen prosessi onnistuu paremmin, tämän jälkeen suoritetaan vertailu usein vierailukäynnin muodossa, jonka jälkeen tuloksia lopuksi kriittisesti ja luovasti tulkitaan, sovelletaan ja siirretään oman organisaation kontekstiin. Alusta lähtien tällaisessa parhaiden käytäntöjen etsimisessä on motivaatiolähteeksi määritelty oman yrityksen kilpailukyvyn säilyttäminen ja parantaminen. Oman toiminnan vertaaminen toisten toimintaan edistää kilpailuasemaa

13 13 monella tavalla: oman toiminnan taso selkiytyy, naapureiden innovaatiot nopeuttavat omaa kehitystä, ja tietoisuus kilpailijoiden olemassaolosta kiihdyttää sekä yksilöiden että organisaation sykettä. Kilpailullinen tausta-argumentti on lähes poikkeuksetta otettu myös korkeakouluorganisaatioissa toteutettavan benchmarking-arvioinnin ohjenuoraksi. Esimerkiksi Epper (1999) kysyy ja vastaa voimakkaasti: Miksi korkeakoulujen tulisi kiinnostua benchmarkingista? Lyhyesti: kilpailun vuoksi. Suomalaisessa korkeakoululaitoksessa yksittäisten opinahjojen keskinäinen kilpailu ei ole niin näkyvää kuin monissa muissa maissa. Kilpailu epäilemättä kiihtyy myös täällä, ja eräs alue jolla aktivoitumista tapahtuu, on kilpailu hyvistä opiskelijoista. Englannista löytyykin tähän tilanteeseen virittävä esimerkki benchmarkingin käytöstä opiskelijarekrytoinnin kehittämisessä (Coleman & Viggars, 2000). Kilpailullisuus on kuitenkin vain yksi dimensio benchmarking-käsitteessä, ja on aivan oikeutettua kysyä, eikö kilpailun lietsomisen sijaan ( varsinkin korkeakoulutuksen piirissä ( olisi monissa tilanteissa hedelmällisempää virittää yhteistyötä ja yhteistoimintaa. Viime vuosina onkin yhä enemmän alettu puhua menetelmän yhteistyötä rakentavista vaikutuksista. Parhaiden käytänteiden etsiminen virittää yhteistyötä ja yhteistä tietoisuutta oman organisaation sisällä, mutta se voi johtaa myös eriasteiseen toveruuteen ja jopa yhteisiin projekteihin eri organisaatioiden välillä. Benchmarking- arviointi voi olla monella eri tavalla yhteistoiminnallista. Esimerkiksi konsortiobenchmarkingissa (Epper,1999) arviointia varten kootaan useiden koulutusorganisaatioiden muodostama kotiryhmä, joka yhdessä tutkii jäsentensä kehittämistarpeet, ja suunnittelee konsortion ulkoiset vertailun ja oppimisen kohteet. Konsortio jakautuu työryhmiksi, suorittaa arviointikäynnit, ja saadut tulokset jaetaan kotiryhmän kesken. Vieläkin pidemmälle voi mennä ja puhua myös puhtaasti yhteistyöhakuisesta benchmarking-arvioinnista, jolloin arvioinnin tärkeimpänä tavoitteena on kartoittaa ja luoda pohjaa yhteisille hankkeille (Karjalainen & kmp., 2001). Itse asiassa benchmarking-arviointi voi tarkoittaa lähes mitä hyvänsä vertailevaa arviointia. Erilaisia menetelmää luonnehtivia laatusanoja ja alaluokkia on kymmeniä. Tämän artikkelin lähdeluettelossa mainitusta kirjallisuudesta löytyy esimerkiksi seuraavanlaisia luokitteluja, joiden mukaan benchmarkingarviointi voi olla: suoritteita vertaavaa: tutkitaan oman toiminnan tasoa vertaamalla sitä yleisiin standardeihin tai benchmarkkeihin parhaita käytänteitä omaksuvaa: identifioidaan toisten laadukkaita toimintatapoja ja sovelletaan niitä omaan organisaatioon tai toimintayksikköön kilpailullista: etsitään itselle markkinaetua tai etulyöntiasemaa yhteistyöhakuista: pyritään pidempikestoiseen yhteistyöhön kumppanin kanssa yhteistoiminnallista: kootaan useampi organisaatio arvioinnin kotiryhmäksi riippumatonta: ei luoda kontakteja kumppaniin vaan etsitään vertailutieto yleisistä lähteistä

14 14 implisiittistä: tapahtuu muun toiminnan ohessa ilman suunnitelmaa, tai vertailua ei nimitetä benchmarkingiksi eksplisiittistä: tietoisesti suunniteltua ja organisoitua sisäistä: oman organisaation eri osien välillä tapahtuvaa ulkoista: haetaan kumppani tai kohde oman organisaation ulkopuolelta panoksiin, tuotoksiin tai prosessiin tai näiden yhdistelmään keskittyvää laadullista: pyritään nimeämään ja luokittelemaan havaintoja sanallisesti määrällistä: pyritään ilmaisemaan havainnot ja tulokset numeerisesti tutkimuksellista: pyritään tieteellisyyden kriteerit täyttävään vertailutietoon seikkailevaa ja kokemuksellista: ystävyysvierailuja ja tutustumiskäyntejä ilman tiukkaa tavoitetta vertikaalista: tietyn organisaation eri tasojen toimintaprosessit kohteena horisontaalista: tietty toimintaprosessi eri organisaatioissa kohteena dialogista: pyritään tasavertaiseen tiedonvaihtoon ja keskusteluprosessiin byrokraattista: vuorovaikutteisuus rajattua, tiukka virallinen protokolla geneeristä: etsitään parhaita käytänteitä eri toimialan organisaatioista ja halutaan selvittää parhaiden käytäntöjen synnyn syyt funktionaalista: etsitään parhaita käytänteitä saman toimialan organisaatioista. Jokainen benchmarking-arviointiin ryhtyvä organisaatio määrittelee arvioinnin malleja, menetelmiä ja myös edellä listattuja käsitteitä omalla tavallaan, mikä sinällään on perusteltua ja välttämätöntä, mutta tekee entistä vaikeammaksi yksiselitteisten yleisten määrittelyjen laatimisen. Huomautuksiin siitä, että olisi olemassa oikeaa tai aitoa ja väärää tai vähemmän aitoa benchmarking-arviointia, on ainakin suhtauduttava erittäin varauksellisesti. Mielenkiintoista sen sijaan on tutkia, kuinka erilaiset määrittelyt voivat esiintyä yhdessä dimensioina, vastakohtina, pareina ja toistensa selventäjinä ja syventäjinä. Jackson & Lund (2000) tekevät tällaista analysointia teoksessaan runsain määrin. Esimerkiksi ristiintaulukoimalla määritteet riippumaton, yhteistoiminnallinen, sisäinen ja ulkoinen saadaan seuraavat benchmarking-arvioinnin luokat:

15 15 Taulukko 1. Sisäinen ulkoinen ja riippumaton yhteistoiminnallinen benchmarkingin määreinä BENCHMARKING SISÄINEN ULKOINEN RIIPPUMATON Tutkitaan oman organisaation tuottamia Verrataan omaa organisaatiota toisiin tai jonkin muun tahon siitä tuottamia kohteeksi valittuihin organisaatioihin tilastotietoja ja tunnuslukuja. Verrataan yleisten saatavilla olevien tunnuslukujen oman organisaation eri yksiköitä ja tietoverkkojen avulla ilman että näiden lukujen avulla otetaan kontakteja tai suoritetaan muuta aineiston keräämistä. YHTEIS- Kootaan oman organisaation yksiköt yhteen Kootaan ryhmä organisaatioita, jotka TOIMINNALLINEN keskustelemaan, analysoimaan ja vertaamaan suorittavat keskinäisen vertailun ja toimintaprosessejaan ja tuloksiaan. jakavat tiedon keskenään. Vertailu voidaan tehdä myös kahdenvälisenä ja siinä voi olla mahdollisuus erilaiseen sitoutumiseen. Taulukoinnin avulla voidaan luonnehtia erilaisia lähestymistapoja, ja näin syntyviä ideoita voi käyttää oman menetelmän tunnuspiirteiden tiedostamiseen ja suunnitteluun. Erityisen mielenkiintoisena pidän dimensioiden kilpailullinen yhteistyöhakuinen ja parhaita käytäntöjä omaksuva suoritteita vertaava tarkastelua, koska nämä näyttävät muodostavan menetelmän historiallisen ja yhä ajankohtaisen perusjännitteen. Taulukko 2. Kilpailullinen yhteistyöhakuinen ja suoritteita vertaava parhaita käytänteitä omaksuva benchmarkingin määreinä BENCHMARKING KILPAILULLINEN YHTEISTYÖHAKUINEN SUORITTEITA Kilpailija-analyysin suorittamista. Etsitään erilaisten benchmarkkien VERTAAVA Lisätään tietoisuutta kilpailullisesta avulla potentiaalisia yhteistyön tai toimintaympäristöstä. Jos toteutus on yhteistoiminnan kumppaneita. riippumaton, niin toimintaa on helppo Tavoitteena voi olla löytää omaa tasoa tehdä kulisseissa. parempia yhteistyön ehdokkaita. Ongelmallista on kuinka yhteistyö saadaan lopulta käynnistymään. PARHAITA Pyritään maksimoimaan oman organisaation Valmistellaan mahdollisimman KÄYTÄNTEITÄ kilpailu- etu tutustumalla oman toimialan hedelmällistä molempia osapuolia OMAKSUVA valittuihin kohteisiin tarkasti ja systemaatti- hyödyttävää yhteistyötä arvioinnin sesti. Voi johtaa pidäkkeiseen vuoro- avulla. Toiminta on dialogista, ja vaikutukseen kumppaneiden välillä, ja edellyttää korkeaa sitoutumisen astetta. edesauttaa salailua ja suojautumista. Kulttuuriset törmäykset ovat todennäköisiä.

16 16 Benchmarkingia kuvaavien käsitteiden yhteisvaikutuksen tutkiminen on mielenkiintoista. Sitä kautta menetelmälle voi asettaa myös useita kriittisiä kysymyksiä. Tarkempi työ jää kuitenkin lukijalle, joka toivottavasti yrittää vaikkapa tällaisen taulukoinnin avulla tutkia kaikkien edellä mainittujen attribuuttien käsitteellistä yhteyttä ja moniulotteisia yhteisvaikutuksia. Arvioinnin rakenne-elementit määrittelyn avuksi Käytännöllisenä toimintana arviointi sisältää tietyt välttämättömät yleiset rakennetekijät, joiden avulla myös benchmarking-arvioinnista voi muovata teoreettista jäsennystä. Kaikessa arvioinnissa on aina mukana edustus seuraavista kategorioista: 1. Arvioija (arvioinnin subjekti, kuka arviointipäätöksen tekee ja arvioinnin suorittaa) 2. Arvioitava toimija (joka voi olla yksilö, tiimi tai organisaatio) 3. Arvioinnin kohde (joka voi olla arvioitavan toimijan toiminnan tuotos, siihen johtava prosessi tai jokin muu arvioijaa kiinnostava asia ) 4. Arvioinnin intressi (joka kertoo, miksi arviointia tehdään ja miksi sitä tehdään juuri tietyllä tavalla, mikä on arvioinnin tavoite ja käyttövoima) 5. Arvioinnin välineet (joihin sisältyvät kaikki ne toimenpiteet, säännöstöt ja työkalut, joilla arviointia toteutetaan) Arvioinnin rakenne-elementtien avulla benchmarking-käsitettä voidaan purkaa ja sen sisältöä selkiyttää ainakin seuraavasti. On huomattava, että erotteluun kirjaamani ominaisuudet ovat yksinkertaistamiseen ja yhtenäistämiseen pyrkivää ideaalimallin luomista. Taulukko 3. Benchmarking-arvioinnin rakenneanalyysi BENCHMARKING-ARVIOINTI ARVIOIJA ARVIOITAVA KOHDE INTRESSI VÄLINEET Kollektiivinen toimija. Kollektiivinen toimija. Kehittymisen ja menestyksen Oman toiminnan tason Vertailutiedon keruu Yleensä organisaatio Voi olla organisaatio kannalta keskeinen prosessi, tarkistaminen ja itseltä ja arvioitavalta tai jokin organisaa- itse, tai jokin ulkoinen asiantila tai muu toiminnan kehittäminen. ja vertailun suorittaminen. tion osa: tiimi tai organisaatio samalla arvioijan tärkeäksi Arvioinnin intressi on Intressistä riippuen projekti. toimialalla tai jollakin kokema tekijä. sisäsyntyinen, aloitteen- vertailu voi olla aivan muulla toimialalla. tekijän omaan aktiivisuuteen autenttista ja elävän Toimija voi olla pohjautuva. Käyttövoimana on vuorovaikutuksen kilpailevassa suhteessa myös uteliaisuus ja halu avulla toteutettua. tai täysin riippumaton. nähdä, kuinka toiset Toteutus voi olla tutkäytännössä tekevät asioita. kimuksellista ja käyttää Intressi voi olla hyvin itsekäs, niin laadullisia kuin määmutta se voi olla myös rällisiäkin tekniikoita. molemminpuoliseen Välineitä voivat olla myös hyötymiseen ja jopa jat- viralliset tai epäviralliset kuvaan yhteistyöhön pyrkivä. tapaamiset jne.

17 17 Erottelusta nähdään, että benchmarking-arvioinnin tekijä on aina kollektiivinen subjekti kuten myös arvioitava toimija. Näin määritellen yksilöiden välinen suoritusarviointi ei kuulu benchmarking-arvioinnin alueelle. Näkisin erityisen tärkeäksi seikaksi menetelmän intressialueen tarkastelun. Eroksi moniin institutionaalisiin arviointeihin liittyvään toimintapakkoon, benchmarking-arviointiin voi liittää, ja siihen kannattaa liittää, vaatimus omaehtoisuudesta. Jos tämä hyväksytään, niin tällöin oikeaa benchmarkingia on sellainen vertaileva arviointi, johon mikään kontrolloiva taho ei ole toimijoita velvoittanut. Tärkeäksi erityispiirteeksi näkisin myös intressialueeseen liittyvän uteliaisuuden toista toimijaa kohtaan. Benchmarkingin suuri suosio epäilemättä ainakin osin selittyy sillä, että toisen toimijan konkreetin toiminnan ja toimintakäytänteiden seuraaminen on innostavaa ja motivoivaa. Benchmarking antaa yleisesti hyväksyttynä kohtaamisen menetelmänä ja positiivisesti värittyneenä käsitteenä luvan olla utelias; se avaa kohtuullisen helposti oven toisten toimijoiden ja organisaatioiden salattuun maailmaan. Lopuksi Benchmarking-arviointia kohtaan ei juurikaan ole esitetty kritiikkiä, ellei sellaiseksi lueta mainintoja muotivirtauksesta, käsitteellisestä hämäryydestä ja myyttisestä glamourista (Gooden & McCeary, 2001) tai seikkaa, että menetelmä näyttäisi joidenkin viitteiden mukaan olevan menestyksellinen sellaisissa organisaatioissa, jotka jo muutenkin ovat verraten kehittyneitä ja hyvin resurssoituja (Dervitsiotis, 2000). Menetelmän käyttöönoton ja toimivuuden ennuste on huonoin siellä, missä vallitsee autoritaarinen ja individualistinen kulttuuri, joka kuvaus valitettavasti osuu kovin kohdalleen juuri yliopistomaailmaan. (Palfreyman, 1999). Mielenkiintoisen ja filosofisesti vakavimman kritiikin benchmarkingia kohtaan esittää Dervitsiotis (2000) väittäessään, että menetelmä ei lähtökohdissaankaan sovellu tulevaisuuteen suuntautuneen toiminnan ohjenuoraksi. Tätä väitettään hän perustelee sillä, että menetelmässä etsitään olemassa olevista käytänteistä ratkaisuja, joiden tulisi turvata toiminnan jatko ennakoimattomassa ja myrskyisessä tulevaisuudessa. Menetelmä sopii kehitystekijäksi olemassa olevan paradigman sisällä, mutta paradigman horjuttajaksi siitä ei ole. Dervitsiotis antaa ymmärtää myös naiviksi oletuksen, että organisaatiot paljastaisivat toisilleen todellisia innovaatioita ja menestystekijöitä, jos sellaisia olisivatkin keksineet. Hänen mukaansa paras keino saada totuudellista tietoa kilpailijasta, on hankkia palkkalistoilleen sen entisiä työntekijöitä. Tuottaako vertaileva arviointi vain keskinkertaisuutta, riippuvuutta ja tasapäistävää jäljittelyä? Monistaako se olemassaolevia ideoita ja toimintamalleja kumouksellisten näkökulmien avaamisen sijaan? Dervitsiotisin väitettä voi yrittää kyseenalaistaa osoittamalla, että hänen benchmarking-käsityksensä on ainakin jossain määrin staattinen. Parhaita käytänteitä etsitään itseä edellä olevista organisaatioista, ja niitä joudutaan aina soveltamaan luovasti omaan organi-

18 18 saatiokontekstiin sopiviksi, mikä tarkoittaa uuden tuottamista. Virikkeiden ja innoituksen löytäminen voi toimia sysäyksenä myös aivan uusiin oivalluksiin ja mullistuksiin. Menetelmää voi tukea myös empiirisellä argumentilla todeten, että ainakin tähän saakka benchmarking näyttäisi tuottaneen menestyksen avaimia ja kehitystä. Menetelmän käytöstä kertovat raportit ovat useimmiten menestystarinoita. Toinen asia kuitenkin on, olisiko jollakin muulla tavoin voitu keksiä aivan uusia ja paljonkin parempia ratkaisuja. Ehkä Dervitsiotis esittääkin tärkeän ja ajankohtaisen haasteen benchmarking-arvioinnille. Kysymyksen, joka kuuluu, millä tavoin vertaileva arviointi voisi tuottaa uutta ajattelua, ennalta arvaamattomia innovaatioita ja tulevaisuuden ennakointia. Tätä kysymystä mietittäessä kannattaa kuitenkin myös muistaa arvioinnin alati käytännöllinen tehtävä. Tärkeintä ennen kaikkea on, että benchmarking-arviointi, kun sitä käytetään, täyttää arvioijan sille kulloinkin asettamat konkreetit tiedostamisen ja kehittämisen tavoitteet. Lähteet Bohte, J. & Meier, K.J Goal Displacement: Organizational Cheating. Public Administration Review. Vol. 60, Coleman, R. & Viggars, L Benchmarking Student Recruitment: The UCAS Institutional Planning Service. Teoksessa: Jackson, N. & Lund, H. Toim. Benchmarking for Higher Education. Society for Research into Higher Education & Open University Press. Dervitsiotis, K.N Benchmarking and business paradigm shifts. Total Quality Management. Vol. 11, p Epper, R Applying Benchmarking to higher education. Change, p Gooden, S.T & McCeary, S.M That Old-Time Religion: Efficiency, Benchmarking, and Productivity. Public Administration Review. Vol. 61, p Grant, R Improving Service Quality with Benchmarks. Educause Review. Vol. 36, p Hodginson, L Benchmarking Key Skills Using National Standards: the open University Experience. Teoksessa: Jackson, N. & Lund, H. Toim. Benchmarking for Higher Education. Society for Research into Higher Education & Open University Press. Jackson, N. & Dándrea, V Benchmarking the Outcomes of Learning. Teoksessa: Jackson, N. & Lund, H. Toim. Benchmarking for Higher Education. Society for Research into Higher Education & Open University Press. Jackson, N Benchmarking Educational Processes and Outcomes. Teoksessa: Jackson, N. & Lund, H. Toim. Benchmarking for HigherEducation. Society for Research into Higher Education & Open University Press. Jackson, N. & Lund, H Toim. Benchmarking for Higher Education. Society for Research into Higher Education & Open University Press. Jakku-Sihvonen, R. & Heinonen, S Johdatus koulutuksen uudistuvaan arviointikulttuuriin. Opetushallitus. Arviointi 2.

19 19 Karjalainen, A Tentin teoria. Oulun yliopiston opetuksen kehittämisyksikön julkaisuja. Dialogeja. 4. Karjalainen, A.; Kuortti, K.; Niinikoski, S Luova koulutusohjelmavertailu. Ajatuksia kansainvälistä benchmarking-arviointia varten. Oulun yliopisto. Oulun yliopistopaino. Palfreyman, D Benchmarking in Higher Edducation: A Study conducted by the Commonwealth Higher Education Management Service. Book Review. Perspectives, Vol. 3, Wan Endut, W.J, Abdullah, M, Husain, N Benchmarking institutions of higher education. Total Quality Management. Vol. 11, p

20 20 II CASE-ESIMERKIT Yhteistyöhön tähtäävä korkeakoulujen kansainvälinen luova benchmarking (Creative Benchmarking) Soili Niinikoski Yleistä Oulun yliopiston opetuksen kehittämistoimikunnan kehittämisohjelmaan vuosille kirjattiin yhtenä painoalana kansainvälisen toiminnan kehittäminen. Kehittämisohjelman pohjalta käynnistettiin benchmarking-projekti syyskuussa 2000, jolloin projektiin valittiin koordinaattori. Tällöin haimme rahoitusta Korkeakoulujen arviointineuvostolta ja idealle näytettiin vihreää valoa. Toiminnan ensimmäinen syksy keskittyi lähinnä projektin toimintamallin suunnitteluun sekä pilottilaitosten etsimiseen. Sittemmin olemme panostaneet laitosten konsultointiin pilottikokeiluissa sekä uudenlaisen benchmarking-metodin eteenpäin kehittelyyn. Projektiamme ei ole tarkoitus saattaa loppuun tietyssä aikavälissä, vaan ennemminkin tavoitteena on synnyttää jatkuvan yhteistyön perinne partnerilaitosten välille. Osallistujat Benchmarking-projektiin osallistuu seitsemän Oulun yliopiston laitosta ulkomaisine kumppanilaitoksineen. 1. Geotieteiden laitos Montanuniversität Läeoben, Itävalta 2. Prosessimetallurgian laboratorio Kungliska Tekniska Högskolan, Ruotsi 3. Markkinoinnin laitos University of Otago, Uusi-Seelanti 4. Biologian laitos Stockholms Universitet, Ruotsi 5. Hammaslääketieteen laitos King s College London (University of London), Iso-Britannia 6. Taideaineiden ja antropologian laitos Università Ca Foscari di Venezia, Italia 7. Ympäristötekniikan osasto Technische Universiteit Delft, Alankomaat

21 21 Benchmarking-prosessi 1. Luova benchmarking Benchmarkingin perimmäinen tavoite on oman suorituskyvyn kehittäminen hyödyntämällä toisilta oppimaamme. Oulun yliopiston benchmarking-projekti poikkeaa perinteisestä benchmarkingista usealla tapaa. Kun me puhumme benchmarkingista, emme viittaa siihen sen perinteisessä merkityksessä, vaan kehitämme tätä käsitettä hieman pidemmälle. Haluamme korostaa menetelmän laadullista sekä filosofista puolta ja olemmekin määritelleet luovan benchmarkingin seuraavin sanoin: Benchmarking on ihmisen luontainen utelias tapa toimia ja kartoittaa yhteistyön ja ystävällisyyden edellytyksiä. 1 Lähtökohtana tämän määritelmän kehittämiselle on ollut ajatus, ettei perinteinen benchmarking sinällään sovellu kaikkien yliopistomaailman tehtävien kehittämiseen. Luovalla benchmarkingilla voidaan rakentaa yhteistyötä korkeakoulujen välille. Se tähtää vastavuoroiseen oppimiseen vertailukumppanista tehtävien havaintojen kautta. Molempien kumppaneiden täytyy olla riittävän hyviä omalla alallaan, että vastavuoroinen hyötyminen on mahdollista. Luova benchmarking on siis hieman vaativampi kuin perinteinen malli, jossa opitaan hyviltä esikuvilta vain oman toiminnan tehostamista varten. Luovan vertailun benchmarkingissa yliopiston laitos tekee vertailevaa arviointia ulkomaisen kumppanin kanssa, pohditaan yhdessä parannuskeinoja opetukseen sekä parhaimmassa tapauksessa aletaan rakentaa yhdessä uusia opetuskokonaisuuksia. Luovan benchmarkingin prosessin tärkein päämäärä on jatkuva yhteistyö, jolla luodaan uusia, syvempiä suhteita korkeakoulujen välille. Projektimme tavoitteena on edistää korkeakoulujen aitoa kansainvälistä yhteistyötä sekä kehittää eteenpäin benchmarking-metodologiaa. Projektin työkaluina käytämme benchmarking-tiimejä, vertailumatriiseja sekä työpajoja. Käsittelemme myöhemmin näitä benchmarking-prosessimme keskeisiä työkaluja. 2. Kumppaneiden valinta Lähetimme syksyllä 2000 Oulun yliopiston laitoksille kirjeen pyytäen innostuneita laitoksia osallistumaan projektin pilottivaiheeseen, ja kiinnostuneita löytyi enemmän kuin pystyimme ottamaan alkuvaiheessa mukaan. Valitsimme seitsemän edellä lueteltua laitosta, joista jokainen valikoi kansainvälisen partnerilaitoksensa itse. Ulkomaisia partnerilaitoksia valittiin hyvin erilaisin perustein. Joku laitos valitsi partnerinsa muutaman aiemman kontaktin perusteella, kun taas jollakin laitoksella oli ollut henkilökohtaisia suhteita kyseiseen korkeakouluun jo useiden vuosien ajan. Jollakin laitoksella katsottiin, että projekti oli ainutlaatuinen tilaisuus luoda yhteistyösuhde alansa kuuluisaan laitokseen tai yliopistoon. Löy- 1 Karjalainen, Kuortti & Niinikoski 2001.

22 22 tyypä joukosta sellainenkin esimerkki, että ulkomainen partnerilaitos antaa kumppanin käyttää erittäin kallista tutkimuslaitteistoa, jota oman yliopistomme laitoksella ei näillä näkymin ole varaa hankkia. 3. Benchmarking-tiimit Laitokset ovat valinneet keskuudestaan projektiin osallistuvat henkilöt, joista muodostetaan kullakin laitoksella kaksi benchmarking-tiimiä, koordinaattoritiimi sekä opiskelijatiimi. Kussakin tiimissä on noin 4 6 henkilöä. Ensimmäinen tiimi muodostuu lähinnä opetushenkilökunnasta ja toinen tiimi opiskelijoista. Tiimien tärkein tehtävä on täydentää tietoa matriiseihin omien kokemuksiensa pohjalta. Coordinator matrix TEACHING AND CURRICULUMS Coordinator matrix BMT Oulu BMTf WORKSHOPS BMTs Oulu Student matrix LEARNING CULTURE BMTfs Student matrix BMT = benchmarking team f = foreign team s = student team Kuvio 1. Benchmarking-tiimien muodostuminen ja vastuualueet. 4. Vertailumatriisit Oulun yliopisto on tehnyt systemaattista opetuksen laadunarviointityötä vuodesta 1994 lähtien. Opetuksen arviointia on toteutettu laitosten itsearviointina, johon kehitettiin empiirisen kokemukseen perustuen matriisi palvelemaan opetuksen kehittämistyötä. Projektissa käyttämämme matriisit (ks. liite 1.) on toteutettu tämän pitkäaikaisen kehitystyön pohjalta.

23 23 Matriisit ovat eräänlaisia laadullisia kysymyslomakkeita, jotka toimivat laitosten vertailun pohjana. Matriisit sisältävät kysymyksiä eri kategorioista. Koordinaattoritiimin kysymykset liittyvät esimerkiksi opetuksen järjestämiseen, opintosuunnitelmaan, opetuksen tukitoimiin sekä laadun arviointiin, kun taas opiskelijamatriisi keskittyy lähinnä saamaan selville minkälainen oppimiskulttuuri laitoksella vallitsee. Tarkoituksena on, että laitokset muokkaavat matriisit yhdessä ulkomaisen kumppaninsa kanssa palvelemaan yhteisiä tavoitteitaan, sellaisiksi että niillä todellakin löydetään taustatietoa jota tarvitaan pitkäkestoista yhteistyötä hahmotettaessa. Tietenkin matriiseja voidaan käyttää myös sellaisenaan. Tärkeintä on, että matriisit kuvaavat hyvin laitosta, ja että vertailusta kehittyisi opiskelijoiden ja opettajien yhteinen oppimisprosessi. Laitokset suorittavat itsenäisesti tiedonkeruun matriiseihin. Matriisiarviointi tuottaa laadullista kuvaavaa palautetta laitoksen toiminnasta. Kukin tiimi vastaa kysymyksiin keräämällä omia ajatuksia ja huomioita lyhyesti kysymysruutuihin. Kun johtotiimit sekä opiskelijatiimit ovat täydentäneet matriisit, ne yhdistetään yhdeksi matriisiksi, jossa kummankin laitoksen vastaukset ovat vierekkäin, jotta tietojen vertailu on mahdollisimman helppoa. Kutsumme tätä matriisia nimellä summary matrix 1. OUR DEPARTMENT PARTNER DEPARTMENT KEY PROCESSES SHORT QUALITATIVE REMARKS SHORT QUALITATIVE REMARKS culture A culture B SUMMARY MATRIX 1 SUMMARY MATRIX 2 Kuvio 2. Bm-tiimien vertailumatriisit, summary matrix 1 sekä summary matrix 2.

24 24 5. Arviointityöpajat Arviointityöpajat ovat kaksipäiväisiä tapahtumia, joissa tutustutaan kumppaniin, sulatellaan kokemuksia sekä suunnitellaan tulevaa toimintaa. Ensimmäistä arviointityöpajaa käytetään keskusteluun matriisien vastauksista. Työpajassa tutkitaan mitä yhtäläisyyksiä sekä eroavaisuuksia laitosten toiminnasta voidaan löytää sekä yritetään yhdessä analysoida syyt näiden eroavaisuuksien taustalta. Tässä työpajassa partnerit tekevät yhteenvedon kerättyjen tietojen perusteella ja samalla pohditaan millä alueilla halutaan/voitaisiin tehdä yhteistyötä. Työpajan etenemisen pohjana käytetään kehittämäämme summary matrix 2:sta (ks. liite 2), joka on ns. yhteenvetomatriisi. Siihen kootaan ajatuksia ja havaintoja tulevaisuuden yhteistyösuunnitelmasta sekä siitä mitä voisimme oppia partnerilta. Päätösvaiheen työpajatyöskentely koostuu koko projektin tulosten koonnista ja arvioinnista. Eri laitosten pilottikokeilut vaihtavat keskenään kokemuksia aika ajoin järjestämissämme koulutuspäivissä. Niissä keskustelemme avoimesti miten työpajat ovat onnistuneet, mitä voisimme tehdä toisin ja annamme vinkkejä seuraavia työpajoja järjestäville laitoksille. Nämä tilaisuudet on koettu erittäin hyödyllisiksi sekä mielenkiintoisiksi. Tulokset Projektin alustavat tulokset ovat rohkaisevia monella tapaa. Tulokset voidaan esittää kolmella eri tasolla. Ensimmäisen tason tulokset ovat molempien partnereiden täydentämät koordinaattori- ja opiskelijamatriisit. Kun sekä Oulun yliopiston laitos että ulkomainen partnerilaitos ovat saaneet matriisit täydennettyä, voidaan alkaa suunnittelemaan työpajaa nro 1. Itsessään se, että työpaja saadaan toteutettua, on toisen tason tulos. Työpajaosallistujien tärkein tehtävä on käydä läpi matriiseihin tuottamansa tieto ja kirjata paperille havaintoja sekä luovia ideoita summary matrix 2:een. Summary matrix 2 on oleellinen osa toisen tason tulosta. Partnerit aloittavat työpajassa myös neuvottelut tulevaisuudesta, voisivatko kokemukset ja tulevaisuuden näkemykset tuottaa yhteisiä opintokokonaisuuksia tai muuta pitkäkestoista yhteistyötä. Jatkuva pitkäkestoinen yhteistyö on luovan benchmarkingin kolmannen tason tulos. Kevääseen 2002 mennessä kolme Oulun yliopiston laitosta on täydentänyt ja vaihtanut matriisit sekä järjestänyt työpajan ulkomaisen partnerin kanssa. Matriisipohjaiset vertailut ovat olleet tiedontäyteisiä ja käyttökelpoisia monella tapaa, ja ne ovat tarjonneet osallistujille vakaan pohjan yhteistyön suunnittelulle. Metodi on osoittautunut onnistuneeksi ja kehitämme sitä jatkuvasti eteenpäin saamamme empiirisen kokemuksen perusteella. Silti on vielä aikaista ennustaa minkä tyyppistä pitkäkestoista yhteistyötä tulokseksi saadaan. Työpajat järjestetään hyvin epävirallisessa, keskustelevassa hengessä. Tämä luo osallistujille rennon ilmapiirin, rohkaisee avoimeen keskusteluun ja luovaan ajatteluun.

25 25 Taideaineiden ja antropologian laitos toimi pioneerina ja järjesti ensimmäisen työpajan marraskuussa Työpaja järjestettiin Italiassa, Venetsian yliopistossa. Toinen työpaja järjestettiin markkinoinnin laitosten kesken maaliskuussa 2002 Otagon yliopistossa, Uudessa-Seelannissa. Kolmas työpaja oli keväisessä Itävallassa huhtikuussa 2002, geotieteiden laitosten yhteisenä pilottikokeiluna. Listaamme seuraavassa esimerkkinä muutamia ajatuksia, joita saatiin tuloksena markkinoinnin laitoksen työpajasta Otagon yliopistossa. Yhtäläisyyksiä, eroavaisuuksia tai laitosten parhaita käytäntöjä löytyi paljon. Laitoksien tehtäväksi jää selvittää mitä seuraavassa kuvatuista esimerkkihuomioista he haluavat hyödyntää omassa toiminnassaan. Opetushenkilökunnalla on enemmän itsemääräämisvaltaa Oulussa. Opettajat saavat päättää kurssien sisällöistä vapaammin, esimerkiksi omien tutkimusintressiensä mukaan. Molemmat laitokset pyrkivät tarjoamaan ydinmateriaalit sekä käytännöllisen näkökulman opetukseen. Akateemiset taidot opetetaan opiskelijoille aiemmin Oulussa. Opiskelijat ovat Otagossa nuorempia tullessaan yliopistoon, joten he kaipaavat enemmän ohjausta. Kun taas Oulussa opiskelijan oletetaan olevan aikuinen ja sen takia opiskelijalla on laajempi akateeminen vapaus esim. kurssivalinnoissa, mutta toisaalta opiskelijalta myös odotetaan enemmän. Otagossa on yhtenäisempi opintosuunnitelma ja opetuksen arviointi on hyvin kaavamaista ja yksityiskohtaista verrattuna Ouluun. Yllättäen teknologia tuntui olevan meitä edellä, Otagosta löytyi enemmän tietoteknisiä valmiuksia kuin Oulusta. Otagossa on uudelle opetushenkilökunnalle pakollisia pedagogisia kursseja, kun taas Oulussa tällaisia pakollisia kursseja ei ole. Tulevaisuutta ajatellen saimme järjestettyä uusiseelantilaisen tutkijan tulemaan ensi syksynä Ouluun. Olemme aloittaneet kirjoittamaan yhteisiä julkaisuja, esimerkiksi konsulttiryhmämme sekä markkinoinnin laitosten yhteistyönä kirjoitettava benchmarking-artikkeli. Myös laitokset kirjoittavat yhteistyössä oman alansa artikkeleita. Työpajassa virisi myös idea yhteisen opintokokonaisuuden järjestämisestä esimerkiksi verkkokursseina. Sovimme myös, että syksyllä 2002 järjestämme työpaja nro 2:n, jossa työstämme näitä ajatuksia ja yhteistyösuunnitelmia eteenpäin. Kuten edellä mainittiin, yksi projektin tärkeimmistä tavoitteista on kehittää menetelmää eteenpäin ja saada menetelmästä toimiva väline korkeakoulujen pitkäkestoisten yhteistyösuhteiden luomiseen. Tällä hetkellä tuloksia on vasta kolmesta työpajasta ja toivoisimmekin, että menetelmää pystyttäisiin testaamaan laajemmin, jopa maailmanlaajuisesti.