Benchmarking tutkintorakennetyön työkaluna

Samankaltaiset tiedostot
Benchmarking tutkintorakennetyön työkaluna

Miksipä Benchmarking?

III SESSION AIKATAULU

Miksipä Benchmarking? TieVie-asiantuntijakoulutus Turun lähiseminaari Markku Ihonen

Helsingin yliopiston Opettajien akatemian kriteerit

Yliopistotason opetussuunnitelmalinjaukset

Asiantuntijana työmarkkinoille

Yhteisöllisen oppimisen työpaja Reflektori 2010 Tulokset

Sisällys. Mitä opetussuunnitelman perusteissa sanotaan?... 22

AHOT- käytäntöjen jalkauttaminen ja jalkautuminen Savoniaammattikorkeakoulussa

Näkökulmia verkostoituneen opetuksen tuottamiseen & toteuttamiseen

voimavaroja. Kehittämishankkeen koordinaattori tarvitsee aikaa hankkeen suunnitteluun ja kehittämistyön toteuttamiseen. Kehittämistyöhön osallistuvill

Mitä opittiin, kun suurten opiskelijamäärien opetus ja ohjaus sulautettiin verkkoon?

KAKSIPORTAISEN TUTKINNON ERILAISET RAKENNEMALLIT Työpaja Paasitorni. Pj. Asko Karjalainen.

POLIISIAMMATTIKORKEAKOULUN PEDAGOGISET LINJAUKSET 2017

UUDET OPETUSSUUNNITELMAT 2017-

Julkaistu Helsingissä 4 päivänä heinäkuuta /2012 Valtioneuvoston asetus

Etusijalla oppiminen ideoita lukion pedagogiseen kehittämiseen

Opetusmenetelmien valinnan perusteita. Strateginen rasti Markku Ihonen

LUKUVUODEN TUNTIRESURSSIEN HYÖTYKÄYTTÖ Yliopisto-opintojen mitoitusseminaari Innopoli, Espoo Työpaja 3 Elina Jaakkola OY & Markku Ihonen TaY

06-TPAJA: Mitä hyötyä laadunhallinnasta

Opetussuunnitelmauudistus opettajan näkökulmasta. Uudistuva esiopetus Helsinki Lastentarhanopettajaliitto puheenjohtaja Anitta Pakanen

Millaisin tavoittein maistereita koulutetaan?

LUETTELO YLIOPISTOJEN KOULUTUSALOISTA, TUTKINTOJEN NIMISTÄ JA YLIOPISTOISTA, JOISSA TUTKINTOJA VOIDAAN SUORITTAA

USKONTOTIETEEN HOPS. Humanistinen tiedekunta

oppilaille ja kaikille koulussa työskenteleville.

Osaamisen laadunhallinta 2. kierroksen auditoinneissa

Mihin meitä viedään? #uusilukio yhteistyötä rakentamassa

Work Pilots Oy:n nopea kokeilu Helsingin kouluissa

Tutkinnonuudistuksen arviointi: tavoitteet, kohteet ja menetelmät

Taideteollisen korkeakoulun ja Aalto-yliopiston näkökulmia

Opetussuunnitelman perusteiden yleinen osa. MAOL OPS-koulutus Naantali Jukka Hatakka

Yhteinen alusta digitaaliseen opetukseen kysymyksiä ja alustavia ajatuksia

Yrittäjyyskasvatuskonferenssi

Opetussuunnitelma 2019 / Ammatillinen opettajankoulutus. Esipuhe 3. Johdanto 4

AIEMMIN HANKITUN OSAAMISEN TUNNISTAMINEN JA TUNNUSTAMINEN ja rehtorien neuvostojen työryhmän suositukset

Tulevaisuuden koulun linjauksia etsimässä

ECVET EQF EQARF EUROPASS

Suuntana ajatteleva koulu. Liperin vanhempainilta

varhaiskasvatukseen ja kouluihin

YPE ja TVT opinnot aloitustilaisuus

Oulun kaupungin nuorten työpajatoiminnan ja ammatillisen koulutuksen välinen yhteistyö Anu Anttila

MIKKELIN AMMATTIKORKEAKOULU Terveysalan laitos Katri Ryttyläinen-Korhonen, Arja Palovaara, Ansa Iivanainen

Osaamisen kehittyminen työelämähankkeessa Suomen Akatemian vaikuttavuuden indikaattorikehikon näkökulmasta. Päivi Immonen-Orpana 11/28/2011

Jyväskylän yliopisto Opetuksen ja opiskelun itsearviointi vs

Osaamispassi ja erityisosaamistietokanta tulevaisuuden osaajille

Valtioneuvoston asetus

1. Oppimisen ohjaamisen osaamisalue. o oppijaosaaminen o ohjausteoriaosaaminen o ohjausosaaminen. 2. Toimintaympäristöjen kehittämisen osaamisalue

Jyväskylän yliopisto Opetuksen ja opiskelun itsearviointi vs

Osaamisperustaisuus korkeakouluissa (ESR) hanke

Korkeakoulutuksen arvioinnin suuntauksia

Linjakas palaute TAHI Palautteen pedagogiikkaa

Work Pilots Oy:n nopea kokeilu Helsingin kouluissa

Teoriasta käytäntöön- Ongelmalähtöinen oppiminen verkossa

Sulautuvan opetuksen seminaari, Helsingin yliopisto, Saara Repo, HY, Avoin yliopisto Paavo Pylkkänen, Filosofian laitos, HY ja Skövden

Työssäoppimisen toteutuksen suunnittelu omassa opetussuunnitelmassa. Työelämälähtöisen ammatillisen koulutuksen ajankohtaispäivä 3.2.

Harjoittelu omassa opetustyössä ammatillisen koulutuksen parissa

Laatutyö ja opetuksen kehittäminen

Ohjaava opettaja -osaajamerkki

Harjoittelun uudistaminen biologian tutkinto-ohjelmassa

Välipalautejärjestelmän suunnittelu ja toteutus Teollisuuden ja luonnonvarojen osaamisalalla

Opintojen ohjattu suunnittelu (ITIY1) ja HOPS. Paavo Arvola, FT, yliopistotutkija, HOPS-vastaava

Selvitys aiemmin hankitun osaamisen tunnustamisen ja tunnistamisen (AHOT) prosesseista korkeakouluissa

Puhtia paikalliseen opetussuunnitelmatyöhön. Arja-Sisko Holappa Opetushallitus

OPISKELUTYÖN MITOITUS Opetuksen suunnittelun työväline, jolla arvioidaan opiskelijan työmäärää suhteessa 1 PERUSTIEDOT

Osaamisen tunnistamisen ja tunnustamisen tila ja kehittäminen korkeakouluissa Petri Haltia

Tutkinnonuudistuksen arvioinnin keskeiset tulokset

N:o 794 LUETTELO YLIOPISTOJEN KOULUTUSALOISTA, TUTKINTOJEN NIMISTÄ JA YLIOPISTOISTA, JOISSA TUTKINTOJA VOIDAAN SUORITTAA

LUKION JÄLKEISET JATKO-OPINTOMAHDOLLISUUDET

Sidosryhmät koulutusohjelmia kehittämässä yhteenvetoa korkeakoulujen laatujärjestelmien auditoinneista arviointiasiantuntija Touko Apajalahti

Pedagoginen johtaminen

KEITELEEN KUNTA Kärkihanke 1. LIITE 1

Helena Rasku-Puttonen, Jyväskylän yliopisto Miten työllistymisen laatua arvioidaan? yliopistojen maisteriuraseurannan tulosten julkistustilaisuus

Opinnäytteen edellytyksistä ammattikorkeakoulussa

Kansainvälisten hankkeiden strateginen ohjaus

Kestävä kehitys Tampereen yliopiston opetuksessa työpajojen yhteenveto ja tuloksia

Horisontti

Toimintakulttuuri. Arviointikulttuuri

Verkko-oppiminen: Teoriasta malleihin ja hyviin käytäntöihin. Marleena Ahonen. TieVie-koulutus Jyväskylän lähiseminaari

TSSH-HEnet : Kansainvälistyvä opetussuunnitelma. CASE4: International Master s Degree Programme in Information Technology

AKUT-pilotti. Pirkanmaan ympäristökeskus Mari Peltonen Markku Vainio Kesäkuu Pirkanmaan ympäristökeskus

Aikuisten perusopetus

TAMPEREEN TEKNILLINEN LUKIO

Puhtia paikalliseen opetussuunnitelmatyöhön. Arja-Sisko Holappa Opetushallitus

NPH ja NPJ kurssien tiedonhaun koulutukset informaatikkonäkökulmasta

7.3 Tehostettu tuki Pedagoginen arvio

LUONNOS OPETUKSEN JÄRJESTÄJÄN PAIKALLINEN KEHITTÄMISSUUNNITELMA

Tekijä: Pirkko Jokinen. Osaamisen arviointi

Simulaatiopedagogiikka ammatillisen asiantuntijuuden kehittämisen välineenä sote-alan koulutuksessa

VESO yläkoulun opettajat. OPS 2016 ARVIOINTI Jokivarren koululla

Tietostrategiaa monimuotoisesti. Anne Moilanen Rehtori, Laanilan yläaste, Oulu

korkeasti koulutetun maahan muuttaneen osaamisen tunnistamisen ja tunnustamisen viitekehys

TUTKINTOJEN VIITEKEHYS. Tunnustetaanko osaaminen seminaari?

Sisältö Mitä muuta merkitään?

Pohjoismaisten kielten yliopistonlehtorin (opetus- ja tutkimusalana ruotsin kieli) tehtäväntäyttösuunnitelma

Matkalla maailmankansalaiseksi kansainvälinen toimintakyky osaamistavoitteena

KOHTI UUTTA "KOULUTUSSTRATEGIAA"

Työelämässä hankitun osaamisen tunnustaminen Itä-Suomen korkeakouluissa

Opinnäytetyöhankkeen työseminaarin avauspuhe Stadiassa Hoitotyön koulutusjohtaja Elina Eriksson

Pitkäjänteistä arviointia lukiokoulutuksessa (B4)

Transkriptio:

Soili Niinikoski (toim.) Benchmarking tutkintorakennetyön työkaluna KORKEAKOULUJEN ARVIOINTINEUVOSTO

ISBN 952-206-007-0 (painettu) ISBN 952-206-008-9 (pdf) ISSN 1457-3121 Julkaisija: Korkeakoulujen arviointineuvosto Kansi: Juha Ilonen Sivujen 11 ja 12 kuvitus: Jukka Savilampi Layout: Pikseri Julkaisupalvelut Tammer-Paino Oy Tampere 2005

Esipuhe Korkeakoulujen arviointineuvosto on toimintansa alkuvuosista lähtien tukenut, kannustanut ja markkinoinut benchmarking-menetelmän soveltamista korkeakouluissa. Tämänkin julkaisun kirjoitukset osoittavat, että menetelmä tarjoaa innovatiivisia mahdollisuuksia korkeakoulujen toiminnan laadulliseen kehittämiseen. Kommunikatiivisena ja dialogisena vertailun ja oppimisen metodina se myös sopii korkeakoulujen kulttuuriin. Julkaisun artikkelit ovat tulos Oulun yliopiston Opetuksen kehittämisyksikön yhteistyössä Korkeakoulujen arviointineuvoston kanssa järjestämästä benchmarking-koulutuksesta. Hanke oli avoin kaikille yliopistoille ja projektiin osallistui edustajia kahdestatoista yliopistosta. Koulutuksen perusfilosofiassa muunneltavuus, innovatiivisuus ja muutoshakuisuus olivat näkyvästi esillä. Koulutukseen osallistuneet toteuttivat oman yliopistonsa tutkintorakenteen kehittämiseen liittyvän vertailun yhden tai useamman ulkomaisen yliopiston kanssa. Kuten artikkelit osoittavat, benchmarkingin muunneltavuutta on monin tavoin käytetty hyväksi. Tapausselostukset ovat luonteeltaan käytännöllisiä, eräät henkilökohtaiseenkin sävyyn kirjoitettuja kertomuksia suunnittelusta, prosessin kulusta, kokeiluista, onnistumisista ja erehdyksistä. Tällaisen informaation tuottaminen ja käytännön kokemusten välittäminen on välttämätöntä konkretiaa teoreettisten käsiteanalyysien ja jäsennysten rinnalle. Korkeakoulujen arviointineuvoston puolesta kiitän Oulun yliopiston Opetuksen kehittämisyksikköä hankkeen koordinoinnista ja kirjoittajia kokemustensa jakamisesta laajemmalle lukijakunnalle. Ossi Tuomi pääsihteeri

Sisällys Tiivistelmä Johdanto Soili Niinikoski ja Asko Karjalainen, Oulun yliopisto. Benchmarking organisaation tehokkaana muutosvoimana Miksi benchmarking voi olla väline organisaation kehittämiskynnyksen ylittämiseen?. Miten benchmarking motivoi muutokseen?. Benchmarking osana organisaation jatkuvaa laadunarviointia Benchmarking tutkintorakennetyön työkaluna -koulutus Soili Niinikoski, Oulun yliopisto. Koulutuksen rakenne ja tavoitteet. Koulutuksen arviointia.... Case-kuvaukset vertailevista arviointiprojekteista Tampereen ja Eindhovenin yliopistojen tietojenkäsittelytieteiden benchmarking Markku Ihonen, Tampereen yliopisto.. Opetussuunnitelmatyön uudet haasteet.. Tietojenkäsittelytieteen opetussuunnitelmavertailu.. Vierailun antia.. Jatkotyöskentely.. Oppia ikä kaikki Benchmarking apuvälineenä uuden opetussuunnitelman luomisessa Ida Mielityinen, Joensuun yliopisto.. Taustaa.. Vertailun tavoitteet.. BM uuden opetussuunnitelman suunnittelun välineenä.. Verkossa tehtävä vertailu.. Partnerien etsintä.. Täyttyivätkö tavoitteet? Prosessin arviointia Tutkintorakenneuudistusprosessin benchmarkkaus Norjan teknis-luonnontieteellisessä yliopistossa Olli Erikoinen (TTY), Ole Karlsson (ÅA), Katja Mielonen (JY), Katja Pesonen (TTY), Jari Rantamäki (JY) ja Sirpa Suntioinen (KY).. Taustaa.. Matriisien laadinta ja täyttö.. Benchmarkkaus NTNU:ssa.. Jatkotoimet.. Benchmarkkaus-prosessin arviointi Opetussuunnitelmatyön benchmarkkaus tekniikan tutkintojen perusvertailun käynnistäminen Hanna Niiranen ja Tuija Huovila, Lappeenrannan teknillinen yliopisto.. Hankkeen tavoite ja aikataulu

.. Prosessin eteneminen.. Kokemus tehdystä selvitystyöstä.. Miten jatketaan?. Reaaliaikaista Bolognan prosessin etenemisen vertailua yliopistoverkostossa Päivi Aronen, Helsingin yliopisto.. Taustaa.. Vertailun toteutuksesta.. Bologna Laboratory -hankkeen etenemisestä.. Vertailun hyödyntäminen. Parivertailubenchmarking yliopistojen kansainvälisen opetusyhteistyön kumppaneiden valinnassa Esa Hyyryläinen ja Kari Rossi, Vaasan yliopisto.. Projektimme taustoista ja tavoitteista.. Tapausten valinta.. Muuttujien valinta.. Parivertailut.. Matriisin tuottaminen.. Raja-arvon asettaminen.. Kumppaneiden valinta.. Miten tästä eteenpäin?. Planning a new international Master s programme by using qualitative matrices Alexandra Ohls, Svenska Handelshögskolan.. Benchmarking partner.. Benchmarking framework.. Contacting the partner.. Benchmarking meeting.. Results of the benchmarking exercise. Opetussuunnitelmavertailu eurooppalaisten taidekorkeakoulujen kesken Exposing and Revealing Shared Expertise in Art and Design Education Anita Nuutinen, Taideteollinen korkeakoulu.. Koulutuksen kehittämisen tilanne.. Suhtautuminen benchmarkingiin.. Kansainväliset kumppanit ja niiden valinta.. Vertailun suoritustavat.. Benchmarkkausyhteistyö.. Vertailunäkökulmat.. Benchmarkkaustyön jatkosta: Challenge Comparability and Transparency, Not Similarity.. Opetussuunnitelmavertailun teoreettinen taustoitus Lähteet Liitteet : Koulutuksen tarjoama opetussuunnitelmamatriisi : Bologna Laboratory -hankkeen vertailtavia asiakokonaisuuksia : Eurooppalaisten taidekorkeakoulujen opetussuunnitelmien vertailumatriisi : Esimerkkivertailu tutkintojen kompetensseista

Tiivistelmä Julkaisun tavoitteena on esitellä Oulun yliopiston Opetuksen kehittämisyksikön yhteistyössä Korkeakoulujen arviointineuvoston kanssa järjestämää Benchmarking tutkintorakennetyön työkaluna -koulutusta sekä sen vaikutuksia. Koulutuskokonaisuus järjestettiin lukuvuonna 2003/2004 Oulussa kolmena seminaaritapaamisena, joiden aikana ja ohella perehdyttiin opetusmateriaaliin ja aiheen kirjallisuuteen. Koulutukseen osallistujat suorittivat myös harjoitustyönään oman yliopiston tutkintorakennetyötä edistävän vertailevan arvioinnin jonkin korkeatasoisen ulkomaisen yliopiston kanssa tai organisoivat yliopistossaan eri yksiköiden avainhenkilöiden kanssa vastaavan vertailuprojektin. Julkaisun ensimmäisessä osassa pohditaan koulutuksen teoreettista viitekehystä tutkintorakennetyön näkökulmasta. Tässä luvussa käsitellään sitä miten benchmarking on organisaation tehokas muutosvoima ja miten benchmarking voi olla osa organisaation jatkuvaa laadunarviointia. Toisessa pääluvussa kerrotaan koulutuksesta ja siitä miten vertailevan arviointimenetelmän voi valjastaa tutkintorakennetyön työkaluksi. Olennaista koulutuksessa on ollut se, miten benchmarkingia voidaan käyttää opetuksen suunnittelun rakenteitten ja sisältöjen apuna. Tässä luvussa nostetaan myös esille osallistujien arviointihankkeitten haasteita ja onnistumista, sekä arvioidaan lyhyesti hankkeitten vaikuttavuutta. Kolmas luku raportoi kurssilaisten koulutuksen aikana tekemiä vertailevia arviointiprojekteja.

Johdanto Soili Niinikoski ja Asko Karjalainen, Oulun yliopisto. Benchmarking organisaation tehokkaana muutosvoimana Miksi benchmarking voi olla väline organisaation kehittämiskynnyksen ylittämiseen? Organisaation toimintatapojen muuttaminen on hidasta ja toisinaan miltei mahdotonta. Vanhassa, raiteilleen asettuneessa organisaatiossa arki on saattanut muodostua muutoksen esteeksi. On totuttu toimimaan tietyllä tavalla eikä vaihtoehtoja osata edes etsiä. Organisaation jäävuorimallin 1 mukaan suurin osa organisaatiosta on piilossa. Juuri tämän piilossa olevan osan olemassaolo ja sen tunnistamisen vaikeus tekevät muutoksen hitaaksi ja vaikeaksi. Piilossa oleva osa koostuu turvallisuutta tuovista rutiineista, arvoista, uskomuksista ja tapakulttuurista. Se on olemassa ja vaikuttaa voimakkaasti toimintaan, mutta ei ole helposti havaittavissa. Tulokkaat ja organisaation ulkopuoliset ovat herkempiä tiedostamaan tyypillisiä piilossa olevia piirteitä. Kuvio. Organisaation jäävuorimalli Organisaation näkyvä osa: viralliset tavoitteet, toimintapolitiikka, organisaation rakenne, taloudelliset voimavarat, kyvyt, osaaminen, taidot. Organisaation näkymätön osa: arvot, asenteet, tunteet, vuorovaikutus, normit, roolit, tabut. 1 Organisaation jäävuorimalli (ks. esim. French & Bell, 1999).

Organisaatioiden muutosta ja niissä olevaa muutosvastarintaa on paljon tutkittu 2. Tutkimustiedon perusteella voi olettaa, että yksilöiden oppimis- ja tunnekokemukset ovat keskeisiä muutoksen vauhdittajia tai jarruttajia organisaatiossa. Strategiset linjaukset ja ylhäältä alaspäin toteutetut hankkeet menestyvät yksilöiden vuorovaikutuksesta ja symbolisesta kanssakäymisestä koostuvan toimintakulttuurin rajoissa, eivät siitä riippumatta. Tutkimus antaa tukea useille muutosta eteenpäin vieville käytännöllisille toimintamalleille. Yliopisto-organisaatiolle tyypillisessä löysästi rakentuneessa ja asiantuntijoiden autonomiaa korostavassa ympäristössä kestävää muutosta edesauttaa esimerkiksi kun: 3 organisaatiolla on hyvä itsetuntemus ja toimintaa ohjaa tietoisuus organisaation perusarvoista organisaatiokulttuuri otetaan huomioon eikä muutos sodi sitä vastaan. tehdään taustatyö ja valmistelu huolellisesti edetään pienin askelin edesautetaan kentän toimijoiden intensiivistä vuorovaikutusta luodaan ilmapiiri, jota leimaa pakottomuus ja ulkoisen painostuksen puuttuminen suunnitelmallisuuteen yhdistetään symbolien, tarinoiden ja metaforien yhteisyyttä luova merkitysmaailma ollaan joustavia, hyväksytään ajoittainen kaoottisuus ja prosessien irrationaalisuus otetaan huomioon sekä yksilölle että yhteisölle identiteettiä luova imagon tavoittelu ja arvostettujen esikuvien jäljittely hyväksytään riskinotto ja minimoidaan epäonnistumisen pelko ja häpeän kokemusten syntyminen myönnetään organisaation kerroksisuus; samat toimintamallit eivät toimi samalla tavoin kaikissa organisaation osissa. Kuinka benchmarking suhteutuu muutosta edesauttaviin toimintamalleihin? Benchmarking näyttää monelta osin suorastaan kokoavalta menettelytavalta. Se nopeuttaa organisaation oppimista rakentamalla jaettua tietoisuutta ja identiteettiä monipuolisesti organisaatiokulttuurin sisällä 4. Sen keskeinen arvo on 2 Muutosvastarintaa käsittelevän kirjallisuuden jäljille pääsee hyvin esim. Kuittinen, 2001 ja Kezar, 2001. 3 Kezar, 2001. 4 Ks. esim. Doerfel & Ruben, 2002.

kommunikoinnissa, jota se herättää ja stimuloi 5. Benchmarking esittelee yhteisöllisen oppimisen välineenä muutokseen. Benchmarking luo turvallisuutta ja vähentää epävarmuudesta johtuvaa ahdistusta. On helpompi nähdä ja hyväksyä muutokset, joita pitää tehdä, kun on verrattu toimintaa muihin. 6 Omia ajatuksia edelleen kehittämällä sitoudutaan prosessiin, joka tuottaa pikemminkin uusia tuloksia kuin tiedon kopiointia. Parhaimmillaan tällainen oppiminen johtaa organisaatiossa jaetun asiantuntijuuden kasvuun (ks. esim. Hakkarainen, Lonka ja Lipponen 2004: 168 192). Tietoa voidaan jakaa niin organisaatiokulttuurin sisällä kuin myös organisaatioiden välillä, jotta voitaisiin tunnistaa ja innovoida parempia käytänteitä toimia. Kuvio 2 kokoaa benchmarkingin vaikuttavuuden mahdollisuuksia neljällä eri tasolla organisaatiossa. Kuvio. Benchmarking vaikuttavuus organisaation muutosvoimana Benchmarkingiin ei pidä ihastua sokeasti, se voi itsekin vajota muutosvastarinnan aallokossa. Usein benchmarking-projektien käynnistämisen ongelmana koetaan ajatus ns. ylimääräisestä työstä. Voidaan myös ajatella, ettei meillä ole mitään parannettavaa. Eräs suurimmista haasteista on saada siirrettyä hankkeen omistajuus ruohonjuuritasolle, jolloin organisaation sitoutuminen prosessiin on parhaimmin motivoitunutta. Benchmarking-prosessissa on hankala 5 Sitä voidaan käyttää myös itsessään kommunikaation kehittämiseen, ks. Gardner & Winder, 1998. 6 Kannattaa tutustua myös Housleyn (1999) ajatuksiin.

arvioida kustannuksia, ja siksi se saattaa viedä runsaasti enemmän aikaa kuin oli ajateltu. Myös aikataulussa pysyminen saattaa tuottaa ongelmia. Parhaimmillaan benchmarking tarjoaa jatkuvaa oppimista, ei kertaluonteisesti suoritettua projektia, vaan jatkuvaa innovaatiota ja kehitystä. Benchmarking auttaa löytämään jo hyväksi havaittuja käytänteitä ja oivaltamaan vaihtoehtoisia tapoja toimia. Se auttaa luomaan yhteistyösuhteita, ja se on erinomainen keino kehittämisyhteistyöhengen luomisessa. Benchmarkingissa pääsee tekemään ja toimimaan yhdessä. Se toimii myös erilaisilla tunnetasoilla: 1) tyydyttää uteliaisuutta, 2) antaa mahdollisuuden sosiaalisuuteen, 3) viihdyttää, tuottaa elämyksiä ja kokemuksia, 4) mahdollistaa uudentavan matkimisen, 5) kannustaa kilpailuun, sekä 6) rohkaisee oppivaan ihailuun. Housleyn ajatus on oivallinen: There is a feel good factor (1999).. Miten benchmarking motivoi muutokseen? Jollei puhuta muutoksen hallinnasta, vastustuksen murtamisesta tai ajatusten muutoksesta, voidaan miettiä miten benchmarking-prosessi itsessään innovoi ja kannustaa toimimaan. Seuraavassa kuviossa tarkastellaan prosessia siitä näkökulmasta, miten jokainen askel on itsessään eräänlainen motivaatiotaso: uteliaisuus, itsearviointi, vertailu, kehitys, yhteistyö ja visiot. Tarkastelu tehdään portaita käyden alhaalta ylöspäin yleistetyn toimijasubjektin ajatuksia kuunnellen. Kuvio. Benchmarkingin motivaatiotasot

11 Uteliaisuus On tässä pärjätty ihan hyvin. Ainakin luulen niin. Mutta miten toiset tekevät? Voiko nämä asiat tehdä toisinkin. Pääsisinpä katsomaan kuinka maailman parhaat nämä hommat hoitavat.tai vierailulle edes naapuriin. Itsearviointi Ihan ensin kyllä katsotaan peiliin ja mietitään missä kohdassa seistään. Miten nämä prosessit meillä tosiasiassa hoidetaan? Kuinka muuten osaisin edes verrata muiden malleihin, ellen ota selvää omista käytänteistä. Minullahan voi olla hyviä malleja itsellänikin. Olisi hauskaa olla hyödyksi toisille. Pitää olla viemisiä. Vertailu Terveppä terve! Mukava nähdä ihan näin kasvokkain eikä vain viestien välityksellä. Tätäkö se tarkoittaa että teillä hoidetaan tämä asia näin. Nyt sen vasta tajuaa! Nämä yksityiskohdat ovat todella kiinnostavia. Että noinkin voi tehdä. Tämä keskustelu vie ihan mukanaan. Onko kello jo noin paljon? Kehitys Nyt on kyllä aivan pakko muuttaa tätä juttua meidän yksikössä. Ihan hävetti paljastaa kuinka hatara systeemi meillä on. Onneksi eivät nauraneet. Ei niiden ratkaisu ihan suoraan ehkä sovi, mutta se antaa paljon ajattelemista ja hyviä vinkkejä. Olihan nekin tosi kiinnostuneita siitä meidän yhdestä jutusta.

Yhteistyö Eikö me voitaisikin kehittää yhdessä? Tehtäisiinkö diili? Meillähän on selvästi yhteisiä intressejä. Tehdään aluksi kolmen vuoden suunnitelma molempia puolia hyödyttäväksi ja arvioidaan sitten jatkonäkymiä. Visiot Ollaan vuoren huipulla. Kannatti todella nähdä kiipeämisen vaiva. Mitkä maisemat täältä avautuvatkaan! Yhteistyösopimuksen kautta saatiin monia muitakin uusia kumppaneita, ja mahdollisuuksia on vaikka mihin. Kulkemamme portaat (Kuvio 3. Benchmarkingin motivaatiotasot) ilmentävät benchmarkingin avaamaa organisatorista merkitysmaailmaa. Motivaation pohjalla on aina yksilöllinen merkityksellisyyden kokemus. Tämä tarkoittaa sitä, että jotain toista saattaa innostaa prosessin kolme ensimmäistä tasoa, kun taas toista kannustaa ainoastaan ajatus tulevaisuuden yhteistyöstä. Joskus pyrkimyksenä voi olla yhteistyökumppanin löytäminen ja joskus yhteistyösuhde syntyy sivutuotteena. Vertailun ja yhteistyön kumppania ei välttämättä tarvitse etsiä kaukaa, se voi löytyä naapurilaitokseltakin. Benchmarkingin sisäinen luonne koostuu niistä aineksista, joita motivaatiotasoilla aktivoidaan.

. Benchmarking osana organisaation jatkuvaa laadunarviointia Lähivuosina opetuksen laadunarviointi tulee olemaan yhä tärkeämpi osa yliopistokulttuuria. Eurooppalaisen korkeakoulutusalueen rakentaminen sisältää uskottavien laatujärjestelmien käyttöönoton kaikissa jäsenmaissa. Kaikki yliopistot ovat siis muodostamassa omaa sisäistä laadunarviointijärjestelmäänsä. Tällaisen järjestelmän yhtenä tavoitteena on opetuksesta käytävän keskustelun lisääminen. Tuntuisi luontevalta hyödyntää tässä yhteydessä myös benchmarking-menetelmää. Benchmarking sisältää aina itsearviointia ja jonkinlaista vertailua aktiivisen keskustelun kautta partnerin kanssa. Siten se jo itsessään edistää laadun kehittymistä. Yliopistomaailmassa on tarjolla runsaasti esimerkkejä benchmarking-arvioinnin soveltamisesta koulutuksen alueella 7. Usein benchmarking-arviointia käytetään hankeluontoisesti 8 apuna määrittämään oman yliopiston asemaa suhteessa kilpaileviin korkeakouluihin tai ratkaisujen etsimisessä tiettyyn (opetuksen) suunnitteluongelmaan 9. Myös yhteistyön virittämiseen menetelmää on käytetty 10. Esimerkin yhteistyöhakuisesta jatkuvasta benchmarking-toiminnasta tarjoavat konsortiosovellukset 11, joissa useat yliopistot ovat liittyneet yhteen vertailevan laadunkehittämisen viitekehyksessä. Konsortion sisällä siihen osallistuvat instituutiot tekevät sisäistä vertailua ja voivat oppia toisiltaan. Konsortio voi kokonaisuutena myös etsiä jäsenilleen vertailukumppaneita konsortion ulkopuolelta. Tällä tavoin saavutetaan paljon yksilötason oppimiskokemuksia ja vuorovaikutusta, jolloin kehittämisen kynnys madaltuu. Yleisellä tasolla benchmarkingin mahdollisuuksia laadunarvioinnissa voi hahmottaa nelikentän avulla: 7 Ks. esim. Benchmarking Methods and Experiences 2003; Epper, 1999; Schofield, 2000; Benchmarking in Higher Education; Amin & Amin, 2003. 8 Tran, 2003. 9 Joskus viitataan problem-based benchmarkingiin. Ks. esim. Tran, 2003, s. 20. 10 Karjalainen, Kuortti & Niinikoski, 2002. Jos haluaa yhdistää BM-harrastuksen matemaattiseen aivovoimisteluun, voi lukea Elnathan & Kim, 1995. 11 Epperillä (1999) on hyvä kuvaus, s. 27 28. Ks. myös Löfström, 2001 sekä tämän julkaisun case-kuvaus Tutkintorakenneuudistusprosessin benchmarkkaus Norjan teknis-luonnontieteellisessä yliopistossa.

Taulukko. Benchmarking-arvioinnin mahdollisuuksia koulutuksen arvioinnissa ARVIOINNIN KOHDE Vertailu ARVIOINNIN MOTIIVI Yhteistyö Tunnuspiirteet ja tulosindikaattorit A. Oman tason selvittäminen. B. Yhteisten tavoitetasojen asettaminen. (benchmarks) Heikkojen ja vahvojen Suoritteiden kannustava vertailu. alueiden tunnistaminen. Parhaat käytänteet C. Toisilta oppiminen. D. Yhteisten ja molemmin puolin (best practices) Innovaatioiden ja menestys- hyödyllisten hankkeiden ja tekijöiden kehittäminen. toimintamallien kehittäminen. Taulukon motiivisarakkeeseen voi kokeilla sovittaa muitakin kuvion 3 (bm:n motivaatiotasot) tasoista. Kohteiden jaottelu pohjautuu benchmarking-arvioinnin kahteen suuntaukseen. Benchmarking voi tarkoittaa toisaalta vertailukohtien (benchmarkkien) etsimistä, toisaalta taas hyvien toimintamallien etsimistä. Ensin mainittu lähestymistapa on lähellä kvantitatiivista tutkimusta, kun taas parhaiden käytänteiden etsiminen edustaa toiminnan välitöntä sisällöllistä kehittämistä. Osana laadunvarmistusta voi olla hyödyllistä verrata omia suoritteita valittujen kumppaneiden suorituksiin erityisesti kansallisella tasolla (A). Erityisen kannustavaa voisi olla yhteisten tavoitetasojen asettaminen ja keskinäisen arviointiringin muodostaminen painonvartijoiden tapaan (B). Osana konsortiotoimintaa tällaista on tehtykin. Parhaiden käytänteiden etsiminen on laadunarvioinnin näkökulmasta mielekästä, kun se suunnataan hyvien arviointikäytäntöjen tarkasteluun (C). Esimerkiksi opiskelijapalautteiden keruun ja hyödyntämisen käytänteet ovat laadunarviointia edistäviä jatkuvan benchmarkkauksen kohteita. Klassisia mutta vaativia esimerkkejä yhteistyöstä laadunarvioinnin alueella (D) ovat esimerkiksi Norjassa ja Tanskassa perinteeksi muotoutuneet tenttiyhteistyön käytännöt. Kun yliopistot sopivat pareina opiskelijoiden tenttien ristiinarvioinnista oppiaineet joutuvat tarkasti vertaamaan opetuksen sisältöjä ja muodostavat yhteisiä tasovaatimuksia. Yhteisten opintokokonaisuuksien suunnittelun yhteydessä olisi mielekästä aina suunnitella myös oppimisen ja opetuksen arviointikäytänteet yhteistyölle rakentuviksi. Mahdollisuuksia vertailevan arvioinnin luovaan ja kehittävään soveltamiseen pelkästään yliopistomaailman sisällä lienee jokseenkin rajattomasti. Seuraavassa taulukossa hahmottelemme esimerkinomaisesti tätä toiminta-avaruutta toimialueen ja kohdealueen risteyksessä. Toimialue jakaantuu kaikkiaan 21 koulutusalaan 12. Koulutusala voi sisältää pääaineina ja sivuaineina useita eri oppiaineita. Nämä toimialueet risteytyvät taulukossa kohdealueiden kanssa. Koh- 12 Eläinlääketieteen, farmasian, hammaslääketieteen, humanistinen, kasvatustieteellinen, kauppatieteellinen, kuvataiteen, liikuntatieteellinen, luonnontieteellinen, lääketieteellinen, maatalousmetsätieteellinen, musiikin, oikeustieteellinen, psykologia, taideteollinen, tanssin, teatterin, teknistieteellinen, teologian, terveystieteiden ja yhteiskuntatieteellinen koulutusala.

dealue tarkoittaa arvioinnin kohteen sijoittumista. Kohde voi löytyä oman yliopiston sisältä (sisäinen bm), jostakin toisesta kotimaisesta yliopistosta (kansallinen bm) tai kansainvälisten yliopistojen joukosta (kansainvälinen bm). Kuhunkin taulukon lokeroon on hahmoteltu muutamia esimerkkejä mahdollisista erilaisista vertailutoimintamalleista, -menetelmistä, benchmarkkaustyypeistä tai tiedonvaihdon keinoista opetuksen laadunarvioinnin alueella. Taulukko. Benchmarking-arvioinnin kohteiden muotoilua TOIMIALUE SAMA KOULUTUSALA ERI KOULUTUSALA KOHDEALUE Sama oppiaine Eri oppiaine OMA 1. 2. 3. YLIOPISTO opettajien innovatiivisten opettajien opettajien opetus- ja innovatiivisten innovatiivisten sisäinen tenttikäytäntöjen vertailu opetus- ja opetus- ja benchmarking tiimit, ryhmät, tenttikäytäntöjen tenttikäytäntöjen kuppikunnat vertailu vertailu sisäisten (suunnittelu-) erilaiset erilaiset työpajojen pitäminen yhteistyökäytännöt yhteistyökäytännöt yhteistyön ruokkiminen (opetuksen (opetuksen suunnittelussa, suunnittelussa, laadunarvioinnissa jne.) laadunarvioinnissa jne.) yhteistapaamisten pedagogisen järjestäminen ajattelun peilaaminen yhteistyön virittäminen yhteistyön virittäminen KOTIMAISET 4. 5. 6. YLIOPISTOT opetussuunnitelmien ops-mallien vertaaminen yleisten vertaaminen: yleisten menettelytapojen kansallinen oppisisällöt ja ydinaines, menettelytapojen best-practise-prosessit benchmarking mitoitus, ops-mallit jne. best-practise-prosessit opettajien innovatiiviset opettajien pedagogisen ajattelun opetus- ja innovatiiviset opetus- peilaaminen, tenttikäytännöt, ja tenttikäytännöt, verkostot, erilaiset erilaiset yhteistyökäytännöt esim. Peda-forum yhteistyökäytännöt ja prosessit (opetuksen opettajien ja prosessit suunnittelussa, innovatiiviset (opetuksen suunnittelussa, laadunarvioinnissa jne.) opetus- ja laadunarvioinnissa jne.), yhteistyön virittäminen tenttikäytännöt, ops-mallit tutkintorakennetyön erilaiset yhteis- pedagogisen ajattelun valtakunnalliset työkäytännöt ja peilaaminen, koordinaatioryhmät prosessit (opetuksen yhteistyön virittäminen, suunnittelussa, laadun- verkostot, esim. Pedaarvioinnissa jne.) forum jatkuu seur. sivulla jat

ULKOMAISET 7. 8. 9. kansainvälinen opetussuunnitelmien opettajien yleisten benchmarking vertaaminen: innovatiiviset menettelytapojen oppisisällöt ja ydinaines, opetus- ja best-practise-prosessit mitoitus, ops-mallit jne. tenttikäytännöt, pedagogisen opettajien innovatiiviset erilaiset ajattelun peilaaminen opetus- ja tenttikäytännöt yhteistyökäytännöt opettajien erilaiset yhteistyökäytännöt (opetuksen innovatiiviset opetusja (opetuksen suunnittelus- suunnittelussa, ja tenttikäytännöt, sa, laadunarvioinnissa jne.) laadunarvioinnissa erilaiset yhteis- pedagogisen ajattelun jne), ops-mallit työkäytännöt (opetuksen peilaaminen pedagogisen ajattelun suunnittelussa, yhteistyön virittäminen peilaaminen laadunarvioinnissa yleisten jne.), ops-mallit menettelytapojen yhteistyön virittäminen best-practise-prosessit yhteistyön virittäminen Benchmarking voi olla muutoksen nopeuttamisen väline omassa organisaatiossa. Menetelmä vaatii kuitenkin resursseja ja valmentautumista. Benchmarkingin etenemistä ja prosessia on hyödyllistä tukea ohjauksen ja koulutuksen avulla. Oulussa benchmarking-arviointia on tuettu ohjauksen avulla menestyksellisesti vuodesta 2000 alkaen 13. 13 Opetuksen kehittämisyksikkö on mm. ohjannut Oulun yliopiston laitosten ja ulkomaisten kumppanilaitosten benchmarkingia vuosina 2000 2002 (ks. esim. Karjalainen, Karjaluoto, Kuortti, Niinikoski, Deans & Gnoth, 2004), järjestänyt benchmarking-koulutusta opettajille Oulussa keväällä 2003 (ks. esim. Lukkarinen & Lahtinen, 2004), ohjaa Oulun yliopiston sisäistä benchmarkingia sekä muutamia yliopistojen yhteistyöverkostojen benchmarking-hankkeita valtakunnallisen W5W-projektin puitteissa.

Benchmarking tutkintorakennetyön työkaluna -koulutus Soili Niinikoski, Oulun yliopisto. Koulutuksen rakenne ja tavoitteet Oulun yliopiston Opetuksen kehittämisyksikkö järjesti yhteistyössä Korkeakoulujen arviointineuvoston kanssa lukuvuonna 2003 2004 Benchmarking tutkintorakennetyön työkaluna -koulutuksen. Koulutuksen toiminta-ajatuksena oli asiantuntijuutta aktivoiva koulutus, jossa tuotettiin kokemuksia ja etsittiin yhdessä toimivia käytänteitä. Seminaaripäivät olivat pääosin työpajatyyppisiä: ne keskittyivät keskustelevaan ryhmätyöskentelyyn ja kokemuksien jakamiseen. Koulutus toteutettiin valtakunnallisena arviointikoulutuksena, johon osallistui noin 20 tutkintorakennetyön tekijää eri yliopistoista. Koulutus rakentui kolmesta seminaaripäivästä, jotka järjestettiin Oulussa. Aloitusseminaari järjestettiin 2.9.2003, väliseminaari 12.1.2004 ja päätösseminaari oli kaksipäiväinen 18. 19.5.2004. Näinä kolmena seminaarikertana koulutuksen pääteemat olivat: tutkintorakennetyö kansainvälisessä viitekehyksessä opetuksen laadunarviointi, voiko BM olla osa jatkuvaa laadunarviointia yliopistossa? opetussuunnitelman laatu kandidaatintutkinnossa ja maisteriohjelmissa, ja benchmarking vertailevan arvioinnin välineenä (työkaluna opetussuunnitelmamatriisi). Pääteemoja opiskeltiin ydinainestyyppisesti; ensimmäisellä kerralla keskityttiin ydinainekseen, toisella kertaa täydennettiin sitä ja päätösseminaarissa käsiteltiin erityistietämystä. Koulutukseen osallistujat tekivät omana harjoitustyönään oman yliopiston tutkintorakennetyötä edistävän vertailevan arvioinnin jonkin korkeatasoisen ulkomaisen yliopiston kanssa. Osallistuja saattoi myös harjoitustyönään organisoida yliopistossaan eri yksiköiden avainhenkilöiden kanssa vastaavia vertailuprojekteja. Vertailu saattoi olla pelkästään aineistopohjaista tai sisältää myös vierailuja ja yhteistyöintressejä. Vertailun suunnittelu aloitettiin ensimmäisellä kerralla, väliseminaarissa kurssilaiset kertoivat muille hankkeen käynnistämisestä ja suunnitelman toteutuksesta. Viimeisellä kerralla kuultiin esityksiä miten hankkeet olivat onnistuneet ja mikä oli jatkosuunni-

telma. Tavoitteena tässä harjoitustyössä oli kansainvälistä vertailevaa arviointimenetelmää (benchmarkingia) luovasti hyödyntäen edistää yliopistojen tutkintorakennetyön tekemistä. Kuvio. Koulutuksen rakenne. Koulutuksen arviointia Seuraavassa arvioin koulutusta osanottajilta saamieni palautteiden avulla. Koulutuksen todettiin antaneen uskoa tähän mennessä tehdyn työn saavutusten oikeellisuuteen. Koulutuksessa annettiin tilaa kollegojen kanssa käydyille keskusteluille ja ne tuntuivat olleen erityisen hyödyllisiä, rohkaisevia ja jopa valaisevia. Yhtenä parhaimmista oppimiskokemuksista koettiin toisten osallistujien esimerkkihankkeet. Osallistujat tekivät benchmarkingia omista tarpeistaan tutkintorakennetyön viitekehyksessä, ja näitä eri näkökulmia esiteltiin koulutuksen aikana. Niinpä he saivat tutustua hyvin monipuolisesti benchmarkingmaailmaan. Koulutuksen hyötyä voi vielä myöhemmin kasvattaa kokeilemalla muitten luomia näkökulmia esimerkiksi toisella kevyemmällä hankkeella. Kahdessa hankkeessa alettiin koota uutta opetussuunnitelmaa benchmarkingin avulla, esimerkiksi etsimällä tietoa netistä tai tutustumalla kumppaniin laajan vertailumatriisin avulla. Yksi hanke keskittyi selvittämään oman koulutusalan erilaisten opetussuunnitelmamallien paremmuutta nettivertailun kautta. Muutama osallistuja suoritti omassa yliopistossaan jonkin koulutusalan ope-

tussuunnitelman tai tutkinnon vertailun ulkomaisen kumppanin kanssa. Neljä yliopistoa liittyi konsortioyhteistyöhön, jossa tutustuttiin erään maan vastikään tehtyyn tutkintorakenneuudistukseen. Konkreettiset benchmarkkausmatkat tuntuivat korvaamattoman arvokkailta kokemuksilta, jotka avarsivat ja laajensivat omia ajatuksia. Yhdessä hankkeessa kehitettiin uudenlaista yliopiston kansainvälisten kumppaneiden valintatyökalua, joka on varmastikin kaikkia Suomen yliopistoja kiinnostava kehittämisalue. Kahdessa hankkeessa käytettiin hyväksi jo olemassa olevaa laajaa yliopistoverkostoa (Cumulus ja UNICA) vertailun suorittamiseen. Toisessa näistä verrataan koulutuksen sisältöä taidekorkeakoulujen kesken, toisessa seurataan, miten Bolognan prosessi etenee Euroopassa. Eurooppalaiset korkeakoulut olivat kaikissa hankkeissa kumppaneina suosituimpia. Laajimmassa hankkeessa ulkomaisia kumppaneita oli verkoston kautta lähes 30. Vertailua konkretisoitiin hankkeissa vertailumatriiseilla, joita hyödynnettiin usealla eri tavalla. Matriiseista löytyy muutamia esimerkkejä tämän julkaisun liitteistä (ks. Liite 1: Koulutuksen tarjoama opetussuunnitelmamatriisi, Liite 2: Bologna Laboratory -hankkeen vertailtavia asiakokonaisuuksia, Liite 3: Eurooppalaisten taidekorkeakoulujen opetussuunnitelmien vertailumatriisi ja Liite 4: Esimerkkivertailu tutkintojen kompetensseista). Koulutuksen kesto ja rytmitys tuntuivat toimineen luontevasti. Myös Korkeakoulujen arviointineuvoston edustajan osallistuminen koulutustilaisuuksiin tuntui olleen mainio asia: se toi mukanaan asiantuntemusta ja kannustusta, sekä keskusteluihin osuvia kysymyksiä ja kommentteja. Koulutuksen tietoiskumainen luennointi koettiin tehokkaaksi. Myös välitehtävät olivat edistäneet oppimista. Eräässä palautteessa mainittiin kolmen tason oppiminen ensin oppii yksilö, sitten osasto/laitos, ja viimeisimpänä ja ehkä tärkeimpänä, yliopisto (vrt. kpl 1.1. Kuvio 2. Benchmarking vaikuttavuus organisaation muutosvoimana). Kaikkea oppimista on vaikea edes arvioida, mutta monenlaisia onnistumiselämyksiä oli koettu. Tärkeäksi elementiksi koulutuksessa koen sen, että jo ensimmäisellä kerralla saadaan osallistujat tutustumaan toisiinsa, jotta yhteiset keskustelut ovat myöhemmin mahdollisimman helppo käynnistää. Koin suurimpana haasteena järjestäjälle sen, että saa kannustettua osallistujat jatkamaan hankkeidensa eteenpäinviemistä, vaikka jossain vaiheessa olisikin vastoinkäymisiä. Toinen ratkaiseva haaste on, että vertailujen tekijät osaavat viedä kumppanilta opitut asiat käytäntöön, eli osaavat hyödyntää opittua tietoa omassa yliopistossaan parhaaksi katsomallaan tavalla. Hanketta ei siis tulisi lopettaa kriittisessä vaiheessa, vaan suoritetun vertailun jälkeen tulisi pohtia opittuja asioita omassa organisaatiossa ja kirjata suunnitelma, mitä näistä asioista voitaisiin meillä hyödyntää.

Innostunut keskustelu ja koulutukseen osallistuneiden motivoituneisuus ja aktiivisuus yllättivät koulutuksen järjestäjät. Meitä hämmästytti myös osallistujien tekemien harjoitustyövertailujen laajuus; emme osanneet odottaa että he organisoisivat niin laajoja hankkeita. Harjoitustyövertailut ovat merkittäviä töitä oikeammin niitä tulisi kutsua projekteiksi. Vertailuprojekteista kerrotaan yksityiskohtaisemmin seuraavassa kappaleessa 3 (Case-kuvaukset vertailevista arviointiprojekteista). Nämä projektiraportit on kirjoitettu syksyllä 2004, eli noin vuoden kuluttua koulutuksen aloittamisesta.

Case-kuvaukset vertailevista arviointiprojekteista. Tampereen ja Eindhovenin yliopistojen tietojenkäsittelytieteiden benchmarking Markku Ihonen, Tampereen yliopisto.. Opetussuunnitelmatyön uudet haasteet Opetussuunnitelmatyö on perinteisesti ollut yliopistokoulutuksen keskiössä. Seikkaa ei ole aina helppoa tiedostaa Suomessa, missä opetussuunnitelmien laadintaprosessi on hyvin vakiintunut, ennakoitava ja koordinoitu. Asia kuitenkin nousee näkyviin aina, kun yliopistot pakotetaan tekemään suuria rakenteellisia, ylhäältä ohjattuja muutoksia. Joukko Euroopan maiden opetusministereitä antoi toukokuussa 1998 Sorbonnessa julistuksen yliopistojen merkityksestä Euroopan kulttuurin ja talouden kehittämisessä ja tuli sysänneeksi liikkeelle yliopistoja syvältä koskettavan kehityskulun. Se alkoi konkretisoitua kesäkuussa 1999, kun 29 opetusministeriä allekirjoitti Bolognassa julistuksen, jonka mukaan hanketta on alettu kutsua Bolognan prosessiksi. Perimmäisenä tavoitteena on Euroopan kilpailukyvyn parantaminen luomalla eurooppalainen korkeakoulualue (EHEA). Keskeisiä välineitä ovat ymmärrettävät ja riittävän yhdenmukaiset tutkintorakenteet, yhteismitallinen opintojen mitoitusjärjestelmä, liikkuvuuden lisääminen ja laadunarviointi. Suomessa tutkintojen uudistustyö käynnistyi alkuvuodesta 2003. Lähtölaukauksena oli marraskuussa 2002 valmistunut opetusministeriön nimittämän työryhmän raportti Yliopistojen kaksiportaisen tutkintorakenteen toimeenpano (Opetusministeriön työryhmän muistio 39:2002). Tutkintorakenteiden uudistustyö on edellyttänyt paitsi opetussuunnitelmien sisältöjen ja rakenteiden avaamista myös opetussuunnitelmaprosessin kriittistä tarkastelua. Normaalissa opetussuunnitelmien päivitysrutiinissa otetaan huomioon lähinnä tieteenalan keskeiset uudet teoriat ja tutkimustulokset. Nyt tutkinnoilta edellytetään eksplisiittisesti, että niiden on tuotettava työelämässä tarvittavaa osaamista. Samalla tutkintoja on pikemmin supistettava kuin laajennettava, ja useimmilla aloilla on otettava käyttöön alempi korkeakoulututkinto. Opetussuunnitelmatyöhön ryhdyttiin poikkeuksellisella inten-

siteetillä. Useimmissa yliopistoissa on tehty muun muassa oppiaineiden ydinainesanalyyseja, ja monissa on lisäksi kartoitettu opintojen kuormittavuutta... Tietojenkäsittelytieteen opetussuunnitelmavertailu Yksi keino tukea opetussuunnitelmatyötä on opetussuunnitelman ja sen laadintaprosessin benchmarking. Omassa yliopistossani Tampereella lääkärikoulutus on jo aiemmin lanseerannut ongelmaperustaisen opetussuunnitelman nimenomaan hankkimalla tietoa ulkomaisista yksiköistä, joissa ongelmaperustainen opetus on ollut käytössä, ja koulutusta on sittemmin uudistettu toistuvilla vertailuilla. Tietojenkäsittelytieteiden laitoksella (TKT) on toisentyyppinen tausta. Laitos on kasvanut hyvin nopeasti viime vuosikymmeninä, ja etenkin opiskelijamäärät ja hankerahat ovat lisääntyneet. 1990-luvulla laitos ryhtyi päättävästi vastaamaan työelämän ja yliopiston muutoksiin, ennen kaikkea opiskelijoiden katoon muutaman opiskeluvuoden jälkeen. Vuonna 1998 laitoksessa laadittiin Opetuksen laatukäsikirja osana yliopiston OPLAA-hanketta. Hankkeen käynnistämä laatutyö koettiin kuitenkin yliopistossa aika yleisesti liikaa ylhäältä ohjatuksi ja laitosten tarpeille vieraaksi. Tätä taustaa vasten ei ole yllättävää, että TKT:n laatukäsikirjaa ei ole päivitetty vuoden 1998 jälkeen ja että siinä ei alun alkaenkaan mainittu merkittäviä kehittämistoimia. Opetuksen kehittämistyö etenikin muilla rintamilla: laitokselle perustettiin oma säännöllisesti kokoontuva opetusneuvosto, käyttöön otettiin opettajatuutorijärjestelmä, ja maisteriopintoja alettiin toteuttaa maisteriohjelmina, joista osa on kokonaan englanninkielisiä (niihin osallistuu sekä suomalaisia että ulkomaalaisia opiskelijoita). Uutena innovaationa voidaan mainita lukuisilla kursseilla sisään ajettu oma Dyn3W-oppimisalusta, joka aktivoi opiskelijoita strukturoituun keskusteluun ja kommentointiin. Laitoksen verkkosivut ovat informatiiviset, ja sieltä löytyy muun muassa uusia opiskelijoita houkutteleva ja informoiva Abi-info (http://www.cs.uta.fi/abi/haku.php). Otin syksyllä 2003 yhteyttä TKT:n johtajaan, professori Jyrki Nummenmaahan, ja ehdotin laitokselle benchmarkingia jonkin ulkomaisen yksikön kanssa. Dynaamisena johtajana Nummenmaa oli heti valmis sotaan, mutta halusi selvittää laitoksensa opetusneuvoston kantaa asiaan. Vähitellen niin opettajat kuin opiskelijatkin sitoutuivat työhön. Partnerin löytäminen tuotti kuitenkin päänvaivaa, vaikka laitoksella on lukuisia kontakteja eurooppalaisiin yliopistoihin. Lopulta mukaan lähti Eindhovenin teknillisen yliopiston (TU/e) Matematiikan ja tietojenkäsittelytieteiden laitos, jonka kanssa Tampereen laitoksella oli ollut jo opiskelija- ja tutkijavaihtoa. Vertailu toteutettiin matriisien ja vierailun avulla. Vertailtavaksi päätettiin alun alkaen ottaa opetussuunnitelmien rakenne, opetussuunnitelmatyö, ope-

tusmenetelmät ja laadunvarmistus. Koska tarkoituksena oli tunnustella opiskelija- ja opettajavaihdon vahvistamista, pidettiin tärkeänä ottaa mukaan henkilökunnan täyttämään matriisiin opetuksen ja oppimisen tukipalvelut ja vieraskielinen opetus. Opetussuunnitelmakysymykset koskivat: - koulutuksen tavoitteita ja niiden kirjaamista, koulutuksen tieteellisiä ja ammatillisia tehtäviä sekä koulutuksen tuottamaa osaamista - opintojaksojen linkittymistä toisiinsa ja tutkinnon modulaarisuutta ja koheesiota - opintojen mitoituksen periaatteita ja käytäntöjä - opiskelun joustavuutta ja valinnan vapautta - opetussuunnitelman kehittämistä, arviointia ja päivittämistä sekä opiskelijoiden roolia opetussuunnitelmatyössä - opetussuunnitelman perustumista laitoksella tehtävään tutkimukseen ja opiskelijoiden osallistumista tutkimushankkeisiin. Opiskelijoiden matriisin aiheina olivat opiskelukulttuuri, laatukysymykset, opetus ja ohjaus sekä opiskelijoiden oma työ. Benchmarkingin viimekätistä tavoitetta ei täsmennetty aluksi kovin selvästi. Tarkoituksena oli päästä kurkistamaan kansainvälisesti tunnetun yliopiston opetussuunnitelmatyöhön ja opetus- ja laatuprosesseihin ja peilata omaa laitosta tätä vasten... Vierailun antia Tampereella laaditut matriisit hyväksytettiin Eindhovenissa. Osapuolten vastauksista koottu 17-sivuinen vertailumatriisi valmistui ennen tamperelaisten vierailua Eindhovenissa huhtikuussa 2004. Vierailuun osallistui Tampereelta benchmarkingia johtava professori Jyrki Nummenmaa, laitoksen suunnittelija, opettaja ja kaksi opiskelijaa sekä tämän kirjoittaja (benchmarkingin asiantuntijana). Nummenmaa oli vieraillut ennenkin TU/e:ssa, ja nyt hän piti vierailun aikana Erasmus-opetusta ja antoi opinnäyteohjausta. Vierailuun kuului lukuisia tapaamisia eri kokoonpanoilla, myös yksittäisiä keskusteluja opetuksen ja oppimisen kehittäjien ja vastuuhenkilöiden kanssa. Odotuksen mukaisesti yliopistojen kulttuurit, rakenteet ja menettelytavat ovat Suomessa ja Hollannissa varsin samantapaisia, eikä matriisien ymmärtämisessä ollut suuria vaikeuksia. Kiinnostavia havaintoja olivat esimerkiksi: että TU/e:ssa kullakin laitoksella (osastolla) on oma opintotoimistonsa, että tietojenkäsittelyä opiskelee hyvin vähän naisia, että kandidaattiopinnot järjestään yksinomaan hollanniksi ja maisteriopinnot englanniksi, että yliopisto hankkii kaikille opiskelijoille pientä korvausta vastaan hyvälaatuiset kannettavat tietokoneet, että Eindhovenin laitoksen budjetti on moninkertainen Tampereen laitoksen budjettiin nähden ja että Eindhovenissa hyödynnetään opetuksessa verkkoa hiukan vähemmän ja kirjoja enemmän.

Osa TU/e:n opettajista on aktiivisia opetuksen kehittäjiä, mikä lisää yksikön houkuttelevuutta benchmarking-partnerina ja yhteistyökumppanina. Matemaatikko Jacob Perrenet toimii osan aikaa TU/e:n OSC-opintopalveluyksikössä, joka vastaa suunnilleen opetuksen kehittämisyksikköä. Tietojenkäsittelytieteilijä Ria van Ouwerkerk on kiinnostunut opetuksen järjestelyistä ja laatutyöstä. Hän on ollut mukana alansa koulutuksen valtakunnallisissa arviointiraadeissa (tämä oli kansallinen arviointimenettely ennen akkreditointijärjestelmää). Jan Friso Groote on laitoksen opetuspäällikkö, jonka vastuulla on muun muassa opetuksessa ilmeneviin ongelmiin puuttuminen. Hän totesi kuitenkin olevansa not primarily interested on teaching. Keskusteluissa vahvistui näkemys, kuinka koko hollantilaista yliopistojärjestelmää ovat viime vuosina ravistelleet lukuisat muutokset. Joitakin vuosia sitten Hollannin hallitus päätti muuttaa viisivuotiset yliopistotutkinnot (WO) nelivuotisiksi. Tutkinnot olivat tuolloin yksiportaisia Master s-tason tutkintoja. Bolognan prosessin käynnistyttyä oli kuitenkin palattava viiteen vuoteen. Vuonna 2000 päätettiin alemman ja ylemmän tutkinnon rakenteeksi 2 + 3 vuotta, eli rakenteeseen kirjattiin pakollinen alempi korkeakoulututkinto (Bachelor s). Kun yleinen linja Euroopassa kuitenkin päätyi mallin 3 + 2 vuotta kannalle, Hollannissa päätettiin seurata esimerkkiä. Hollannissa yliopistoon on vapaa pääsy kaikilla, jotka ovat suorittaneet sitä edellyttävän alemman koulutuksen. Opiskelijoita ei suorastaan saa karsia, mitä haastatellut opettajat ja opiskelijat pitivät huonona asiana. Kysymys opiskelijoiden motivaatiosta nousi toistuvasti esiin niin keskusteluissa kuin matriiseissakin. Haastateltujen opiskelijoiden jyrkähköjä asenteita saattaa selittää osaltaan se, että he edustivat selvästi kohorttinsa parhaimmistoa. Lukiotasolla on neljä suuntautumislinjaa, joista kahdelta, teknologialinjalta ja luonnontieteiden ja terveystieteiden linjalta, voidaan rekrytoitua teknillisiin yliopistoihin. Yliopistoissa on tietenkin ensimmäisenä vuotena melkoisesti ruuhkaa, ja opetus on koulumaista. Ensimmäisen vuoden lopulla opettajat käyvät läpi kaikki opiskelijat eivätkä suosittele jatkamista, jos opiskelijalla ei tunnu olevan edellytyksiä yliopisto-opintoihin. Suuri osa ohjataan ammattikorkeakouluihin (HBO). Muodollisesti opiskelija tekee itse päätöksen jatkamisestaan tai siirtymisestään muualle. Hollannin yliopistojen laadunvarmistusmenettelyt olivat aika vieraita kaikille haastatelluille. Esimerkiksi opetuksen laatujärjestelmällä ymmärretään lähinnä opiskelijapalautteen keräämistä. Palautteeseen kyllä reagoidaan järjestelmällisesti. Yliopistossa on selvästi suunnitelmallista laadunhallintaa, mutta asiaa tuntuvat hoitavan muutamat harvat, laatukysymyksille itsensä pyhittäneet. Spesifisti opetussuunnitelmatyöhön liittyvistä kysymyksistä kiinnostavimpia oli TU/e:ssa osittain sovellettu Design Based Learning -ajattelu (DBL),

jota käytetään jonkin verran kahden ensimmäisen vuoden opinnoissa. Sen ytimenä ovat yhdessä suunnitellut ja toteutetut tutkimusprojektit, joiden yhteydessä pyritään opettamaan ja oppimaan kaikki keskeiset taidot, joita on aiemmin opetettu erillisillä kursseilla. DBL ei siis tarjoa mahdollisuuksia ainoastaan oppiaineen edellyttämien erityistaitojen oppimiseen, vaan projekteissa opitaan myös geneerisiä työelämätaitoja projektityöskentelystä viestintään. DBL-ajattelua hyödynnetään etenkin tietojenkäsittelytieteiden projektiopinnoissa. Ensin määritellään ne taidot, joita opiskelijoiden halutaan hankkivan projektin aikana: suunnitelman laatiminen, kokouskäytännöt, tieteellisen englannin käyttö, suullinen esiintyminen, PowerPoint-esityksen pitäminen, raportointi, asioiden havainnollistaminen, tieteellinen haastattelu, posterin esittely, informaation kerääminen ja asiantuntijoiden hyödyntäminen. Näitä taitoja opitaan ja arvioidaan projektin aikana sen eri osissa ja tehtävissä niin, että ne muodostavat mielekkään kokonaisuuden... Jatkotyöskentely TKT:n opetusneuvosto kokoontui matkan jälkeen raportoimaan sen annista. Neuvostossa pantiin myönteisenä merkille Jan Friso Grooten vierailun lopuksi tekemä ehdotus Jyrki Nummenmaalle laitosten yhteisestä Erasmus Mundus - hakemuksesta. Projekti edellytti kolmannen osapuolen mukaan ottamista. Tätä kirjoitettaessa on tiedossa, ettei Tampereen, Eindhovenin, Uppsalan ja Brnon (Masaryk) yliopistojen yhteishanke mennyt läpi. Merkittävänä esteenä oli se, ettei kaikkien osallistujien osalta voitu luvata double degreetä. Muutoin todettiin tutustumisen Eindhovenin laitokseen nostaneen esiin seuraavia pohdintoja: Olisiko TKT:lla mahdollisuutta hankkia opiskelijoilleen kannettavat tietokoneet tai tukea heitä niiden hankkimisessa ja mitä kaikkea myönteisestä vastauksesta seuraisi? Miten laitos voisi rohkaista opettajiaan osallistumaan yliopistopedagogiseen koulutukseen? Mitä keinoja laitoksella ja koko Tampereen yliopistolla on puuttua kehnoon opetukseen ja opettajien laiminlyönteihin? Pitäisikö tietotekniikan opettajiksi aikoville olla enemmän järjestelmällistä omaa opetusta? Mitä voitaisiin oppia Eindhovenin laitoksen tavasta kirjata projekteille kattavat oppimistavoitteet ja seurata niiden toteutumista? Kokouksessa todettiin tarve täydentää ja korjata omaa matriisia joiltakin osin, jotta terminologia ei hämmentäisi ulkomaalaisia kumppaneita ja jotta kaikki numeerinen tieto tulisi oikein ymmärretyksi. Matriisin korjaaminen ja päivittäminen todettiin tärkeäksi, koska laitos päätti laajentaa benchmarkingia

muihinkin ulkomaisiin yhteistyöyliopistoihin. Alustavasti ehdotettiin melko kevyttä vertailua: vieraileva tamperelaisopettaja voisi viedä mukanaan Tampereella täytetyn matriisin ja pyytää kumppania täyttämään omansa. Tällä tavalla saataisiin tietoa paitsi itsestään myös partnereista ja voitaisiin paremmin ohjata omia opiskelijoita vaihtokohteisiin. Tätä kirjoitettaessa on tehty yksi tällainen kevyt benchmarking Tsekinmaan maatalousyliopiston (Czech University of Agriculture) kahden laitoksen (Department of Information Technology ja Department of Information Engineering) kanssa... Oppia ikä kaikki Tampereen yliopiston Tietojenkäsittelytieteiden laitoksen benchmarking Eindhovenin teknillisen yliopiston vastaavan yksikön kanssa osoitti jälleen kerran, kuinka akateemiset laitokset toimivat omilla ehdoillaan ja omassa aikataulussaan: prosessi lähti toden teolla liikkeelle vasta, kun opettajat ja opiskelijat alkoivat pitää sitä omanaan. Benchmarking-prosessi tarvitsee etenkin alussa aktiivista vireillä pitoa, rohkaisua, innostamista ja suoranaista tukea. Toinen opetus oli, että benchmarking on suunniteltava, ja sitä on johdettava. Mitään alan pipliaa ei tarvitse seurata, mutta prosessin päävaiheet tulee hahmottaa. Kun niistä on tietoinen, niitä voi tarpeen mukaan varioida (kytkeä yhteen, siirtyä seuraavaan, valmistella sitä seuraavaa, kenties nopeuttaakin jotakin vaihetta). Kolmanneksi hanke osoitti, että organisaatio oppii myös silloin, kun oppimista ei havaitse. Oppimistulokset vain tulevat näkyviin verrattain hitaasti. Kaiken lisäksi ei ole helppoa sanoa etukäteen, mitä benchmarkingin oppimistulokset ylipäätään ovat. Benchmarkingille tulisi asettaa kohtalaisen selkeät tavoitteet. On tietenkin hienoa havaita, että TKT on aika hyvä alallaan mutta kuinka hyvä se lopultakin haluaisi olla? Oman osaamisen ja asioiden sujumisen arvioiminen suhteessa omiin tavoitteisiin taitaa itse asiassa olla tärkeämpää kuin niiden arviointi suhteessa partneriin. Arvioitavista asioista päätettäessä ja niitä punnittaessa prosessit ovat usein tuloksia tärkeämpiä. Ketään ei hyödytä juurikaan sen näkeminen, mitä vertailtavassa yksikössä on saavutettu, jos ei nähdä sitä, miten tuloksiin on päästy. Sama koskee omaa yksikköä: jos ei pysty näkemään analyyttisesti, millä rakenteilla ja prosesseilla on päästy nykyisiin tuloksiin, niin tuloksia ei ole helppoa parantaa. Lopuksi: numerojen vertailu ei kerro juuri mitään. Edes oikeat, osuvat ja oikein tulkitut luvut eivät kerro, miten toimintaa parannetaan. Tavoitteenahan ei pohjimmaltaan ole lukujen parantaminen.

. Benchmarking apuvälineenä uuden opetussuunnitelman luomisessa Ida Mielityinen, Joensuun yliopisto.. Taustaa Artikkelissani keskityn pohtimaan kolmea vertailevan arvioinnin eli benchmarking-prosessin (myöh. BM) kysymystä. Erityisesti analysoin 1) BM-prosessin mahdollisuuksia ja ongelmia uuden opetussuunnitelman luomisessa. Tämän lisäksi erittelen 2) millaisia erityisiä tekijöitä kannattaa ottaa huomioon, jos BM-prosessia koordinoi joku muu kuin vertailussa mukana olevan yhteisön jäsen, ja 3) millaisia ongelmia saattaa esiintyä, kun opetussuunnitelmatietoja tai partneria etsitään verkosta. Uutta opetussuunnitelmaa suunnitteleva laitos oli kahden professuurin pienehkö ainelaitos, jonka tarkoituksena oli suunnitella kansainvälinen, englanninkielinen, 120 opintopisteen maisteriohjelma. Suunnitelman mukaan opinnot tulisivat korvaamaan nykyiset ylempään korkeakoulututkintoon johtavat opinnot, jolloin myös kaikki alempaa tutkintoa suorittamaan tulevat opiskelijat siirtyisivät näihin opintoihin. Uusi ohjelma siis korvaisi laitoksen nykyiset ylempään korkeakoulututkintoon johtavat opinnot... Vertailun tavoitteet Benchmarkingilla oli osana koulutusohjelman luomista useita tavoitteita. Laitoksella on ollut vaikeuksia rekrytoida uusia opiskelijoita ja tämä oli yksi keskeinen syy ohjelman kehittämisen taustalla. Koska kyseessä on kansainvälisen maisteriohjelman suunnittelu ja opiskelijarekrytointia tehtäisiin vähintään ympäri Eurooppaa, vertailulla oli tarkoitus selvittää, 1) onko vastaavia opintoja tarjolla muissa Eurooppalaisissa yliopistoissa ja 2) olisiko tämäntyyppisille opinnoille markkinarakoa. Samoin haluttiin selvittää, 3) millaisia opetussuunnitelmia kyseiseltä alalta on. Edelleen vertailulla haluttiin löytää 4) erilaisia tapoja koostaa akateeminen opetussuunnitelma poikkitieteellisille opinnoille. Alustavan verkossa tehtävän vertailun perusteella tavoitteena oli 5) löytää yksi tai useampi yliopisto, johon sitten otettaisiin yhteyttä, varsinaisen vertailun ja vierailun toteuttamiseksi. Toiveissa oli 6) solmia pidempiaikaisia yhteistyösuhteita, joita voitaisiin hyödyntää esimerkiksi opettajavaihdossa, markkinoinnissa ja opiskelijarekrytoinnissa.

.. BM uuden opetussuunnitelman suunnittelun välineenä Uuden opetussuunnitelman luominen on aina haastava prosessi. Erityisen haastava se on silloin, kun tarkoitus on luoda poikkitieteellinen ja kansainvälinen koulutusohjelma. Koska perustehtävääni yliopistolla kuuluu tutkintorakennetyön tukeminen, halusin vertailulla kannustaa huolelliseen ja tavallisuudesta poikkeavaan keskusteluun opetussuunnitelmasta, opetuksen kehittämisestä, arvioinnista, opiskelijoiden roolista laitoksella jne. Näin opetussuunnitelmatyön itseisarvoisesti tärkeänä ja koko vertailuprosessin keskiössä. Tältä osin näkemyksemme laitoksen edustajien kanssa erosivat toisistaan. Heidän näkemyksensä mukaan tässä vaiheessa kannatti opetussuunnitelma tehdä ainoastaan pääpiirteissään, kun ohjelman alkamisesta ei ollut vielä varmuutta. Toisaalta heidän näkemyksensä mukaan kurssien nimet ja yhdellä tai kahdella lauseella kuvatut jaksojen tavoitteet, muodostivat jo opetussuunnitelman. Mikäli uusi ohjelma ei käynnistyisi, uusi tutkintorakenteen käyttöönotto ei heidän käsityksensä mukaan edellytä merkittävää opetussuunnitelman uudistamista. Näin merkittävän arvon itsearvioinnilla ja mahdollisella vierailulla, sillä ne voisivat tukea laitoksen sisäistä keskustelua, riippumatta siitä, mikä koulutusohjelman sisältö tulisi olemaan. Toimitin laitokselle itsearviointilomakkeet ja herättelin niistä keskustelua moneen kertaan, mutta en saanut vastakaikua. Uuden suunnitteilla olevan ohjelman suhteen näin erityisesti tarvetta miettiä poikkitieteellisyyden mukaan tuomia haasteita opetussuunnitelmalle, kun opiskelijat voisivat rekrytoitua opintoihin usealta eri tieteenalalta. Samoin halusin herättää keskustelua, mitä uuden ohjelman suunnittelussa syntyneitä ideoita voisi käyttää hyväksi nykyisen opetuksen kehittämisessä ja uudelleen profiloimisessa... Verkossa tehtävä vertailu Verkossa tehtävälle vertailulle asetettiin prosessissa merkittäviä tavoitteita. Sen oli ajateltu olevan sekä esi- että karsintavaihe vertailussa. Ajatuksena oli verkosta saatavien tietojen perusteella saada yleiskatsaus maailmalla alalta järjestettävistä maisteriopinnoista. Ajattelin löytäväni opetussuunnitelmat ja koulutusten profiilit verkosta suhteellisen helposti. Samoin ajattelin sähköpostitse jätettävien tietopyyntöjen tuottavan tulosta. Keskeinen opetus olikin, että tieteenalan ulkopuolinen henkilöi voi toki fasilitoida ja avustaa BM-prosessissa, mutta tieteenalan substanssia koskevan tiedon käsittely on äärimmäisen vaikeaa, ellei jopa tuloksetonta. Opetussuunnitelmien erot, yhtäläisyydet ja merkittävät osatekijät eivät helposti aukea ulkopuoliselle. Minulta kului työpäivän verran tunteja huomatakseni, että saman yleisnimen alla opintoja järjeste-