Tuotantotalouden koulutuksen arvioinnin seuranta

Transkriptio

1 1 A. Miettinen & E. Pajarre Tuotantotalouden koulutuksen arvioinnin seuranta KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA 12:2001

2 2 Korkeakoulujen arviointineuvosto Taitto: Pikseri Julkaisupalvelut Helsinki 2001

3 3 Esipuhe Tuotantotalouden koulutusohjelmien arviointi aloitettiin vuonna 1997 ja sen arviointiraportti julkistettiin syksyllä Arvioitavana oli 15 alan koulutusohjelmaa neljästä yliopistosta sekä yhdeksästä eri ammattikorkeakoulusta. Arvioinnin kulku sujui toiminnallisesti konventionaalisesti. Suunnittelun ja alkuseminaarin jälkeen seurasivat koulutusohjelmien itsearvioinnit ja ulkoiset arvioinnit, viimeksi mainitussa käytettiin kansainvälistä arviointiryhmää. Viimeinen vaihe oli arviointiraportin kirjoittaminen ja julkistus. Osoittautui, että tuotantotalouden koulutusohjelmilla oli hyvä valmius arvioinnin suorittamiseen. Yleisesti asiat sujuivat hyvin. Arviointiryhmä päätyi raportissaan varsin yhtenäiseen kannanottoon. Keskeinen tavoite koko toiminnalle nähtiin olevan tuotantotalouden koulutuksen laadun parantaminen. Projektin erityisistä tavoitteista osa oli sellaisia, joiden toteutumisen vaikutuksia tuotantotalouden koulutukseen voitiin selvittää jo itse arviointiprosessin aikana. Osaa voidaan seurata vasta pitemmällä aikajänteellä. Nyt kolmisen vuotta arvioinnin toteuttamisen jälkeen olemme projektin seurantavaiheessa. On tärkeää selvittää, mitä pysyviä vaikutuksia projektilla on ollut. Seuranta pyrkii osaltaan myös vastaamaan kysymykseen, onko korkeakouluopetuksen näin järjestetty arviointi ylipäätään tarpeeellista. On ilahduttavaa, että seurannassa olivat mukana kaikki alunperin arvioidut koulutusohjelmat. Yleisesti arviointiprosessia pidettiin tarpeellisena, se oli vaikuttanut ja tulee vaikuttamaan toimintaan. Varsinkin strategian suunnittelu on kohentunut ja vaikutus parantunut. Vaikka kaikkia opetuksen ja tutkimuksen edistämiseen liittyviä toimenpiteitä ei pidä lukea arviointityön ansioksi, arviointi on ollut edistämässä monia niistä. Palautetta on nyt saatu myös Korkeakoulujen Arviointineuvostolle siitä, kuinka arviointeja voitaisiin parantaa tulevaisuudessa. Seurannan kyselyn toteuttivat professori Asko Miettinen ja tutkija Eila Pajarre. Heille esitän parhaat kiitokseni, samoin kuin kaikille muille työhön osallistuneille. Otaniemessä 20. päivänä heinäkuuta 2001 Toivo Katila Tuotantotalouden koulutusohjelman arvioinnin johtoryhmän puheenjohtaja Korkeakoulujen arviointineuvosto

4 4 Sisällys Tiivistelmä 5 English summary 6 1 Johdanto 8 2 Seuranta-arvioinnin tulokset Yksiköiden arviot evaluoinnin vaikutuksista Evaluaation merkitys yksiköiden näkökulmasta Kuinka usein ulkoisia arviointeja tarvitaan? Evaluaation johdosta toteutetut konkreettiset toimenpiteet Yksiköissä vuoden 1998 evaluoinnin jälkeen tapahtuneet muutokset Kirjallisten strategioiden yleisyys ja ohjaava vaikutus Opetusohjelman markkinointi ja kilpailu opiskelijoista Opetukselliset kokeilut ja innovaatiot Lähiajan toiminta Evaluaatio toiminnan suunnittelun vakiintuneena osana Millainen olisi vuoden 1998 evaluaation parannettu versio? Kokonaisarvio mitä jäi käteen? Yhteenveto ja johtopäätökset 18 Liite: Selvitys valtakunnallisen tuotantotalouden yksiköiden arvioinnin vaikutuksista 20

5 5 Tiivistelmä Maassamme toimii tällä hetkellä 15 tuotantotalouden alan korkeakoulutusta antavaa oppilaitosta, joista viisi on korkeakouluja ja kymmenen ammattikorkeakouluja. Nämä kaikki osallistuivat Korkeakoulujen arviointineuvoston toteuttamaan valtakunnalliseen koulutusalakohtaiseen arviointiin vuosina Keväällä 2001 käynnistettiin seurantaselvitys tuomaan esille, mitä konkreettisia vaikutuksia toteutetulla arvioinnilla on ollut arvioiduille yksiköille. Selvitys toteutettiin kirjallisena kyselynä ja siihen vastasivat kaikki mukana olleet yksiköt. Kuluneiden vuosien aikana tuotantotalouden opetuksen asema korkea- ja ammattikorkeakouluissa on saavuttanut vakiintuneen aseman lukuun ottamatta kolmea ammattikorkeakouluyksikköä, joiden tuotantotalouden yksiköt lakkautetaan ja opetus sisällytetään osaksi muuta opetusta. Arvioitujen yksiköiden antama palaute evaluaation merkityksestä oli lähes yksinomaan myönteistä. Evaluaatio oli paitsi selkiyttänyt yksiköiden käsityksiä omista vahvuuksistaan ja heikkouksistaan, myös antanut lisävahvistusta konkreettisten kehitystoimenpiteiden käynnistämiseen ja erilaisten sisäisten arviointija strategiaprosessien käyttöönottoon. Evaluaation negatiivisena puolena pidettiin sen työläyttä erityisesti pienimmille yksiköille. Jatkossa ulkoisia arviointeja toivottiinkin järjestettävän noin viiden vuoden välein, jolloin toimenpiteisiin ryhtymiseen ja vaikutusten arviointiinkin jää riittävästi aikaa. Evaluaation johdosta toteutetuista konkreettisista toimenpiteistä suurin osa liittyi kansainvälisyyden lisäämiseen ja yhteistyön parantamiseen eri yksiköiden välillä. Valtaosa yksiköistä oli vuoden 1998 jälkeen ottanut käyttöönsä kirjalliseen muotoon laaditun strategisen kehittämissuunnitelman. Kyvyssä toimeenpanna strategioiden mukaisia suunnitelmia oli sen sijaan vielä suuria eroja yksiköiden välillä. Opetuksellisia kokeiluja oli käynnistetty monissa yksiköissä. Niiden laajuus vaihteli pienimuotoisista kokeiluista valtakunnallisiin kehittämishankkeisiin. Verkko- ja virtuaaliopetuksen kehittäminen oli käynnissä useammassakin yksikössä. Lisäksi huomiota oli kiinnitetty esimerkiksi pedagogisiin kysymyksiin ja opetusta tukevien sähköisten järjestelmien kehittämiseen. Arviointia pidettiin yleisesti hyvänä työvälineenä oman toiminnan kehittämiselle. Erityisen hyödyllisinä pidettiin huolellisesti laadittuja itsearviointeja. Parhaimmillaan arviointi voikin olla osa yksiköiden jatkuvaa kehittämistoimintaa, jolloin se vakiintuneena käytäntönä ei vie liikaa resursseja. Arvioinnin avulla voidaan pysyä ajan tasalla siitä, missä ollaan ja saada vahvistuksia pyrkimyksille, mihin suuntaan halutaan olla menossa.

6 6 English summary The Finnish Higher Education Evaluation Council undertook in an evaluation of Industrial Management and Engineering (IEM) programmes at Finnish universities and polytechnics. This evaluation project consisted of three phases: self-assessment, external evaluation, and the reporting of results and obtaining feedback. The aim of the follow-up project was to explore the outcomes of the programme evaluation. The follow-up was carried out in the spring of 2001 with each institution that participated in the evaluation. The administrative head of the programme at each institute was sent a questionnaire consisting of 14 open-ended items about the perceived impact of the evaluation process on the IEM programmes. All 15 units replied, although three polytechnics announced that they intended to discontinue their IEM programme and incorporate their content into other curricula. The IEM programmes in all remaining 12 units appeared to be well established and institutionalised. The general attitude toward the evaluation was mostly positive. For the majority of the units, this had been the first external evaluation process. For most participating programmes, the evaluation project provided new ideas about how to do things differently. It helped to identify self-assessed strengths and weaknesses, and encouraged the institutions to initiate the evaluation process in many other programmes. Furthermore, it also enhanced the adoption of internal evaluation as an integral part of continuous development efforts and increased strategic debate within the units. Most programmes appreciated the continuation of such external evaluation. An interval of five years was most often considered to be the best time period for repeating the process. The evaluation process was seen by all, except for one programme, to have resulted in both practical and concrete outcomes, such as written strategic plans, extending and intensifying efforts to go more international, increasing the relationships between educational institutes and the business community, and improving the utilisation of various feedback systems. Educational indicators provided by the evaluation process were seen as an important means to improve education by improving decision-making. Thus, evaluation served to support the management of these programmes by developing their structures and processes, which was mentioned as being among the most important general outcomes. In addition to the institutional function of the evaluation process, which aimed to awaken and maintain the interest and support of different constituencies as well as increase the legitimacy of the programmes, the technical function of the evaluation intending to improve the fluency of education was reported in some replies. Comparisons gave rise to contradictory expectations:

7 although they were understood in terms of learning from others experiences, the participants expressed concern as to the risks of non-contextualised rankings. Under the umbrella of a strategic plan, many substrategies such as research, technology, internationalisation and personnel strategies were mentioned. However, problems in implementing these substrategies were cited several times as an issue in this connection. Virtual and e-learning projects were most often reported as innovative teaching/learning experiments. Some of these were closely related to nation-wide development projects in this field. In summary, there was wide satisfaction with the evaluation in general among the respondents with only a very few critical remarks being voiced. A combination of self-evaluation, external comparisons and feedback discussions was considered to have worked well. The role of the external evaluators was also positively recognised and highly appreciated. However, no radical transformations based on this evaluation were reported. Rather, the process initiated many new ideas and both strengthened and sharpened the already existing planning practices. For further development, the role of multiple constituencies in the evaluation process should be highlighted, and the collected feedback data should be used much more effectively. It was felt that there is the risk that no benefit might result from this information in an ideal way, or that it might even remain largely ignored. A few critical voices were raised due to the extra workload demanded by the evaluation process, particularly by those in smaller units. It is therefore recommended that future efforts should concentrate on offering a more individualised evaluation process that takes into account the special characteristics and context of each programme. The potential of evaluation as a tool and yardstick for continuous development efforts was widely welcomed and highly regarded among the respondents in this follow-up survey. 7

8 8 1 Johdanto Vuosina suoritettiin valtakunnallinen tuotantotalouden korkeakoulutusta koskeva evaluaatio. Kyseessä oli ensimmäinen Korkeakoulujen arviointineuvoston käynnistämä valtakunnallinen koulutusalakohtainen arviointi. Siihen osallistuivat kaikki 15 kotimaista tuotantotalouden opetusta antavaa korkea- ja ammattikorkeakoulua. Arviointi toteutettiin siten, että yksiköt laativat ensin Korkeakoulujen arviointineuvoston ohjeiden mukaiset itsearviointiraportit, minkä jälkeen toteutettiin ulkoinen arviointi. Arvioinnista ilmestyi raportti (1998), jossa julkaistiin evaluaation tulokset yksiköittäin. Nyt raportoitavan seurannan tarkoituksena oli kartoittaa, minkälaisia vaikutuksia arvioinnilla on ollut siihen osallistuneille yksiköille ja millä tavoin arviointitoimintaa toivotaan jatkossa suoritettavan. Selvitys toteutettiin lähettämällä arvioiduille yksiköille kyselylomake, joka sisälsi 14 sanallista arviointia ja sen vaikutuksia koskevaa kysymystä. Tähän raporttiin on koottu saadut vastaukset. Evaluointi on organisaation toiminnan kehittämisen kannalta merkittävässä asemassa, koska sen tehtävä on palvella organisaation johtamista lisäämällä informaatiota tavoitteiden toteutumisesta sekä erityisesti toiminnan ongelmista ja ongelmien ratkaisuista sekä resurssien allokoinneista (Vartiainen, 1998). Seurantaselvityksessä kartoitettiin, minkälaisena arvioidut yksiköt näkivät evaluaation merkityksen, ja millaisiin konkreettisiin strategisiin ja operatiivisiin toimenpiteisiin yksiköt ovat ryhtyneet arvioinnin tulosten johdosta. Lisäksi selvitettiin, kuinka yksiköt pyrkivät erottumaan muista saman alan koulutusohjelmista ja mitä muita muutos- tai kehityshankkeita yksiköissä on käynnissä. Vastaajilta tiedusteltiin, missä määrin he ovat omaksuneet arvioinnin osaksi oman yksikkönsä normaalia toiminnan suunnittelua ja miten he suosittelisivat toimittavan, mikäli arviointi järjestettäisiin nyt uudelleen. Lopuksi vastaajia pyydettiin antamaan arvio arviointiprosessista kokonaisuutena. Seurantakyselyn toteutus Korkeakoulujen arviointineuvoston aloitteesta perustettiin tammikuussa 2001 työryhmä, jonka tehtäväksi tuli seuranta-arvioinnin suunnittelu ja toteutus. Työryhmään kuuluivat seuraavat jäsenet: Hans Andersin, emeritusprofessori, Teknillinen korkeakoulu, 1998 toteutetun arvioinnin työryhmän puheenjohtaja Matti Lähdeniemi, toimialajohtaja, Satakunnan ammattikorkeakoulu Asko Miettinen, professori, Tampereen teknillinen korkeakoulu Eila Pajarre, tutkija, Tampereen teknillinen korkeakoulu Karl Holm, projektisuunnittelija, Korkeakoulujen arviointineuvosto

9 9 Työryhmän tehtävänä oli seurannan vaikutuksia kartoittavan kyselylomakkeen laatiminen ja tulosten arvioiminen. Lisäksi työryhmä järjesti valtakunnallisen seurantaseminaarin , jossa selvityksen tulokset julkaistiin. Seurantakyselyn käytännön toteutuksesta ja loppuraportin laatimisesta vastasi Tampereen teknillisen korkeakoulun teollisuustalouden laitos, jossa asiaa hoitivat professori Asko Miettinen ja tutkija Eila Pajarre. Kyselylomakkeet lähetettiin oppilaitoksiin Korkeakoulujen arviointineuvoston toimesta ns. rehtorin kirjeinä. Vastaajat olivat joko oppilaitosten tai arvioitujen yksiköiden johtajia tai muuten yksiköiden kehitystyössä keskeisessä asemassa olevia henkilöitä. Arviointiin osallistuneet yksiköt Seurantakyselyyn vastasivat kaikki vuonna 1998 toteutettuun arviointiin osallistuneet yksiköt: Arcada Nylands svenska yrkeshögskola, Department of Industrial Management and Engineering, Espoo Hämeen ammattikorkeakoulu, Valkeakosken yksikkö Keski-Pohjanmaan ammattikorkeakoulu, tekniikan yksikkö, Kokkola Keski-Pohjanmaan ammattikorkeakoulu, tekniikan yksikkö, Ylivieska Kymenlaakson ammattikorkeakoulu, Tuotantotalouden osasto, Kotka Lappeenrannan teknillinen korkeakoulu, Tuotantotalouden osasto Mikkelin ammattikorkeakoulu, Industrial and Business Management -ohjelma, Industrial Management -suuntautumisvaihtoehto Oulun yliopisto, taloudellinen tiedekunta Pohjois-Savon ammattikorkeakoulu, tekniikka, Varkaus Satakunnan ammattikorkeakoulu, Rauman yksikkö Seinäjoen ammattikorkeakoulu, Tekniikan yksikkö Svenska yrkeshögskolan, Produktionsekonomi, Vaasa Tampereen teknillinen korkeakoulu, Tuotantotalouden osasto Tampereen teknillinen korkeakoulu, Porin yksikkö Teknillinen korkeakoulu, Tuotantotalouden osasto Näistä Keski-Pohjanmaan ammattikorkeakoulun Kokkolan yksikkö, Mikkelin ammattikorkeakoulu ja Seinäjoen ammattikorkeakoulu ilmoittivat, että niiden tuotantotalouden yksiköiden osalta toiminta lakkautetaan ja tuotantotalouden opetus sisällytetään osaksi muuta opetusta. Muissa yksiköissä tuotantotalouden opetus on vakiintunut osaksi annettavaa koulutusta.

10 10 2 Seuranta-arvioinnin tulokset Seuranta-arviointi toteutettiin kyselylomakkeella, joka sisälsi 14 avointa kysymystä. Kysymykset oli laadittu siten, että vastauksista kävisi ilmi vuonna 1998 toteutetun evaluaation sekä kattavuus että vaikuttavuus arvioiduissa yksiköissä. Kysymysalue kattoi sekä strategiset että operatiiviset vaikutukset. 2.1 Yksiköiden arviot evaluoinnin vaikutuksista Kysymykseen vuonna 1998 suoritetun evaluoinnin olennaisimmista tuloksista arvioitujen yksiköiden näkökulmasta oli vastattu hyvin monipuolisesti. Osalle yksiköistä se oli tuonut esille uusia kehittämistarpeita, osalle taas tulokset olivat vahvistaneet aiempia omia käsityksiä. Yleisimmin mainittu evaluoinnissa esille tullut yksittäinen kehittämiskohde oli kansainvälisen toiminnan vähäisyys ja/tai puutteellisuus. Useissa vastauksissa tuotiin esille muun muassa seuraavat tuolloin kriittisiksi koetut asiat: kansainvälisyys: ulkomaalaisten luennoitsijoiden alhainen lukumäärä, tarve parantaa ulkomaalaisten osa-aikaisten opettajien ohjausta, ulkomaalaisten opiskelijoiden alhainen määrä, opettajien kansainvälistymisen tarve, opiskelijoiden riittämätön kielitaito, kansainvälisten opiskelijoiden harjoittelu- ja opinnäytetyövaikeudet, kieliopintojen vähyys tutkinnossa asema ja yhteistyö oppilaitoksen sisällä: laboratorioiden välisen yhteistyön puute, ongelmia yhteistyössä koulun muiden osastojen kanssa, koulutusohjelman selkeän johdon puuttuminen, koulutusohjelmalla ei omaa vahvaa identiteettiä kirjastossa toivomisen varaa, kirjastoissa oleva alan kirjallisuus niukkaa ja epäajantasaista. Oppilaitoksen näkökulmasta evaluoinnin katsottiin olleen hyödyksi muun muassa seuraavista syistä: auttoi löytämään kehittämiskohteita ja asettamaan niitä tärkeysjärjestykseen kartoitettiin silloinen tilanne ja hahmotettiin kehittämistarpeet saavutettiin yhteisymmärrys koulutusohjelman vahvuuksista ja kehittämistarpeista synnytettiin opiskelijoiden ja opettajien kanssa yhteinen prosessi, jossa pohdittiin oleellisia asioita

11 11 huomioitiin kirjalliseen muotoon saatetun strategian tarve koko oppilaitokselle ja arvioidulle yksikölle mahdollisti koulutusohjelman asemoinnin suhteessa muihin vastaaviin ohjelmiin. 2.2 Evaluaation merkitys yksiköiden näkökulmasta Vastaajia pyydettiin esittämään yleinen arvio evaluaation merkityksestä arvioidulle yksikölle. Evaluaatio nähtiin vastauksissa erittäin positiivisena toimenpiteenä. Useille yksiköille se oli ollut laatuaan ensimmäinen ulkoinen arviointi, mikä vielä entisestään korosti sen merkitystä. Vain yhdessä vastauksessa kritisoitiin sitä, että arviointiryhmän saama käsitys yksiköstä oli jäänyt pintapuoliseksi. Tähän syyksi epäiltiin arviointiryhmän haastatteluun käyttämän ajan lyhyyttä. Lisäksi yhdessä vastauksessa huomautettiin, että strategista kehitystyötä tehdään joka tapauksessa riippumatta siitä, onko arviointia vai ei. Evaluoinnin todettiin vaikuttaneen ainakin seuraaviin seikkoihin: antoi uusia ajatuksia tehdä asioita toisin saatiin vahvistetuksi käsityksiä yksikön puutteista ja heikkouksista käynnisti oppilaitoksessa myös muiden koulutusohjelmien vaiheittaisen arviointiprosessin sisäiset arvioinnit otettiin osaksi koulutuksen kehittämistä eri koulutusohjelmissa lisättiin strategisia pohdintoja, jotka ovat selkiyttäneet painoalueita saatiin hyvää aineistoa kilpailija-analyysiin tuki yksikön kehittämistä; antoi perusteita resurssien kehittämiseen mahdollisti laadun laajemmankin kehittämisen työläs, mutta hyödyllinen itsearviointi kiinnitti huomiota asioihin, joita ei ollut aikaisemmin havaittu antoi evästyksiä jatkaa yksikön ja opetuksen kehittämistä. 2.3 Kuinka usein ulkoisia arviointeja tarvitaan? Yksiköiltä tiedusteltiin mielipidettä siitä, kuinka usein ulkoinen arvio tulisi järjestää. Vastaukset olivat hyvin yhdenmukaisia. Ylivoimaisesti sopivimpana pidettiin arvioinnin järjestämistä viiden vuoden välein, vastausten vaihteluvälin ollessa 3 4 vuodesta 5 7 vuoteen. Riittävän pitkää aikaväliä perusteltiin muun muassa seuraavalla tavalla: Laajamittaisten arviointien vaikutukset käytännön toimintaan vaativat useamman vuoden toteutuakseen. Yliopistojärjestelmän jäykkyys saa aikaan toimien toteuttamisessa viiveen, joten arviointia ei ole järkevää toteuttaa muutaman vuoden välein, jotta arviointi ei rasita osastojen henkilökuntaa, vaan on hyvä pitää riittävän väljä sykli siten, että aikaisemman arvioinnin tulosten pohjalta tehdyt muutokset saadaan toteutettua. Mahdollisesti 5 6 vuoden aikaväli olisi sopiva.

12 Evaluaation johdosta toteutetut konkreettiset toimenpiteet Seurantakyselyllä haluttiin kartoittaa, minkälaisiin konkreettisiin toimenpiteisiin vuonna 1998 tehdyn ulkoisen arvioinnin perusteella oppilaitoksissa on ryhdytty. Koska evaluoinnin tuloksena annetuista kehittämisehdotuksista osa oli luonteeltaan heti käynnistettävissä olevia ja toiset taas enemmän aikaa vaativia, pyydettiin kyselylomakkeessa erittelemään sekä välittömästi toteutetut että pitemmän aikavälin (3 5 vuotta) toimenpiteet. Lisäksi tiedusteltiin myös, mitä toimenpiteitä yksiköillä on vielä tarkoitus evaluoinnin johdosta käynnistää. Arvioinnin välittömät seuraukset Välittömät seuraukset vaihtelivat yksiköittäin sekä laajuudeltaan että painoalueiltaan. Arvioinnin seurauksina mainittiin muun muassa kansainvälisten asioiden suunnittelijan palkkaaminen tutor-haastattelujen vakiinnuttaminen opiskelijoiden mielipiteiden kartoittamismenetelmänä kirjallisen strategian laatiminen sekä yksikölle että koko oppilaitokselle oman laboratorion toteuttamisen käynnistäminen kirjaston tuotantotalouden alan kirjallisuuden täydentäminen työelämäyhteyksien lisääminen kansainvälisten intensiiviseminaarien pitäminen kurssisuunnitelmien kääntäminen englanniksi koulutusohjelman sisällön kehittäminen ja toiminnan systematisoiminen. Yksi yksikkö ilmoitti, ettei arvioinnilla ollut juurikaan ollut välittömiä vaikutuksia. Pitemmän aikavälin seuraukset Ulkoisen arvioinnin pitemmän aikavälin konkreettisina seurauksina mainittiin useimmin kansainvälisyyden ja kieliopintojen lisääminen sekä yhteistyön parantaminen eri yksiköiden välillä. Myös strategioiden selkiyttäminen ja opiskelijapalautejärjestelmien tehokkaampi hyödyntäminen sekä kansainvälisen opettajavaihdon käynnistäminen mainittiin useammassa vastauksessa. Tärkeänä pidettiin lisäksi yhteistyötä elinkeinoelämän kanssa. Lisäksi yksittäisinä toteutuneina seurauksina mainittiin muun muassa oman laboratorion toteuttaminen, koulutusohjelman kokonaisvaltainen kehittäminen ja opiskelijoiden parantunut sitoutuminen koulutusohjelmaan sekä lisääntynyt asiakastyytyväisyys. Yhteensä 13 vastannutta yksikköä piti arvioinnin pitkän aikavälin tuloksia positiivisina. Yksi yksikkö ilmoitti, ettei arvioinnin seurauksena ollut tehty mitään, vaan kehittäminen on ollut omaehtoista. Yhdessä yksikössä toimenpideyritykset eivät olleet johtaneet käytännön tuloksiin.

13 13 Tulevaisuudessa käynnistettävät hankkeet Arvioiduista yksiköistä neljä viidesosaa oli aikeissa käynnistää vielä uusia toimenpiteitä arvioinnin johdosta. Tulevaisuuden totettamissuunnitelmina mainittiin esimerkiksi yhteistyön lisääminen muiden paikallisten oppilaitosten kanssa samoin kuin valmistuneiden ja työelämän tahojen kanssa, opetuksen palkitsemisjärjestelmän kehittäminen, projektiopetuksen lisääminen, oman organisaation selkeyttäminen sekä kansainvälistymisen lisääminen eri tavoin. 2.5 Yksiköissä vuoden 1998 evaluoinnin jälkeen tapahtuneet muutokset Merkittävimmät muutokset koskevat Mikkelin ammattikorkeakoulua, Seinäjoen ammattikorkeakoulua sekä Keski-Pohjanmaan ammattikorkeakoulun Kokkolan yksikköä, joissa kaikissa tuotantotalouden koulutusohjelma lakkautetaan ja koulutusohjelman sisältö jaetaan muihin jäljelle jääviin koulutusohjelmiin. Ainakin yhdessä näistä yksiköistä päätös koulutusohjelman alasajosta oli tehty jo ennen vuoden 1998 evaluaatiota. Lisäksi Arcadan (Nylands svenska yrkeshögskola) tekniikan yksikkö on vuonna 2000 pilkottu ja koulutusohjelmat uudelleenryhmitelty siten, että tuotantotalouden koulutusohjelma ja kansainvälinen tradenomikoulutusohjelma kuuluvat saman sateenvarjon alle. Muissa yksiköissä on toteutettu muun muassa seuraavia uudistuksia: organisaatiouudistuksia (sekä ammattikorkeakouluissa että tiedekorkeakouluissa) uusia koulutusohjelmia sekä tutkimus- ja koulutusyksiköitä uusia tilaratkaisuja ja uusia laboratorioita yhtenäiset modernit tilat ja opetusvälineet helpottavat opetusta ja oppimista käynnistetty oppimisen kehittämisprojekteja. 2.6 Kirjallisten strategioiden yleisyys ja ohjaava vaikutus Valtaosalla vastanneista yksiköistä on nyt käytössään kirjalliseen muotoon laadittu strateginen kehittämissuunnitelma. Ainoastaan kahdella yksiköllä ei strategista suunnitelmaa ollut. Osalla vastanneista oli käytössä samanaikaisesti sekä koko oppilaitosta koskeva strategia että omalle yksikölle laadittu strategiasuunnitelma. Yksiköiden kokemukset strategioiden ohjaavasta vaikutuksesta vaihtelivat suuresti. Esimerkiksi yksikössä, jonka strateginen kehittämissuunnitelma oli laadittu ryhmäpäätöksentekolaboratoriossa toteutetun nelikenttäanalyysin avulla yhdessä osaston laitosten, professorikunnan ja opiskelijoiden kanssa, oli strategia onnistuttu viemään laitos- ja jopa tutkijaryhmätasolle asti. Toisessa yksikössä sen sijaan todettiin, että strategiat ovat soveltavassa käytössä eivätkä yksise-

14 14 litteisesti ohjaa toimintaa, minkä lisäksi useat organisaatiossa tehdyt päätökset ovat strategian vastaiset. Yhdessä vastauksessa todettiinkin, että Strategioiden suurin ongelma liittyy niiden toimeenpanovaiheeseen. Akateemisen yhteisön saaminen käytännön tasolla yhteisesti sovitun strategian taakse ei ole helppo tehtävä. Voi olla, että myös yleisesti hyväksytyn strategian muodostaminen akateemisessa yhteisössä on keskimääräistä vaikeampaa siten, että kaikki olisivat strategian takana. Useimmin mainittuja muita käytössä olevia strategioita olivat tutkimus- ja kehitystyöstrategia ja kansainvälistymisstrategia. Näiden lisäksi mainittiin myös teknologia-, tietohallinto- henkilöstö- ja tietotekniikkastrategia sekä strategia kirjasto- ja informaatiopalveluille. Strategioiden ohjaavina vaikutuksina pidettiin muun muassa kehittämiskohteiden valintaa ja toimenpiteiden toteuttamista strategiasuunnitelmien mukaisesti sekä osastrategioiden jakamista henkilökohtaisiksi vastuutehtäviksi ja kehittämiskohteiksi. Konkreettisina kohteina mainittiin esimerkiksi tutkimustoiminnan tehostaminen sekä englanninkielisten ohjelmien lähentäminen suomenkielisiin uusien opetussuunnitelmien avulla. 2.7 Opetusohjelman markkinointi ja kilpailu opiskelijoista Useat vastaajat ilmoittivat pitäytyvänsä vakiintuneisiin tapoihin markkinoida koulutusohjelmaansa: esitteet, lehti-ilmoittelu, koulukäynnit ja aktiivinen yritysyhteistyö. Opetuksen, oppimisympäristön ja tutkimuksen laatu sekä kansainvälistyminen olivat tekijöitä, joihin useimmiten viitattiin keinoina kilpailtaessa korkeatasoisesta opiskelija-aineksesta. Oman toiminnan kansainvälistäminen puolestaan lisää mahdollisuuksia saada omille opiskelijoille opiskelumahdollisuuksia ulkomaisissa yliopistoissa ja korkeakouluissa. Esimerkkeinä sellaisenaan markkinoinnillisina indikaattoreina toimivista tekijöistä mainittiin mm. valtakunnallisen opetuksen ja tutkimuksen laatuyksikön statuksen saavuttaminen ja yksikön edustajien saavuttamat parhaiden konferenssipaperien palkinnot. Muuan yksikkö esitti markkinointinäkökulman ja kilpailuasetelman asemesta omana lähtökohtanaan kehittämistyönsä strategisesti valituilla osa-alueilla kohden alan kansainvälistä kärkeä. Eräät yksiköt mainitsivat myös koulutusohjelmien välisen yhteistyön tuottamista synergiaeduista mielenkiintoisten ja työvoiman kysynnän kannalta perusteltujen aineyhdistelmien tuottamiseksi. Tällaisina tuotiin esille mm. tuotantotalous ja tietotekniikka sekä tuotantotalous ja kauppatieteet. Uudempina markkinointikeinoina tuotiin esiin alumnitoiminnan käynnistäminen. Vastuun markkinoinnista katsottiin kuuluvan keskitetysti joko koko oppilaitokselle tai koulutusohjelmien vastuuhenkilöille. Markkinoinnin nyt ja lähitulevaisuudessa arveltiin jatkuvan kutakuinkin samanlaisena.

15 2.8 Opetukselliset kokeilut ja innovaatiot 15 Monissa yksiköissä on käynnistetty verkko- ja virtuaaliopetuksen kehittämishankkeita. Jotkut näistä ovat luonteeltaan pienimuotoisia ja kokeiluluonteisia, mutta myös laajempia ja tavoitteiltaan kunnianhimoisempia koko yksikköä koskevia kehittämishankkeita on käynnistetty ja työryhmiä perustettu. Verkko- ja virtuaaliopetuksen kehittäminen on myös nähty yhtenä keinona maantieteellisten etäisyyksien luomien hankaluuksien voittamisessa ja siten opetusresurssien aikaisempaa tehokkaampana hyödyntämismahdollisuutena. Ainakin yksi yksikköjen yhteinen projekti mainittiin. Hankkeilla on myös kytköksiä valtakunnallisiin kehittämishankkeisiin (Suomen virtuaaliyliopisto- ja Itä-Suomen virtuaaliyliopisto -hankkeet). Opetusta tukevana kehittämisprojektina yksi yksiköistä on kehittänyt sähköistä lomakkeiden palauttamista hallinnon perinteisen työtavan uudistamiseksi. Opiskelija voisi tällöin tehdä opintosuunnitelmansa sähköisessä ympäristössä ja järjestelmä kommunikoisi opintorekisterijärjestelmän kanssa osoittaen, mitkä tarvittavat kurssit on jo suoritettu ja mitä vielä tarvitaan tutkinnon suorittamiseksi. Samoin useat muut opiskelijoiden käyttämät anomuslomakkeet voitaisiin siirtää sähköiseen ympäristöön. Tällaisia ovat mm. diplomityön aiheanomus, ennakkoilmoitus diplomityön aloittamisesta sekä todistusanomus. Sähköistä kanavaa ollaan myös kehittämssä yhteistyöyrityksiä varten, jotta nämä voisivat tiedottaa diplomi-, harjoitus- ja erikoistyöpaikoistaan. Opiskelijat voisivat etsiä tästä pörssistä itselleen sopivia työaiheita ja vastaavasti ilmoittaa pörssissä omista intresseistään. Muina uudisteina mainittiin mm. päätoimisesti tuotantotalouden pedagogisiin ja didaktisiin kysymyksiin keskittyneen professorin virka opiskelijoille ja opettajille suunnattu kurssi oppimisesta osaamisportfoliosovellus (opiskelija arvioi ja kirjaa oman osaamisensa karttumista) työharjoittelujakson kehittäminen opiskelijoiden esiintymistaidon kehittäminen jatko-opiskelijoiden tiimien muodostaminen keskinäiseksi tukiryhmiksi. 2.9 Lähiajan toiminta Yksiköitä pyydettiin kirjaamaan sellaisia toimintoja ja aktiviteetteja, joita ne aikovat tehdä lähitulevaisuudessa a) enemmän tai paremmin, b) vähemmän tai lopettaa kokonaan sekä c) jotka voivat jatkua ennallaan. Näiden toimintojen motiivi ei luonnollisesti ole pelkästään parin vuoden takaisen evaluaation vaikutusta liittymiä siihen monet vastaukset kuitenkin heijastavat.

16 16 Selvästi useimmin tuotiin esiin kansainvälisen toiminnan kehittäminen eri alueilla: yhteistyö kansainvälisesti arvostettujen korkeakoulujen kanssa, tutkimus- ja julkaisutoiminta, oman englanninkielisen opetuksen laajentaminen ja laadullinen kehittäminen sekä opettaja- ja opiskelijavaihdon vahvistaminen mieluummin laadullisesta kuin määrällisestä näkökulmasta. Yritysyhteyksien kehittäminen ja opetuksen laatuun liittyvät seikat nostettiin melkein yhtä usein tuleviksi kehittämiskohteiksi. Muina nykyistä paremmin hoidettavina alueina mainittiin muun muassa opinnäytetöiden ohjauksen parantaminen ja koulutusohjelmien välisen yhteistyön ja synergian edistäminen. Aktiviteettien vähentämiseen tai lopettamiseen koskevaan kysymykseen vastattiin niukemmin. Useimmiten viitattiin tuottamattomaan hallinnolliseen työhön, kuten ulkopuolelta tuleviin yksikön henkilökuntaa kuormittaviin selvityksiin ja erilaisiin kyselyihin. Suurryhmäopetus sai eräitä mainintoja samoin kuin keskushallinnon kasvu ja siitä johtuvat lisätyöt, joiden koettiin olevan pois tutkimus- ja kehittämistoiminnasta. Vastaukset kysymyksen c-kohtaan ( mikä voisi jatkua ennallaan ) ilmensivät eri yksiköiden vahvuusalueinaan pitämiä seikkoja, kuten hyvää työskentelyilmapiiriä, suhteita opiskelijoihin, yhteistyötä teollisuuden kanssa sekä kansainvälistä yhteistyötä. Useimmista vastauksista henki vahva optimismi ja kehitysmyönteisyys Evaluaatio toiminnan suunnittelun vakiintuneena osana Yksikään yksikkö ei katsonut vuoden 1998 evaluaation radikaalisti muuttaneen omia suunnittelukäytäntöjään. Uusien ideoiden löytymiseen ja vahvistukseen evaluaation tuottaman informaation hyödyntämisessä sen sijaan viittasivat useat. Tarkemmin yksilöidyt keinot yhteensä tuottavat hyvinkin muodikkaan 360 asteen palautteen, vaikkakaan mikään yksikkö sellaisenaan ei tuonut esille hyvin rikasta erilaisten keinojen kirjoa. Mainituksi tulivat mm. laatujärjestelmä, kehittämispäivät, erilaiset työryhmät, alumnitoiminta, round table -menetelmä, tutorointi, muu opiskelija- ja työelämäpalaute, henkilöstön työtyytyväisyyskartoitukset sekä tavanomaiset kurssikohtaiset arviot. Yksi yksiköistä totesi itsekriittisesti, että arvioinnit tulisi ainakin heidän tapauksessaan organisoida ja toteuttaa nykyistä paremmin. Vaarana on liika rutiininomaisuus ja jopa se, että kerättyä palautetta ei hyödynnetä juuri lainkaan. Formaalisen mallin puute mainittiin yhden yksikön evaluaation hyödyntämistä estävänä tekijänä.

17 2.11 Millainen olisi vuoden 1998 evaluaation parannettu versio? 17 Vuonna 1998 toteutettuun evaluaatioon oltiin kohtalaisen tyytyväisiä. Kritiikkiä kohdistettiin lähinnä alkuvaiheen otteeseen ( hapuilua ) ja kysymysten selkeyteen sekä arvioinnin toteutuksen sujuvuuteen. Itsearvioinnista, ulkoisesta vertailuarvioinnista ja palautekeskustelusta koostuvaa kokonaisuutta pidettiin yleisesti varsin toimivana. Monet vastaajat halusivat lisätä arviointiin osallistuvien sidosryhmien osuutta evaluaatioprosessissa. Erityisesti mainittiin opiskelijat ja elinkeinoelämän edustajat. Eräissä yksiköissä oltiin valmiita vähentämään ulkoisen arvioinnin laajuutta. Sen asemesta voitaisiin fokusoitua tarkemmin yksiköiden todellisiin menestystekijöihin ja niiden edustamaan kärkiosaamiseen. Perusteellisesti tehtyä itsearviointia pidettiin hyvin keskeisenä arviointiprosessin osana Kokonaisarvio mitä jäi käteen? Arviointiprosessi koettiin voittopuolisesti myönteisenä, joskin työläänä. Erityisesti se näytti imeneen kaikkein pienimpien yksiköiden voimavaroja muiden töiden ohessa toteutettuna prosessina. Saman rasitteen ja muiden arkisten kiireiden arveltiin myös heikentäneen jossain määrin arvioinnin tulosten hyödyntämstä. Arvioijia pidettiin positiivisina ja asiantuntevina. Useat vastaajat toivat esiin tarpeen arvioida yksiköitä niiden erityispiirteet huomioonottaen. Keskinäistä vertailua vaikeuttavat monet tekijät, mm. tutkimuksen erilainen asema korkeakoulu- ja ammattikorkeakouluyksiköissä, minkä katsottiin helposti pelkistävän ja yksipuolistavan arviointia liikaa. Tutkimuksen arvionnin osuuden nähtiin jääneen jokseenkin ohueksi vuoden evaluaatiossa, minkä kyselyyn vastaanneet korkeakouluyksiköt toivat esille siitä huolimatta, että arvioinnin kohteena oli tuolloin nimenomaan opetus, ei tutkimus. Osin juuri tutkimuksen erilaisen aseman perusteella kohteen luonteen mukaan erilaistettua arviointiprosessia pidettiin muutamissa vastauksissa perusteltuna. Useat yksiköt esittivät arviointia toistettavaksi noin viiden vuoden välein. Tämä voisi kuitenkin tapahtua kevennetyllä mallilla, jossa itsearviointi korostuisi entisestään. Arviointi nähtiin ennen kaikkea hyvänä kehittämisen työkaluna. Sen sijaan esimerkiksi ranking-listojen laatimiseen arvioinnin pohjalta suhtauduttiin kielteisesti. Samoin viitattiin niihin vaaroihin, joita taloudellisten voimavarojen jakamisen kytkeminen tällaiseen evaluaatioprosessiin saattaisi tuoda tullessaan. Kehittämistoiminta nähtiin jatkuvaksi prosessiksi, josta jokaisen yksikön tulisi viime kädessä ottaa itse vastuu. Näinkin laajana toteutettu arviointikierros näytti omalta osaltaan osoittaneen selkeästi tämän seikan merkityksen. Sekä itse- että ulkoiset arvioinnit tulee rakentaa säännöllisiksi rutiineiksi, jotka toimivat tienviittoina jatkuvassa ponnistelussa kohden erinomaisia oppimisyhteisöjä ja koulutusohjelmia tuotantotalouden alueella.

18 Yhteenveto ja johtopäätökset Evaluaatio tarkoittaa sananmukaisesti arvon määrittämistä. Tästä yleisestä määrittelystä ei kuitenkana voi päätellä, kenen näkökulmasta arvottaminen tapahtuu. Niinpä erilaiset monitahoarvioinnin ( multiple-constituency approach, Kanter & Summers 1994) sovellukset ovat saaneet vastakaiukua koulutusalan arvioinneissa, joille ovat usein ominaisia erilaiset koulutuspoliittiset tavoitteet ja -taustaolettamukset, erilaiset ohjauskäytännöt, -johtamismenettelyt jne. Tässäkin seurantaselvityksessä niihin viitattiin useasti toteamalla esimerkiksi opiskelijoiden osuuden evaluaatioprosessissa jääneen varsin vähäiseksi. Kuitenkin evaluaation merkittävänä institutionaalisena tehtävänä on herättää ja ylläpitää eri intressiryhmien mielenkiintoa ja tukea. Seurannan voidaan katsoa osoittaneen, että vuoden evaluaatiokierros aktivoi koulutusohjelmien vastuuhenkilöitä käyttämään arviointi-informaatiota aikaisempaa systemaattisemmin johtamisen ja päätöksenteon välineenä. Otetta voidaan epäilemättä edelleen terävöittää ja hyödyntämisen astetta lisätä, mutta askelia oikeaan suuntaan on otettu. Samalla tuotiin esiin myös rutinoitumisen ja laiskistumisen vaara: arvioinnin tuottamaan informaatioon ei ehkä enää suhtauduta samalla kiinnostuksella kun aikaisemmin tai ensimmäisellä kerralla tai se jää liian vähäiselle hyödyntämisen asteelle. Enin osa seurantakartoituksen tuottamista kommenteista suuntautui varmaan osaksi koulutusyksiköille lähetetyn lomakkeen kysymyksenasettelusta johtuen koulutusohjelmien sisäisten prosessien ja rakenteiden kehittämiseen ja sujuvoittamiseen. Tässä painottuu evaluaation hyödyntäminen teknisenä funktiona: arviointitieto johtamisen tukena toiminnan tehokkuuden ja laadun edistämiseksi. Sekä laadulle että tehokkuudelle on kuitenkin vaikea löytää yksiselitteisiä ja vertailukelpoisia määrittelytapoja, mutta evaluaation vaikutusten kytkeminen organisaation sisäisiin rakenteisiin ja funktioihin enemmän kuin koulutusohjelmiin kohdistettuihin ulkoisiin odotuksiin tuntuu luontevalta tulokselta. Vuoden evaluaation yhtenä tärkeänä tuloksena näyttää olleen koulutusyksikköjen omien suunnitteluprosessien muuttuminen aikaisempaa osallistuvampaan ja myös läpinäkyvämpään suuntaan. Tämä kehityspolku ei luonnollisestikaan ole voinut olla pelkästään em. evaluaatioprosessin seurausta, mutta epäilemättä se on tuonut oman lisänsä tähän kehitykseen. Trendi vastaa myös evaluaatiotutkimuksen viimeaikaisia painotuksia. (Cohen & Spillane 1994; Shaw 1999) Se johtanee myös itsearviointien kautta vahvistuvaan sisäiseen ja ulkoiseen responsiivisuuteen, jonka ytimenä tulisi kuitenkin olla paikallisen kontrollin lisääminen ja koulutusohjelmille lähimpien sidosryhmien vaikutusmahdollisuuksien vahvistaminen. Epäsuorasti tämä ilmeni koulutusohjelmien erilaisuuden ja omaleimaisuuden korostamisena ja varauksellisuutena suoria keskinäisiä vertailuja kohtaan. Useissa koulutusyksiköissä pidettiinkin riittävästi yksilöllistettyä ja kontekstualisoitua arviointiprosessia suuntauksena, johon tulisi pyrkiä. Toisten kokemuksista voi luonnollisesti oppia, mutta ehkä evaluaatiotoiminnan ydin on kuitenkin itsevertailussa ja omaan kehityspolkuun sitoutumisessa.

19 19 Lähteet Cohen, D. K. & Spillane, J. P: (1994). National Education Indicators and Traditions of Accountability. Teoksessa: Making Education Count: Developing and Using International Indicators, OECD, Paris. Kanter, R. & Summers, D. (1994). Doing Well While Doing Good: dilemmas of performance measurement in nonprofit organizations and the need for a multiple-constituency approach. Teoksessa: D. McKevitt & A. Lawton (eds.), Public sector management: theory, critique and practice, Sage, London. Programme evaluation of Industrial Management and Engineering in Finnish Higher Education Institutions. Publications of Higher Education Evaluation Council 9/1998. Edita, Helsinki. Shaw, Ian F. (1999). Qualitative Evaluation. Sage, printed in Great Britain. Vartiainen, Pirkko (1998). Vertaileva evaluointi: Havaintoja korkeakoulujen evaluoinnin alueelta. Hallinnon tutkimus 4/98,

20 20 LIITE: Selvitys valtakunnallisen tuotantotalouden yksiköiden arvioinnin vaikutuksista 1. Mitkä olivat olennaisimmat vuonna 1998 suoritetun evaluoinnin yksikköänne koskevat tulokset? 2. Yleinen arvio evaluaation merkityksestä yksiköllenne? 3. Kuinka usein mielestänne ulkoinen arvio tulisi järjestää? 4. Mitä konkreettisia seuraamuksia yksiköllenne vuonna 1998 tehdystä ulkoisesta arvioinnista on ollut? a) välittömästi b) pitemmällä aikavälillä (1 3 v.) c) mitä aiotte vielä käynnistää? 5. Mitä muuta tärkeää yksikössänne on tapahtunut vuoden 1998 jälkeen? 6. Onko toimintayksiköllänne kirjalliseen muotoon laadittu strateginen kehittämissuunnitelma? 7. Minkälaisia muita strategioita/osastrategioita organisaatiossanne on olemassa? Onko strategioilla ollut ohjaavaa vaikutusta? Miten se näkyy toiminnassanne?

21 21 8. Millä markkinoitte opetusohjelmaanne ja kilpailette muiden tuta-ohjelmien kanssa? a) nyt b) lähitulevaisuudessa 9. Onko teillä käynnissä opetuksellisia innovaatioita/kokeiluja? Kuvatkaa tarkemmin! 10. Ajatellessanne toimintayksikkönne lähitulevaisuutta a) mitä pitäisi tehdä enemmän/paremmin? b) vähemmän/lopettaa kokonaan? c) mikä voisi jatkua ennallaan? 11. Missä määrin evaluaatio on tullut osaksi yksikkönne normaalia toiminnan suunnittelun prosessia? Kuvaa tarkemmin! 12. Jos v ulkoinen arviointi toteutettaisiin nyt uudelleen, miten suosittelisitte sen oman oman yksikkönne kannalta toteutettavaksi? 13. Esittäkää parilla lauseella arvionne koko tästä arviointiprosessista: 14. Muuta mainittavaa?

22 22 KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA PL 20, HELSINKI Puh Fax :1997 Virtanen, A. (toim.): Armottomat ammattikorkeakoulut matkalla kehittyneisiin arviointijärjestelmiin. Helsinki: Edita. 2:1997 Liuhanen, A.-M. (toim.): Yliopistot arvioivat toimintaansa mitä opitaan? Helsinki: Edita. 3:1997 Korkeakoulujen arviointineuvoston toimintasuunnitelma vuosille Helsinki: Edita. 4:1997 Finska rådet för utvärdering av högskolorna: Verksamhetsplan Helsingfors: Edita. 5:1997 Action Plan of the Finnish Higher Education Evaluation Council for Helsinki: Edita. 1:1998 Virtanen, A. (toim.): Korkeakoulutettu poliisi. Poliisiammattikorkeakoulun ulkoinen arviointi. Helsinki: Edita. 2:1998 Kantola, I. & Panhelainen, M. (toim.): Kansainvälistyvät ammattikorkeakoulut. Jyväskylän, Tampereen ja Turun ammattikorkeakoulujen kansainvälistymisen asiantuntija-arviointi. Helsinki: Edita. 3:1998 Junge-Jensen, F., Lundin, R., Nyman, G. & Wahlroos, B.: Vart är Hanken på väg? Rapport av en extern utvärderingsgrupp. Helsingfors: Edita. 4: syytä korkeakouluksi. Ammattikorkeakouluhakemusten arviointi Helsinki: Edita. 5:1998 Yliopistokoulutuksen laatuyksiköt. Arviointineuvoston esitys korkealaatuisen koulutuksen yksiköiksi vuosille Helsinki: Edita. 6:1998 Hämäläinen, K. & Moitus, S. (toim.): Laatua korkeakoulutukseen teoriaa ja käytäntöä. Helsinki: Edita. 7:1998 Pilot Audit of Quality Work in Kajaani, Turku, Lahti and Häme Polytechnics. Helsinki: Edita. 8:1998 Dahllöf, U., Goddard, J., Huttunen, J., O Brien, C., Román, O. & Virtanen, I.: Towards the Responsive University: The Regional Role of Eastern Finland Universities. Helsinki: Edita. 9:1998 Programme Evaluation of Industrial Management and Engineering in Finnish Higher Education Institutions. Helsinki: Edita. 10:1998 Quality Label? EQUIS Evaluation Report. Helsinki School of Economics and Business Administration. Helsinki: Edita. 11:1998 Three Finnish Universities in the International Perspective. CRE Institutional Review of Helsinki University of Technology, Tampere University of Technology, and Åbo Akademi University. CRE Reviewers Reports. Helsinki: Edita. 1:1999 Virtanen, A. (toim.): Viittä vaille valmis? Ammattikorkeakouluhakemusten arviointi Helsinki: Edita. 2:1999 Vähäpassi, A. & Moitus, S. (toim.): Korkeakoulut alueidensa vetureina. Viisi näkökulmaa vaikuttavuuteen. Helsinki: Edita. 3:1999 Booth, J., Erlhoff, M., Jones, A. & Paasikivi, P.: Strategies for the Future. Evaluation of University of Art and Design Helsinki UIAH. Helsinki: Edita. 4:1999 Kähkönen, J. & Lipponen, M. (toim.): Laadun lähteillä. Itä-Suomen ammattikorkeakoulujen itsearvioinnin kehittäminen. Helsinki: Edita. 5:1999 Tella, S., Räsänen, A. & Vähäpassi, A. (Eds.): Teaching Through a Foreign Language. From Tool to Empowering Mediator. Helsinki: Edita. 6:1999 Cheesmond, R., Grede, K., Lonka, K. & Román, G.: From the Cherry Orchard to the Future. The Report of the Peer Review Team of the Theatre Academy of Finland. Helsinki: Edita. 7:1999 Davies, J., Lindström, C.-G. & Schutte, F.: Five Years of Development. Follow-Up Evaluation of the University of Oulu. Helsinki: Edita. 8:1999 Perälä, M.-L. & Ponkala, O.: Tietoa ja taitoa terveysalalle. Terveydenhuoltoalan korkeakoulutuksen arviointi. Helsinki: Edita. 9:1999 Audit of Quality Work. North Karelia and Mikkeli Polytechnics. Helsinki: Edita. 10:1999 Audit of Quality Work. Seinäjoki Polytechnic. Helsinki: Edita. 11:1999 Jussila, J. & Saari, S. (toim.): Opettajankoulutus tulevaisuuden tekijänä. Yliopistoissa annettavan opettajankoulutuksen arviointi. Helsinki: Edita. 12:1999 Virtanen, A. & Mertano, S. (Eds.): Learning by Comparing. The Benchmarking of Administration at the University of Helsinki. Helsinki: Edita. 13:1999 Kuusinen, I. & Nurminen, M.: Korkeakoulukirjaston asiakaspalvelun arviointi. Kymenlaakson ammattikorkeakoulun, Helsingin kauppakorkeakoulun ja Leeds Metropolitan Universityn kirjastot. Helsinki: Edita. 14:1999 Kuusinen, I. & Nurminen, M.: Evaluation of Customer Service in the Academic Library. Libraries of Kymenlaakso Polytechnic, Helsinki School of Economics and Business Administration, and Leeds Metropolitan University. Helsinki: Edita. 15:1999 Kristensen, B., Lindfors, T., Otley, D. & Stenius, M.: TSEBA as a Learning Organisation. Evaluation of Turku School of Economics and Business Administration. Helsinki: Edita.

23 16:1999 Lyytinen, Heikki K.: Työelämäyhteistyön arviointi. Jyväskylän, Tampereen ja Turun ammattikorkeakoulujen työelämäyhteistyön ulkoinen arviointi. Helsinki: Edita. 17:1999 Pehu-Voima, S. & Hämäläinen, K. (toim.): Opetusta kehittävää arviointia. Helsinki: Edita. 1:2000 Lehtinen, E., Kess, P., Ståhle, P. & Urponen, K.: Tampereen yliopiston opetuksen arviointi. Helsinki: Edita. 2:2000 Cohen, B., Jung, K. & Valjakka, T.: From Academy of Fine Arts to University. Same name, wider ambitions. Helsinki: Edita. 3:2000 Goddard, J., Moses, I., Teichler, U., Virtanen, I. & West, P.: External Engagement and Institutional Adjustment: An Evaluation of the University of Turku. Helsinki: Edita. 4:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Swedish Polytechnic, Finland. Helsinki: Edita. 5:2000 Harlio, R., Harvey, L., Mansikkamäki. J., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Central Ostrobothnia Polytechnic. Helsinki: Edita. 6:2000 Moitus, S. (toim.): Yliopistokoulutuksen laatuyksiköt Helsinki: Edita. 7:2000 Liuhanen, A.-M. (toim.): Neljä aikuiskoulutuksen laatuyliopistoa Helsinki: Edita. 8:2000 Hara, V., Hyvönen, R., Myers, D. & Kangasniemi, J. (Eds.): Evaluation of Education for the Information Industry. Helsinki: Edita. 9:2000 Jussila, J. & Saari, S. (Eds.): Teacher Education as a Future-moulding Factor. International Evaluation of Teacher Education in Finnish Universities. Helsinki: FINHEEC. finheec.html 10:2000 Lämsä, A. & Saari, S. (toim.): Portfoliosta koulutuksen kehittämiseen. Ammatillisen opettajankoulutuksen arviointi. Helsinki: Edita. 11:2000 Korkeakoulujen arviointineuvoston toimintasuunnitelma Helsinki: Edita. 12:2000 Finnish Higher Education Evaluation Council Action Plan for Helsinki: Edita. 13:2000 Huttula, T. (toim.): Ammattikorkeakoulujen koulutuksen laatuyksiköt Helsinki: Edita. 14:2000 Gordon, C., Knodt, G., Lundin, R., Oger, O. & Shenton, G.: Hanken in European Comparison. EQUIS Evaluation Report. Helsinki: Edita. 15:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Kangasniemi, J.: Audit of Quality Work. Satakunta Polytechnic. Helsinki: Edita. 16:2000 Kells, H.R., Lindqvist, O. V. & Premfors, R.: Follow-up Evaluation of the University of Vaasa. Challenges of a small regional university. Helsinki: Edita. 17:2000 Mansikkamäki, J., Kekäle, T., Miikkulainen, L., Stone, J., Tolppi, V.-M. & Kangasniemi, J.: Audit of Quality Work. Tampere Polytechnic. Helsinki: Edita. 18:2000 Baran, H., Gladrow, W., Klaudy, K., Locher, J. P., Toivakka, P. & Moitus, S.: Evaluation of Education and Research in Slavonic and Baltic Studies. Helsinki: Edita. 19:2000 Harlio, R., Kekäle, T., Miikkulainen, L. & Kangasniemi, J.: Laatutyön auditointi. Kymenlaakson ammattikorkeakoulu. Helsinki: Edita. 20:2000 Mansikkamäki, J., Kekäle, T., Kähkönen, J., Miikkulainen, L., Mäki, M. & Kangasniemi, J.: Laatutyön auditointi. Pohjois-Savon ammattikorkeakoulu. Helsinki: Edita. 21:2000 Almefelt, P., Kantola, J., Kekäle, T., Papp, I., Manninen, J. & Karppanen, T.: Audit of Quality Work. South Carelia Polytechnic. Helsinki: Edita. 1:2001 Valtonen, H.: Oppimisen arviointi Sibelius-Akatemiassa. Helsinki: Edita. 2:2001 Laine, 1., Kilpinen, A., Lajunen, L., Pennanen, J., Stenius, M., Uronen, P. & Kekäle, T.: Maanpuolustuskorkeakoulun arviointi. Helsinki: Edita. 3:2001 Vähäpassi, A. (toim.): Erikoistumisopintojen akkreditointi. Helsinki: Edita. 4:2001 Baran, H., Gladrow, W., Klaudy, K., Locher, J. P., Toivakka, P. & Moitus, S.: kspertiza obrazowaniq i nau^no-issledowatelxskoj raboty w oblasti slawistiki i baltistiki (Ekspertiza obrazovanija i nauc` no-issledovatelskoj raboty v oblasti slavistiki i baltistiki). Helsinki: Edita. 5:2001 Kinnunen, J.: Korkeakoulujen alueellisen vaikuttavuuden arviointi. Kriteerejä vuorovaikutteisuuden arvottamiselle. Helsinki: Edita. 6:2001 Löfström, E.: Benchmarking korkeakoulujen kieltenopetuksen kehittämisessä. Helsinki: Edita. 7:2001 Kaartinen-Koutaniemi, M.: Korkeakouluopiskelijoiden harjoittelun kehittäminen. Helsingin yliopiston, Diakonia-ammattikorkeakoulun ja Lahden ammattikorkeakoulun benchmarking-projekti. Helsinki: Edita. 8:2001 Huttula, T. (toim.): Ammattikorkeakoulujen aluekehitysvaikutuksen huippuyksiköt Helsinki: Edita. 9:2001 Welander, C. (red.): Den synliga yrkeshögskolan. Ålands yrkeshögskola.helsingfors: Edita. 10:2001 Valtonen, H.: Learning Assessment at the Sibelius Academy. Helsinki: Edita. 11:2001 Ponkala, O. (toim.): Terveysalan korkeakoulutuksen arvioinnin seuranta. Helsinki: Edita. 12:2001 Miettinen, A. & Pajarre, E.: Tuotantotalouden koulutuksen arvioinnin seuranta. Helsinki: Edita. 23