Korkeakoulut yhteiskunnan kehittäjinä. Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden arviointiryhmän loppuraportti

Transkriptio

1 Korkeakoulut yhteiskunnan kehittäjinä Veijo Ilmavirta Hannele Salminen Markku Ikävalko Heikki Kaisto Päivi Myllykangas Eero Pekkarinen Hannele Seppälä Touko Apajalahti Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden arviointiryhmän loppuraportti Korkeakoulujen arviointineuvoston julkaisuja 5:2013

2 Korkeakoulujen arviointineuvosto Puh , fax PL 133 (Meritullinkatu 1), Helsinki kka.fi Korkeakoulut aluekehityksen edistäjinä (A32282) Painotuote JULKAISIJA Korkeakoulujen arviointineuvosto KANSI JA ULKOASU Juha Juvonen ISBN (painettu) ISBN (pdf) ISSN PAINATUS Tammerprint Oy, Tampere 2013

3 TIIVISTELMÄ Julkaisija Korkeakoulujen arviointineuvosto Julkaisun nimi Korkeakoulut yhteiskunnan kehittäjinä. Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden arviointiryhmän loppuraportti Tekijät Veijo Ilmavirta, Hannele Salminen, Markku Ikävalko, Heikki Kaisto, Päivi Myllykangas, Eero Pekkarinen, Hannele Seppälä & Touko Apajalahti Tiivistelmä Arvioinnin tavoitteena oli selvittää, miten yliopistot ja ammattikorkeakoulut määrittelevät yhteiskunnallisen vaikuttavuuden tehtävänsä, minkälaisia tehtävän toteuttamista edistäviä tai estäviä tekijöitä korkeakoulut tunnistavat sekä miten korkeakoulut seuraavat yhteiskunnallisen vaikuttavuutensa tuloksia. Tavoitteena oli myös tuottaa tietoa korkeakoulujen keskinäistä sekä korkeakoulujen ja alueiden työ- ja elinkeinoelämän sekä julkisten toimijoiden välistä yhteistyötä edistävistä tekijöistä sekä yhteistyön laadusta ja tuloksista. Arviointiryhmän tuli tehdä ehdotuksia siitä, miten korkeakoulujen yhteiskunnallista ja alueellista vaikuttavuutta voidaan vahvistaa sekä miten tulosten arviointia ja seurantaa tulisi kehittää. Arvioinnin kohderyhmänä olivat kaikki Suomen 15 yliopistoa, 6 yliopistokeskusta ja 27 ammattikorkeakoulua. Arvioinnin ohjaavana periaatteena oli korkeakoulujen vaikuttavuuden kehittäminen ja verkottumisen vahvistaminen muiden korkeakoulujen ja alueellisten toimijoiden kanssa. Menetelminä käytettiin aiempiin selvityksiin ja tausta-aineistoihin kohdistunutta dokumenttianalyysia, korkeakoulujen strategioiden syvällistä tarkastelua, korkeakouluille suunnattua yksilöityä laajaa kyselyä, edellisiin perustuvaa työpajatyöskentelyä alueellisissa seminaareissa sekä kaikille alueellisiin seminaareihin osallistuneille korkeakoulujen ja sidosryhmien edustajille suunnattua rajatumpaa kyselyä. Näiden perusteella raportissa tuodaan esille useita korkeakoulujen yhteiskunnalliseen ja alueelliseen vaikuttamiseen kannustavia onnistumisia ja hyviä käytänteitä. Arviointiryhmän keskeisimmät suositukset korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden kehittämiseksi ovat: Yliopistojen ja ammattikorkeakorkeakoulujen yhteiskunnalliseen vaikuttavuuteen ja Suomen kansainväliseen kilpailukykyyn tähtäävä tehtävä on määriteltävä omaksi tulosalueeksi korkeakoulujen tutkimustehtävän ja opetustehtävän rinnalle. Yhteiskunnallisen vaikuttavuuden tehtävän velvoittavuudesta on tarpeen käydä avointa, tuloshakuista ja laajapohjaista keskustelua. Yliopistojen ja ammattikorkeakorkeakoulujen yhteiskunnallisen vaikuttavuuden merkitys Suomen kansainväliselle kilpailukyvylle on kirjattava selkeästi osaksi Suomen koulutus-, tutkimus- ja innovaatiopoliittisia ohjelmia sekä aktiiviseksi osaksi korkeakoulujen omia strategisia tehtävien ja tavoitteiden määrittelyjä. Yliopistojen ja ammattikorkeakoulujen tulee kehittää yhteistyöstrategioitaan sekä asiakkuuksien ja kumppanuuksien hallintaa. Yliopistojen ja ammattikorkeakoulujen yhteistyön edellytyksiä ja mahdollisuuksia on tarpeen vahvistaa lainsäädännöllä. Yliopistojen ja ammattikorkeakoulujen on tiivistettävä yhteistyötään edellä asetettujen vaikuttavuustavoitteiden saavuttamiseksi. Yhtenäisenä korkeakouluverkostona toimimiseen tulee kannustaa ja tuloksellisesta yhteistyöstä tulee palkita sekä OKM:n että korkeakoulujen rahoitusjärjestelmissä. Korkeakoulujen tulee kehittää yhteistyötään elinkeinoelämän, julkisten toimijoiden ja toisen asteen oppilaitosten kanssa. Korkeakoulujen yhteiskunnallisen tehtävän mukaista on edistää uuden liiketoiminnan syntyä ja kehittää yrittäjyyden toimintamalleja. Koulutuksen sisältöjen suunnittelussa ja toteutuksessa tulee huomioida paremmin työelämän näkökulma. Alueellista yhteistyötä tulee lisätä. Elinkeinopolitiikka ja koulutuspolitiikka tulee sovittaa tiiviimmin yhteen siten, että korkeakoulut ovat aktiivisesti laatimassa ja toteuttamassa kansallisia ja alueellisia elinkeinostrategioita. Maakuntakorkeakoulujen toimintaa tulee laajentaa siten, että ne sisältävät maakunnan tai suuralueen kaikkien korkeakoulujen koulutus-, tutkimus-, kehittämis- ja innovaatiopalvelujen tarjonnan. Korkeakoulujen kansainvälistä yhteistyötä tulee lisätä sekä kehittää ja hyödyntää verkostoja tehokkaammin. Korkeakoulujen tulee työskennellä aktiivisesti huippuosaamisen siirtämiseksi maailmalta elinkeinoelämään sekä olla kanssakäymisessä elinkeinoelämän kanssa TKI-hankkeissa sekä yritysten innovaatiotoiminnassa. Tutkimus- ja TKI-toiminnan rahoitusjärjestelmiä tulee kehittää yhteiskunnallisen vaikuttavuuden edistämiseksi. TE- KESin tutkimus- ja innovaatiorahoitusta korkeakouluille ja tutkimuslaitoksille tulisi lisätä. Tulevissa EU:n rakennerahasto-ohjelmissa tulisi voida painottaa TKI toimintaa yhdistettynä koulutukseen. Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden edistämiseksi tulee kehittää korkeakoulujen yhteiskunnallisen vaikuttavuuden arviointimalli. Arviointimallin tavoitteena on määritellä yhteiskunnallisen ja alueellisen vaikuttavuuden tavoitteet ja tuloskriteerit kunnioittaen korkeakoulujen erilaisuutta, alueellisuutta ja erityistehtäviä. Arviointimalliin sisällytetään korkeakoulujen vaikuttavuuden itsearviointi sekä muutamia valtakunnallisia ja alueellisia vaikuttavuuden seurannan mittareita, jotka pilotoinnin jälkeen voidaan sisällyttää korkeakoulujen rahoitusmalleihin. Avainsanat Yliopistot, ammattikorkeakoulut, vaikuttavuus, arviointi

4 SAMMANDRAG Utgivare Rådet för utvärdering av högskolorna Publikation Korkeakoulut yhteiskunnan kehittäjinä. Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden arviointiryhmän loppuraportti (Utvärdering av högskolornas samhälleliga och regionala inverkan) Författare Veijo Ilmavirta, Hannele Salminen, Markku Ikävalko, Heikki Kaisto, Päivi Myllykangas, Eero Pekkarinen, Hannele Seppälä & Touko Apajalahti Sammandrag Syftet med utvärderingen var att fastställa hur universiteten och yrkeshögskolorna definierar sin uppgift i fråga om samhällelig effektivitet, hurdana faktorer högskolorna identifierar som främjar eller hindrar denna uppgift och hur högskolorna följer resultaten av sin samhälleliga effektivitet. Ett annat syfte var att producera information om faktorer som främjar samarbetet mellan högskolorna, mellan högskolorna och arbets- och näringslivet regionalt och mellan högskolorna och offentliga aktörer. Även kvaliteten på samarbetet och resultaten av samarbetet undersöktes. Utvärderingsgruppens uppgift var att komma med förslag på hur högskolornas samhälleliga och regionala effektivitet kan stärkas och hur utvärderingen och uppföljningen av resultaten borde utvecklas. Målgrupp för utvärderingen var alla 15 universitet, 6 universitetscenter och 27 yrkeshögskolor i Finland. Principen som styrde utvärderingen var att utveckla högskolornas effektivitet och stärka skapandet av nätverk med andra högskolor och regionala aktörer. Som metoder användes en dokumentanalys inriktad på tidigare utredningar och bakgrundsmaterial, en djupgående granskning av högskolornas strategier, en individualiserad omfattande enkät riktad till högskolorna, arbete i verkstäder som grundade sig på de föregående och en mer begränsad enkät riktad till alla representanter för de högskolor och intressegrupper som deltagit i de regionala seminarierna. Utgående från dessa lyfter rapporten fram ett flertal exempel på framgång som sporrar högskolorna till samhällelig och regional påverkan samt exempel på god praxis. Utvärderingsgruppens viktigaste rekommendationer för att utveckla högskolornas samhälleliga och regionala effektivitet: Uppgiften som är inriktad på universitetens och yrkeshögskolornas samhälleliga effektivitet och Finlands internationella konkurrenskraft måste definieras som ett eget resultatområde vid sidan av högskolornas forskningsuppgift och undervisningsuppgift. Det är viktigt att föra en öppen, resultatinriktad och bredbasig diskussion om den förpliktande verkan som uppgiften som rör samhällelig effektivitet har. Vilken betydelse universitetens och yrkeshögskolornas samhälleliga effektivitet har för Finlands internationella konkurrenskraft ska antecknas tydligt som en del av Finlands utbildnings-, forsknings- och innovationspolitiska program och som en aktiv del av högskolornas egna definitioner av de strategiska uppgifterna och målen. Universiteten och yrkeshögskolorna bör utveckla sina samarbetsstrategier samt skötseln av kundrelationer och partnerskap. Det är nödvändigt att stärka förutsättningarna för universitetens och yrkeshögskolornas samarbete genom lagstiftning. Universiteten och yrkeshögskolorna måste intensifiera sitt samarbete för att nå de ovan uppställda effektivitetsmålen. Att verka som ett enhetligt högskolenätverk bör vara ett mål och ett resultatrikt samarbete bör belönas både i UKM:s och högskolornas finansieringssystem. Högskolorna bör utveckla sitt samarbete med näringslivet, offentliga aktörer och läroanstalter på andra stadiet. Det är i enlighet med högskolornas samhälleliga uppgift att främja uppkomsten av ny affärsverksamhet och utveckla verksamhetsmodeller för företagande. När innehållet i utbildningen planeras och genomförs bör arbetslivets synvinkel beaktas bättre. Det regionala samarbetet bör intensifieras. Näringspolitiken och utbildningspolitiken bör sammanfogas ytterligare så att högskolorna aktivt utarbetar och genomför nationella och regionala näringsstrategier. Landskapshögskolornas verksamhet bör utvidgas så att dessa högskolor kan tillhandahålla utbudet av utbildnings-, forsknings-, utvecklingsoch innovationstjänster som finns i alla högskolor i landskapet eller storområdet. Högskolornas internationella samarbete bör ökas och nätverken bör utvecklas och utnyttjas effektivare. Högskolorna bör arbeta aktivt för att överföra toppkompetens från global nivå till näringslivet och samarbeta med näringslivet i FUI-projekt och i företagens innovationsverksamhet. Finansieringssystemen för forsknings- och FUI-verksamheten bör utvecklas för att främja den samhälleliga effektiviteten. TEKES forsknings- och innovationsfinansiering till högskolor och forskningsinstitut borde ökas. I EU:s framtida strukturfondsprogram borde FUI-verksamheten kunna betonas i kombination med utbildning. För att främja högskolornas samhälleliga och regionala effektivitet bör en utvärderingsmodell för högskolornas samhälleliga effektivitet utvecklas. Syftet med utvärderingsmodellen är att fastställa målen och resultatkriterierna för den samhälleliga och regionala effektiviteten med hänsyn till högskolornas differenser, regionala drag och specialuppgifter. I utvärderingsmodellen inkluderas självvärdering av högskolornas effektivitet samt några nationella och regionala mätare för uppföljning av effektiviteten. Efter pilotskedet kan dessa mätare inkluderas i högskolornas finansieringsmodeller. Nyckelord Universiteten, yrkeshögskolorna, effektivitet, utvärderingen

5 ABSTRACT Published by The Finnish Higher Education Evaluation Council FINHEEC Name of publication Korkeakoulut yhteiskunnan kehittäjinä. Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden arviointiryhmän loppuraportti (Evaluation of higher education institutions social and regional impact) Authors Veijo Ilmavirta, Hannele Salminen, Markku Ikävalko, Heikki Kaisto, Päivi Myllykangas, Eero Pekkarinen, Hannele Seppälä & Touko Apajalahti Abstract The aim of the evaluation was to explore how universities and universities of applied sciences define their task of exerting social impact, what kind of factors promoting or preventing the implementation of this task they perceive and the ways in which higher education institutions monitor the results of their social impact. The aim was also to produce information on factors that promote cooperation between higher education institutions and between higher education institutions, workplaces and economic life in the regions, and the public sector, and on the quality and results of this cooperation. The evaluation team was to make recommendations on how the social and regional impact of higher education institutions can be strengthened and how the evaluation and monitoring of the results should be developed. The target group of the evaluation consisted of all 15 universities, six university centres and 27 universities of applied sciences in Finland. The guiding principle in the evaluation was developing the impact of higher education institutions and enhancing network-style cooperation with other higher education institutions and regional actors. The methods used were document analysis of prior studies and background materials, a thorough review of the strategies of higher education institutions, a broad survey targeted at higher education institutions specifying the institution in question, workshop activities in regional seminars based on the above and a more limited survey targeted at the representatives of higher education institutions and stakeholders who took part in the regional seminars. Based on these, the report discusses several successes and good practices promoting activities to enhance the social and regional impact of higher education institutions. The most central recommendations by the evaluation team to promote the development of the social and regional impact of higher education institutions are: The task of promoting the social impact of universities and universities of applied sciences and the global competitiveness of Finland must be defined as a separate profit area alongside the tasks of research and education at higher education institutions. Open, goal-oriented and broad-based discussion is necessary regarding the binding force of the task of exerting social impact. The significance of the social impact of universities and universities of applied sciences for the international competitiveness of Finland must be clearly incorporated into the Finnish education, research and innovation policy programmes and as an active element of the strategic definitions of tasks and objectives by the higher education institutions themselves. Universities and universities of applied sciences must develop their cooperation strategies and the management of customer relationships and partnerships. The prerequisites and opportunities for cooperation between universities and universities of applied sciences should be strengthened with legislation. Universities and universities of applied sciences must step up their cooperation to achieve the above-mentioned goals relating to their impact. Acting as a coherent network of higher education institutions must be encouraged and productive cooperation should be rewarded in the funding systems of both the Ministry of Education and Culture and higher education institutions. Higher education institutions must develop their cooperation with business life, the public sector and institutions providing upper secondary education. Promoting the generation of new business and developing operating models for entrepreneurship are in accordance with the social task of higher education institutions. The perspective of the workplace must be accounted for in a more effective manner when planning the contents and implementation of education. Regional cooperation must be increased. Economic and educational policy must be tied together more effectively, so that higher education institutions are involved in preparing and implementing national and regional economic strategies. The activities of regional higher education networks must be developed to cover the provision of education, research, development and innovation services in the region or major region in question. International cooperation between higher education institutions must be increased and developed, and the utilisation of networks must be rendered more effective. Higher education institutions must work actively to inject high-level expertise from the global market into Finnish business life and interact with economic life in the context of RDI projects and innovation activities by companies. Funding systems for research and RDI activities must be developed to enhance social impact. Research and innovation funding provided by the Finnish Funding Agency for Technology and Innovation (Tekes) to higher education institutions and research institutes should be increased. Future structural fund programmes by the EU should allow for an emphasis of RDI activities combined with education. To promote the social and regional impact of higher education institutions, it is necessary to develop a model for evaluating the social impact of higher education institutions. The aim of the model is to define the objectives of social and regional impact and the criteria for results obtained while respecting the differences, regionality and special tasks of higher education institutions. The evaluation model will encompass self-assessment of the impact by higher education institutions and some national and regional indicators for monitoring impact that can be incorporated into the funding models of higher education institutions once the pilot is completed. Keywords Universities, universities of applied sciences, effectiveness, evaluation

6

7 Esipuhe Korkeakoulujen arviointineuvosto toteuttaa vuosittain yhden tai useampia teema-arviointeja aiheista, jotka ovat erityisen tärkeitä ja ajankohtaisia. Usein niihin liittyy myös kysymyksiä, joihin pohdinnoista huolimatta ei ole ollut helppo löytää ratkaisua. Aloitteet arviointeihin voivat tulla korkeakouluilta tai sidosryhmiltä, mutta ideat voivat herätä myös arviointineuvoston sisäisissä asiantuntijakeskusteluissa. Aloitteen nyt valmistuneeseen Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden arviointiin teki Etelä- Suomen maakuntien liittouma. Arviointi kohdistuu teemaan, josta on viime vuosina käyty jatkuvaa keskustelua niin korkeakouluissa kuin laajemmin yhteiskunnassa. Myös korkeakoulujen laatujärjestelmien auditointien yhteydessä teema on ollut paljon esillä. Yhteiskunnallinen ja alueellinen vaikuttaminen on korkeakoulujen lakisääteinen tehtävä, mutta sen luonteesta ollaan monta mieltä, ovathan vaikuttamisen sisältö ja tavat korkeakoulujen itsensä päätettävissä. Myös koko käsitteen määrittelystä käydään jatkuvaa keskustelua. Keskeinen keskustelun aihe on ollut, onko yhteiskunnallinen vaikuttaminen erillinen, kolmas tehtävä, vai toteutetaanko sitä kahden perustehtävän kautta. Tässä yliopisto- ja ammattikorkeakoulusektori eroavat jossain määrin toisistaan, ja omat piirteensä on myös maamme yliopistokeskuksilla. Toinen jatkuvasti korkeakoulujen sisällä puhuttava seikka on yhteiskunnallisen vaikuttamisen suhde rahoitukseen. Miten motivoida tekemää sellaista, josta ei (suoraan) makseta? Monet korkeakoulut ovatkin sisäisesti pohtimassa myös aineellisia kannustimia. Rahoitusindikaattorien ja kehittävän itsearvioinnin yhdistäminen ei ole kuitenkaan helppoa. Yhteiskunnallista ja alueellista vaikuttamista ja vuorovaikutusta on harjoitettu aina ja monin eri tavoin. Viime vuosina siitä tehty myös runsaasti erilaisia selvityksiä ja tutkimuksia, mikä kertoo aiheen haasteellisuudesta. Toivon tämän arvioinnin siitä huolimatta tuovan uutta tietoa. Elämme muutoksen ja mahdollisuuksien aikaa, jolloin korkeakoulujen merkitys alueiden taitavalle erikoistumiselle on keskeinen. Vuorovaiku-

8 tus ympäröivän yhteiskunnan kanssa on olennaista myös korkeakoulujen omalle kehittymiselle ja kilpailukyvylle. Realistinen kuva omasta tilasta on välttämätön edellytys kehittämiselle. Arviointiraportissa nostetaan esiin lukuisia hyviä käytänteitä, mutta annetaan myös konkreettisia kehittämissuosituksia. Kehittävän arvioinnin periaatteiden mukaisesti toivon tätä raporttia hyödynnettävän niin korkeakoulujen sisällä kuin valtakunnallisesti. Korkeakoulujen arviointineuvoston puolesta esitän parhaimmat kiitokset suomalaisille korkeakouluille osallistumisesta tähän ajankohtaiseen ja tärkeään arviointiin. Kiitokset myös arviointiryhmän jäsenille asiantuntevasta ja sitoutuneesta työstä. Riitta Pyykkö, professori Korkeakoulujen arviointineuvoston puheenjohtaja

9 Sisällys Tiivistelmä Sammandrag Abstract Esipuhe 1 Johdanto 11 2 Arvioinnin toteutus Arvioinnin suunnitteluvaihe ja arviointiryhmä Arvioinnin tavoitteet Arvioinnin kohteet Arviointiprosessin vaiheet ja menetelmät 22 3 Katsaus korkeakouluverkostoon ja korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden lähtökohtiin 30 4 Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden tavoitteet ja tulosten arviointi Yhteiskunnallinen vaikuttavuus ja alueellinen kehittäminen korkeakoulujen strategioissa ja vastauksissa Korkeakoulujen määritelmät yhteiskunnallisen ja alueellisen vaikuttavuuden tavoitteista ja tehtävistä Yhteistyö ja verkostot yhteiskunnallisen ja alueellisen vaikuttavuuden edistämiseksi Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden merkitys Suomen kansainväliselle kilpailukyvylle Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden tulokset ja niiden arviointi 80 5 Katsaus korkea koulujen yhteiskunnallisen ja alueellisen vaikuttavuuden kansallisiin ja kansainvälisiin arviointeihin 95 Jari Ritsilä 5.1 Kansainvälisen arviointitoiminnan askelmia Kansallinen arviointitoiminta Keskustelualoitteita arvioinnin kehittämiseksi Arviointiryhmän kehittämissuositukset korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden edistämiseksi 110

10 Lähteet 117 Liitteet 1: Arvioinnin vaiheet ja aikataulu 123 2: Kysely korkeakouluille 124 3: Kysely korkeakouluille ja sidosryhmille 127

11 1 Johdanto Korkeakoulujen yhteiskunnalliseen vaikuttavuuteen kohdistuu kasvavia odotuksia. Korkeakoulujen asema on merkittävä globaalissa taloudessa osaamisen ja innovaatioiden tuottajana ja sen myötä taloudellisen menestyksen, sosiaalisen kehityksen ja hyvinvoinnin edistäjänä. Korkeakoulujen tuottaman tiedon ja osaamisen alueellinen, kansallinen ja kansainvälinen vaikuttavuus, jota usein on kutsuttu kolmanneksi tehtäväksi, on korkeakoulujen kehittämisen painopistealue. Tavoitteet korkeakoulujen vaikuttavuuden edistämiseksi on kirjattu monin tavoin esimerkiksi pääministeri Jyrki Kataisen hallituksen ohjelmaan (VN, 2011) sekä tutkimus- ja innovaatiopoliittiseen toimintaohjelmaan (OKM ja TEM, 2012). Yliopisto- ja ammattikorkeakoululakeihin kirjatut tehtävät ovat korkeakoulujen yhteiskunnallisen tehtävän määrittelyn lähtökohtia. Yliopistojen tehtävänä on edistää vapaata tutkimusta sekä tieteellistä ja taiteellista sivistystä, antaa tutkimukseen perustuvaa ylintä opetusta sekä kasvattaa opiskelijoita palvelemaan isänmaata ja ihmiskuntaa. Tehtäviään hoitaessaan yliopistojen tulee edistää elinikäistä oppimista, toimia vuorovaikutuksessa muun yhteiskunnan kanssa sekä edistää tutkimustulosten ja taiteellisen toiminnan yhteiskunnallista vaikuttavuutta. (Yliopistolaki, 558/2009, 2 ) Ammattikorkeakoulujen tehtävänä on antaa työelämän ja sen kehittämisen vaatimuksiin sekä tutkimukseen, taiteellisiin ja sivistyksellisiin lähtökohtiin perustuvaa korkeakouluopetusta ammatillisiin asiantuntijatehtäviin, tukea yksilön ammatillista kasvua ja harjoittaa ammattikorkeakouluopetusta palvelevaa sekä työelämää ja aluekehitystä tukevaa ja alueen elinkeinorakenteen huomioon ottavaa soveltavaa tutkimus- ja kehitystyötä sekä taiteellista toimintaa. Tehtäviään hoitaessaan ammattikorkeakoulujen tulee edistää elinikäistä oppimista. (Ammattikorkeakoululaki, 351/2003,4 ) 11

12 Ammattikorkeakoulun tulee tehtäviään suorittaessaan olla erityisesti omalla alueellaan yhteistyössä elinkeino- ja muun työelämän sekä suomalaisten ja ulkomaisten korkeakoulujen samoin kuin muiden oppilaitosten kanssa. (Ammattikorkeakoululaki, 351/2003, 5 ). Korkeakoulujen yhteiskunnallisen vaikuttavuuden ja vuorovaikutuksen tehtävien sisältöjen laaja-alaisuus ja näkökulmien moninaisuus tuo haasteellisuutta korkeakoulujen yhteiskunnallisen tehtävän määrittelyyn. Korkeakoululaeissa esitetyt määritelmät korkeakoulujen tehtävistä korostavat yhteiskunnallisen tehtävän toteutumista osana koulutusta ja tutkimusta, mutta keskustelussa on välillä tuotu myös esiin yhteiskunnallisen ja alueellisen tehtävän määrittely erillisenä palvelutehtävänä sekä tehtävien suhde toisiinsa (ks. esim. Ritsilä, Nieminen & Sotarauta 2007). Korkeakoulujen keskuudessa yhteiskunnallinen vuorovaikutus on tyypillisesti nähty kiinteänä osana tutkimus- ja koulutustehtäviä ja yhteiskunnallisen vaikuttamisen lähtökohtana on pidetty näiden hyödyntämistä (Lyytinen, Kohtamäki, Pekkola, Kivistö & Hölttä, 2012). Tässä arvioinnissa korkeakoulujen yhteiskunnallista vaikuttavuutta, vuorovaikutusta ja alueellisen vaikuttavuuden edellytyksiä ja tuloksia tarkastellaan yliopistojen ja ammattikorkeakoulujen tehtävien kokonaisuudessa erityisesti osaamisen, tutkimuksen sekä tutkimus- ja kehitystyön, innovaatioiden synnyn sekä kansainvälisen kilpailukyvyn näkökulmista. Arvioinnin tavoitteena on selvittää, miten korkeakoulut määrittelevät toimintansa yhteiskunnallisen ja alueellisen vaikuttavuuden, millaisia yhteiskunnallisen vaikuttavuuden tavoitteita korkeakoulut ovat asettaneet toiminnalleen ja miten ovat niitä toteuttaneet. Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden teemat sekä näkökulmat aiemmissa selvityksissä ja arvioinneissa Kasvava mielenkiinto korkeakoulujen yhteiskunnallista vaikuttavuutta ja vuorovaikutusta kohtaan näkyy myös aihepiiriin liittyvien hankkeiden ja selvitysten määränä. Korkeakoulujen yhteiskunnallisen ja alueellisen vaikuttavuuden ilmiötä on tarkasteltu useista eri näkökulmista. Viimeaikaisissa selvityksissä nousee esiin muun muassa seuraavia yhteiskunnallisen vaikuttavuuden ilmiöön liittyviä teemoja: 12

13 1 Korkeakoulujen yhteiskunnallisen vaikuttavuuden tehtävä sekä toimijat ja toimintakulttuurit korkeakouluissa Korkeakoulujen yhteiskunnallinen tehtävä voidaan nähdä koko korkeakoululaitoksen syntyyn ja kehitykseen sisäänrakennettuna tavoitteena. Korkeakoulujen toimintaan kohdistuu monien intressiryhmien odotuksia ja yhteiskunnallista tehtävää voidaan tarkastella eri näkökulmista. Korkeakoulujen yhteiskunnallinen vaikuttavuus yhdistetään tyypillisesti korkeakoulujen palvelutehtävään tiedon tuottajana ja tiedon välittäjänä yhteiskunnan ja yritysten tarpeisiin. Tämä palvelutehtävä nähdään toteutuvan parhaiten panostamalla korkeakoulussa annettavan opetuksen ja tutkimuksen laatuun (esim. Veugelers ym., 2009; Lappalainen & Markkula, 2013). Yhteiskunnallisen vaikuttavuuden näkökulmasta keskeisenä tekijänä opetuksen ja tutkimuksen laadun edistämisessä nähdään korkeakoulujen tutkimustehtävän / TKI-toiminnan ja opetustehtävän välisten suhteiden tiivistäminen ja yhteistyö yritys- ja elinkeinoelämän kanssa. Huomiota on kiinnitetty myös korkeakoulujen eri toimintojen tasapainoiseen kehittämiseen sekä strategiseen johtamiseen (Kankaala, Kaukonen, Kutinlahti, Lemola, Nieminen & Välimaa, 2004). Edelleen korkeakoulukulttuurien kehittämisellä, mm. tiedontuotantoon ja innovaatioiden syntyyn tähtäävällä yrittäjämäisellä asenteella ja yhteistyökulttuurin rakentamisella toimijoiden välillä sekä huomion kohdistamisella yksilöihin ja heidän verkostoihinsa merkitykseen ideoiden tuottamisessa, kehittämis- ja innovaatiotoiminnassa on korkeakoulun toiminnan tuloksellisuutta edistävä vaikutus (ks. esim. Goddard, Howlett, Vallance & Kennie, 2010; Hautamäki & Oksanen, 2012). Korkeakoulujen organisaatioihin liittyen on nähty keskeisiksi korkeakoulujen kehittämiskohteiksi yhteiskunnallisen vaikuttavuuden ja vuorovaikutuksen tehtävän jakaminen korkeakoulun sisällä, opettajien ja opiskelijoiden sitouttaminen kehittämis- ja innovaatiotoimintaan sekä esimerkiksi opettajan työotteen muuttaminen innovaatiotoiminnan ja yrittäjyyden edistämiseksi (ks. esim. Laine, Kainu ja Lähdeniemi, 2013; Melkas, 2013). 2 Yliopistojen ja ammattikorkeakoulujen roolit kansallisessa innovaatiojärjestelmässä ja korkeakoulusektoreiden välinen yhteistyö Yliopistojen ja ammattikorkeakoulujen asemaa ja tehtäviä kansallisessa innovaatiojärjestelmässä (ja ns. osaamistaloudessa) on käsitelty muun muassa Suomen innovaatiojärjestelmän 13

14 kansainvälisessä arvioinnissa (2009), Tutkimus- ja innovaationeuvoston (TIN) tutkimus- ja innovaatiopoliittisessa linjauksessa vuosille (2010), opetus- ja kulttuuriministeriön ammattikorkeakoulujen asemaa innovaatiojärjestelmässä koskevassa selvityksessä (2010), TIN:lle osoitetussa opetusja kulttuuriministeriön sekä työ- ja elinkeinoministeriön tutkimus- ja innovaatiopoliittisessa toimintaohjelmassa (2012), Korkeakoulujen arviointineuvoston toteuttamassa ammattikorkeakoulujen kansainvälisessä TKI-toiminnan arvioinnissa (Maassen et al., 2012) sekä opetus- ja kulttuuriministeriön ja työ- ja elinkeinoministeriön tilaamassa selvityksessä, joka koski julkista innovaatiotoimintaa tukevia alueellisia palveluja (Laasonen, Ranta & Uitto, 2012). Näiden selvitysten keskeisiä tuloksia ovat suositukset innovaatiojärjestelmän toimijoiden välisten profiilien tarkentamisesta, päällekkäisyyksien poistamisesta ja toimintojen keskittämisestä toiminnan laadun ja vaikuttavuuden edistämiseksi. Lisäksi innovaatioympäristöjen kehittämiseen liittyen on julkaistu useita muita katsauksia ja tutkimusraportteja (mm. Hautamäki & Oksanen, 2012; Kolehmainen & Ranta, 2009; Sotarauta, Kosonen & Viljamaa, 2007). Näissä selvityksissä on keskitytty innovaatiokeskittymien ja innovaatioympäristöjen rakentamiseen (mm. korkeakoulujen, yritysten ja julkisen hallinnon yhteistyön ja uuden tiedon tuottamisen kuvaaminen Triple Helix -mallin avulla), innovaatioiden edellytyksiin, toimijoiden rooleihin ja yhteistyön kehittämiseen. Muun muassa Hautamäen ja Oksasen (2012) raportin keskeinen viesti on tarve yliopistojen ja ammattikorkeakoulujen systeemisen yhteistyön ja yksituumaisuuden lisäämiseksi. Raportin mukaan yliopistojen tulisi omaksua yrittäjyysyliopiston malli ja yhdessä ammattikorkeakoulujen kanssa tiivistää yhteistyötään yritysten kanssa. Yliopistojen ja ammattikorkeakoulujen välisen yhteistyön tiivistämisen puolesta on esitetty useita korkeakoulujen yhteiskunnallisen vaikuttavuuden lisäämiseen liittyviä perusteluita (esim. Salminen & Ylä-Anttila, 2010). Yhteistyötarpeen perusteena on pidetty mm. akateemisen tutkimuksen tehokkaampaa viemistä alue- ja yrityskehityksen tueksi (ks. esim. Rauhala, 2013) sekä tilojen, tukipalvelujen ja opettajaresurssien yhteiskäyttöä laadun ja tehokkuuden edistämiseksi (Tutkimus- ja innovaationeuvosto, 2010). Käytäntö- ja tiedelähtöisyyden yhdistämisen etuina on pidetty myös innovaatiopotentiaalin parasta mahdollista hyödynnettävyyttä (ks. esim. Melkas, 2013; Harmaakorpi, 2008). Ammattikorkeakoulujen tutkimus-, kehittämis- ja innovaatiotoiminnan vahvuutena on pidetty kykyä johtaa ja rakentaa verkostoja. Tutkijoiden 14

15 mukaan ammattikorkeakoulujen tulisi työelämän verkostojen lisäksi rakentaa yhteistyöverkostoja tutkimus- ja tiedeyhteisöjen kanssa ja näissä verkostoissa ammattikorkeakoulujen olisi tuotava selkeästi esiin oma profiilinsa sekä käytännönläheinen osaaminen ja soveltava toiminta (esim. Rissanen, 2013). 3 Korkeakoulujen ja sidosryhmien välinen yhteistyö Toinen keskeinen tutkimus-, selvitys- ja kehittämishakkeiden aihealue on viime vuosina ollut korkeakoulujen sidosryhmäyhteistyön laatu ja sen kehittäminen. Näissä hankkeissa on etsitty keinoja mm. korkeakoulujen ja elinkeinoelämän sekä julkisen sektorin yhteistyön edistämiseksi ja esteiden vähentämiseksi. Hankkeiden tulosten perusteella on esitetty huomion kiinnittämistä organisaatioiden ja sidosryhmäyhteistyön johtamisen laatuun sekä toimijoiden yleisiin yhteistyövalmiuksiin, joilla on todettu olevan keskeinen merkitys yhteiskunnallisen osallistumisen vahvistamisessa (ks. esim. Goddard, Howlett, Vallance & Kennie, 2010; Connecting University to Regional Growth: A Practical Guide, European Union, 2011). Korkeakoulujen sidosryhmäsuhteiden laadunhallintaa käsitelleen tutkimuksen (Lyytinen, Kohtamäki, Pekkola, Kivistö & Hölttä, 2012) mukaan korkeakoulujen ulkopuoliset toimijat odottavat korkeakoulujen sidosryhmäverkos tojen olevan tulevaisuudessa aikaisempaa globaalimpia, avoi mempia ja monimuotoisempia, jotta korkeakoulut selviy tyvät kansallisessa ja kansainvälisessä kilpailussa. Tutkimuksen mukaan korkeakoulujen tyypilliset sidosryhmätahot voidaan jakaa neljään ryhmään, jotka ovat koulutus- ja tutkimusyhteistyökumppanit, asiakas- ja tilaajaorganisaatiot, rahoittajaorganisaatiot sekä välittäjä ja tukiorganisaatiot. Korkeakoulujen välisen yhteistyön lisäksi erilaisten asiakas-, tilaaja- ja rahoittajaorganisaatioiden merkitys korkeakoulujen sidosryhmätahoina on tutkimuksen mukaan kasvava. Korkeakoulujen sidosryhmä yhteistyölle tyypillistä on eriytyminen pitkälti yksiköittäin sekä tieteenja koulutusaloittain korkeakoulutasoisten toiminnan ja yhteistyöstrategioiden sijaan. Yliopistot ja ammattikorkeakoulut tarvitsisivatkin sekä korkeakoulun sisällä että yhteistyössä ulkoisten sidosryhmätahojen kanssa sovittuja yhteisiä korkeakoulutasoisia käytänteitä vastatakseen toimintaympäristössä tapahtuviin muutoksiin ja vahvistaakseen korkeakoulunsa omaa erityisluonnetta (Lyytinen ym., 2012). Vastaava näkemys korkeakoulujen kehittämisestä tuli esiin myös yrityselämälle suunnatussa kyselyssä. Yritysedustajien mukaan korkeakoulujen sidosryhmäyhteistyön tavoitteiden ja sisältöjen määritte- 15

16 lyyn tulisi kiinnittää enemmän huomiota ja kumppanuuden kehittämiseksi tulisi rakentaa yhdessä strategista yhteistyötä ja tavoitella pitkäjänteistä kehittämistä (Laitinen-Väänänen ym., 2013). 4 Innovaatioiden tukipalvelut ja korkeakoulujen tutkimus- ja kehittämistoiminnan rahoitus Innovaatiojärjestelmän rakenteisiin, innovaatioiden tukipalveluihin ja rahoitukseen liittyviä selvityksiä on julkaistu useita (esim. Ilmavirta ym., 2001; Veugelers ym., 2009; Laasonen, Ranta & Uitto, 2012). Selvitysten mukaan tutkimuslähtöistä yritystoimintaa, lisensointia, tutkimussopimuksia ja muuta korkeakoulujen ja yritysten yhteistyötä edistäviä organisaatioita olisi vahvistettava ja koottava suuremmiksi yksiköiksi. Suomen innovaatiojärjestelmän kansainvälisen arvioinnin mukaan yritysyhteistyötä palvelevat tukirakenteet ovat Suomessa verraten kehittymättömiä ja hajallaan sekä palvelujen tuottajat työskentelevät liiaksi yksikseen (Veugelers ym., 2009). Opetusja kulttuuriministeriön ja työ- ja elinkeinoministeriön tilaamassa julkista innovaatiotoimintaa tukevia alueellisia palveluja koskevassa selvityksessä (TEM, 2012) tarkasteltiin yritysten innovaatiotoimintaa ja kansainvälistymistä edistävien julkisten kehittämisorganisaatioiden toimintaa ja palveluita, niiden toiminnan rahoitusta, roolia sekä yrityspalvelujärjestelmän kehittämistarpeita. Selvityksen kohdeorganisaatioita olivat yliopistot, ammattikorkeakoulut, teknologiakeskukset ja seudulliset kehitysyhtiöt sekä ELY-keskukset. Selvityksen perusteella valtakunnallisesti tarkasteltuna tarjolla olevien yrityspalvelujen määrä on suuri. Erityisesti innovaatiotoiminnan edistämiseen on tarjolla lukumääräisesti paljon erilaisia palveluita, joille kaikille ei riitä kysyntää. Tosin alueellinen vaihtelu on huomattavaa. Lisäksi selvityksessä todetaan ammattikorkeakoulujen vahvistunut asema yritysten kumppaneina sekä ammattikorkeakoulujen yritysrahoituksen merkittävä osuus. Korkeakoulujen arviointineuvoston toteuttaman ammattikorkeakoulujen TKI-toiminnan arvioinnin mukaan (Maassen, 2012) ammattikorkeakoulujen TKI-toiminnan ohjausta sekä lainsäädäntöä ja rahoitusta olisi vahvistettava huomattavasti, jotta ammattikorkeakoulut voisivat saavuttaa täyden potentiaalinsa. Arvioinnin mukaan ammattikorkea koulujen TKItoiminnan rahoitus on sirpaleista, siitä puuttuu läpinäkyvyys ja lisäksi rahoituksen tasoa voidaan kokonaisuutena pitää liian alhaisena. Arviointiryhmän näkemyksen mukaan merkittävimmille suomalaisille tutkimusrahoittajille, Tekesille ja Suo men 16

17 Akatemialle ei ole osoitettu selvää roolia ammattikorkeakoulujen TKI-toiminnan rahoituksessa, joka osaltaan tukisi koko sektorin jatkokehitystä. Tekesin Tutkimuksesta liiketoimintaan (TULI) -rahoituksen tavoitteena on ollut korkeakoulujen tutkimuslähtöisen innovaatiotoiminnan kartoittaminen, arviointi ja kehittäminen. TULI-ohjelman arviointi (Ketonen, Juvonen, Gabrielsson, Kuusisto & Koponen, 2013) tuotti kolme läpileikkaavaa suositusta neljälle eri kohderyhmälle: 1) Kaupallistamiselle tulee asettaa selkeät strategiset tavoitteet ja mitata näiden toteutumista; 2) Resurssit tulee kohdentaa kaupallisesti tuloksekkaille toimijoille kansainvälisen kilpailukyvyn kasvattamiseksi ja 3) Kaupallistamiseen tulee sitoutua pitkäjänteisesti ja kehittää kumppanuuksia yksityisen sektorin ja tutkimuskentän välille. 5 Indikaattorit ja vaikuttavuuden mittaaminen Korkeakoulujen yhteiskunnallisen vaikuttavuuden mittareita on kehitetty lukuisilla foorumeilla sekä meillä Suomessa että Euroopassa. Keskeisiä hankkeita ovat olleet kotimaassa yliopistojen tutkimustulosten hyödyntämistä pohtinut työryhmä (OKM, 2007) ja yliopistojen yhteiskunnallisen vaikuttavuuden mittarikehikon kehittäminen (Ritsilä, Lahtonen & Mukkala, 2008). Ammattikorkeakoulusektorilla merkittävä hanke on ollut AMK-tutka verkoston toteuttama ammattikorkeakoulujen TKI-toiminnan tuloksellisuuden ja vaikuttavuuden itsearviointimallin sekä tuloksia kuvaavien tilastollisten ja laadullisten mittarien kehittäminen. Lisäksi sekä yliopistojen rahoitusmallia että ammattikorkeakoulujen väliaikaista ja tulevaa rahoitusmallia suunnitelleissa työryhmissä pyrittiin löytämään uudentyyppisiä indikaattoreita vaikuttavuuden mittaamiseen. Keskeisiä eurooppalaisia korkeakoulujen vaikuttavuuden mittaamisen hankkeita ovat olleet korkeakoulujen tutkimuksen vaikuttavuutta koskevat hankkeet (SIAMPI ja ERiC), eurooppalainen ammattikorkeakoulujen verkostohanke (EDUPROF), E3M-projekti (European indicators and ranking methodology for university third mission. Maakohtaisena esimerkkinä mainittakoon Iso-Britanniassa toteutettu mittava korkeakoulujen aluevaikuttavuuden tutkimushanke (Impact of higher education institutions on regional economies, Higher Education Funding Council for England, HEFCE). Esimerkkeinä vaikuttavuuden arvioinnista ovat myös Korkeakoulujen arviointineuvoston toteuttamat ammattikorkea- 17

18 koulujen aluekehitysvaikutuksen huippuyksikköarvioinnit vuosina 2001, 2003 ja Arviointeja varten kehitettiin arviointimalli, joissa tarkastelun kohteina olivat muun muassa ammattikorkeakoulujen strategioiden kehittyneisyys, ammattikorkeakoulujen rooli innovaatioympäristöjen kehittämisessä, aluekehitystyön tulokset ja näytöt sekä tulosten arviointi ja seuranta. 18

19 2 Arvioinnin toteutus 2.1 Arvioinnin suunnitteluvaihe ja arviointiryhmä Arviointialoite ja perustelut arvioinnin käynnistämiseksi Aloitteen yliopistojen ja ammattikorkeakoulujen yhteiskunnallisen ja aluekehitysvaikutuksen arvioinnista teki korkeakoulujen arviointineuvostolle (KKA) Etelä-Suomen maakuntien liittouma (ELLI). Liittouma perusteli aloitettaan korkeakoulujen merkityksellä alueiden yritystoiminnan kehittäjinä. Liittouman mukaan oli ajankohtaista selvittää, mitkä ovat keinoja, joilla korkeakoulut voisivat vaikuttaa tämän hetkistä tilannetta tehokkaamminkin yritystoiminnan kehittämiseen. Liittouma toi esiin myös tarpeen selvittää yritystoimintaan ja alueiden kehittämiseen liittyvien korkeakoulujen yhteistyösuhteiden laajuutta ja tehokkuutta. Lisäksi toivottiin, että arvioinnin avulla voitaisiin koota ja edelleen välittää korkeakoulukentälle ja sidosryhmille tietoa siitä, miten korkeakoulujen osaamista voidaan paremmin kytkeä innovaatiopolitiikan tarpeisiin. Arvioinnin avulla toivottiin saavan ehdotuksia myös EU:n rakennerahastojen tarkoituksenmukaisesta ja tuloksellisesta kanavoinnista korkeakoulujen suuntaan. KKA teki päätöksen arvioinnin käynnistämisestä kesäkuussa Perusteluina olivat aiheen ajankohtaisuus ja yhteiskunnallinen merkitys, sekä puuttuva arviointitieto niistä tekijöistä, jotka korkeakoulujen sisäisessä toiminnassa sekä korkeakoulujen ja alueiden elinkeinoelämän yhteistyössä edistävät yhteiskunnallisen ja alueellisen vaikuttavuuden tuloksia. Arvioinnin tavoitteeksi asetettiin uuden tiedon tuot- 19

20 taminen siten, että arviointi tukee ja täydentää jo olemassa olevia sel vityksiä korkeakoulujen toiminnan vaikuttavuudesta. Arviointi päätettiin toteuttaa valtakunnallisena koskien kaikkia korkeakouluja. Etelä-Suomen alueen korkeakouluja koskeva osuus toteutettiin Päijät-Hämeen liiton myöntämällä EAKR-rahoituksella. Muu osuus toteutettiin KKA:n rahoittamana. Arvioinnin suunnitteluryhmä KKA nimesi arvioinnin suunnitteluryhmän, jonka puheenjohtajaksi nimettiin KKAn jäsen, vararehtori, KT Riitta Rissanen, Savonia-ammattikorkeakoulu. Suunnitteluryhmän jäseniksi valittiin johtaja, KTT Markku Ikävalko, Lappeenrannan teknillinen yliopisto, Koulutus- ja kehittämiskeskus, opiskelija Hannu Jaakkola, Itä-Suomen yliopisto, ohjelmajohtaja Mari Kuparinen, Päijät-Hämeen liitto ja maakuntajohtaja FT Asko Peltola, Etelä-Pohjanmaan liitto. Suunnitteluryhmän sihteerinä toimi erikoissuunnittelija, KT Hannele Seppälä, KKA. Suunnitteluryhmän tehtävänä oli laatia arvioinnin projektisuunnitelma sisältäen tavoitteiden ja kohteiden määrittelyn sekä suunnitelmat käytettävistä menetelmistä ja aikataulusta. Suunnitteluryhmä työskenteli ajalla Arviointiryhmä KKA nimesi arvioinnin toteuttamista varten arviointiryhmän, johon kuului yliopisto- ja ammattikorkeakoulusektoreiden asiantuntijoita, opiskelijoiden edustaja sekä työ- ja elinkeinoelämänäkökulmaa edustava asiantuntija. Arviointiryhmän puheenjohtajana toimi FT Veijo Ilmavirta, eläkkeellä Laurea-ammattikorkeakoulusta ja Aalto-yliopistosta, varapuheenjohtajana kehittämispäällikkö, KT Hannele Salminen, Suomen Kuntaliitto. Muut arviointiryhmän jäsenet olivat johtaja, KTT Markku Ikävalko, Lappeenrannan teknillinen yliopisto, Koulutus- ja kehittämiskeskus, toimitusjohtaja, KTT Päivi Myllykangas, Elinkeino- ja kehitysyhtiö Tredea, insinööri Heikki Kaisto, SAMOK ry:n puheenjohtaja 2006 ja kehitysjohtaja, diplomi-insinööri Eero Pekkarinen, Kemi-Tornion ammattikorkeakoulu. Arviointiryhmän sihteereinä toimivat erikoissuunnittelijat, KT Hannele Seppälä ja DI Touko Apajalahti KKA:sta, joista ensiksi mainittu toimi myös arvioinnin projektipäällikkönä. Arviointiryhmän tehtävänä oli suunnitella ja toteuttaa arviointiaineistojen kerääminen, analysoida ar- 20