Amerikkalaisen opiskelija-arvioinnin soveltaminen suomalaiseen yliopistoon

Transkriptio

1 1 Matti Parjanen Amerikkalaisen opiskelija-arvioinnin soveltaminen suomalaiseen yliopistoon KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA 8:2003

2 2 ISBN ISSN Kustantaja: Edita Publishing Oy Kansi: Edita, Suvi Lepistö Taitto: Pikseri Julkaisupalvelut Oyj Edita Abp Helsinki 2003

3 Esipuhe 3 Korkeakoulujen arviointineuvosto järjestää joka vuosi korkeakoulujen arviointiasiantuntijoille tarkoitettuja opintomatkoja. Opintomatkat ovat osa neuvoston koulutustoimintaa. Matkojen tarkoituksena on perehtyä eri kohdemaiden korkeakoulujärjestelmiin ja erityisesti niiden arviointitoimintaan ja laadunvarmistusmenetelmiin. Keväällä 2000 KKA:n opintomatka suuntautui Yhdysvaltoihin. Eräs vierailukohteista oli Indianan yliopisto, jossa ryhmälle esiteltiin laajan suosion saanutta ja mm. useissa USA:n osavaltioissa käytettyä National Study of Student Engagement (NSSE) -arviointimallia. NSSE-arviointimalli perustuu opiskelijoilta kerättävään palautteeseen. Matkan jälkeen heräsi keskustelu mallin soveltuvuudesta suomalaisiin korkeakouluihin. Seurauksena oli ns. Nysse-projektin käynnistäminen Tampereen yliopistossa. Tutkimuksen tarkoituksena oli selvittää, voitaisiinko Yhdysvaltojen yliopistoissa vuosikymmeniä käytössä olleita opiskelijapalautteiden malleja soveltaa suomalaisessa yliopistolaitoksessa. Arviointineuvosto osallistui projektin rahoitukseen. Tampereen yliopistossa toteutettu empiirinen kyselytutkimus osoittaa, että kolme neljäsosaa opiskelijoista katsoo NSSE-palautemallin olevan sovellettavissa myös suomalaisiin yliopistoihin. Suomalaiset opiskelijat vierastavat kuitenkin kysymyksiä, jotka koskevat yliopistotasoa. Opiskelijapalautteiden kerääminen ja palautteiden hyödyntäminen yliopisto-opetuksen ja oppimisen kehittämisessä on Suomessa vielä hyvin kirjavaa. Tampereen yliopiston Opetuksen laatu -projektin (OPLAA) yhteydessä kerätyn tiedon mukaan suurin osa Tampereen yliopiston laitosten opettajista harjoittaa säännöllistä kirjallista palautteiden keräämistä. Sen sijaan OPLAAn opiskelijoille kohdistaman tutkimuksen mukaan jopa 45 % opiskelijoista kertoi, ettei ole koskaan päässyt antamaan opetuksesta palautetta opettajalleen. Korkeakouluopettajia ja opiskelijoita tulisi rohkaista yhä enemmän opetuksen laadun arviointiin sekä palautteen keräämiseen ja antamiseen. Opiskelijapalautteen tulisi olla osa korkeakoulun säännöllistä laadunarviointijärjestelmää. Palautteen tulisi sulautua opetukseen ja oppimiseen siten, että sekä opiskelijat että opettajat voisivat kokea sekä oikeudekseen että velvollisuudekseen antaa ja vastaanottaa palautetta. Parhaimmassa tapauksessa palaute muodostuu tiiviiksi osaksi opetuksen kehittämisprosessia. Tässä mielessä raportti on mielenkiintoinen puheenvuoro korkeakoulujen arviointijärjestelmien kehittämisestä käytävässä keskustelussa. Korkeakoulukohtaisten järjestelmien kehittämisen lisäksi voisi pohtia, olisiko mahdollista kehittää korkeakoulujen yhteisiä opetuksen ja oppimisen laadunarviointijärjestelmiä, jotka tuottaisivat laaja-alaisempaa vertailutietoa korkeakoulutuksen tuloksista. Arviointineuvoston puolesta haluamme kiittää raportin kirjoittajaa ja kaikkia projektiin osallistuneita. Helsingissä Tapio Huttula pääsihteeri Hannele Seppälä projektisuunnittelija

4 4 Sisällys 1 Johdanto 5 2 Opiskelijapalautteet osana yliopisto-opintoja Suomessa 7 3 Opiskelijaevaluaatio amerikkalaisessa opintoympäristössä Opiskelija-arviointien puolustamista Opiskelija-arviointien vastustamista Opettajan ominaisuudet evaluaatiossa Opiskelijan ominaisuudet evaluaatiossa 17 4 NSSE-arviointimalli 18 5 Amerikkalainen palautemalli Tampereen yliopistossa NSSE-mallin soveltuvuus suomalaisessa yliopistossa Muita opiskelijaevaluaatioon liittyviä tutkimustuloksia 23 6 Keskustelua 33 Lähteet 40 Liitteet 1: Kyselylomake opiskelijoille 43 2: Kyselylomake opettajille 48

5 1 Johdanto 5 Tämän raportin tarkoituksena on selvittää, voitaisiinko Yhdysvaltojen yliopistoissa vuosikymmeniä käytössä olleita opiskelijapalautteiden malleja soveltaa suomalaisessa yliopistolaitoksessa. Alkusysäyksen selvitykselle antoi Tampereen yliopiston opetuksen ja oppimisen laadunvarmistuksen ulkoinen arviointi (AU- DIT-99), joka pantiin toimeen Korkeakoulujen arviointineuvoston valitsema suomalainen nelihenkinen arviointiryhmä sekä tunnettu amerikkalainen koulutuspolitiikan ja -sosiologian tutkija David D. Dill antoivat raporttinsa keväällä Dill havaitsi, miten Tampereella kuten muuallakin Suomessa yliopisto-opettajien ja opiskelijoiden välisessä palautejärjestelmässä on paljon konkreettista parantamisen varaa. Hän toivoi toimenpide-ehdotuksissaan mm., että Tampereen yliopisto kokeilisi erästä amerikkalaista palautemallia, jota käytetään ainakin kuudessa Yhdysvaltain osavaltiossa. Tämä National Study of Student Engagement (NSSE) -niminen malli on kehitetty Indianan yliopistossa, jossa sen päämajakin sijaitsee. Mallin amerikkalainen lempinimi on Nessie, josta syntyi mutkattomasti tämän projektin tamperelainen työnimi Nysse-projekti. AUDIT-99 arvioinnin suunnittelusta vastanneen Tampereen yliopiston Opetuksen laatu -projektin (OPLAA) tehtäviin kuului tämän raportin kirjoittajan johtamana ryhtyä arvioinnin aiheuttamiin konkreettisiin toimenpiteisiin. Tiedekunnille ja laitoksille lähetettiin 13-kohtainen suositus, miten AUDIT-99:n ehdotukset otettaisiin huomioon opetuksen ja oppimisen arkipäivässä. Sen lisäksi OPLAA esitti Korkeakoulujen arviointineuvostolle, että se ryhtyisi osittain rahoittamaan David Dillin ehdottamaa Nysse-projektia. Arviointineuvosto suostui esitykseen ja OPLAA ryhtyi projektin toteutukseen. Sitä ennen sattumalta Tampereen yliopiston kasvatustieteiden tiedekunnan koulutuksen kehittämisyksikkö TyKKy (nykyisin nimeltään Eduta-instituutti) järjesti Arviointineuvoston osittain rahoittaman vuosittaisen opinto- ja koulutusmatkan Yhdysvaltoihin. Matkan ohjelmaan sisältyi myös vierailu Indiana University-Bloomingtonissa, jossa NSSE-mallin kehittäjä professori George Kuh esitteli tämän palautejärjestelmän teoreettista taustaa ja toteuttamista. Nysse-projektin synnyttämistä eittämättä on myös auttanut eräänlainen personaaliunioni: Kuusivuotisen OP- LAA-projektin johtajana toimi Matti Parjanen, joka toimi TyKKyssä koulutuksen arvioinnin professorina (ma) ja kaikkien Arviointineuvoston opintomatkojen (toistaiseksi kuusi) johtajana. Näiden matkojen apulaisjohtajana on toiminut Riikka Rahikainen, joka toimi myös OPLAAssa koulutussuunnittelijana ja sattumalta juuri Indianan yliopistossa tohtoriopiskelijana ja Asla-Fulbright-stipendiaattina opintomatkamme aikana.

6 6 Tämän prosessin seurauksena OPLAA ryhtyi etsimään vastauksia em. kysymyksiin empirian avulla. Tarkoituksena oli kyselylomakkeilla kerätyllä aineistolla analysoida Tampereen yliopiston opiskelijoiden ja opettajien mielipiteitä NSSE-mallin ja/tai muiden ulkomaalaisten (pääasiassa amerikkalaisten) palautemallien soveltamisen mahdollisuuksia suomalaisiin olosuhteisiin. Yliopistomaailmassa muutosvastarinnan käsite on arkista todellisuutta. Toisaalta taas opettajat ja opiskelijat tuntevat palautejärjestelmiin sisältyvät käytännön ongelmat parhaiten, joten mielipiteiden kartoitus tietyin varauksin katsottiin tarpeelliseksi. Eräs kiinnostava piirre palautejärjestelmien ja yleensäkin opetuksen ja oppimisen kehittämistyön muutosvastarinnassa on ollut, että juuri teoreettisen käsitemaailman ammattilaiset yliopistoissa ovat tunteneet periaatteellista vastenmielisyyttä erilaisia yliopistopedagogisia ja laajemminkin kasvatustieteellisiä käsitteitä ja teorioita kohtaan. He ikään kuin sairastavat neofobiaa, kaikenlaisen uuden pelkäämistä. Osittain siksi olen tässä raportissa vältellyt oppimiseen liittyvien teoreettisten viitekehyksien sommitteluja ja verifiointeja. Nysse-projektin aineiston keräämisessä ja analysoinnissa ovat toimineet projektisihteerinä PsM Satu Eerola ja tutkimusavustajana Psyo Tanja Häyrynen.

7 2 Opiskelijapalautteet osana suomalaisia yliopisto-opintoja 7 Ei ole osoitettavissa selvää ajankohtaa sille, milloin suomalaiset yliopisto-opettajat ryhtyivät laajemmin käyttämään opiskelijoilta kerättäviä palautteita oman opetuksensa suunnittelussa. Erimuotoista palautetta ja opiskelija-arviointia on esiintynyt jo yliopistolaitoksemme syntyajoilta lähtien. Klinge et al. (1987, ) kertovat, miten Kuninkaallisessa Turun Akatemiassa jo 1600-luvulla opettajat ilmoittivat kirjallisessa opetusohjelmassaan, milloin he antavat julkisen opetuksen lisäksi maksullista yksityisopetusta. Tällainen järjestely takasi jatkuvan henkilökohtaisen vuorovaikutuksen opettajan ja opiskelijan välillä. Varsinkin kun tuohon aikaan opetusideologia perustui puhe- ja väittelytaidon opettamiseen. Sitä ehkä nykyisin kutsuttaisiin utilitaristiseksi tai työmarkkinaorientoituneeksi, koska siitä oli missä tahansa virassa hyötyä. Vielä 1960-luvun alussa yliopistomaailmassa käytettiin englanninkielisen feedback-termin suomennoksena suoraa käännöstä takaisinsyöttö, josta paikalleen jämähtäneen yliopistokulttuurin kyynisimmät arvostelijat uskalsivat käyttää enemmän tai vähemmän suoraa käännöstä peräruiske. Kuonanpoiston epämiellyttävä lääketieteellinen metodi tarjoaa pisteliään keinon kuvata opettajien yleistä vastenmielisyyttä tällaista oppimisen kehittämisen menetelmää kohtaan. Yliopistopedagogiikan asiantuntijat kokevat usein syöttävänsä pakosta opettajille kehittämisaatteitaan, ja opettajat puolestaan kokevat herkästi joutuvansa nielemään sellaista, mitä eivät haluaisi tai ehtisi. Kuinka säännöllistä opiskelijaevaluaatio suomalaisissa yliopistoissa on? Sen systemaattisuuden ja laadukkuuden asteen määrittely näyttää riippuvan paljonkin vastaajan omasta asennoitumisesta opiskeluilmastoa koskevaan kehittämistyöhön. Kun OPLAA-projekti tiedusteli Tampereen yliopiston laitoksilta, kuinka monta prosenttia laitoksen opettajista harjoittaa säännöllistä kirjallista palautteiden keräämistä, sijoittuivat vastaukset yleensä välille %. Sen sijaan OPLAAn opiskelijoille kohdistamassa tutkimuksessa kokonaista 45 % vastaajista (edustava otos, ei mukana ensimmäisen vuoden opiskelijoita) kertoi, ettei ole koskaan päässyt antamaan opetuksesta palautetta opettajalleen. Edelleen 62 % ei ollut kertaakaan osallistunut palautekeskusteluihin (Hiironniemi, Tuunanen 1995, 36 45). Näiden prosenttilukujen välillä vallitseva ristiriita kuvastaa räikeän selvästi suomalaisen yliopiston opintoympäristöä. Kumpi osapuoli, opettajat vai opiskelijat, siis muuntaa todellisuutta? Suomalaisissa yliopistoissa suoritetut tutkimukset 1970-luvulta lähtien osoittavat, että opettajien ja opiskelijoiden hahmottamat opintoympäristöt eivät tahdo millään kohdata. Opiskelijat ilmoittavat kysely- ja haastattelututkimuksissa vastauksenaan, että osa opettajista voi antaa mekaanisen palautelomakkeen täy-

8 8 tettäväksi, osa haluaa tehdä sen kurssin loppukuulustelun yhteydessä nimellisenä, osa toivoo vain suullisia eli julkisia palautteita. Suuri osa opettajista on niin kyynistynyt koko järjestelmään, ettei halua uhrata aikaa lainkaan koko palautteelle. Tämä opettajien ja opiskelijoiden välinen ristiriita on pyörinyt saman kehän sisällä jo vuosikymmeniä. Sitä voi kuvata karrikoiden seuraavalla dialogilla, joka on tutun jokapäiväistä kaikissa maamme yliopistoissa. 1. YLIOPISTON OPETTAJA: Olen aina kerännyt olosuhteet huomioiden opiskelijoiden palautetta ainakin suullisesti. 2. YLIOPISTON OPISKELIJA: En ole vielä kertaakaan saanut antaa palautetta. 3. YLIOPISTON OPETTAJA: Koska et ole ollut läsnä sillä luennolla, jolla palaute kerättiin. 4. YLIOPISTON OPISKELIJA: Kyllä olin, mutta palaute kerättiin nimellä varustettuna luennon loppukuulustelun yhteydessä. Kirjoitin niin perusteelliset vastaukset tenttikysymyksiin, ettei minulle jäänyt aikaa evaluoida, enkä myöskään halua arvioida opettajan laatua omalla nimelläni. ja niin edelleen Joka tapauksessa yksi selkeimpiä yleistyksiä oppimisen esteiden analysoinnissa yliopistolaitoksessamme on se, että kaiken kehityksen pullonkaulaksi on ahtautunut kysymys siitä, miten opettajan (tai laitoksen) keräämä palaute opiskelijoilta siirtyy opettajan pöydältä laajemmalle eli oppiaineen professorille, laitoksen johtajalle, laitokselle, opetuksen kehittämisen elimille, yliopiston johdosta puhumattakaan. Yliopisto-opiskelijat kokevat kuitenkin opetustilanteet nimenomaan yksilöllisinä oppimistapahtumina, eivätkä institutionaalisina laadunvarmistuksen kriteereinä. He haluavat nimenomaan tietää tarkemmin omasta henkilökohtaisesta edistymisestään opettajan yksilöllisesti arvioimana. Suomalainen opiskelujärjestelmä nähdään persoonattomana, jossa opiskelija ei saa selvää varmuutta siitä, miten hän todella on onnistunut ja mitä hänen pitäisi opiskeluprosessiin parantaa (Hakkola 2002, ). Viime vuosina yliopistoissa käyttöön otetut portfoliotkaan eivät ole tilannetta paljon muuttaneet. Portfoliohan ymmärretään kapeasti vain opettajan urakehityksen yhdeksi tekniseksi välineeksi. Silloin sen heijastuksista eivät hyödy muut oppimistapahtumaan liittyvät osatekijät ja intresentit, kuten opiskelija, laitos, oma koulutusala, tutkinto, opetuksen kehittämisyksiköt ja luottamuselimet tai ennen kaikkea oppimisen paikaksi valittu organisaatio eli yliopisto. Tämän raportin problematiikka pohjautuu juuri tähän opetuksen kehittämisen pullonkaulaan. Tämä akateemiselle opiskelulle ominainen ongelmavyyhti on periytymässä myös ammattikorkeakouluihin, vaikka niillä olisi ollut erinomainen tilaisuus osoittaa juuri tässä kohtaa olevansa kehityksessä yliopistojen edellä. Ammattikorkeakoulujen ulkoisten arviointien raportit kertovat, miten myös näissä korkeakouluissa opetuksen ja oppimisen laadunvarmistuksen järjestelmät ovat tak-

9 9 kuisia (esim. Davies et al 2002, 17 18). Herää kysymys, onko palautejärjestelmän interaktiivisuus vain haavetta, jota ei voidakaan yliopistojen arkipäivässä käytännössä toteuttaa. Onneksi ulkomaalaiset, erityisesti amerikkalaiset, englantilaiset ja australialaiset esimerkit kumoavat tämän oletuksen. Näissä maissa palautejärjestelmät toimivat niin, että opiskelijat saavat tietää omien ehdotustensa kulkukaaviot. Myös sanktioinnilla (sekä palkinnoilla että rangaistuksilla) on tällöin avoimet ilmifunktiot. Suomessa sanktioinneille on ominaista latentit eli piilofunktiot. Niistä ei mielellään julkisesti keskustella. Seuraavalla kuviolla halutaan ilmaista ne yliopisto-organisaation kohdat, joiden välisissä suhteissa on havaittu ongelmia. Kuvio 1. Yliopiston opetuksen ja oppimisen laadunvarmistuksen katkonaisia suhteita

10 10 Toiminnallista palauteyhteyttä kuvaavasta kahdestatoista nuoliviivasta vain yksi on vahvistettu eli se palautejärjestelmä käytännössä useimmiten toimii (ei siis aina). Kyseessä on opiskelijan antama palaute (pyynnöstä) opettajalleen. Sekin suhde on vain yksisuuntainen, sillä opettajalta se ei useinkaan palaa takaisin opiskelijalle. Kaikki muut 11 suhdenuolta ovat katkonaisia eli palautesuhteissa esiintyy ongelmia. Tällaisella yliopisto-organisaatiolla on taipumus muodostua dysfunktionaaliseksi. Siinä siis esiintyy monenlaisia häiriötekijöitä, jotka vaikeuttavat koko organisaation toimintaa. Eittämättä maastamme löytyy yliopistoja ja niiden laitoksia, joissa eräät näistä katkoviivoista muuttuisivatkin suoriksi nuoliksi. Perehdyttyäni joko ulkoisena arvioijana tai arviointiraporttien lukijana suomalaisten yliopistojen (ja myös ammattikorkeakoulujen) opiskelujärjestelmiin voin päätyä johtopäätökseen, että katkoviivaton yliopisto on perin harvinainen. Nimittäisin tätä kuviota jopa juhlallisesti suomalaisen yliopiston opetuksen ja oppimisen laadunvarmistusjärjestelmän klassiseksi ongelmavyyhdeksi! Kuviossa on suorakaiteen sisään rajattu yliopiston opetuksen ja opiskelun kenttä. Siinä oppimisprosessin ydintekijöitä ovat opettaja ja opiskelija. Kuitenkin myös muilla tekijöillä on varsin suuri merkitys. Opettaja ei ole yksin opiskelijaa kouluttamassa. Arvosanaan, koulutusohjelmaan ja tutkintoon ja niiden laatuun vaikuttavat myös muut opettajat. Akateemisen tutkinnon saavuttamisessa opiskelija ehtii kohdata niitä kymmenittäin. Kuten ammattijärjestöillä on valtaa yrityselämän laadunvarmistuksen järjestelmissä, niin myös ainejärjestöillä ja ylioppilaskunnilla (aina valtakunnallista Suomen Ylioppilaskuntien Liittoa myöten) on oma tehtävänsä yliopisto-opiskelussa. Erityisesti yksittäisen opiskelijan oikeusturva-asiat kuuluvat niihin. Pulmallisimmiksi kohdiksi opetuksen ja oppimisen laadunvarmistuksen järjestelmän sujuvuudessa on osoittautunut yksittäisen opettajan suhde kollegoihinsa, laitoksensa johtoelimiin laitosjohtajineen sekä opetuksen kehittämistä varten perustettuihin epävirallisiin elimiin laitoksessa (ja osastossa/tiedekunnassa). Suomalaiseen yliopistokulttuuriin kuuluu amebamaisen kuuluisa akateeminen vapaus. Monet opettajat tietoisen vääristyneesti tulkitsevat sen tarkoittavan heidän vapauttaan opettaa mitä tahansa, milloin tahansa ja nimenomaan riippumatta kollegoiden opetuksesta. Suomalaisessa yliopistossa voi opettaja opettaa vuosikausia tietämättä paljoakaan siitä, mitä ja miten hänen saman oppiaineen kollegansa opettavat. Opetus on siis yksityisasia. Yliopistopedagogiikan koulutuksessa on havaittu, ettei ns. kollegapalaute ole lainkaan suosittu yliopisto-opettajien keskuudessa. Tutkimustyö voidaan ymmärtää yhteispeliksi kollegoiden kesken, mutta opetus nähdään privilegioksi, johon puuttuminen koetaan reviirin loukkaukseksi. Vasta opintojen loppuvaiheessa opiskelijat havahtuvat huomaamaan, että he ovatkin vuosikausia olleet pelinappuloina reviiritaisteluissa. Opettajan/tutkijan reviirien puolustaminen ja uusien valtaaminenhan tuottaa yliopistokentillä korkeampia virkoja. Yhä harvemmin muita motiiveja akateemisessa karriäärissä onkaan nähtävissä. Toisaalta on aina muistettava, ettei opetuksen ja oppimisen keskeinen suhde ole lainkaan yksiselitteinen. Geoffrey Squires (1997, 86 91) onkin esittänyt

11 suomalaisille arviointiasiantuntijoille yksinkertaisen kysymyksen: When we evaluate teaching, are we evaluating the right things? Hän kysyy edelleen, miten opetuksen arvioinnille yleensä voidaan löytää yhteinen perusta, kun tutkimukset osoittavat yliopisto-opettajien näkevän itse opetuksen funktiotkin varsin erilaisiksi. Nykyiseen oppimisen tutkimukseen perustuu uusi oppimiskäsitys, jota on ollut kovin vaikea saada ymmärretyksi akateemisessa koulutuksessa. Sen mukaan oppiminen ei ole tiedon passiivista vastaanottamista, vaan oppijan aktiivista kognitiivista toimintaa, jossa hän tulkitsee havaintojaan ja uutta tietoa aikaisemman tietonsa ja kokemuksensa pohjalta. Oppiminen edellyttää kykyä sietää asioiden ja ilmiöiden moniselitteisyyttä ja elämän yleistä ennakoimattomuutta. Oppiminen on tietyssä mielessä uudistumis- ja sopeutumiskykyä. Nykyiseen alan tutkijoiden keskuudessa vallitsevaan oppimiskäsitykseen perustuva arviointi ei kohdistu määrällisiin tai muistamista painottaviin tekijöihin. Keskeistä on oppimisprosessin tarkastelu: millaisia laadullisia muutoksia oppijan käsityksissä tapahtuu. Koulutus nähdään reflektiivisenä ja itseään korjaavana prosessina, jonka jokaiseen vaiheeseen sekä opettaja että opiskelija osallistuu aktiivisesti. (Rauste-von Wright 1996, Hakkarainen, Lonka & Lipponen 1999). Eräs palautejärjestelmien funktionaalisuuden tärkeimpiä tekijöitä on yliopiston johdon rooli opetuksen ja oppimisen laadunvarmistuksessa. Johdon tahto manifestoituu nykyisin yliopiston toiminnan strategiassa ja opetusministeriön kanssa käydyissä tulosneuvotteluissa. Yliopisto ei toimi hyvin koulutusyhteisönä, jos sen johto ei saa palautteita opetuksen kentältä. Koska opetuksen yksityisyys on ollut perinteisesti arka asia, eivät yliopistojen rehtorit ole yleensä kovin innokkaasti puuttuneet palautteiden esiin tuomiin yksityiskohtaisiin ongelmiin. Ne on tavallisesti katsottu laitoksen sisäisiksi asioiksi. Näinhän ei ole Yhdysvalloissa, Englannissa tai Australiassa. Erityisesti yksityisten yliopistojen rehtorit ovat kovin sensitiivisiä opiskelijapalautteille. Suomalaisten yliopistojen rehtorien epämiellyttävää roolia ovat tulleet avustamaan monissa yliopistoissa hiljattain perustetut opetusneuvostot tai vastaavat elimet. Tampereen yliopiston laadunvarmistuksen ulkoiset arvioijat kuitenkin huomauttivat vakavasti, että opetusneuvoston kaltaisilla elimillä tulee olla neuvoa antavan roolinsa lisäksi myös todellista valtaa. Eräät yliopistot (esim. Helsingin yliopisto vuonna 2003) ovat päättäneet ryhtyä kirjoittamaan opetuksen ja oppimisen omaa strategiapaperia. Sellainen on tietenkin eräänä prosessin vaiheena hyödyllinen, mutta kehitystyöllä on aina ikävä taipumus unohtua tällaisten ohjelmien kansien väliin luvun suomalainen yliopisto tarvitsee ennen kaikkea opiskelijaevaluaation selkeän kirkkaita implementaatioita. 11

12 12 3 Opiskelijaevaluaatio amerikkalaisessa opintoympäristössä Tämän selvityksen tarkoitus on siis analysoida, voitaisiinko Yhdysvalloissa vuosikymmeniä käytössä olleita opiskelijapalautteiden malleja soveltaa myös suomalaisessa yliopistolaitoksessa. Yhdysvallat on valittu vertailumaaksi ensinnäkin sen vuoksi, että sen yliopistoissa on pisin perinne opetuksen ja oppimisen kehittämistyössä, ja toiseksi siksi, että Tampereen yliopiston laadunvarmistusjärjestelmää arvioinut asiantuntija ehdotti tällaisen vertailuprojektin pystyttämistä. Raportin taustana on Tampereen yliopiston ulkoinen arviointi AUDIT-99. Arvioinnin tavoitteena oli saada selville, miten vuonna 1995 toimeen pannusta edellisestä ulkoisesta arvioinnista lähtien yliopisto oli onnistunut luomaan ja kehittämään opetuksen ja oppimisen laadunvarmistusjärjestelmäänsä. Suomalainen ulkoinen arviointiryhmä antoi raporttinsa vuonna 2000, ja samana vuonna ilmestyi myös amerikkalaisen professori David D. Dillin raportti (Lehtinen et al. 2000, Dill 2000). Suomalaisen arviointiryhmän tiiviissä raportissa kiinnitettiin useassa kohdin huomiota myös opetuksen ja oppimisen palautejärjestelmiin. Arvioijat toteavat yhteenvedossaan mm: Opetuksen kehittämisen kannalta olisi päästävä selvittämään myös opiskelijoiden oppimista pitkällä aikavälillä. Tällainen tieto auttaisi opetussuunnitelmien kehittämisessä. Opiskelijoille oli erityisesti jäänyt epäselväksi se, miten saatua palautetta käytetään hyväksi opetussuunnitelmien, yleisten opetusjärjestelyiden ja yksittäisten opettajien antaman opetuksen laadun parantamisessa... Tampereen yliopistossakin opetus koetaan vielä paljolti opettajan henkilökohtaiseksi asiaksi. Tämä vaikeuttaa kollegapalautteeseen perustuvien opetuksen kehittämisen mallien yleistymistä. Tulevassa kehittämistyössä pitäisi pystyä muuttamaan kollektiivisen arvioinnin synnyttämä torjunta ja pelko rakentavaksi voimavaraksi. (Lehtinen et al. 2000, 40 41). Varsinaisen sysäyksen tälle selvitykselle antoi kansainvälisesti tunnetun koulutuspolitiikan ja -sosiologian tutkijan David D. Dillin raportissaan tekemä ehdotus. Hän toteaa arvioinnissaan Measuring progress in educational quality - otsikon alla, että Tampereen yliopistolle olisi tärkeää rohkaista laitoksia, tiedekuntia, koulutusohjelmia ja koko yliopistoa mittaamaan opiskelijoiden oppimista sekä opetuksen ja oppimisen laatua. Hän ehdottaa, että yliopisto tutkisi mahdollisuutta käyttää hyväkseen jo vuosien ajan amerikkalaisessa Indiana Universityssä kehiteltyä National Study of Student Engagement (NSSE) -järjestelmää. Tähän malliin sisältyy kyselylomakkeita, joita käytetään sellaisenaan ympäri Yhdysvaltoja (

13 13 Tämä ehdotus herätti Tampereen yliopiston OPLAA-projektin tutustumaan yksityiskohtaisemmin kyseiseen malliin. Aihetta koskeva empiirinen aineisto päätettiin kerätä vain Tampereen yliopistossa, mutta on tarkoitus myös pohtia, voisivatko saadut tulokset olla yleistettävissä myös muihin maamme yliopistoihin. Dill oli todennut suullisessa palautteessaan NSSEn tapaisten mallien olevan sovellettavissa myös jopa suomalaisiin ammattikorkeakouluihin. Tätä laajennusta ei tässä projektissa lainkaan käsitellä. Seuraavassa esitellään pääasiassa amerikkalaisia tutkimustuloksia, jotka käsittelevät opiskelija-arviointien merkitystä oppimisessa ja koulutuspolitiikassa. Esittelyn pääsanoma on, että jopa 1500 artikkelin ja kirjan meta-analyysit osoittavat osittain turhauttavastikin että opiskelijaevaluaatioiden merkityksestä ei olla vielä läheskään yksimielisiä, ei edes Yhdysvalloissa, jossa on jo vuosikymmenien kokemukset tämän alueen tieteellisestä tutkimustyöstä ja käytännön sovelluksista. Spencer ja Flyr (1992) ovat selvittäneet, että Yhdysvalloissa ensimmäinen opiskelijapalautteiden analyysi julkaistiin jo vuonna Centra (1993, 49) luokittelee Amerikan yliopistolaitoksen kehitysvaiheet neljään evaluoinnin vaiheeseen: 1) Aikakausi , jota hallitsivat USA:ssa Remmers (1928) ja hänen kollegansa Purduen yliopistossa. Heidän tutkimusjulkaisujensa sarjassa pohdittiin ja analysoitiin muun muassa opiskelijoiden palautteiden eroja alumnien ja opettajakollegoiden arvioinneissa. 2) 1960-luku, jolloin amerikkalaisten yliopistojen arviointitoiminta oli vielä kokonaan vapaaehtoista. 3) 1970-luku, jota kutsutaan opiskelija-arviointien kultaiseksi kaudeksi. Tällöin ryhdyttiin paneutumaan enemmän evaluaation validiteettiin ja tulosten hyväksikäyttöön sekä formatiivisessa että summatiivisessa tarkoituksessa. 4) 1980-luvulta vuoteen Evaluaatiot tulivat yhä syvällisemmiksi, ja yhä useammin tehtiin myös meta-analyyseja. Marsh ja Dunkin (1992) erittelivät evaluaation sukupolvia todeten, että 1970-luvulla vielä hyväksyttiin julkaistaviksi varsin epämääräisiä tutkimuksia luvulla laatu ja menetelmien luotettavuus olivat selvästi kohonneet. Wachtel (1998) on tehnyt yhteenvetoa niistä tutkimuksista, jotka ovat ensinnäkin nähneet ongelmista ja virheistä huolimatta myönteisiä puolia opiskelija-arviointien tekemisissä ja soveltamisissa. Toiseksi luetellaan sellaisia tutkimuksia, joissa selvästi epäillään ja vastustetaan tämän kaltaista toimintaa. Kolmanneksi ja neljänneksi kuvataan tiivistetysti niitä opettajan ja opiskelijan ominaisuuksia, joilla on todettu olevan vaikutusta opiskelijaevaluaatioon.

14 14 Puolustavia Vastustavia Opettajan Opiskelijan argumentteja argumentteja ominaisuuksia ominaisuuksia Opiskelijaevaluaatio Kuvio 2. Opiskelijaevaluaatioon vaikuttavia tekijöitä amerikkalaisessa opintoympäristössä 3.1 Opiskelija-arvioinnin puolustamista Amerikkalaisten yliopistojen opettajien käsitykset opiskelija-arviointien tarpeellisuudesta lukuisten tutkimusten mukaan vaihtelevat positiivisista määreistä luotettava, validi tai hyödyllinen kielteisiin adjektiiveihin eli epäluottava, epävalidi ja hyödytön. Kuitenkin tutkimukset 70 vuoden ajalta osoittavat, että selvä enemmistö tutkijoista on em. myönteisten adjektiivien takana (mm. Centra 1993, Koon & Murray 1995, Ramsden 1991). Oikeastaan opiskelijoiden arviot ovat sittenkin ainoita opetuksen tuloksellisuuden mittareita, joiden validius on monipuolisesti todennettu. Seuraavassa on viisi tyypillistä argumenttia opiskelija-arviointien puolustamiseksi. 1. Opiskelijoilta kerätty palaute todella auttaa opetuksen parantamista ja oppimisen edistymistä. Kuitenkin monet puolustajat toteavat, ettei opiskelijoiden arviointi automaattisesti tuo parannusta, vaan tarvitaan myös muita palautemuotoja (Wilson 1986). Toisaalta L Hommedieu et al. (1990) on olettanut, että nykyisten tutkimusten metodisten heikkouksien poistamisella opiskelijapalautteen painoarvo vain suurenisi. 2. Opiskelijapalautteiden käyttö lisää todennäköisyyttä, että hyvä opetus tullaan myös huomaamaan ja palkitsemaan (Aleamoni 1981). 3. Opiskelija-arviointien ja oppimisen välillä vallitsee positiivinen korrelaatio eli oppilaat antavat korkeimmat pisteet niille opettajille, joilta he ovat oppineet eniten. Kuitenkin McCallum (1984) on huomannut näiden riippuvuussuhteiden olevan melko laimeita, ja niissä esiintyy suuria vaihteluja. 4. Opiskelijat ja opettajat yleensä ovat yhtä mieltä tehokkaan opetuksen komponenteista ja niiden merkityksestä. Tätä argumenttia käytetään silloin, kun epäillään, ettei ole yksimielisyyttä hyvän opetuksen kriteereistä (Marsh & Dunkin 1992, 181).

15 15 5. Yliopisto-opiskelijoiden arvioinnit korreloivat positiivisesti alumnipalautteen kanssa (Feldman 1989). Tämä on siis vasta-argumentti väitteille, joiden mukaan tutkinnon suorittamisen jälkeinen elämänkokemus ja viisastuminen tuovat toisenlaiset näkökulmat opintoihin kuin paraikaa opiskelevilla (Wachtel 1994, 86). Tästä huolimatta alumnipalautteita opiskelija-arviointien rinnalla pidetään välttämättöminä. On olemassa sadoittain tutkimuksia, jotka voidaan sijoittaa puolustavaan joukkueeseen. Silti löytyy yhtä paljon niitä, jotka varoittavat opiskelija-arviointien käyttämistä päätöksenteossa henkilöstön lisäpalkkioina ja erityisesti USA:n yliopistolaitoksessa tenure-järjestelmässä eli viran vakinaistamisissa (Hills 1974). 3.2 Opiskelija-arviointien vastustamista On helposti löydettävissä lukemattomia anekdootin kaltaisia todisteita siitä, miten yliopisto-opettajat suhtautuvat vihamielisesti tai ainakin kyynisesti opiskelija-arviointeihin (Franklin & Theall 1989). Esimerkiksi usein kuulee väitettävän, ilman todisteita, että opiskelijaevaluaatioihin myönteisesti suhtautuvat tutkijat ovat samoja, jotka myyvät maksusta arviointipalveluja. Seuraavassa esitellään amerikkalaisia tutkimustuloksia, jotka osoittavat selviä epäkohtia opiskelijapalautteiden hyväksikäytössä. Nämäkään tutkijat eivät kuitenkaan aina ole opiskelijapalautteiden järkevän käyttämisen vastustajia. 1. Arvioinnin perusteet ovat vielä epäselviä, koska ei olemassa yhteistä ymmärrystä siitä, mitä hyvä ja tehokas opetus on (Marques et al. 1979). 2. Opettaminen on taidetta ja tunnetta, ja se sisältää kasvatustehtävän, jolloin arvioinnin välineet eivät ole riittäviä (Ornstein 1990). 3. Opettajakunta voi tuskastua, kun opiskelijaevaluaatioiden kerääminen ja niistä palautteiden antaminen vie varsinaiselta opetukselta aikaa (Centra 1993, 93). 4. Yliopisto-opettajat ja opintoasian virkamiehet eivät ole kyllin hyvin perillä alan tieteellisistä tutkimuksista. Siksi arviointituloksia voidaan ymmärtää ja käyttää väärin (Franklin & Theall 1989). 5. Opiskelijoiden antamat arviot opetuksesta vaikuttavat opettajien työmoraaliin ja -tyytyvyyteen alentavasti (Ryan et al. 1980). Tällöin myös opintovaatimusten taso laskee, ja opiskelijoiden työmäärä vähenee. Spencerin ja Flyrin (1992) tutkimus osoitti, että vain 23 % amerikkalaisen yliopiston opettajista ilmoitti opiskelijapalautteen aiheuttaneen heidän opetuksessaan muutoksia. Silloinkin muutokset koskivat usein vain teknisiä seikkoja, kuten luentomonisteiden parantamisia, esitystekniikkaa ja harjoitustehtäviä. Yhdysvalloissa on sadoissa tutkimuksissa pyritty todentamaan myös ns. mielistelyhypoteesia (the lenience hypothesis). Siinä oletetaan, että ne opettajat, jotka noudattavat opetuksessaan lieviä standardeja, saavat oppilailtaan muita

16 16 parempia arvioita. Siis opettaja ikään kuin ostaa pisteensä. Muun muassa Chacko (1983) sekä Nimmer ja Stone (1991) ovat saanet tuloksia, jotka tukevat tätä hypoteesia. Vastakkaista mieltä ovat esimerkiksi Marsh (1987) sekä Theall ja Franklin (1991). Kaiken kaikkiaan tähän riippuvuussuhteeseen sisältyy niin monia väliintulevia muuttujia, ettei yksimielisyyttä tutkijoiden keskuudessa ole helppo saavuttaa. 6. Opiskelijoiden asenteita ja arvomaailmaa hyvin ymmärtävät opettajat (tai ainakin ne, jotka sanovat ymmärtävänsä ) saavat tästä palkintona korkeammat pisteet palautteissa (Hofman & Kremer 1980). 7. Monet opiskelija-arvioinnit sisältävät osioita, jotka ovat epäselviä, moniselitteisiä, subjektiivisesti asetettuja tai sellaisia, jotka eivät korreloi opetustilanteissa esiintyvän todellisen käyttäytymisen kanssa (Tagomori & Bishop 1995). 3.3 Opettajan ominaisuudet evaluaatiossa Laaja osa-alue opiskelija-arviointien merkitysten analysoinnissa koskee opettajan roolia ja hänen ominaisuuksiaan. Seuraavassa on luettelomaisesti ryhmitelty eräitä tällaisia ominaisuuksia ilman, että mainitaan lähdeviitteitä. Jokaiselle näistä tuloksista löytyy runsaasti tukea tai vastustusta alan tutkijoiden keskuudessa. virka-asema ja kokemustausta tunnettuus tieteellinen produktiivisuus persoonallisuus sukupuoli fyysinen attraktiivisuus vähemmistöryhmään kuuluminen viehätysvoima eli Dr. Fox -efekti Viimeksi mainittu selittävä tekijä vaatinee hieman lisäselvitystä. Monet amerikkalaiset tutkijat ovat olleet kiinnostuneita selvittämään, saako sellainen opettaja oppilailtaan korkeampia pisteitä, joka harrastaa opetuksessaan viihteellisyyttä ja korostettua ekspressiivisyyttä. Alkuperäisen Dr. Fox -tutkimuksen tekivät Naftulin et al. (1973). Siinä ammattinäyttelijä (Dr. Fox) piti näyttävän ja huippuinnostavan, mutta täysin sisältököyhän luennon, jolle opiskelijat antoivat varsin korkeat pisteet palautteissaan. Tästä on tehty johtopäätös, että tämän kaltainen karismaattinen luennoitsija viettelee kuulijat antamaan loistavia arvioita. Tätä tutkimusta ja siitä tehtyjä johtopäätöksiä on kuitenkin voimakkaasti kritisoitu (mm. Marsh 1987). Viime aikojen amerikkalaisessa alan tiedekirjallisuudessa hypoteesi saa vain vähän puoltajia. Abrami et al. (1982) on laatinut yhteenvedon opettajien viehätysvoimaa tai viettelemistaitoa (seductiveness) koskevista tutkimuksista ja toteaa, että yliopisto-opiskelijoiden arvioinnit ovat sensitiivisempiä ekspressiivisyydelle kuin luennon sisällölle. Tämä aiheuttaa menetelmällisiä vääristymiä alan arviointia koskevissa tutkimuksissa.

17 3.4 Opiskelijan ominaisuudet evaluaatiossa 17 Yhtä tärkeitä kuin opettajan ominaisuudet näyttävät tutkimusten mukaan olevan opiskelijan ominaisuudet. Tämä alue ei kuitenkaan ole kovin hyvin haravoitu tieteellisesti. Seuraavat selittävät tekijät ovat esiintyneet yleisimmin amerikkalaisissa tutkimuksissa: persoonalliset ominaisuudet kiinnostus oppiainetta kohtaan sukupuoli odotukset tunnetila ikä Näille tutkimuksille on ominaista sama ongelma kuin kaikille opiskelija-arviointeja koskeville. Mitään selkeää yhteistä selittävää ryvästä ei löydy. Väliintulevia muuttujia on liikaa.

18 18 4 NSSE-arviointimalli NSSE-arviointimallin ovat kehittäneet Indiana-Bloomingtonin yliopistossa professorit George D. Kuh ja C. Robert Pace. NSSE on alunperin luotu The Pew Charitable Trusts:in aloitteesta ja rahoittamana. Todettakoon tässä rahoitusmallissakin jo näkyvän se valtava ero, mikä esiintyy amerikkalaisen ja suomalaisen koulutuspolitiikan välillä. Pewin perheen Sun Oil -yrityksen varoilla on vuodesta 1948 lähtien pidetty yllä tuhansia organisaatioita ja projekteja. Esimerkiksi vuonna 2002 tämä säätiö lahjoitti yksinomaan koulutuksen ja kasvatuksen alueelle yli 20 milj. dollaria eli saman verran euroina. Silti muihin tarkoituksiin jäi vielä n.130 milj. dollaria vuodessa. NSSE-järjestelmää pitävät yllä hallinnollisesti kaksi Indianan yliopiston tutkimuslaitosta, University Center for Postsecondary Research and Planning ja Center for Survey Research. Ne ovat saaneet Pew-rahastolta NSSE projektia varten lahjoituksina 3.3 milj. dollaria. NSSE-malliin kuuluu mm. kaksi kyselylomaketta: a) The College Student Report b) College Student Experiences (CSEQ) Mallin tavoitteena on vuosittain kerätä amerikkalaisista korkeakouluista (universities & colleges) numerolliseen muotoon saatettua tietoa opiskelijoiden aktiviteeteista sekä oppimisen, persoonallisen kehittymisen että muilla alueilla. Survey-osiot edustavat pääasiassa hyvien käytänteiden (good practices) keräämistä. Tuloksilla halutaan mitata arvioita siitä, miten korkeakouluopiskelijat kuluttavat aikansa sekä mitä ja miten he hyötyvät opinnoistaan. Tällä projektilla halutaan yhdentää hyvät käytänteet ja oppilaitosten haluamat tulokset. Opiskelijoiden käyttäytymistä siis seurataan sekä luentosalien sisä- että ulkopuolella. Lomakkeilla kerätyt tulokset tulevat ensi sijassa opiskelijoiden, heidän vanhempiensa, korkeakoulujen neuvontahenkilöstön, opetuksen kehittämisyksiköiden sekä oppimisen tutkijoiden käyttöön. Indianan yliopisto on julkaissut 276 korkeakoulun oppilaan mielipiteitä kartoittaneen raportin vuonna 2000 (The NSSE Report, 2000). Raportti osoittaa monenlaisia eroavuuksia korkeakoulujen ja niiden koulutusalojen opiskelijoiden mielipiteiden välillä. Raportin julkaisemisen yhteydessä NSSEä osittain rahoittaneen, maailman suurimpiin säätiöihin kuuluvan The Carnegie Foundation for the Advancement of Teachingin presidentti Lee Schulman hehkutti: The development of NSSE is a first step toward opening the black box of higher education. Tällainen viittaus maahan syöksyneen lentokoneen mustaan laatikkoon osoittaa, miten huolestuneita amerikkalaisen yhteiskunnan päätök-

19 sentekijät ovat yliopistojensa tilasta. Perimmäisenä tarkoituksena on, että Yhdysvaltojen poliittinen johto saisi realistista tietoa maan korkeakoulutuksen tilasta mm. akkreditointia varten. Vaikka Suomessa tuskin kukaan vertaa maan yliopistolaitosta maahan törmänneeseen lentokoneeseen, niin kuitenkin meilläkin on jonkin verran putoiltu ilmakuoppiin. Tällöin monenlaiset kansalliset ja kansainväliset benchmarkingit antaisivat relevantteja vastauksia maamme koulutuspolitiikasta vastaaville tahoille niiden päättäessä siitä, onko Suomi edellä vai jäljessä tietyin koulutuksellisin kriteerein määritellyissä vertailuissa. Kansallinen NSSE-raportti ja projektiin osallistuneiden yliopistojen omat raportit houkuttelisivat vertailemaan niissä saatuja survey-tuloksia tässä Tampereen yliopiston koekyselyssä saatuihin. Olivathan kysymykset samoja. Se ei kuitenkaan ole tämän Nysse-projektimme tarkoitus. Poikkeavaa yleisestä, esim. suomalaisesta tavasta kerätä palautetta opiskelijoilta NSSE-mallissa on se, että osallistuvat korkeakoulut saavat maksusta käyttöönsä valmiit analyysit taulukoineen ja johtopäätöksineen, jopa vertailuja muihin korkeakouluihin. Monet analyysien ja raporttien tuloksista on nähtävissä internetissä. NSSE käyttää otantaa, jossa alle opiskelijan oppilaitoksen otos on 450 henkilöä, opiskelijalla otos on 700. Yli opiskelijan oppilaitokselta edellytetään 1000 hengen otosta. Otoksesta puolet on ensimmäisen vuoden opiskelijoita ja toinen puolet vanhempia. Kaikki ovat ns. undergraduate-opiskelijoita. NSSE projektiin osallistuminen oli maksullista. Osallistumismaksu oli 275 $, jonka lisäksi laskutettiin 2 $ opiskelijaa kohden. Projektiin on otettu vain rajallinen määrä korkeakouluja. Muut ovat jonossa odottamassa vuoroaan. Jos Tampereen yliopisto olisi liittynyt projektiin mukaan, sen kustannukset 700 opiskelijan otoksella olisivat olleet n euroa, mutta minimimaksuksi on kuitenkin määrätty euroa. Sähköisessä muodossa (web) tehtyjen kyselyjen hinnat ovat selvästi halvempia. Vuoteen 2003 mennessä kolmen vuoden toimintakauden aikana NSSE-mallia on käyttänyt yhteensä 600 korkeakoulua. Projektiin osallistumisen maksut ovat myös nousseet. NSSE:n maksullisuudesta ja rekisteröitymisestä johtuu, että Tampereen yliopisto ei voinut kopioida suoraan NSSE:n The College Student Report:in kyselomaketta. Siitä otettiin mukaan vain sellaisia osioita, joita käytetään myös monissa muissa yliopistoissa. NSSE:n toisen lomakkeen College Student Experiences Quastionnairen käytölle saimme Indianan yliopiston luvan. 19

20 20 5 Amerikkalainen palautemalli Tampereen yliopistossa Tampereen yliopiston OPLAA-projekti halusi empiirisesti kokeilla, miten David D. Dillin ehdottama amerikkalainen opiskelijaevaluaatio onnistuisi Suomessa. On oletettavaa, että Tampereen yliopistossa kerätty aineisto olisi yleistettävissä myös muihin monialaisiin yliopistoihin, siksi homogeninen maamme yliopistolaitos on. Vuonna 2001 kerättiin yliopiston opiskelijoilta 59 kysymystä käsittelevällä lomakkeella tietoja heidän suhtautumisestaan eräisiin opetusta ja oppimista koskeviin ongelmiin. Otos oli 418 opiskelijaa (mukaan ei otettu lääketieteellistä tiedekuntaa). Lomakkeen kysymykset oli muokattu sekä Indianan yliopiston että monien muiden amerikkalaisten yliopistojen käyttämistä lomakkeista. Opiskelijalomake on liitteenä 1. Opiskelijalomakkeen olennaiset kysymykset olivat: 1) Kuinka hyvin tämä kyselylomake mielestäsi suo mahdollisuuden antaa palautetta yliopisto-opetuksesta ja -oppimisesta? 2) Soveltuisiko kyselylomake käytettäväksi Tampereen yliopiston opetuksen kehittämisessä? 3) Mitä muuta palautelomakkeessa pitäisi kysyä? 4) Kehittämisehdotus tämän lomakkeen suhteen? 5) Merkitse?-merkki sellaisen kysymyksen viereen, joka ei mielestäsi sovi opiskelujärjestelmäämme. Kaksi ensimmäistä olivat tämän tutkimusprojektin ydinkysymyksiä. Lisäksi empiirinen aineisto antoi vastauksia moniin yliopistopedagogiikkaan liittyviin kysymyksiin, jotka kuitenkin jätetään tässä raportissa pääasiassa käsittelemättä. (Koko aineistoa säilytetään Tampereen yliopiston opetuksen kehittämisyksikössä.) Tässä käsitellään tiivistetysti kahdeksaan teemaan sisältyviä tutkimustuloksia. Niiden käsittelyssä on elaboroitu satoja riippuvuussuhteita erilaisin metodein. Testeinä käytettiin seuraavia: Pearsonin Khin neliö -testi, t-testi, Npar-testi ja Kruskal-Wallis-testi. Tärkeimpiä selittäviä variaabeleita on etsitty nimenomaan sellaisista taustamuuttujista kuin opiskelijan ikä, sukupuoli, tiedekunta, opintojen vaihe ja opiskelun kokopäiväisyys. Erityisen tarkasti analysoitiin näitä teemoja suhteessa vastaajien suhtautumiseen sekä NSSE-mallin soveltuvuuteen Tampereen yliopiston opetuksen kehittämisessä että yleensäkin sen mahdollisuuksiin antaa palautetta yliopisto-opettamisesta ja -opiskelusta (lomakkeen kysymykset 56 ja 57).