KOULUTUKSEN ITSEARVIOINNEISTA KOOTTU PALAUTE

Transkriptio

1 KOULUTUKSEN ITSEARVIOINNEISTA KOOTTU PALAUTE 1 PALAUTTEEN KERÄÄMINEN JA PALAUTEKYSELYYN VASTAAMINEN Koulutuksen itsearviointiin osallistujilta kerättiin palautetta Korppi-kyselyllä. Laitoksen itsearviointiiraportin palautumisen jälkeen kaikille arviointiin osallistujille lähetettiin sähköpostissa pyyntö palautteen antamiseen Korpissa ja kyselyn verkko-osoite. Näin pyrittiin saamaan arviointiryhmiin osallistuneiden palaute koko arviointiprosessista. Kyselylomake on liitteenä. Henkilöpalautteiden lisäksi yksiköt antoivat palautetta arviointiraporteissaan. Palautekyselyllä haluttiin saada tietoa itsearvioinnin kulusta ja sen hyödyistä yksikön koulutustoiminnan kehittämisessä. Lisäksi haluttiin tietää itsearviointiin osallistuneiden näkemys siitä, sovellettiinko arviointimallia sopivalla tavalla ja pidettiinkö ennalta toimitettua aineistoa hyödyllisenä pohjatietona arvioinnissa. Saadun palautteen avulla voidaan kehittää itsearviointia laadunhallinnan välineenä. Vastauksia kertyi mennessä yhteensä 92. Vastaajien lukumäärä laitoksittain vaihteli kahdesta kahteentoista vastaajaan, jolloin laitoskohtainen vastausprosentti oli pienimmillään 13,3, suurimmillaan 80, ja keskimäärin se oli 44 (14 laitosta, 15 arvioijaa laitoksella). Vastaajista 15 oli opiskelijoita (16 %). Jokaisen laitoksen arvioijat muodostivat kolme ryhmää, joilla jokaisella oli kolme arviointialuetta. Taulukosta 1 ilmenee vastaajien jakautuminen arviointiryhmiin. Ryhmästä 1 vastaajia on vähemmän kuin ryhmistä 2 ja 3. Taulukko 1. Vastaajat arviointiryhmittäin Ryhmä n % Johtaminen, strategia ja keskeiset tulokset Henkilöstö, henkilöstötulokset ja yhteiskunnalliset tulokset Kumppanuudet ja resurssit, prosessit ja opiskelijatulokset (7)

2 2 PALAUTEYHTEENVETO 2.1 Itsearviointiin valmistautuminen Vastaajista kahta lukuun ottamatta kaikki olivat tutustuneet ennalta jaettuun materiaaliin ennen arviointipäivää. Joillakin laitoksella jouduttiin sairastumisten vuoksi turvautumaan varahenkilöihin, joten aineistoihin tutustumattomat saattavat olla varahenkilöinä mukaan tulleita arvioijia. Vastaajista 83 % piti etukäteen toimitettua materiaalia hyödyllisenä arvioinnissa, 4 vastaajaa (5 %) oli täysin toista mieltä. On huomioitava, että yksiköt kokosivat arviointiryhmälleen myös paljon laitoksen ja tiedekunnan omaa materiaalia, kuten toiminta- ja taloussuunnitelmia, toimintakertomuksia, ohjaussuunnitelmia ja koulutusstrategioita, opiskelijapalautteiden yhteenvetoja ja työhyvinvointikyselyn tuloksia. Kysymyksessä ei yksilöity, mitä materiaalia tarkoitettiin. Itsearviointiraporttien mukaan lähes kaikissa yksiköissä ryhmät tapasivat kerran ennen varsinaista arviointipäivää, mikä ohjaajien mielestä on suositeltavaa itse arviointipäivän sujumiseksi aikataulussa. Joillakin laitoksilla laatuvastaava valmensi osallistujia, tai ryhmäläiset saivat puheenjohtajaltaan ohjeistusta sähköpostitse ennen varsinaista arviointipäivää. Palautteen mukaan runsaan etukäteismateriaalin hyödyntäminen onnistui paremmin, mikäli ryhmäläiset olivat valinneet aineistosta omaan aihealueeseensa soveltuvan osan jo etukäteen ryhmätapaamisissa ja yhteisöllisesti tutustuneet taustaaineistoon. 2.2 Itsearviointiin koottu materiaali Vastaajia pyydettiin arvioimaan myös omin sanoin etukäteen jaettua materiaalia, sen tarkoituksenmukaisuutta ja esitystapaa. Samassa vastauksessa oli mahdollista antaa sekä kiitosta että kehitettävää etukäteisaineistoon. Yhteensä 65 vastauksesta ruusuja tarjottiin 45:ssä, ja 36 vastaajaa löysi jaetusta aineistosta puutteita ja kehitettävää. Aineiston koettiin olleen hyödyllistä (10 mainintaa), tarkoituksenmukaista (12 mainintaa), selkeää ja konkreettista (5 mainintaa), perusteellista ja kattavaa (9 mainintaa) ja sitä koettiin olleen paljon. Erikseen mainittiin valmistelutilaisuuden tarpeellisuus ja sen hyöty (valmistelutilaisuuden diat jäivät ryhmien käyttöön, 3 mainintaa) valmistauduttaessa arviointipäivään. Tilaisuuden koettiin täsmentäneen, mistä arvioinnissa on kyse. Samoin annetut ohjeet keskustelutulosten kirjaamiseen auttoivat arvioijia konkretisoimaan löydöksiä. Vastaajat kommentoivat materiaalia mm näin: Soveltui hyvin tarkoitukseensa. Oli kattava. Materiaali oli selkeää ja sitä oli riittävästi Asiallista ja käyttökelpoista materiaalia 2 (7)

3 Materiaali oli sisällöllisesti laaja ja monipuolinen. Ilman ennakkovalmistautumista itsearviointikeskustelu olisi jäänyt mielestäni "laihaksi" eli taustamateriaali tarvitaan. Näin tehty itsearviointi peilautuu ja kytkeytyy johonkin. Osalla arvioijista oli ollut etukäteen jaetun tiiviin taulukkomateriaalin tulkinnassa vaikeuksia (7 mainintaa), osa olisi halunnut tiivistyksiä paljosta materiaalista (8 mainintaa), osalle vastaajista aineisto tuli perehtymisen kannalta liian myöhään (9 mainintaa) ja sekä taulukoita että mallikysymyksiä koettiin olleen liikaa (6 mainintaa). Neljä vastaajaa olisi toivonut lisää ja laajemman vastaajajoukon antamaa tietoa laadullisista kysymyksistä (Aarresaari-kysely). Vastaajien kommentteja alla: Materiaalia olisi voinut työstää pidemmälle. Nyt aika pitkälle raakadata '. Olisi kaivannut tiivistämistä/suodatusta Materiaali oli hyödyllinen, mutta edellytti työstöä Materiaali tuli aika myöhään, mutta oli hyödyllistä. Itsearviointiraporteissa tausta-aineistoa pidettiin erittäin hyvänä ja todettiin, että tilastomateriaalia tarvitaan jatkossakin toiminnan suunnittelun pohjaksi (5 mainitaa). Tilastomateriaalin kokoajien tavoitteena oli tarjota kattavasti yleisessä ja kaikkien käyttöön soveltuvassa muodossa olemassa olevista tietokannoista ja tehdyistä kyselyistä löytyvää tietoa kehittämistyön tueksi. Lähitulevaisuus näyttänee, onnistuuko tällaisen tiedon tuottaminen osana tietovarastohanketta. Lisäksi on pohdittava yhteisesti, mitkä nyt kerätyistä tiedoista ovat ensiarvoisen tärkeitä yksikön koulutustoiminnan kehittämiseksi ja missä muodossa tiedot esitetään. Tämä on mainittu mm. JY:n kauppakorkeakoulun itsearviointiraportissa kehittämishankkeena. 2.3 Lisämateriaalin tarve Lisämateriaalia toivottiin opiskelijapalautteesta (laadullista ja systemaattista, 7 mainintaa), opiskelijakadosta opiskeluvuoden funktiona (3 vastaajaa), yhteiskunnallisen vuorovaikutuksen toiminnasta (2 mainintaa) ja oman laitoksen tilanteesta verrattuna muiden yliopistojen vastaavaan laitokseen (4 mainintaa). Nyt aineistossa vertailukohteena olivat yliopistojen vastaavien koulutusalojen tiedot. Opetus- ja kulttuuriministeriön sekä Tilastokeskuksen tietokannat sisältävät tietoja vain yliopistoittain, koulutusaloittain ja tutkinnoittain, ei minkään yliopiston organisaatiorakenteen mukaan. Lisäksi kaivattiin tietoja valmistuneilta alumneilta, yhteiskunnallisesta vuorovaikutuksesta ja nyt esitettyjä tarkempia tilastoja henkilöstöstä. Jaetun materiaalin jatkotyöstämistä, tiivistämistä ja kuvaamista kuvioin toivoi 11 vastaajaa. Vastaajia oli yhteensä 35. Myös muiden kysymysten vastauksissa palattiin ennakkomateriaaliin ja tähdennettiin laadullisen materiaalin tärkeyttä tämänkaltaisessa arvioinnissa ja sitä toivottiin olevan enemmän. 3 (7)

4 2.4 Itsearviointiin valmistautuminen Itsearviointiin valmistautumisesta kommentoi 67 vastaajaa. Heistä 46 ilmoitti tutustuneensa etukäteen jaettuun materiaaliin ja pohtineensa asioita, joita halusi arvioinnissa ottaa esille. Lisäksi jotkut valmistautuivat materiaaliin tutustumisen lisäksi kirjaamalla ylös laitoksen vahvuuksia ja kehittämiskohteita (6 maininta). Ennen arviointia keskusteltiin kollegoiden kanssa (6 mainintaa), pienryhmissä (10 mainintaa), ja opiskelijat kokoontuivat keskuudessaan (3 mainintaa) pohtimaan arviointia. Kaksi vastaaja ilmoitti, että valmistautumiseen meni liikaa aikaa, eikä arviointi näy lainkaan työsuunnitelmassa. Ohjaajien näkemys on se, että arviointiin päästään nopeammin käsiksi arviointitilaisuudessa, mikäli siihen on hyvin valmistauduttu. Toisaalta liian tarkkaan jo etukäteen kirjatut asiat saattavat myös rajoittaa keskustelua. 2.5 Arviointiryhmän toiminta Vastaajat olivat tyytyväisiä arviointiryhmänsä toimintaan (91%, vastaajia 75). Loput vastaajista olisivat jotenkin muuttaneet toimintatapaa. Avoimeen kysymykseen ryhmän toiminnasta vastasi 47 arviointiin osallistunutta. Ryhmän toiminnan katsoi sujuneen hyvin, mukavasti, rennosti tai kannustavasti 14 vastaajaa, erittäin hyvin 5 vastaajaa ja vuorovaikutteisesti ja rakentavan rehellisesti yksi vastaaja. Kuusi vastaajaa kertoi kiireen tunnusta asioiden käsittelyssä, koska aihealueet olivat niin laajat ja materiaalia paljon. Yksi vastaaja kaipasi käytettyä systemaattisempaa toimintatapaa ja kolme vastaajaa vapaampaa keskustelua pienryhmässä. Ryhmätoimintaa kuvattiin mm. näin: Olin hyvin tyytyväinen. Alustaja oli valmistautunut tehtäväänsä, samaten ryhmäläiset olivat pohtineet omia näkemyksiään. Pysyimme aikataulussa. Tehokasta työskentelyä, kun jokainen oli valmistautunut hyvin omilla kysymyksillään ja vastauksillaan Meidän ryhmä toimi hyvin vuorovaikutteisesti ja sujuvasti Liian lyhyt aika käydä keskusteluja ja kirjata ne tiettyyn oikeaan muotoon Käsiteltävää oli todella paljon todella lyhyessä ajassa Keskustelu olisi voinut edetä vapaammin, eikä etukäteen laadittuun rakenteeseen olisi kannattanut pitäytyä niin tiukasti 2.6 Arviointipäivän kulku, ideoita päivän kehittämiseksi Useat vastaajat (39) pitivät päivän ohjelmaa hyvänä ja intensiivisenä ja järjestelyiltään toimivina. Eräs opiskelija kirjoitti vastaukseensa päivän olleen varsin onnistuneen ja saaneensa hyvin opiskelijan näkökulmaa keskusteluun mukaan. Opiskelijat pitivät päivää hyvin antoisana. Yhteinen keskustelu avarsi laitoksen toimintaa kokonaisvaltaisesti. Tämä näkemys tuotiin esille myös itsearviointiraporteissa. Vastaajia tähän kysymykseen oli 67, joista kaksi vastaaja piti iltapäivän lappusysteemiä tarpeettomana. Kolme vastaajaa oli sitä mieltä, että laitoksen omassa keskustelussa kehittämisideat olisi saatu tehokkaammin esille. Iltapäivän kiireen tunnusta arviointiryhmien yhteisessä keskustelussa 4 (7)

5 kommentoi 11 vastaajaa. Iltapäivän asioiden käsittelyyn toivottiin lisäksi napakampaa etenemistä, asioiden laajan esittelyn tilalle enemmän analysoivaa keskustelua (5 vastaajaa). Ideoita arviointipäivän kehittämiseen esitettiin mm. seuraavia: Jäin miettimään, voisiko valmistautumiseen liittää jonkinlaisen laadullisen kirjoitustehtävän, jossa arvioijat voisivat vaikka tarinanomaisesti kuvata laitoksen toimintakulttuuria eri osa-alueilla. Iltapäivän työskentelystä oli vähän puhti pois. On ymmärrettävää, että työskennellään yksi päivä (helpoin järjestää ajankäytöllisesti) mutta tuloksen kannalta kaksi peräkkäistä aamupäivää voisi olla joskus kokeilemisen arvoinen. Keskustelutilaisuudessa voimakkaimman ääni muodostuu usein lopulta ryhmän mielipiteeksi, joten tätä tasoittamaan voisi kehittää mekanismeja. Joku olisi voinut aloittaa päivän keräämällä kaikki kokoon ja pitämällä 3 min alustuksen ryhmähengen nostattamiseksi. 2.7 Itsearvioinnin vaikuttavuus ja hyöty Vastaajista yli puolet (51%, vastauksia 74) piti itsearviointia merkityksellisenä yksikön toiminnan kehittämiselle, lähes puolet ei osannut arvioida sen merkitystä tai piti sitä vähämerkityksellisenä. Tämä vastaus antaa viitteitä siihen, että itsearvioinnista olisi pitänyt tiedottaa vielä paremmin ja koko yliopistoyhteisölle, eikä olettaa, että tieto valuu esim. laatuvastaavien kautta laitoksille. Tähän pitää tulevissa arvioinneissa kiinnittää huomiota. Tarkemmin vastausten jakauma on taulukossa 2. Taulukko 2. Itsearvioinnin koettu merkitys yksikön toiminnalle n % Suuri merkitys 4 5 Melko suuri merkitys En osaa sanoa Vähäinen merkitys Ei merkinne mitään Kehittämiskohteiden löytyminen Vastaajat saivat avoimesti vastata kysymykseen kehittämiskohteiden löytymisestä ja siitä, miten niitä yksikössä lähdetään viemään eteenpäin. Vastauksia kertyi 64. Seitsemän vastaajan mukaan arvioinnissa ei löytynyt kehittämiskohteita, tai ne olivat yksikössä jo entuudestaan tiedossa. Yksiköt näyttävät itsearviointiraporttien mukaan olevan pedagogisessa kehittämisessä ja sen aktiivisuudessa eri vaiheessa. Joissakin kehittäminen ja yhteinen keskustelu ovat arkipäivää ja laitoksen toimintakulttuuria, eikä siksi itsearviointia koettu merkityksellisenä. Itsearvioinnin yksi tavoite toteutuu, mikäli 5 (7)

6 arvioinnin ja kehittämisen merkitys toiminnan suunnittelun pohjaksi otetaan käyttöön yhä useammilla laitoksilla (STAK). Vastaajista 47 ilmoitti kehittämiskohteita löydetyn. Yksitoista vastaajaa tiesi, että joko johtaja, johtoryhmä, opetuksenkehittämisryhmä tai laitoskokous on jo lähtenyt konkretisoimaan ja aikatauluttamaan löydettyjä kehittämiskohteita. Hyvänä pidettiin sitä, että jo aloitetuttukin kehittäminen tuli keskustelujen kautta isommalle joukolle näkyväksi ja se monipuolistui. Kehittämisresurssien puutteesta kommentoi kaksi vastaajaa. Vastaajat ilmaisivat näkemyksensä mm näin: Kehittämiskohteita löytyi useita, ja jälkipalaverissa niille mietittiin selkeitä toimenpiteitä. Itsearviointi tuotti käytännön työhön monipuolisesti kehittämisideoita Minusta tuntuu, että saimme tuotua päivänvaloon asioita, joita on jo pyritty hiljalleen kehittämään, mutta mikä ei ole vielä aiemmin tullut selväksi koko laitokselle. Nyt ne saivat lisää pontta ja vauhtia. Uskoisin, että päivän anti on se, että tulevaisuudessa yhteistyötä eri tasojen kanssa tehdään enemmän. Ei tämä arviointi tuottanut mitään uutta. Ainahan me kehitetään ilman tällaista itsearviointiakin. 2.9 Vahvuudet ja hyvät käytänteet Vastausten mukaan vahvuuksia ja hyviä käytänteitä tuotiin päivänvaloon runsaasti arviointikeskustelun aikana. Yksityiskohtaisemmin niitä on kirjattu itsearviointiraportteihin. Kyselyn vastauksissa (54 vastaajaa) otettiin esille myös se, että vahvuuksista on huolehdittava ja niiden eteen on tehtävä työtä tulevaisuudessakin. Usein vahvuudet nähtiin myös kehittämiskohteina. Yhden vastaajan mukaan vahvuudet eivät ole museotavaraa, koska maailma muuttuu ja yliopiston laitosten pitää olla muutoksessa mukana. Arviointikeskustelussa koettiin tullun kollektiivisesti tietoisemmaksi vahvuuksista ja myös heikkouksista. Pari vastaajaa koki arviointikeskustelun hyväksi perehdytykseksi laitoksen toimintaan, ja se auttoi näkemään oman laitoksen vahvuudet perusteluineen. Keskustelun vahvuuksista ja niiden näkyväksi tekemisen koettiin nostaneen henkilökunnan itsetuntoa ja motivaatiota sekä lähentäneen henkilökuntaa ja opiskelijoita Itsearvioinnin hyöty yksikölle Itsearviointia pidettiin hyvänä tilannekatsauksena laitoksen toiminnasta (6 vastaajaa, yhteensä vastauksia 64) ja sen tärkeimmäksi anniksi koettiin yhteinen ja asiatietoihin pohjautuva keskustelu, joka lisäsi yhteisöllisyyttä ja laajensi osallistujien tietämystä laitoksen asioista (21 mainintaa). Yhdeltä vastaajalta itsearviointi sai kritiikkiä siihen käytetyn resurssimäärän vuoksi. Vastaajat kuvasivat itsearvioinnin hyötyä mm. näin: Avoin keskustelu asioista. Mukana keskustelussa oli monipuolisesti väkeä eri henkilöstöryhmistä ja opiskelijoista. Pinnalle nousi asioita, jotka ovat olleet monella mielessä, mutta joista ei ole yleisesti keskusteltu laitoksella. 6 (7)

7 Itsearviointi lisäsi yhteisöllisyyttä, yhteisvastuuta kehittämisestä. Toi tilastoaineistojen käytön osaksi laitoksen toimintaa. Strategiset kärjet kirkastuivat. Saman pöydän ääressä istuivat niin opetus-, tutkimus-, hallintohenkilökunta kuin opiskelijatkin. Tällainen on melko harvinaista vaikka samassa yksikössä toimintaan. Ainakin me mukana olleet näimme omaa laitosta laajasta perspektiivistä ja ymmärsin myös asioiden kompleksisuutta aiempaa paremmin. Systemaattinen tilanteen tarkastelu luo vankkaa pohjaa kehittämistyölle ja laadun parantamiselle laitoksen toiminnassa. Viimeisessä vastauksessa on tärkeä asia: itsearvioinnista on hyvä sen toteuttamisen ja raportoinnin jälkeen keskustella laitoksella laajemminkin Itsearvioinnissa esille nousseiden kehittämiskohteiden seuranta Vastauksia tähän kysymykseen annettiin 51. Lähes kaikki vastaajat pitävät seurantaa ensiarvoisen tärkeänä (47). Uusinta-arviointia puolen vuoden tai vuoden päästä ehdotti 15 vastaajaa. Seurantaa johtoryhmässä (5), OKR:ssä (6), nyt muodostetuissa arviointiryhmissä (3) tai vuorovaikutteisesti ja yhteisöllisesti laitoskokouksessa (9) pidettiin tärkeänä. Kaksi vastaajaa mainitsi seurannan kuuluvan johtajalle. Opiskelijoille tiedottamista seurannasta piti tärkeänä kolme vastaajaa. Yleensäkin tiedottamista kehittämistoimien kulusta pitivät lähes kaikki vastaajat tärkeänä. Tiedotuskanaviksi esitettiin intraa, laitoskokouksia ja laitoksen kehittämispäiviä. Seurannan tärkeyttä korostettiin mm. näillä sanoin: Säännölliset tilannekatsaukset voisivat olla hyviä ja näin saataisiin muukin laitoksen väki kiinnitettyä kehittämistyöhön paremmin. säännöllisyys itsearvioinnin toteuttamisessa. Huomio asioiden dokumentointiin ja "kehittämisen ilmapiirin" lujittaminen Laitoksen omissa kehittämispäivissä tulisi käydä läpi viimeisimmän itsearvioinnin raportti ja tarkistaa onko kehittämiskohteita jäänyt toteuttamatta. Aktiivisesti ja vuorovaikutteisesti. Yksittäisenä toimena arviointi ei ole hirvittävän antoisa. 7 (7)