Opintojen ohjauksen kokonaisuuden arvioiminen yliopistossa käytännöllisiä ja menetelmällisiä haasteita Sakari Saukkonen Koulutuksen tutkimuslaitos Jyväskylän yliopisto
Arviointi ja arvokas toiminta g Arvioinnissa punnitaan arvo g Missä määrin arvo on jo olemassa, etukäteen määritettynä? g Miten arvo muuttuu arvioinnin myötä? g Esimerkiksi: olisiko mahdollista, että opintojen ohjauksen kehittäminen johtaisi arviointievidenssin myötä ohjaustoimintojen supistamiseen?
Arvioinnin perusidea g Oikeastaan varsin yksinkertaista: tarvitaan seurantatietoa arvioitavasta asiasta, minkä jälkeen asiaa voidaan arvioida. g Perusidea pätee niin taloudellisiin kuin pehmeämpiin arvioitaviin asioihin. g Toisaalta esimerkiksi ihmisten mielipiteiden tai kokemusten kysely, jossa muistellaan mitä on tapahtunut tai mitä on kokenut, on luotettavuudeltaan varsin ohutta tutkimusta.
Ohjauksen ulottuvuudet ja arviointi Ohjauksen ulottuvuudet Vahvuudet Kehittämistarpeet Analyysi ja arviointi Viestintä ja sitoutuminen Toiminta ja jatkuva oppiminen Visiot, strategiat, kehittämistavoitteet Taustasuunnittelu I Ohjausta koskeva päätöksen teko II Ohjausjärjestelyt Poliittinen ulottuvuus Kontekstuaalinen ulottuvuus Organisaatioulottuvuus Bottom up Uudistava toiminta Vastuu-ulottuvuus Joustava toiminta Työnjaollinen ulottuvuus Asiakkaalle näkyvät palvelut III Näkyvät ohjauspalvelut Sisällöllinen ulottuvuus Menetelmällinen ulottuvuus Top down Palautteen pohjalta tarkennettu toiminta (Nykänen, Karjalainen, Vuorinen & Pöyliö ; ks. Kasurinen & Vuorinen 2003; Kasurinen 2004)
Basic framework for evaluating the effectiveness of interventions (CRWG 2006) g INPUTS PROCESSES OUTCOMES g Inputs are the resources that are available to help clients change (i.e., pursue the outcomes). g Processes are the mechanisms that are involved in achieving the outcomes. g Outcomes are the changes in service recipients (clients), i.e., the results of the inputs enacting the processes.
Kandan mallin käytön periaatteita g g The three elements can be thought of as related in a linear way, but the relationship is not strictly linear. Inputs feed processes. Processes result in outcomes. BUT outcomes are also influenced by the inputs available. AND the nature of the inputs (especially the competencies of the staff) influence the process that can be enacted. One difficulty in using an Inputs Processes Outcomes model, is deciding where to put the outputs. Outputs usually are things like: quality of service, client flow, scope of services, types of client problems, etc. If we include outputs as outcomes they get confused with indicators of client change. Therefore, we suggest putting them in Processes as they are not really indicators of client change, but indicators that appropriate processes have been followed.
Inputs mitäarvioidaan panoksina/voimavaroina g g Inputs Processes Outcomes Resources available: staff, number of staff, level of training, type of training, funding & budget (funding level) service guidelines agency mandate facilities infrastructure community resources
Processes mitä arvioidaan toimenpiteinä/prosesseina g Inputs Processes Outcomes g Activities and process that link to outputs 1. Generic interventions Working alliance, microskills, etc. 2. Specific interventions Interventions used by service providers Skills or strategies used by service providers Home practice completed by clients Programs offered by agency Involvement by 3rd parties Quality of service indicators Stakeholder satisfaction
Outcomes mitä arvioidaan ohjauksen tuloksena g Inputs Processes Outcomes g Indicators of client change 1. Learning outcomes g Knowledge and skills that can be linked directly to the program or intervention being used 2. Personal attribute outcomes g Changes in attitudes, g Intrapersonal variables such as self-esteem, motivation, etc.), 3. Impact outcomes g Impact that the learning outcomes or the personal attribute outcomes have on the client s life, such as employment status, enrolled in training, etc. g Social and relational impact g Economic impact
Kanadan mallin arviointia g Lähtökohtana on asiakasprosessi ja yksilökeskeisyys g Tällöin voi kysyä, tulevatko kaikki osatekijät kokonaisuudessa huomioiduksi ja g jääkö jotain oleellista arvioimatta ohjauksen tuloksena? g Millä tavalla arviointikohteet tulisi muotoilla toisin, jos lähtökohtana olisi yhteiskunnallinen tai organisaation konteksti? g Esimerkiksi: mitä tuloksia ohjauksella voi olla ohjausta tarjoavalle organisaatiolle (joka on usein koulutusorganisaatio)? Voisiko tulos yliopistossa olla esim. laadullisesti parantunut asiantuntijuus?
Miten ja millaista aineistoa tulisi kerätä? g Poikkileikkausaineistot ja pitkittäisaineistot g Surveyt, tapaustutkimukset g Lomakkeet, haastattelut, osallisuus g Toimintatutkimuksen mahdollisuudet kehittävä työntutkimus g Pysyvä seuranta,- palaute ja arviointijärjetelmä -> tietojärjestelmien integroiminen: esimerkiksi hopseista ja portfolioista saatava palautetieto, henkilöstön työajan seuranta suhteessa opetuksen ja ohjauksen laatuun ja tulokseen
Kuinka siis rakentaa selkeä ja ymmärrettävä arviointityökalu/-käytänteet? g Opetuksen ja ohjauksen inputit usein samoja tuloksiakaan ei voi helposti erottaa g Uraohjauksen (erillis)palvelun input helpompi erottaa entä outcome? g Lienee hyväksyttävä, että opintojen ohjausta ei voida tarkkarajaisesti erottaa yliopiston kokonaistoiminnasta g Siksi on tyydyttävä yhdessä henkilöstön kanssa sovittuihin kriteereihin, joilla ohjaus määritetään osana kokonaisuutta g Esimerkiksi näkyvissä palveluissa työ voi olla puhdasta ohjaustyötä, esimerkiksi opintoneuvontaa asiakaspalvelussa tai työssä voi olla ohjauksen ulottuvuus, jolloin on esimerkiksi arvioitavissa mikä osa työajasta kuluu ohjaukseen.
Arviointityökalu 2 g Arvioinnin ristiriita on siinä, että yhtäältä olisi arvioitava organisaation toimintaa kokonaisuudessaan, jotta keskinäisriippuvuudet ja vaikutukset voitaisiin ottaa huomioon, mutta toisaalta arviointi on selkeämpää ja tarkempaa, kun huomioidaan vain osa kokonaisuudesta g Opintojen ohjaus, opiskelun ohjaus ja uraohjaus tulevat vain osittain katetuiksi niinä toimintoina tai ammattikäytäntöinä, jotka on suoranaisesti nimetty ohjaukseksi tai ohjaajan tekemäksi työksi.
Akateeminen pielavetinen? g Arviointiin on perusteltua lähteä kokonaisuuden kautta (ohjauksen ulottuvuudet ja arviointi -kuvio) g Toisaalta jotta arviointi olisi käytännössä toteutettavissa, tarvitaan Kanadan mallin mukaista operationaalistamista ja toimintakokonaisuuden pelkistämistä g Näiden kahden ristikkäisellä soveltamisella voi pyrkiä yhtä aikaa niin täsmällisyyteen, konkreettisuuteen, kattavuuteen kuin perusteltavuuteen g Onko näin rakennettu väline ymmärrettävä?
Jäyhät kiitokset pitkämielisyydestä Yhteystiedot: Sakari Saukkonen Koulutuksen tutkimuslaitos Jyväskylän yliopisto sakari.saukkonen@ktl.jyu.fi