MIHIN SUUNTAAN ARVIOINTI KEHITTYY MAAILMALLA? Didaktiikan teemapäivä, 14.11.2018, Turun yliopisto Petri Uusikylä, Suomen arviointiyhdistys
Oletko valmis kohtaamaan VUCA-maailman?. joka on: VOLATILE COMPLEX UNCERTAIN AMBIGUOUS
Radej 2015
Muuttunut toimintaympäristö haastaa perinteiset arviointimallit On laskettu,että, ihmiskunta luo joka 3. minuutti saman määrän dokumentoitua dataa tai tietoa kuin aikojen alusta vuoden 2003 loppuun saakka. Vuonna 2011 tuotettiin digitaalisena 99 % kaikesta syntyvästä datasta. (VM 2017) Turbulenssi, epäjatkuvuudet ja ennustamisen vaikeudet Kompleksisuuden ja keskinäisriippuvuuden kasvu Totuuden jälkeinen aika (disinformaatio) Informaatiotulva (overload) Digitalisaatio, big data ja sen tarjoamat aineistot ja analyysimahdollisuudet, lohkoketjuteknologia Reaaliaikaisuuden vaade Siilotutkimuksen ja -hallinnon paralyysi. Holistinen ja systeeminen lähestymistapa Verkostotalous, ekosysteemit, globaalit verkostot Uudet sosiaaliset ja kulttuuriset sidokset
STAATTINEN ULKOINEN MONITO- ROINTI AUDITOINTI KONSUL- TOINTI TARKASTUS ARVIOINTI LAATU TILIVELVOLLISUUS OPPIMINEN KEHITTÄMINEN KOKEILU- KULTTUURI SISÄINEN DYNAAMINEN
VM 2017
7
ei ehkä rikki, mutta laukaukset menevät hieman ohi J Inputs Outputs Activities Impact
Arviointitoiminta on kokenut viimeisten vuosien aikana täydellisen muodonmuutoksen Vanha paradigma Lineaarinen tulkinta ja kausaaliselittäminen Top-down -arviointiprosessi Kohteestaan riippumaton arvioitsija Vahva paino dokumentoinnissa ja raportoinnissa Mittaamisvimma Tulosten näennäisobjektiivisuus Uusi paradigma Ei-kausaalinen tulkinta Systeeminen arviointiprosessi Arvioitsija osallisena (coevaluation and learning) Paino oppimisessa ja kehittämisessä Tulkinta ja ymmärtäminen Yhteinen näkemys ja merkityksellisyys
ELEMENTS TRADITIONAL PROGRAMME MODEL SYSTEMS MODEL Intervention Logic Linear Non-linear Idea on results Predetermined and fixed Emerging and changing End product Sum of the actions Product of interactions Key actors Defined stakeholders Nodes of the network Project manager Controller and coordinator Enabler Outcomes As defined in the project plan Real-life changes and outcomes Coordination mechanism Compliance, rules Learning, trust Success story Achieving results Understanding patterns
Perinteinen vs. kehittävä arviointi
Arvioinnin uudet asetelmat
Systeemidynaaminen mallinnus R8 Wider sustainability New sustainability-based business Application in education and entertainment End user applications R7 Education and entertainment Access to environmental data Potential business ecosystem actors New business actors Business ecosystem actors R5 Business ecosystem Environmental awareness Increase in environmental awareness Potential for environmental awareness R3 User-producers New user producers Potential user-producers Understanding of business potential Demand through brand Demand for sustainability services Potential development actors New developers Development actors B2 Data quality R1 Development actors Brand image of developers R2 Brand image as pioneer Usefulness of platform Technological platform performance Further development needs - - B1 Platform development R6 User-producers Platform development Availability of data R4 Awareness of open access Opening of data Free and open public data Closed data (Hyytinen et al. 2014)
Mitkä tekijät korostuvat tulevaisuuden arvioinneissa? Systeeminen arviointi (vrt. kompleksisuus) Jatkuva arviointi Reaaliaikainen arviointi Muutoksen teoriat (Theory of change) Dialogisuus ja osallisuus Big data aineistojen käyttö Julkisen ja yksityisen sektorin rajapinnat (PPP) ja hybridiorganisaatiot Kehittävän arvioinnin näkökulmat Vaikuttavuusnäkökulma Erityisesti korkeakoulujen arvioinnissa: Riskiperusteinen arviointi (mittaristot ja dashboardit) Sisäinen laadunvarmennus vs. ulkoinen laatu Kokonaisvaltainen laatukulttuuri Personalisation/tailor-made evaluation
Kiitos mielenkiinnostanne!