OPPIMISEN ARVIOINNIN KANSALLINEN KONFERENSSI Helsinki 10.4.2017 Najat Ouakrim-Soivio (Tutkijatohtori/ HY) Opettajan arviointitaitojen kehittäminen
PUHEENVUORON KESKEISET SISÄLLÖT I Arvioinnin peruskäsitteistä II Arviointitiedoista ja taidoista arviointiajatteluun Oppimiskäsityksen ja arvioinnin yhteys opetussuunnitelmassa Mitä siitä seuraa? Tavoitteiden arviointi opetussuunnitelmaperusteissa. Arvioinnin erilaiset tehtävät: oppimisen ja osaamisen arviointi III Koulun arviointikulttuurin kehittäminen IV Lopuksi Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 10.4.2017 2
KESKEISIÄ KÄSITTEITÄ Arviointi = Arviointi on kaikkea sitä toimintaa, jonka perusteella syntyy arvottavia johtopäätöksiä. Asetettujen tavoitteiden ja saavutettujen tulosten välistä vertailua. Arvostelu = YTL:n käyttämä termi arvosanan antamiseen liittyvästä arviointitoiminnasta. Arviointipalautteen antaminen= Tosiasioita ja kuvausta siitä, missä ja miten oppilas tai opiskelija on suoriutunut suhteessa asetettuihin tavoitteisiin. Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 10.4.2017 3
OPETTAJIEN ARVIOINTITAIDOT Ei yhtenäistä kuvaa opettajien arvioititaidoista. Toistaiseksi vain vähän tutkittu Suomessa (esim. Mattila 2010). Opettajakoulutuslaitokset poikkeavat suuresti toisistaan siinä, kuinka paljon ja missä yhteydessä arvioinnista opetetaan (Jakku-Sihvonen 2002, Atjonen 2017). -> Kerrannaisvaikutus esim. sen suhteen, missä määrin opettajien täydennyskoulutusta tarjotaan ja miten siihen hakeudutaan. Oppimiskäsitys muuttuu entä arviointi? Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 10.4.2017 4
OPETTAJAT ARVIOINTITYÖN ASIANTUNTIJAT Arviointi on aina epäluotettavaa ja subjektiivista, mutta silti arviointityössä pyrittävä objektiiviseen arviointiin. Koulumenestystä ja siinä kehittymistä, erilaisia koulutukseen liittyviä filosofioita ja ristiriitoja on jo teknisestikin vaikea mitata, koska opettajat ovat työssään kaksinaisroolissa opettajana ja arvioijana (Cross & Frary 1999, 53). Opettajien arviointitiedot ja taidot esimerkiksi eri arviointimenetelmistä ja niiden käyttämisestä vaihtelivat suuresti (Phye 1997, 35-40). Kouluissa arviointityötä tekevät opettajat ovat arviointiajattelussaan ja -toiminnassaan erilaisissa ammatillisen kasvun vaiheissa (Hargreaves 2000, 151). Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 10.4.2017 5
ARVIOINTITIEDOISTA JA TAIDOISTA ARVIOINTIAJATTELUUN ARVIOINTIAJATTELU MITÄ? MIKSI? MITEN? MILLOIN? ARVIOINTITIEDOT JA - TAIDOT ARVIOINTIKULTTUURI ARVOT, NORMIT, TOIMINTATAVAT JA YHTEISTEN PELISÄÄNTÖJEN LUOMINEN. Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 10.4.2017 6
OPPIMISKÄSITYS JA ARVIOINTI
ARVIOINNIN KESKEISIÄ PERIAATTEITA Arviointia ja oppimista ei voi erottaa toisistaan. Arviointi on aina kontekstisidonnaista. Arviointia ei voi erottaa oppimiskäsityksestä (Jakku- Sihvonen 2001; Atjonen 2007) Oppiminen ja osaaminen Arviointi Opettaminen ja ohjaaminen 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 8
Oppimiskäsitys Miten? Tavoitteet Mitä? ARVIOINNIN KIVIJALAT- OPPIMISKÄSITYS JA TAVOITTEET
Oppimiskäsitys Arvioinnin periaatteet Esimerkki oppimiskäsityksen yhteydestä arviointiin. Empiristinen oppimiskäsitys: Oppimisen lähtökohtana ajatus tiedon staattisuudesta. Tieto pysyvää ja oppiminen tasaista. Yksilöiden kyvyt pysyviä, testein mitattavia ja arvioitavia. Arviointi kohdistuu, kuinka hyvin ja täsmällisesti opiskelija pystyy toistamaan opettajan tarjoamaa tietoa. Behavioristinen oppimiskäsitys: Oppiminen käyttäytymisen muutosta. Kognitiivisessa oppimiskäsitys: Oppiminen riippuu oppijan aikaisemmista tiedoista, metakognitiivisista taidoista, omasta halusta ponnistella ja hänen käyttämistään oppimisstrategioista. Oppijan suoritusten mittaaminen. Arvioinnin ja siinä numeroarvostelun asema on korostunut. Arvioitin kohdistuu tiedon prosessointiin, oppijan kykyyn analysoida ja soveltaa tietoa sekä oppimisstrategioiden valintaan ja käyttöön. Arviointi kohdistuu tietojen ja taitojen arviointiin, ei esimerkiksi työskentelyyn. Oppimistulos arvioidaan vertaamalla lopputuotosta lähtötilanteeseen. Arvioinnissa kiinnitettään huomiota oppijan ongelmaratkaisutaitoihin ja kykyyn ymmärtää oppimiaan tietoja ja taitoja. Konstruktivistisessa oppimiskäsitys: Oppiminen yhteisöllistä ja sosiaaliseen vuorovaikutukseen perustuva prosessi. Oppijan omien kokemusten ja oman toiminnan arviointi keskeisiä. Oppijan oma reflektointi ja itsearviointi on tärkeää ja niiden merkitystä korostetaan osana arviointia. Oppijalähtöinen eli autenttinen oppimiskäsitys: Korostaa aktiivisia ja kriittisiä ajattelu- ja tiedonhankintataitoja sekä tiedon soveltamistaitoja. 10.4.2017 Suoritusarviointi korostaa yksilön persoonallista kasvua, kehittymistä ja itsearviointitaitojen kehittämistä arvioinnin avulla. Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi Arvioidaan oppijan kykyä rakentaa tietoja ja taitoja todellisista elämästä, autenttisista tilanteista tai oppijan ympäristöstä käsin. 10
ITSEARVIOINTITAIDOT Oppilaan tai opiskelijan itsearviointitaidot voidaan jakaa kolmeen osaan: reflektioon, itsearviointiin ja metakognitioon. Reflektiossa opiskelija tarkkailee ja omia tunteitaan, ajatuksiaan, toimintatapojaan ja oppimistaan. Itsearviointi on edellä kuvattuun reflektioon perustuvaa oman toiminnan jäsentynyttä arviointia. Metakognitiolla tarkoitetaan muun muassa tarkkailun ja arvioinnin perusteella tapahtuvaa oman kognitiivisen toiminnan ymmärtämistä (Patrikainen 1999, 154; Kasanen 2003, 26). 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi Itsearviointi Reflektio Omien tunteiden, ajatusten ja oppimisen tarkkailua. Oman toiminnan jäsentynyttä arviointia. Metakognitio Reflektion ja itsearvioinnin perusteella tapahtuvaa kognitiivista toiminnan ymmärtämistä. 11
ITSEARVIOINTITAIDOT Itsearvioinnin kytkemistä oppilaan oppimisen arviointiin pidetään tehokkaana, sillä se lisää oppilaan tai opiskelijan tietoisuutta esimerkiksi arvioinnin tavoitteista ja kriteereistä (Keurulainen 2013, 56). Mikäli oppilas ei ymmärrä itsearvioinnin tavoitetta ja tarkoitusta tai hänellä ei ole vielä kykyä reflektoida tai arvioida omaa toimintaansa, itsearvioinnit saattavat vaikuttaa kielteisesti minäkuvaan ja itsetunnon kehittymiseen. Oppimisen arvioinnin, näin myös itsearviointien, täytyy kohdistua ensisijaisesti toimintaan, ei henkilöön, ja sen tulee vahvistaa oppimisen edistymistä. (Ouakrim-Soivio ym. 2015.) Itsearvioinneissa lapset käyttävät sitä tietoa, mitä heillä on omista ja toisten aiemmista suorituksista (Stipek & McIver 1989, 523 537). Tutkimuksella on myös osoitettu, että lasten itsearvioinnit tulevat realistisemmiksi iän myötä (Marsh, Craven & Debus 1998, 1030). 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 12
VERTAISARVIOINTI Arvioinnin suorittajat edustavat arvioitavan kaltaista kokemusta. Arviointipalautetta annetaan osana oppimisprosessia. Vertaisarvioinnin merkitys kasvanut sitä mukaa, kun on otettu käyttöön erilaisia tapoja toteuttaa ryhmätyöskentelyn arviointia tai työskentelylle asetettujen tavoitteiden arviointia. Vertaisarvioinnin tavoitteena on esimerkiksi: - tukea yksittäisen opiskelijan sitoutumista yhteisesti asetettuihin tavoitteisiin ja työskentelyyn, - ohjata kantamaan vastuuta sekä omasta että muiden oppimisesta, työskentelystä ja työskentelyn loppuunsaattamisesta. Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 10.4.2017 13
OPSIN PERUSTEISSA (2014; 2015) EI OLE YHTÄ OPPIMISKÄSITYSTÄ TAVOITTEET OPPIMISKÄSITYS TAVOITTEET ARVIOINNIN TEHTÄVÄT ARVIOINNIN AJANKOHTA ARVIOINTIMENETELMÄT ARVIOINTI TOTEUTUS 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 14
MONIPUOLINEN ARVIOINTI = Monta eri kertaa, monella eri tavalla + tarkoituksenmukaisin arviointikeinoin. EDISTYMISEN ARVIOINTI = Laadullista ja kuvailevaa, sanallista eli suullista tai kirjallista. RAKENTAVA ARVIOINTIPALAUTE= Sisältää tosiasioita ja kuvausta, ei mielipiteitä. Kohdistuu toimintaan (tavoitteisiin) ei henkilöön. Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 10.4.2017 15
PALAUTTEEN MERKITYS OPPIMISPROSESSISSA JA SEN OHJAAMISESSA Toiminnan kehittäminen palautteen pohjalta. Miksi onnistuttu tai mitä korjattavaa tai parannettavaa, -> Virheiden avulla mahdollisuus oppia. Palautteen oltava yksiselitteistä, selkeää ja annettava mahdollisimman nopeasti. -> Ei liian yleispätevää tai mitään sanomatonta. -> Henkilökohtainen palaute parempi kuin julkisesti annettu, erityisesti korjaava palaute. Palautteeseen kuuluu dialogi, sillä myös oppilaalla/ opiskelijalla voi olla ehdotus suorituksentai toiminnan korjaamiseksi. Palaute perustuu tosiasioihin ja on kuvausta, ei mielipiteitä. -> Perustelut myös kannustavalle palautteelle. Lähde: Marja Olsonen blogi (http://blogit.jamk.fi/kajaani/tag/arviointi/) 16 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi
TAVOITTEIDEN ASETTAMINEN YHDESSÄ OPPILAIDEN KANSSA Edelliset tavoitteet ja niiden saavuttaminen Täytyy saavuttaa ennen seuraavien tavoitteiden asettamista Uusien tavoitteiden asettaminen 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 17
POPSin (2014) TAVOITTEET JA ARVIOINTI Historian opetuksen tavoitteena on Sisältöalueet Arvioinnin kohteet oppiaineessa Arvosanan kahdeksan osaaminen Tiedon hankkiminen menneisyydestä T2 aktivoida oppilasta hankkimaan historiallista tietoa sekä arvioimaan tiedonlähteiden luotettavuutta S1 S6 Historiatiedon hankkiminen Oppilas osaa etsiä tietoa erilaisista historian tiedonlähteistä ja havaitsee niiden luotettavuudessa eroja. T3 auttaa oppilasta ymmärtämään, että historiallista tietoa voidaan tulkita eri tavoin S1 S6 Lähteiden tulkitseminen Oppilas osaa lukea ja tulkita erilaisia lähteitä. 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 18
LOPSin (2015) TAVOITTEET JA ARVIOINTI HISTORIAN (HI 1) Kurssin arviointi perustuu jatkuvaan ja monipuoliseen osaamisen näyttöön sekä opiskelijan kykyyn soveltaa opittua käytännössä, kuten taitoon käyttää historiallista tietoa perustellun mielipiteen muodostamisen välineenä ja valmiuksiin arvioida kriittisesti historian tulkintoja ja käyttöä. VS. Esim. fysiikka, biologia, maantiede: Arviointi kohdistuu fysiikan yleisten tavoitteiden saavuttamiseen kurssikohtaisia tavoitteita ja keskeisiä sisältöjä painottaen. Oppimisprosessin aikana annettu arviointi ja palaute tukevat opiskelijaa kehittämään ja tiedostamaan fysiikan osaamistaan. Kurssin arvosanan antaminen perustuu monipuoliseen näyttöön ja opiskelijan käsitteellisten ja menetelmällisten tietojen ja taitojen havainnointiin. Fysiikan tietoja ja niiden soveltamista voidaan osoittaa eri tavoin 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 19
Andersonin ja Krathwohlin taksonomia (2001) KOGNITIIVSEN PPROSESSIN ULOTTUVUUS TIEDON ULOTTUVUUS 1. MUISTAA - Edeltää tunnistaminen. 2. YMMÄRTÄÄ - Tulkita, havainnollistaa, luokitella, summata, päätellä, vertailla ja selittää. 3. SOVELTAA - Tiedon soveltaminen käytäntöön esim. harjoitustehtävässä. - Tiedon käyttöön otto. 4. ANALYSOIDA - Erotella tietoa+ jäsentää / järjestää tietoa uudelleen + liittää tietoa uudelleen/uusiin yhteyksiin. - Faktan erottaminen mielipiteestä, syiden ja seurausten yhdistäminen tai oleellisen tiedon erottaminen epäoleellisesta. 5. ARVIOIDA Edellyttää päättelyä, joka perustuu annettuihin kriteereihin. - Arviointiin kuuluu asian tarkastaminen ja asioiden kriittinen tarkastelu. 6. LUODA -Erilaisten tiedon elementtien yhdistäminen toisiinsa johdonmukaisesti ja toimivalla tavalla. - Liitetään aikaansaamiseen, suunnitteluun ja tuottamiseen. - Edellyttää kognitiivisena prosessina kehittämistä esim. ilmiön, hypoteesin tai jo olemassa olevan kriteerin uudenlaista tarkastelua. A. FAKTATIETO (Yksittäiset asiat) B. KÄSITETIETO (Mitä? Tiedon kokonaisuudet) C. MENETELMÄTIETO (Miten? Taidot, tietojen prosessointi) D. METAKOGNITIIVINEN TIETO (Oman toiminnan, tietojen ja ajattelun arviointia) 10.4.2017 20
Tiedot Faktatieto: yksittäiset faktat, kuten vuosiluvut tai henkilöiden nimet Käsitetieto: oppiaineelle tyypilliset käsitteet, esimerkiksi ajanjaksot Taidot Menetelmätieto: oppiaineelle tyypilliset menetelmät, kuten dokumentinlukutaito Metakognitiivinen tieto: taito tarkastella omaa oppimista, kuten muistisäännöt tai tietoa, mitä ei vielä osaa TAVOITTEET = KUVAAVAT AIOTTUA LOPPUTULOSTA, EIVÄT OLE SISÄLTÖJÄ! Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 10.4.2017 21
MUISTAA Tunnistaa, muistaa ja palauttaa mieleen YMMÄRTÄÄ Tulkitsee, luokittelee, antaa esimerkkejä, tekee yhteenvetoja, päättelee, vertailee, perustelee SOVELTAA Käyttää ja soveltaa menetelmiä ANALYSOIDA Erottaa, järjestää, jäsentää, löytää esim. piilomerkityksiä. ARVIOIDA Tarkistaa, arvioi, arvostelee LUODA Kehittää, suunnittelee, tuottaa MISSÄ MÄÄRIN TAVOITTEITA OSATAAN? 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 22
ARVIOINNIN ERILAISET TEHTÄVÄT
Diagnostinen arviointi= Toteava arviointi= Lähtötason arviointi Formatiivinen arviointi= Jatkuva palautteen antaminen = Oppimisprosessin arviointi Summatiivinen arviointi= Osaamisen arviointi= Tulokset, tuotokset, produktio jne. Prognostinen arviointi= Ennakoiva arviointi = Tulevaisuuden ennustaminen arvioinnin avulla 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 24
ARVIOINNIN TULISI MUODOSTAA KONAISUUS, JOSSA ARVIOINNIN ERILAISET TEHTÄVÄT ON OTETTU HUOMIOON! Diagnostinen toteava arviointi Formatiivinen oppimisen arviointi Summatiivinen osaamisen arviointi Formatiivinen oppimisen arviointi Prognostinen ennakoiva arviointi 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 25
OPPIMISEN JA OSAAMISEN ARVIOINTI EIVÄT OLE TOISISTAAN IRRALLISIA TAPAHTUMIA ARVIOINNISSA EI OLE JOKO/TAI-ASETELMIA Oppimispäiväkirjat Sanallinen/ suullinen palaute Verkkotehtävä Havainnointi Itsearviointi Oppimiskeskustelut Portfolio Vertaisarviointi Sanallinen/ kirjallinen palaute Erilaiset tuotokset/ produktiot/ projektit Ryhmäarviointi Suullinen koe/ harjoitus/ tehtävä Kirjallinen koe/ harjoitus/ tehtävä Verkkokeskustelut 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 26
ARVIOINTIKULTTUURI JA SEN KEHITTÄMINEN
ARVIOINTIKULTTUURI Mitä se on? o Arviointikulttuuri on käsitteenä laaja, koska sillä voidaan kuvata monia erilaisia asioita. o Arviointikulttuuri on osa koulun toimintakulttuuria. o Arviointikulttuuri = arvot+ normit+ toimintatavat, joita yhteisössä jaetaan yhteistyössä kielen avulla kommunikoiden (Ouakrim-Soivio 2016, 91). o Koulun tai oppilaitoksen arviointikulttuurin määritteleminen edellyttää, että opettajat ja rehtorit kykenevät analysoimaan arviointiin liittyviä arvojaan eli arviointiideologiaansa, arviointitoimintaansa ja siihen kytkeytyviä ajattelu- ja toimintamalleja. KOULUN TOIMINTAKULTTUURI KOULUN ARVIOINTIKULTTUURI Edellyttää arviointi-ideologian, arviointitoiminnan ja toimintamallien analysoimista. 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 28
ARVIOINTIKULTTUURI Kouluissa ja oppilaitoksissa tehtävä arviointityö edellyttää, että arviointitoiminnan pelisäännöt ovat kaikille selviä. Hyvään arviointikulttuuriin kuuluu, että arvioinnista saatavan palautteen vaikutuksia valintoihin ja arvioinnin perusteella tehtäviin päätöksiin ennakoidaan jos silloin, kun arviointia aletaan suunnitella. Arviointikulttuuria tulee voida kehittää, jotta olemassa oleviin toimintamalleihin ja rakenteisiin voidaan palata, toimintatapoja tulee voida arvioida, ja niiden pohjalta arviointitoiminnalle voidaan asettaa uusia tavoitteita. (Jakku- Sihvonen & Heinonen 2001, 148.) 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 29
LOPUKSI Arvioinnissa: ei ole joko-tai-/ hyvä-huono-asetelmia, keskiössä ovat tavoitteet, oppimiskäsitys ohjaa sitä, miten arvioidaan, sen erilaiset tehtävät auttavat ymmärtämään, miksi kulloinkin arvioidaan, keskeistä on sen oikea-aikaisuus ja kaksisuuntaisuus. opetussuunnitelmaperusteet ja normit ohjaavat arviointityötä. 10.4.2017 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 30
KIITOS! @najatouakrim najat@arvointi.fi
Kirjallisuutta: Anderson, L. W., Krathwohl, D. R., Airasian, P.W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., Wittrock, M. C. (toim.) 2001. A Taxonomy for Learning, Teaching, and Assessing. A Revision of Bloom s Taxonomy of Educational Objectives. Abridged Edition. New York: Addison Wesley Longman. Atjonen, P. 2005. Arviointi opetuksen ja oppimisen tueksi. Teoksessa Lyytinen, H. K. & Räisänen, A. (toim.). Kehittämissuuntaa arvioinnista. Koulutuksen arviointineuvoston julkaisuja6. Jyväskylä: Koulutuksen arviointineuvosto, 143 152. Atjonen, P. 2007. Hyvä, paha arviointi. Helsinki: Kustannusosakeyhtiö Tammi. Atjonen, P. 2015. Kehittävä arviointi kasvatusalalla. Tampere: Kirjokansi. Cross, L. H. & Frary, R. B. 1999. Hodgebodge Grading: Endorsed by Students and Teachers alike. Applied measurement in Education, 12(1), 53 72. Guskey, T. R. & Bailey, J. M. 2001. Developing Grading and Reporting Systems for Student Learning. California: Corwin Press. Heinonen, S. 2001. Arvioinnin teoreettisia lähtökohtia. Teoksessa Jakku-Sihvonen, R. & Heinonen S.2001. Johdatus koulutuksen uudistuvaan arviointikulttuuriin. Arviointi 2/2001. Helsinki: Opetushallitus, 21 46. Jakku-Sihvonen, R. 2001. Arviointitiedon luotettavuuden osoittaminen. Teoksessa Jakku-Sihvonen, R. & Heinonen, S. Johdatus koulutuksen uudistuvaan arviointikulttuuriin. Arviointi 2/2001. Helsinki: Opetushallitus, 111 135. Jakku-Sihvonen, R. 2013. Oppimistulosten arviointijärjestelmiä ja niiden kehittämishaasteista. Teoksessa Räisänen, A. (toim.). Oppimisen arvioinnin kontekstit ja käytännöt. Raportit ja selvitykset 2013:3. Helsinki: Opetushallitus, 13 36. LOPS 2015. Lukion opetussuunnitelman perusteet. Määräykset ja ohjeet 2015:48. Helsinki: Opetushallitus. Ouakrim-Soivio, N. 2013. Toimivatko päättöarvioinnin kriteerit? Helsinki: Opetushallitus. Ouakrim-Soivio, N. Rinkinen, A., Karjalainen, T. 2015. Tulevaisuuden peruskoulu. Helsinki: Opetus-ja kulttuuriministeriö. Ouakrim-Soivio, N. 2016. Oppimisen ja osaamisen arviointi. Helsinki: Kustannusosakeyhtiö Otava. POPS 2014. Perusopetuksen opetussuunnitelman perusteet. Määräykset ja ohjeet 2014:96. Helsinki: Opetushallitus. Raivola, R. 1995. Mitä evaluaatio on ja mihin sitä tarvitaan? Teoksessa Aikuiskoulutuksenarviointi. Panoraamoja ja lähikuvia. Aikuiskasvatuksen 36. Vuosikirja. Kansanvalistusseura ja Aikuiskasvatuksen Tutkimusseura. Helsinki: BTJ Kirjastopalvelu,21 60. Virta, A. 1999. Uudistuva oppimisen arviointi. Mahdollisuuksia ja varauksia. Turun yliopiston kasvatustieteiden tiedekunta. Julkaisusarja B:65. Turku. 10.4.2017 32 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi