Lukion opiskelija-arviointi Suomessa

Samankaltaiset tiedostot
Pirjo Pollari, Jyväskylän normaalikoulu enorssi, Tampere

Summatiivinen vai formatiivinen?

Jyväskylän normaalikoulu Pirjo Pollari

Summatiivinen vai formatiivinen?

Arvioinnin monipuolistaminen lukion opetussuunnitelman perusteiden (2015) mukaan

Arviointi uudessa opetussuunnitelmassa

JATKUVA JA MONIPUOLINEN ARVIOINTI LUKIOSSA

Lauri Hellsten, Espoon yhteislyseon lukio Mika Setälä, Lempäälän lukio

Toimintakulttuuri. Arviointikulttuuri

Ajatuksia arvioinnista. Marja Asikainen ja työpajaan osallistujat Yhteinen tuotos julkaistaan HYOL:n sivuilla

Oppimisen arviointi uusissa opetussuunnitelman perusteissa. Ops-työpajakoulutus Helsinki

ARVIOINTI UUDISTAMASSA OPETUSTA

OPPILAAN ARVIOINNISTA OPPIMISEN ARVIOINTIIN alkaen

Haastava, haastavampi, arviointi. Kirsi Saarinen/Tamk Insinööri 100 vuotta

Arvioinnin paikallisesti päätettävät asiat Arviointikulttuuri & itseja vertaisarviointi

Oppimisen arviointi uusissa opetussuunnitelman perusteissa. Erja Vitikka, Opetushallitus Helsinki

Esimerkkejä formatiivisesta arvioinnista yläkoulun matematiikan opiskelussa

Koulun nimi: Tiirismaan koulu

VESO yläkoulun opettajat. OPS 2016 ARVIOINTI Jokivarren koululla

Oppimisen arviointi uusissa perusopetuksen opetussuunnitelman perusteissa. Erja Vitikka Opetusneuvos

Luku 6 Oppimisen arviointi

Arviointimenetelmillä on väliä

Miten arvioimme oppimista? Lahden perusopetus. Arvioinnin päivä Lahden perusopetuksen opettajille

Mitä oppimista edistävä arviointi on?

1. Oppimisen arviointi

PÄÄTTÖARVIOINTI SEINÄJOEN YLÄKOULUISSA

Lukion opetussuunnitelman perusteet 2015 matemaattisissa aineissa Opetusneuvos Tiina Tähkä

Inklusiivinen koulu. Lähikouluperiaate ERITYISOPETUKSEN STRATEGIA. Oikeus saada tukea

Etusijalla oppiminen ideoita lukion pedagogiseen kehittämiseen

Osaamisen arviointi taito- ja taideaineissa KÄSITYÖ Heljä Järnefelt Erityisasiantuntija

Arviointikäytänteet: suosituksia ja tuloksia

Liikkuva koulu Turku Najat Ouakrim-Soivio (Tutkijatohtori/ HY) Monipuolinen arviointi Mitä ja miten?

Opetuskulttuuri murroksessa

Yksilöllinen oppiminen ja ohjattu itsearviointi

kehittämässä: -oppimäärä Arvioinnin kielitaitoa suomen kieli ja kirjallisuus

Vuosiluokkien 7-9 arviointikäytänteet ja päättöarvioinnin toteuttaminen perusopetuksessa

Työpaja A1/B1. Monipuoliset arviointikäytänteet ja osaamisen osoittaminen perusopetuksessa. klo ja klo

Arvioin' uudessa OPSissa. H3 Suurryhmäohjaus Heli Lepistö Savonlinnan normaalikoulu

Kuvataiteen prosessiarviointi Kokemuksia yläkoulusta

Oppimisen arviointi uusissa lisäopetuksen opetussuunnitelman perusteissa. Erja Vitikka Opetushallitus

Oppimista tukeva, yhteisöllinen arviointi

Arvioinnin linjaukset perusopetuksessa. Erja Vitikka 2017

Lokikirjojen käyttö arviointimenetelmänä

Konstruktiivisesti linjakas opetus. Saara Repo Avoimen yliopiston pedagoginen kahvila

TUTKIMUSLÄHTÖINEN FYSIIKAN OPISKELU. MAOL:n syyskoulutuspäivät

Aikuisten perusopetus

Sanallinen arviointi ja hyviä normien mukaisia arviointikäytänteitä. Pirjo Koivula Opetusneuvos

OPISKELIJAN ITSEARVIOINNIN OHJAUS. Merja Rui Lehtori, opetuksen kehittäminen Koulutuskeskus Salpaus

MAAHANMUUTTAJAOPPILAAN ARVIOINTI MUISSA OPPIAINEISSA

Etelä-Pohjanmaan peruskoulujen opetussuunnitelma 2016

Arvioinnin l Arvioinn uonne ja ylei in l set uonne ja ylei periaat set teet periaat Käsitteet marraskuun hautomo 2014

TEKSTITAIDOT JA ARVIOINTI. Mirja Tarnanen

Pitkäjänteistä arviointia lukiokoulutuksessa (B4)

OPPIVA YHTEISÖ - YHTEISÖLLINEN KOULU

LUKION TOIMINTAKULTTUURIN JA ARVIOINNIN KEHITTÄMINEN. Johtaja Jorma Kauppinen Savonlinnan seudullinen koulutuspäivä Savonlinna 3.10.

Tietokantapohjaisen arviointijärjestelmän kehittäminen: kohti mielekästä oppimista ja opetusta

OPS2016. Uudistuvat oppiaineet ja vuosiluokkakohtaisten osuuksien valmistelu Eija Kauppinen OPETUSHALLITUS

Kemia. Perusteluonnoksen pohjalta. Hannes Vieth Helsingin normaalilyseo

Juvan perusopetuksen opetussuunnitelma 2016

OPPILASARVIOINTI TAIDEAINEISSA. Suorittamisen kontrollista osaamisen havainnointiin Mahdollistaako tietojärjestelmä muutoksen?

Tilannekatsaus lukiokoulutuksen uudistumiseen. Helsinki Opetusneuvos Tiina Tähkä

Ari Huhta Soveltavan kielentutkimuksen keskus Jyväskylän yliopisto Kielitivolin koordinaattoritapaaminen Helsinki

Tutkimustietoa oppimisen arvioinnista

FORMATIIVINEN ARVIOINTI PEDAGOGISENA TYÖVÄLINEENÄ. Ilpo Kemppainen, rehtori Suininlahden koulu

ARVIOINTIOHJEET LEMPÄÄLÄ/OPS2016

Oppimisen arviointi ja erityistä tukea tarvitsevat oppilaat

Arviointi POPSissa. Yleistä arvioinnista I. Matematiikan didaktiikka, osa II. Arvionnista Sarenius

Oppimista edistävä arviointi OH3 OKLS3039, Osaaminen ja asiantuntijuus. Sirpa Eskelä-Haapanen

Oppijan itsearviointitaidot

Yksilöllinen oppiminen pedagogisena toimintamallina

Jutta Kosola, suomen kielen kouluttaja, Axxell MKK, Testipiste

Oppimisen arviointi taide- ja taitoaineissa

Eräitä oppilaan arvioinnin yleisiä kysymyksiä. Kielitivolin koordinaattoritapaaminen Helsinki Opetusneuvos Kristiina Ikonen

Horisontti

Arvioinnin ABC. Oulun kaupungin perusopetuksen opetussuunnitelman arviointiosuus

Pari sanaa arvioinnista

KÄSITYÖN TAITEEN PERUSOPETUKSEN YLEISEN OPPIMÄÄRÄN OPETUSSUUNNITELMA LAPSILLE JA NUORILLE

Arviointi/AVI/JNS Jaakko Väisänen

VALMISTAVAN OPETUKSEN OPETUSSUUNNITELMA

TIEDOTE 16/ (6) Taiteen perusopetuksen järjestäjille TAITEEN PERUSOPETUKSEN KÄSITE, RAKENNE JA LAAJUUS

O K L A M I R J A TA R N A N E N

Limingan seudun musiikkiopisto Opetussuunnitelma 2012

Yksilöllisen oppimisen menetelmä. Ville

Monialaisten oppimiskokonaisuuksien arviointi on yhteistyötä

Miten tavoitteisuus on näkynyt arvioinnissa?

Marika Toivola. Käänteinen arviointi. Rauman normaalikoulu,

Miten johtaa muutosta arvioinnissa?

Matematiikan didaktiikka, osa II Arvionnista

Mitä arvioidaan ja milloin?

SIILINJÄRVEN OPETUSSUUNNITELMATYÖ

OPISKELIJAN ARVIOINTI

Arviointitiedote. Vuosiluokat 1-6

Perusopetukseen valmistavan opetuksen opetussuunnitelma 2015

Oppimisen arviointi uusissa opetussuunnitelmissa

Oppilaan oppimisen arviointi musiikissa (6.lk)

Arviointi arvon antamista Leena Nousiainen, Ulla Rasimus

ARVIOINTIKULTTUURI JAAKKO VÄISÄNEN

Oppijakeskeisen mielekkään oppimisen seitsemän ominaisuutta

Työpaja I + II Kaksikielisen opetuksen arviointi. klo (kahvitauko klo )

Munkkiniemen ala-aste

Transkriptio:

Pirjo Pollari, Jyväskylän normaalikoulu LOPS2016tuki-webinaari 20.10.2015 Lukion opiskelija-arviointi Suomessa Tutkimusta vähän, mutta sen mukaan arviointi lukioissa ei ole kovin monipuolista koekeskeistä: ahdistava keppi/kannustava porkkana Lisäksi palaute on niukkaa ja numerokeskeistä Itse- ja vertaisarviointia ei juurikaan käytetä Eli perinteistä toteavaa summatiivista arviointia opiskelija-arviointia tulisi monipuolistaa Arviointi opiskelijoiden mielestä kuitenkin varsin luotettavaa (Välijärvi et al. 2009: Lukiopedagogiikka) 1

Arviointi on vahva vaikuttaja Arviointimenetelmät vaikuttavat suuresti opetus- ja opiskelumenetelmiin Arviointi voi myös vääristää oppimisprosessia, jos se Ohjaa opiskelemaan lähinnä vain koetilanteita varten Korostaa sirpaletietoa, määrää ja muistia Luo ahdistusta ja stressiä, lannistaa On kovin arvosanakeskeistä Arviointi on vahva vaikuttaja Arviointi on myös tehokas muutoksen estäjä: jos arviointi ei muutu, ei muutu opiskelukaan, sillä opiskelijat muovaavat työtään pikemminkin arvioinnin vaatimusten pohjalta kuin opetussuunnitelman retoriikkaan nojautuen. (Välijärvi 1996, 126) 2

Uudistuva käsitys oppimisesta korostaa arvioinnin opetuksellista merkitystä: arviointi on erottamaton osa opiskelua ja sen ohjaamista. Arvioinnin tulisi toteutua osana tavanmukaisia opiskelutilanteita ja menetelmillä, jotka ovat oppimistehtävien kannalta luontevia ja tukevat opiskelijoiden työskentelyä. - Jouni Välijärvi 1996, 127. Kolmas kerta toden sanoo? Uusien OPSien esittämiä arvioinnin tehtäviä on mainittu jo ainakin kaksissa edellisissä opetussuunnitelmissa, eli 1990-luvulta saakka Kannustaa ja ohjata oppimista ja opiskelua Kehittää itsearviointitaitoja Nyt sanotaan taas, mutta selkeämmin ja painokkaammin (varsinkin POPSissa) 3

PO arviointi 20.10.2015 POPS 2016: Oppimisen arviointi Perusopetuslain (22 ) mukaan oppilaan arvioinnin tehtävänä on ohjata ja kannustaa opiskelua sekä kehittää oppilaan edellytyksiä itsearviointiin. Oppilaan oppimista, työskentelyä ja käyttäytymistä tulee arvioida monipuolisesti. Nämä tehtävät ovat perusopetuksen arviointikulttuurin kehittämisen lähtökohta. Painopiste on oppimista edistävässä arvioinnissa. (POPS 2016, s.46) Opintojen aikainen arviointi ja palaute formatiivinen Summatiivinen, mm. vuosiluokkaarvosana Päättöarviointi Päättötavoitteet ja -kriteerit 4

LOPS ja arviointi Opiskelijan arvioinnilla pyritään ohjaamaan ja kannustamaan opiskelua sekä kehittämään opiskelijan edellytyksiä itsearviointiin. Opiskelijan oppimista ja työskentelyä tulee arvioida monipuolisesti. (Lukiolaki 629/1998, 17 1 mom., muutettu lailla 1116/2008) Opiskelijan oppimisen arvioinnin tehtävänä on edistää opiskelijan oppimista. Lähtökohtana on, että opiskelijat ymmärtävät, mitä heidän on tarkoitus oppia ja miten oppimista arvioidaan. (LOPS2016, 250, luonnos 19.8.2015) LOPS ja arviointi Opintojen aikainen arviointi ja palautteen antaminen ovat osa opiskelijan ja opettajan välistä vuorovaikutusta. Palaute sekä itse- ja vertaisarviointi ohjaavat opiskelijaa tarkentamaan asetettuja tavoitteita ja kehittämään työskentelyään tavoitteiden suuntaisesti. (LOPS2016, 250, luonnos 19.8.2015) 5

LOPS ja kurssisuorituksen arviointi Opiskelijan oppimista arvioidaan kurssin aikana. Arvioinnilla edistetään opiskelijan oppimista ja annetaan palautetta opiskelijalle kurssin tavoitteiden saavuttamisesta. Opiskelijan kurssisuorituksesta annetaan arvosana kurssin päätyttyä. Annettavan arvosanan tulee perustua monipuoliseen näyttöön oppiaineen ja kurssin tavoitteiden saavuttamisesta. Erilaisten tuotosten lisäksi käytetään opiskelijan oppimisen ja työskentelyn havainnointia. Arvosanan antamisen tukena voidaan käyttää opettajan ja opiskelijan välisiä keskusteluja sekä opiskelijoiden itse- ja vertaisarviointia. Arviointi ei kohdistu opiskelijan arvoihin, asenteisiin tai henkilökohtaisiin ominaisuuksiin. (LOPS2016, 250, luonnos 19.8.2015) Kurssin aikainen arviointi: edistää oppimista, palautetta tavoitteiden saavuttamisesta kurssiarvosana päättöarviointi Yoarviointi 6

Summatiivinen vai formatiivinen? AoL or AfL? Assessment of learning (AoL): oppimisen tuloksien arviointi summatiivinen arviointi Assessment for learning (AfL): oppimista edistävä arviointi formatiivinen arviointi HUOM! Formatiivinen arviointi EI tarkoita sitä, että pidämme (ja korjaamme) yhä lisää kokeita vaan kyse on monenlaisista pedagogista ratkaisuista, joilla pyrimme seuraaviin asioihin: 7

Black & Wiliam 1998 Formatiivisen arvioinnin tehtävä on edistää oppimista Mitä formatiivisen arvioinnin tulee huomioida: Tavoitteiden tulee olla oppilaiden tiedossa Oppilaat voivat arvioida itseään vain, jos heillä on tarpeeksi selkeä käsitys tavoitteista, jotka heidän on tarkoitus saavuttaa. Valitettavasti monilla oppilailla sitä ei ole. Black & Wiliam 1998 Formatiivinen arvioinnin tehtävä on edistää oppimista Mitä formatiivisen arvioinnin tulee huomioida: Tavoitteiden tulee olla oppilaiden tiedossa Itsearviointia tulee tukea ja kehittää Jotta formatiivinen arviointi oikeasti toimii ja edistää oppimista, oppilaita tulee ohjata ja opettaa itsearviointiin niin, että he ymmärtävät opiskelunsa päätavoitteet ja myös sen, mitä heidän tulee tehdä saavuttaakseen tavoitteensa. 8

Black & Wiliam 1998 Formatiivinen arvioinnin tehtävä on edistää oppimista Mitä formatiivisen arvioinnin tulee huomioida: Tavoitteiden tulee olla oppilaiden tiedossa Itsearviointia tulee tukea ja kehittää Haluamme kasvattaa oppilaistamme itseohjautuvia elinikäisiä oppijoita. Jos heistä on tarkoitus tulla kriittisiä ajattelijoita ja ongelmanratkaisijoita, jotka osaavat hyödyntää tietojaan ja taitojaan, heidän täytyy myös oppia itsearviointitaitoja. He eivät voi vain odottaa, että joku kertoo heille oikean vastauksen. (Earl 2003, 101) Black & Wiliam 1998 Formatiivinen arvioinnin tehtävä on edistää oppimista Mitä formatiivisen arvioinnin tulee huomioida: Tavoitteiden tulee olla oppilaiden tiedossa Itsearviointia tulee tukea ja kehittää Oppilailla tarpeeksi mahdollisuuksia ajatella itse sekä osoittaa ja testata ajatteluaan Kaikkiin oppimistilanteisiin tulisi sisällyttää tilanteita, joissa oppilaat voivat ilmaista ajatteluaan, sillä tämä saa aikaan sellaista vuorovaikutusta, joka edistää oppimista. 9

Black & Wiliam 1998 Formatiivinen arvioinnin tehtävä on edistää oppimista Mitä formatiivisen arvioinnin tulee huomioida: Tavoitteiden tulee olla oppilaiden tiedossa Itsearviointia tulee tukea ja kehittää Formatiivisen arvioinnin tavoitteen kannalta kurssin tai opintokokonaisuuden lopussa olevassa kokeessa ei ole Oppilailla tarpeeksi mahdollisuuksia ajatella itse sekä osoittaa mitään ja testata mieltä, ajatteluaan sillä se tulee liian myöhään, jotta tuloksista Palaute ensisijaisen voisi oppia. tärkeää, sen tulee ohjata eteenpäin Havaittuja aukkoja täytyy voida paikata: loppuarviointi ei sitä mahdollista Black & Wiliam 1998 Formatiivinen arvioinnin tehtävä on edistää oppimista Mitä formatiivisen arvioinnin tulee huomioida: Tavoitteiden tulee olla oppilaiden tiedossa Itsearviointia tulee tukea ja kehittää Oppilailla tarpeeksi mahdollisuuksia ja aikaa ajatella itse sekä osoittaa ja testata ajatteluaan Palaute ensisijaisen tärkeää, sen tulee ohjata eteenpäin Havaittuja aukkoja täytyy voida paikata: loppuarviointi ei sitä mahdollista Täytyy olla turvallista, jotta uskaltaa tehdä myös virheitä! 10

Palaute vaikuttaa Palaute vaikuttaa oppimiseen vahvasti, niin hyvässä kuin myös pahassa (esim. Hattie 2009, 2012) Palautteen teho riippuu myös vastaanottajan reaktioista siihen, ei vain palautteen määrästä ja laadusta Mitä on palaute? Palautteen tehtävä on antaa tietoa tämänhetkisestä suorituksesta mutta ennen kaikkea myös ohjata saavuttamaan tavoitteet, parantaa tulevaa: Tavallisesti opettajien mielestä palaute on rakentavia kommentteja, kritiikkiä, korjaamista, sisältökommentteja ja laajennuksia. Oppilaat sen sijaan arvostavat palautetta, joka auttaa heitä tietämään, minne ja miten heidän on tarkoitus edetä. (Hattie 2012, 19-20) 11

Palautteen ongelmia: Palautteesta vain osa menee perille Oppilaat eivät huomaa palautetta Annetaan muille kuin minulle, tulee liian myöhään, ympäripyöreää, heitetään ilmaan, ei osoiteta, jne Oppilaat eivät ymmärrä palautetta Kryptistä, epäselvää, terminologista: otsikot SPOTPA Oppilaat eivät huoli palautetta Virhekeskeistä, lannistavaa, ei auta tulevaa, evvk Palautteen ongelmia: Palaute peittyy: arvosana vie huomion oppimistehtävästä pois, itseen ja muiden vertailuun (mm. Butler 1989) Arvioinnin yleisin muoto, arvosanat, on niin itsestäänselvä osa koululaitosta, että emme helposti edes huomaa, kuinka hyödytöntä sen antama palaute on oppimisen eteenpäin ohjaamisen kannalta. Arvosanoista emme päässe - mutta se ei tarkoita, että meidän pitäisi pitää niitä tärkeänä palautelähteenä. (Wiggins 2012, 15) 12

Palautteen ongelmia: Palautteen teho ei riipu vain palautteen määrästä ja laadusta vaan myös vastaanottajan reaktioista palautteeseen (esim. Wiliam 2012, Hattie & Timperley 2007) Saman opettajan täsmälleen samanlainen palaute saattaa motivoida yhtä oppilasta yrittämään enemmän mutta saada toisen oppilaan luovuttamaan. (Wiliam 2012, 33) Hyvän palautteen kriteerejä (mm. Wiggins 2012) Palaute pohjautuu tavoitteisiin ja kriteereihin Selkeää, oppijaystävällistä ja kohtaista Eteenpäin suuntaavaa, auttaa tulevaa, ei käske vaan perustelee: MIKSI? Ajankohtaista ja jatkuvaa Tasapainoista: ei vain negatiivista/virhekeskeistä Reilua, johdonmukaista 13

Eri aineet, erilaiset haasteet? Formatiivinen prosessin arviointi ollut aina osa toimintaa taitoja taideaineissa Samoin äidinkielessä vahvasti mukana Humanistiset reaaliaineet: omia tulkintoja, perusteluja, jne. Luonnontieteet, matematiikka: eksaktimpia, oikeita vastauksia? Vieraat kielet: haastavaa? Arvioinnin muutoksen ongelmia: Arviointi pitäisi nähdä oppimisen edistämisen välineenä, ei kontrollin välineenä Arviointipalaute mm. kokeesta paremmin oppimisen hyödyksi Jos vain arvosana, kuinka se edistää oppimista? Koetehtävien vuotamisen pelko estää oppimista? Digikokeet ja niiden palaute? 14

Arvioinnin muutoksen ongelmia: Voiko samaa arviointia käyttää eri tarkoituksiin? Voiko formatiivisen arvioinnin havainnot muuttaa summatiiviseksi, esim. arvosanaksi? Eettisesti arveluttavaa, sillä erilaiset tarkoitukset Vai arvioidaanko moneen kertaan, koko ajan? Tarkoitus ei ole, että opettaja tekee enemmän työtä, vaan että hän tekee järkevämpää työtä. (Black et al. 2003, 2) Formatiivisia arviointikeinoja (mm. Black et al. 2003; Black & Wiliam 2012) Opetuskeskustelu formatiivisesti Palaute oppilaille huolellisesti laadittuina kommentteina, ei pisteinä tai numeroina Vertais- ja itsearviointi käyttöön Summatiivisia kokeita formatiivisiin tarkoituksiin 15

Arvioinnin eri lajeja ja keinoja Summatiivinen / formatiivinen Perinteinen / autenttinen arviointi Tuotos / havainnointi Itsearviointi / vertaisarviointi Yksilön arviointi / ryhmän tai parin arviointi Esim. ryhmäkoe, parikeskustelu, yhteinen tehtävä Kirjallinen / suullinen / toiminnallinen Tukeva ja auttava / vain muistinvarainen Esim. lunttilappukoe, matematiikan taulukot, jne Arvioinnin tulee olla monipuolista ja laadukasta olla mahdollisimman luotettavaa olla tavoitteiltaan ja arviointiperusteiltaan opiskelijan tiedossa ohjata opintoja, kehittää itsearviointia ja opiskelijan aktiivista roolia kannustaa opiskelijaa osoittamaan kykynsä edesauttaa oppimista (Gardner 2012, 106-107) 16

Lähteitä: Black, P. & Wiliam, D. 1998. Inside the black box: Raising standards through classroom assessment. London: King's College London School of Education Black, P., Harrison, C., Lee, C., Marshall, B. & Wiliam, D. 2003. Assessment for learning: putting it into practice. Maidenhead UK: Open University Press Earl, L. M. 2003. Assessment as learning: using classroom assessment to maximize student learning. Thousand Oaks: Corwin Press. Gardner, J. 2012. (ed.) Assessment and Learning. (2nd edition) London: SAGE. Hattie, J. A. C. 2009. Visible learning: a synthesis of over 800 meta-analyses relating to achievement. London: Routledge. Hattie, J. 2012. Know Thy Impact. Educational Leadership 70 (1), 18-23. Linnakylä, P. & Välijärvi, J. 2005. Arvon mekin ansaitsemme: kansainvälinen arviointi suomalaisen koulun kehittämiseksi. Jyväskylä: PS-Kustannus. Välijärvi, J. 1996. Oppilasarviointi opiskelun uudistumisen tukena ja tukahduttajana lukiossa. Teoksessa A.Räisänen & T. Frisk (toim.) Silta uuteen opiskelija-arviointiin. Helsinki: OPH. Välijärvi, J. et al. 2009. Lukiopedagogiikka. Jyväskylä: Koulutuksen arviointineuvosto. Wiggins, G. 2012. Seven Keys to Effective feedback. Educational Leadership 70 (1), 10-16. Wiliam, D. 2012. Feedback: Part of a System. Educational Leadership 70 (1), 31-34. 17