Kielitaidon arvioinnin kehittäminen aikuisten maahanmuuttajien kotoutumiskoulutuksessa - selvityshankkeen esittely Sari Ohranen Jyväskylän yliopisto Aikuisten maahanmuuttajien koulutustilaisuus, Opetushallitus 18.3.2015
Solki on valtakunnallinen asiantuntijayksikkö, joka on erikoistunut tarkastelemaan kielikoulutuksen tavoitteita, käytänteitä ja politiikkaa. Tutkimuksen painoaloja kielitaidon arviointi kielitaidon kehittyminen opetuksen ja oppimisen käytänteet kielikoulutuspolitiikka Solkin valtakunnalliset tehtävät Yleiset kielitutkinnot Kielikoulutuspolitiikan verkosto
Hankkeen esittely Työ- ja elinkeinoministeriön rahoittama selvityshanke 1.3.2014-28.2.2015 Solki ja arviointikeskus Testipiste toteuttivat yhteistyössä Työvoimapoliittinen kotoutumiskoulutus Laki Kotoutumisen edistämisestä (1386/2010) ja asetus Kotoutumisen edistämiseen liittyvästä alkukartoituksesta (570/2011) Tarkentavana toimenpiteenä mm. suomen/ruotsin kielen taidon lähtötason sekä opiskeluvalmiuksien arviointi Aikuisten maahanmuuttajien kotoutumiskoulutuksen opetussuunnitelman perusteet (2012) Lähtötason arviointi kotoutumiskoulutuksen alussa Tuloksena koulutussuositus: sopiva etenemistapa (polku) ja kielitaidon lähtötaso (moduuli) Hankkeessa kartoitettiin tilannetta myös ruotsinkielisen kotoutumiskoulutuksen osalta
Hankkeen tavoitteet Tavoitteena oli suunnitella toimintaa, joka tähtää maahanmuuttajien kotoutumiskoulutuksen lähtötason arvioinnin mallin valtakunnallistamiseen. valtakunnallistamisen edellytykset valtakunnallisessa lähtötason arvioinnin järjestelmässä mukana olevat tahot ja heidän työnjakonsa kotoutumiskoulutuksen aikaisen kielitaidon arvioinnin kehittämiseen. opettajien arviointiosaamisen kehittäminen
Testipiste Selvityksen aineisto toimintaan liittyvät dokumentit: mm. opas testin käyttäjälle, laadunvarmistussuunnitelma selvitykset: testianalyysit, ulkoinen arviointi, Testipiste-hankkeen arviointiraportti, oppilaitoskyselyt, vierailut Testipisteen mallia käyttäviin oppilaitoksiin, kyselyt ja haastattelut kotoutumiskoulutuksen opettajille Solki puhelimitse tehdyt kyselyt ELY-keskuksiin, verkkokysely lähtötason arviointia tekeville toimijoille, vierailut kotoutumiskoulutusta ja/tai lähtötason arviointia tekevien toimijoiden luo (niin Testipisteen mallia kuin muita malleja käyttäviä toimijoita), opettajahaastattelut, tapaamiset muiden sidosryhmien kanssa, muita yhteydenottoja lähtötason arvioinnin parissa työskenteleviin henkilöihin, vierailu SFIcentrumiin Tukholmassa
Testipäivä Testipisteessä
Miksi valtakunnallistaminen? Valtakunnallisen mallin edut Yhtenäinen arviointimalli Testitulosten analysointi testien kehittäminen Kustannustehokkuus Valtakunnallisesti lähtötason arviointi on ollut hajanaista: useita paikallisia tapoja/malleja Kiinnostusta valtakunnalliseen mallin on: luotettavat testit ja yhdenmukainen arviointi = tasa-arvoisuus Kentän toiveet: testien käyttö soveltuvin osin, alueellisten tarpeiden huomiointi
Luonnos uudeksi arviointijärjestelmäksi Ensimmäinen vaihe: järjestelmän mukainen arviointi käynnistetään syksyllä 2015 muutamissa oppilaitoksissa
Arviointijärjestelmän työnjako TEM/Kotouttamisen osaamiskeskus: rahoitus, hallinnolliset vastuut OPH: edustus ohjausryhmässä, yhteys kenttään Ohjausryhmä: monitoroi toimintaa ja kehittämistä, ideoi uutta toimintaa Solki: päävastuu lähtötason arviointiin liittyvän toiminnan koordinoinnista, mm. testien ylläpidosta, laadunvalvonnasta ja kehittämisestä (järjestelmän toimivuuden seuranta, koulutus, tutkimus ), hallinnollinen ja toiminnallinen vastuu Koto-arviointiryhmästä Testipiste: testausmallin ja testikokonaisuuksien ylläpito ja kehitys, koulutus Koto-arviointiryhmä Koto-arviointitutkija: arviointiryhmän toiminnan koordinoija ja suunnittelija Testipisteen jäsen(et): koordinoi testin ylläpitoa ja kehitystä (esim. tehtävänlaadinta), koulutusta ym. yhdessä Koto-arviointitutkijan kanssa Yleisten kielitutkintojen (YKI) edustaja: testijärjestelmien välinen yhteistyö YKIn tilastotieteilijä: analyysit testien toimivuudesta, mukana kehitys- ja tutkimustoiminnan suunnittelussa niiltä osin kun tarvitaan tilastollista asiantuntemusta Testin järjestäjät: järjestävät lähtötason arvioinnin testit, seuranta ja raportointi
Testien järjestäjäverkosto Tavoitteena kattava järjestäjäverkosto Testien käyttö edellyttää järjestäjiltä seuraavia toimenpiteitä Osallistuu käyttöönottokoulutukseen Sitoutuu noudattamaan laadukkaan arvioinnin periaatteita Huomioi testaamiseen liittyvät eettiset kysymykset Sitoutuu noudattamaan järjestäjän käsikirjassa kuvattua toimintaa On huomioinut tietoturvan Järjestää teknologiaratkaisuiltaan tarkoituksenmukaiset tilat testin tekoon Säilyttää testauksessa syntyvää tietoa sovittavan ajan Kilpailutus
Testien laadinta Laadukkaan arvioinnin kriteerit (1) 1) Millaiseen kielitaitokäsitykseen testaus perustuu? 2) Perustuvatko testit opetussuunnitelman perusteisiin? 3) Miten testien sopivuus kohderyhmälle on varmistettu? 4) Mitä kerrotaan testin laatijoiden valintaperusteista ja perehdytyksestä testinlaadintaan? 5) Miten eri testikertojen (eri testien) vertailukelpoisuus on varmistettu? 6) Miten testien sopiva vaikeustaso on varmistettu? Testien järjestäminen ja logistiikka 7) Onko testimateriaalien käsittelyssä huomioitu tietoturva ja luottamuksellisuus niin luotettavasti kuin testin tarkoitus vaatii? 8) Onko testisuoritusten ja testitulosten sekä niihin liittyvän tiedon turvallisuus ja luottamuksellisuus voimassa olevan tietosuojalain mukaista, ja tiedotetaanko osallistujille heidän oikeuksistaan saada näitä tietoja? 9) Onko testijärjestelmässä huomioitu erityisryhmien tarpeet?
Laadukkaan arvioinnin kriteerit (2) Testisuoritusten arviointi 10) Miten testisuoritusten arvioinnin riittävä luotettavuus on varmistettu? 11) Onko testisuoritusten arviointi ja arvioinnin luotettavuuden varmistaminen dokumentoitu ja kuvattu (miten etenkin kirjoittamisen ja puhumisen arvioijien toimintaa koskeva data on kerätty ja analysoitu)? Testien analysointi 12) Millä tavalla testien tuloksia analysoidaan niiden luotettavuuden takaamiseksi? 13) Kerätäänkö ja analysoidaanko osiokohtaista tietoa (esim. testin vaikeustason ja erottelukyvyn selvittämiseksi) riittävän suuresta otoksesta osallistujia? Tiedottaminen asianosaisille 14) Tiedottaako testin järjestäjä tuloksista osallistujille ja tuloksia käyttäville tahoille viivyttelemättä ja selkeästi? 15) Kerrotaanko asianosaisille, millaisesta testistä on kyse, mikä sen tarkoitus on, mihin sitä voidaan käyttää, millainen sen sisältö on sekä miten luotettavia tulokset yleensä ottaen ovat? 16) Annetaanko asianosaisille asianmukaista tietoa, jonka avulla he pystyvät tulkitsemaan tuloksia ja käyttämään niitä tarkoituksenmukaisella tavalla
Testin kehitystyö Testipisteen laadunvarmistussuunnitelmassa tunnistetut kehittämistarpeet Tutkimusperustainen kehittäminen Mahdolliset uudet teknologiaratkaisut Täydentäviä osia valtakunnalliseen malliin Luku- ja kirjoitustaidon arviointi
Oppimista tukeva kielitaidon arviointi Kotoutumiskoulutuksen aikana tapahtuva formatiivinen ja summatiivinen arviointi Arvioinnin validius: Arvioinko oikeita asioita? Arvioinnin reliabiliteetti: Arvioinko samalla tavalla kuin muut? Monimuotoinen koulutus Kontaktijaksot Kehittämistehtävä (kokeilut, soveltaminen)
Ruotsinkielinen kotoutumiskoulutus Koulutuksen järjestäjät ovat kehittäneet omia testejä lähtötason arviointiin. Tarve suomalaiseen kontekstiin kehitetylle materiaalille, suomalaiseen yhteiskuntaan kotoutujille Testipisteen malli esimerkkinä Ruotsin kielen lähtötasotesti (puhuminen, kirjoittaminen, luetun- ja kuullun ymmärtäminen) Oppimisvalmiustesti Vapaan sivistystyön oppilaitoksilla on merkittävä rooli kotoutumisessa. Yhtenäisen arviointimallin luomiseksi aloitetaan oman hankkeen suunnittelu.