INKA. Pääkäyttäjän ohje Lukiokoulutus

Transkriptio

1 INKA Koulutuksen arviointijärjestelmä Pääkäyttäjän ohje Lukiokoulutus

2 Sisällys 1. INKA -järjestelmän yleiskuvaus Käyttäjätasot Pääkäyttäjän roolista Järjestelmään kirjautuminen Käyttäjäasetusten muuttaminen ja uusien käyttäjien lisääminen Omien tietojen päivitys Uusien käyttäjien lisääminen Käyttäjien poistaminen Kyselyjen toteutus Kyselyn luominen Kyselyn muokkaus ja kloonaus Palautteiden kerääminen Palautteiden kerääminen pikatunnuksia käyttäen ja kyselyn sulkeminen Palautteiden kerääminen suoraa linkkiä käyttäen ja kyselyn sulkeminen Tulosten tarkasteleminen Yksittäisten kyselyjen tulostarkastelu Keskiarvot Jakaumat Sanalliset vastaukset Koonti Keskiarvot Jakaumat Koonnin mahdollisia ongelmakohtia Palautteenkeruun erilaiset mallit Keskitetty ja hajautettu palautteenkeruumalli Itsenäinen ja ohjattu malli Arviointipäivä ohjatun palautteen tapauksessa Omat lomakkeet Arviointi- ja laadunkehittämistoimintaan liittyviä näkökulmia Arviointistrategia Arviointisuunnitelma INKA-tuen yhteystiedot

3 1. INKA -järjestelmän yleiskuvaus INKA -järjestelmä on verkkopohjainen selainkäyttöinen arviointijärjestelmä. Käyttäjä tarvitsee internet-yhteyden ja selaimen järjestelmän käyttämiseen. Järjestelmä toimii siten, että opettaja tai muu henkilöstön jäsen avaa kyselyn opiskelijoille tai muulle vastaajaryhmälle ja toimittaa heille tunnukset tai vastauslinkin, joilla vastaajat pääsevät vastaamaan kyselyyn. Tiedot tallentuvat Jyväskylän yliopiston täydennyskoulutuskeskuksen tietokantapalvelimelle ja organisaation INKA- käyttäjät pystyvät tarkastelemaan vastauskertymiä reaaliaikaisesti. Järjestelmän käyttäjä voi valita käyttökielekseen suomen tai englannin. Tällä hetkellä järjestelmään sisältyy seuraavat peruslomakkeet: 1) Lukio-opintojen aloitusvaiheen palaute, 2) Lukion lukukausi-/-vuosipalaute ja 3) Lukion kurssipalaute. Kaikki peruslomakkeet mahdollistavat benchmarkkauksen eli oman organisaation tuloksia on mahdollista verrata kaikkien INKA-järjestelmää käyttävien lukioiden keskiarvoon. INKAssa vastaustuloksia voidaan tarkastella keskiarvojakaumina sekä lukumäärä- ja prosenttijakaumina. Sanalliset vastaukset järjestelmä ryhmittelee kysymyksittäin. Jos organisaatio haluaa luoda omia arviointilomakkeita, niin tämä on mahdollista joko ottamalla käyttöön lomake-editori tai tilaamalla lomakkeiden laadinta Jyväskylän yliopiston täydennyskoulutuskeskuksesta. Lomake-editori on erillinen ohjelma, joka tulee asentaa käyttäjän koneelle. Omat lomakkeet eivät mahdollista benchmarkkausta muihin organisaatioihin. 3

4 2. Käyttäjätasot INKA -järjestelmän käyttäjätasot ovat: Pääkäyttäjällä on kaikki järjestelmän toiminnot käytössä. Pääkäyttäjätunnuksella pystytään toteuttamaan kyselyjä sekä hallinnoimaan ja tarkastelemaan kaikkia organisaation alla toteutettujen kyselyjen tuloksia. Mahdollista on myös koota useiden eri kyselyjen tuloksia yhteen. Pääkäyttäjä pystyy luomaan uusia käyttäjiä järjestelmään. Opettajatunnuksella voidaan toteuttaa kyselyjä ja tarkastella itse toteutettujen kyselyjen tuloksia (sekä niiden kyselyjen, joihin opettajalle on annettu oikeus joko toisen opettajatasoisen tai pääkäyttäjän toimesta). Opettajatunnuksella voidaan tarkastella yksittäisten kyselyjen tuloksia, mutta ei tehdä koonteja useiden kyselyjen tuloksista. Opettaja-käyttäjä voi muuttaa omia käyttäjätietojaan (lukuun ottamatta käyttäjätasoa), mutta hän ei voi luoda uusia käyttäjiä järjestelmään. Arvioijatunnuksella voidaan ainoastaan avata uusia kyselyjä, mutta ei tarkastella tuloksia. Opiskelijatunnuksella päästään ainoastaan vastaamaan kyselyihin. 4

5 3. Pääkäyttäjän roolista Pääkäyttäjinä organisaatioissa ja oppilaitoksissa toimivat tyypillisesti rehtorit sekä muut arviointi- ja laatutyöstä vastaavat henkilöt. Joissain oppilaitoksissa pääkäyttäjiä ovat myös atk-tukihenkilöt ja opintosihteerit. Osassa oppilaitoksista atk-tukihenkilöt toimivat arvioija - oikeuksilla, jolloin he pystyvät teknisesti huolehtimaan kyselyiden järjestämisestä, mutta eivät pääse tarkastelemaan tuloksia. Pääkäyttäjien tehtävänä on usein esim. palautteenkeruun ja arviointien suunnittelu, keskitettyjen kyselyjen toteutus sekä tulosten kokoaminen ja raporttien tuottaminen. (Katso myös tämän ohjeen kohta 7. Palautteenkeruun erilaiset mallit 4. Järjestelmään kirjautuminen INKA -järjestelmään kirjaudutaan Internet-selaimella osoitteessa Sisäänkirjautumissivulla tiedotetaan ajankohtaisista asioista ja sieltä löytyy myös yleistä tietoa järjestelmästä ja arviointitoiminnasta yleensä. Tällä aloitussivulla on myös mahdollista tiedustella unohtuneita käyttäjätunnuksia ja salasanoja sekä ottaa yhteyttä INKA- palvelun henkilöstöön ja antaa palautetta järjestelmästä Tunnus- ja salasanakenttiin kirjoitetaan omat tunnukset ja klikataan sisään painiketta. 5

6 Sisään kirjautumisen jälkeen avautuu työskentelytilan perusnäkymä, jossa palautekyselyjä voidaan toteuttaa ja tuloksia tarkastella. Yläpalkissa olevalla kyselyt -painikkeella päästään aina perusnäkymään. Tähän näkymään listautuvat kyselyt, joita organisaatiossa on toteutettu. Näytä -valikon avulla voidaan rajata näkyviin tulevien kyselyjen määrää. Vaihtoehtoina ovat 1 viikko, 1 kk, 3 kk, 1 vuosi, kaikki. Viikon aikarajauksella näkyviin tulevat viikon sisällä toteutetut kyselyt; kuukauden rajauksella viimeisimmän kuukauden sisällä toteutetut kyselyt jne. Aikarajaus käyttää niitä päivämääriä, jotka kyselyyn on merkitty kyselyn luomisen hetkellä. Näytä -toiminto on käyttökelpoinen etenkin silloin, kun järjestelmää on käytetty useita vuosia ja kyselyjä on kertynyt järjestelmään paljon. Koonti -toiminnon avulla on mahdollista yhteen vetää useiden kyselyjen tuloksia. Käyttäjät -kohdassa pääkäyttäjä voi luoda uusia käyttäjiä järjestelmään tai muokata olemassa olevien käyttäjien asetuksia. Ohjeet -valikosta löytyvät järjestelmän käyttöohjeet. 6

7 5. Käyttäjäasetusten muuttaminen ja uusien käyttäjien lisääminen 5.1 Omien tietojen päivitys Pääkäyttäjä voi päivittää omia käyttäjätietojaan sekä lisätä uusia käyttäjiä, muuttaa käyttäjien tietoja ja poistaa käyttäjiä. Omien tietojen päivitys tapahtuu seuraavasti: klikataan käyttäjät -painiketta, valitaan oma nimi eli laitetaan merkintä oman nimen kohdalle ja klikataan muuta tietoja -painiketta. Tämän jälkeen avautuu käyttäjäasetusten näkymä. Jos halutaan esim. muuttaa oma tunnus ja salasana, kenttiin kirjoitetaan uudet tunnukset ja klikataan tallenna. Huomaa, että salasana kysytään kahteen kertaan. 7

8 5.2 Uusien käyttäjien lisääminen Uusi käyttäjä voidaan lisätä toiminnolla lisää käyttäjä. Sen jälkeen avautuviin kenttiin määritellään henkilön nimi, käyttäjätunnus, salasana, käyttöoikeustaso ja sähköpostiosoite. Salasanan pituudeksi suositellaan vähintään 6 merkkiä, mieluiten 8 merkkiä, mutta järjestelmä hyväksyy vähintään kolme merkkiä pitkän salasanan. Järjestelmä hyväksyy myös skandinaaviset kirjaimet. INKAn sisäänkirjautumissivulla ( oleva unohditko salasanasi -toiminto perustuu tässä käyttäjät -näkymässä kirjoitettuun sähköpostiosoitteeseen. Eli järjestelmä lähettää tunnuksen ja salasanan -kentässä määriteltyyn sähköpostiosoitteeseen. Kun käyttäjän tiedot on määritelty, klikataan tallenna -painiketta. Kun uusi käyttäjä on luotu järjestelmään, hänelle tulee ilmoittaa INKAn sisäänkirjautumisosoite sekä luotu tunnus ja salasana. Halutessaan käyttäjä voi muuttaa omaa tunnustaan ja salasanaansa samalla tavalla kuin edellä kuvattiin omien tietojen päivitystä. 5.3 Käyttäjien poistaminen Käyttäjien poistaminen on tarpeellista esim. käyttäjän vaihtaessa työpaikkaa, jolloin hänen INKA-tunnustakaan ei enää tarvita. Poistaminen tapahtuu siten, että mennään käyttäjät - kohtaan ja valitaan käyttäjä, joka halutaan poistaa. Sitten klikataan poista käyttäjä. Järjestelmä kysyy vielä, halutaanko käyttäjä todella poistaa ja tämän jälkeen käyttäjä poistetaan. 8

9 6. Kyselyjen toteutus 6.1 Kyselyn luominen Uuden kyselyn toteutus alkaa perusnäkymästä eli kyselyt -kohdasta, jossa klikataan toimintoa uusi kysely. Tämän jälkeen avautuu näkymä, jossa määritellään avoimiin kenttiin kyselyä koskevat tiedot. Seuraavalla sivulla on tarkemmat kuvaukset kyselyn tunnistetiedoista. 9

10 Kaikki tiedot eivät ole pakollisia. Pakolliset tiedot on merkitty listassa (*) merkillä. 01. Kyselyn nimi: (*) Kyselylle annetaan otsikko. Tämä otsikko näkyy kyselylistauksessa ja se näkyy myös vastaajille varsinaisessa kyselylomakkeessa. 02. Kyselyn teema-alue: (*) Tähän merkitään onko kyse 1) aloitusvaiheen kyselystä, 2) lukukausitai lukuvuosikyselystä, 3) opintojen loppuvaiheen kyselystä vai 4) kurssi-/ jaksokyselystä vai 5) muuhun aiheeseen liittyvästä kyselystä. Tämän toiminnon avulla kyselyt tulevat kyselylistaukseen oikean otsikon alle. 03. Käytettävä lomake: (*) Valitaan lomakepohja, jota kyselyssä käytetään. Lomake valitaan saman teeman mukaisesti kuin edellisessä teema-alue kohdassa on määritelty. INKA-järjestelmässä benchmarkkauksen mahdollistavat peruslomakkeet ovat: lukio-opintojen aloitus, lukion lukukausi-/-vuosilomake, lukion kurssipalaute 04. Kohderyhmä: (*) Voidaan valita vastaajaryhmä: Nuoret, Aikuiset, Ammattilukio, Henkilökunta 05. Ryhmän tunnus: Ryhmän tunnuksella voidaan erotellaan ryhmät (luokat) oppilaitoksissa toisistaan. Esimerkiksi vuonna 2009 aloittaneen lukioryhmän koodi voi oppilaitoksessa olla 09A. Tähän kohtaan kirjoitettu tunnus näkyy kyselylistauksessa (eli kyselyt -kohdassa) kyselyn nimen edessä. 06. Kyselyn kohteena oleva oppiaine: määritellä myös Jos toteutetaan kysely lomakkeella Lukion kurssipalaute, on tarpeen oppiaine. 07. Kyselyn toteuttaja (etu-, sukunimi): 08. Kyselyn alkupvm (*): 09. Kyselyn loppupvm (*): Kyselyn toteuttajan tai toteuttajien nimet. Näissä kentissä määritellään milloin kysely toteutetaan eli milloin vastauksia ryhhytään keräämään ja milloin aineistonkeruu lopetetaan. Loppupäivämäärä ei kuitenkaan vaikuta siten, että tuon päivämäärän jälkeen vastaaja ei enää pääse kyselyyn vastaamaan. Kysely ei siis sulkeudu tuona päivänä, joka tähän kenttään laitetaan. Kyselyt tulee aina sulkea erikseen (ks. kohta 5.3) 10. Kohderyhmän koko: Palautetta antavan ryhmän koko. Kun tähän merkitään lukumäärä, niin järjestelmä laskee palautusprosentit kyselylle. 11. Ohjeteksti vastaajalle: Tähän voi kirjoittaa ohjeita, jotka näkyvät opiskelijoille kyselylomakkeella. 12. Omia muistiinpanoja (eivät Tähän kyselyn toteuttaja voi kirjoittaa omia huomioita ja muistiinpanoja. Nämä eivät näy vastaajille. näy vastaajalle): 13. Rajauskoodi Rajauskoodia voidaan käyttää luokitteluehtona, jonka perusteella koonnissa voidaan vetää yhteen kaikki samalla koodilla merkityt kyselyt (esim. luokkatunnus). Koodissa voi olla max. 50 merkkiä. Koontitoiminto on käytössä vain pääkäyttäjätason tunnuksilla. 14. Kyselyn käyttöoikeudet: Tässä voidaan määritellä ketkä pääsevät kyselyyn. Pääkäyttäjät näkevät kaikki organisaation kyselyt, joten heille ei tarvitse oikeutta erikseen antaa. Sen sijaan, jos halutaan, että joku / jotkut opettajakäyttäjät pääsevät kyselyjen tuloksia tarkastelemaan, niin tässä hänelle / heille voidaan antaa oikeus. Oikeuksien antaminen tapahtuu siten, että käyttäjän nimen edessä olevaan ruutuun laitetaan merkintä. 10

11 Kun edellä mainitut tunnistetiedot on täytetty klikataan tallenna painiketta. Järjestelmä ilmoittaa, että tiedot on tallennettu. Tämän jälkeen voidaan mennä kyselytlistaan tai takaisin muokkaukseen. Uusi kysely ilmestyy kyselyt-listaan. Tämän jälkeen on hyvä tarkistaa, miltä kyselylomake näyttää vastaajan silmin. Esikatselu tapahtuu näytä lomake -painikkeella. 11

12 6.2 Kyselyn muokkaus ja kloonaus Jos kyselyn tietoja on tarpeen muokata, niin se onnistuu, kun kyselyt listassa valitaan haluttu kysely Sitten klikataan muokkaa painiketta. Näin päästään takaisin tunnistetietoihin. Jos on tarpeen luoda useita kyselyitä, pääosin samoilla tunnistetiedoilla (esim. lukuvuosipalaute ryhmittäin), niin kätevintä on käyttää kloonaus -toimintoa. Kloonaa -painikkeen klikkaamisen jälkeen kysely tallentuu uudeksi kyselyksi. Eli uuteen kyselyyn tulevat samat tunnistetiedot kuin siinä, josta kloonattiin. Tarvittaessa tunnistetietoja voi kuitenkin muokata normaaliin tapaan. Useimmiten on tarpeen muuttaa ainakin kyselyn nimi. Huomaa, että uuden kloonatun kyselyn nimi-kenttään tulee teksti kloonattu. Se kannattaa myös poistaa nimi-kentästä. 12

13 6.3 Palautteiden kerääminen Palautteen keräämisessä on kaksi erilaista tapaa: A) pikatunnuksia käyttäen ja B) suoraa linkkiä käyttäen. Ohessa tarkemmat kuvaukset kummastakin tavasta Palautteiden kerääminen pikatunnuksia käyttäen ja kyselyn sulkeminen Kysely avataan vastaamista varten kyselyt näkymässä. Kun oikea kysely on valittuna (merkintä valittu sarakkeessa), klikataan avaa kysely, jolloin järjestelmä luo vastaajille annettavat tunnukset sarakkeeseen tunnus;salasana (ensimmäinen merkkijono on tunnus ja jälkimmäinen salasana). Myös tila -sarakkeeseen tulee teksti auki merkiksi siitä, että kysely on avoinna ja palautteita voidaan kerätä. Tunnus ja salasana toimitetaan vastaajille esim. kirjoittamalla ne taululle, lähettämällä sähköpostitse tms. Vastaajia ohjeistetaan menemään Internetissä INKA-järjestelmän osoitteeseen ( ja kirjautumaan tunnuksilla järjestelmään. Näin he pääsevät vastaamaan nimenomaiseen kyselyyn. Tämän jälkeen he täyttävät kyselylomakkeen ja klikkaavat lähetä -painiketta, jonka jälkeen järjestelmä kiittää vastauksesta ja palaa alkutilanteeseen. Vastaaja voi tässä vaiheessa kirjautua ulos tai vaihtoehtoisesti seuraava vastaaja voi tulla täyttämään lomaketta (jos kyselyyn vastataan ohjatusti esim. atk-luokassa). 13

14 Kun vastaajat ovat vastanneet ja palautteen keruu halutaan lopettaa, klikataan sulje kysely -painiketta, jolloin tunnukset häviävät, eikä kyselyyn enää voi vastata. Kyselyn sulkeminen on erittäin tärkeää. Tällä estetään ei-toivottujen vastausten kertyminen kyselyyn. Kysely voidaan kuitenkin avata uudestaan, jos esim. osa opiskelijoista on ollut poissa palautetta kerättäessä. Huomaa kuitenkin, että järjestelmä luo uuden salasanan ja tunnuksen, kun kysely avataan uudelleen pikatunnuksia käyttäen. Eli nämä uudet tunnukset on toimitettava vastaajille. 14

15 6.3.2 Palautteiden kerääminen suoraa linkkiä käyttäen ja kyselyn sulkeminen Toinen mahdollisuus palautteiden keräämiseen on suoran vastauslinkin käyttäminen. Tämä on kätevä tapa silloin, jos vastauspyyntö lähetetään vastaajille sähköpostitse tai se toimitetaan intranetin, oppimisalustan tms. foorumin kautta. Kun kyselyaineistoa halutaan kerätä, mennään kyselyt -listaan, valitaan nimenomainen kysely ja klikataan muokkaa. Avautuvassa näkymässä laitetaan rasti kohtaan Vastauslinkki ja klikataan tallenna 15

16 Tämän jälkeen palataan jälleen muokkaus -kohtaan ( takaisin muokkaukseen ), jolloin näkymän alaosaan on ilmestynyt vastauslinkki. Linkki voidaan kopioida ja toimittaa vastaajille esim. sähköpostitse. Linkin kopioinnissa tulee olla huolellinen, jotta kaikki merkit tulevat mukaan. Jokaiselle kyselylle muodostuu aina oma erillinen linkkinsä, jola pääsee vastaamaan ainoastaan nimenomaiseen kyselyyn. Kun palautteiden keruu lopetetaan, kysely suljetaan. Suoran linkin tapauksessa sulkeminen tapahtuu siten, että mennään kyselyn muokkaa -kohtaan ja otetaan rasti pois kohdasta Vastauslinkki ja klikataan tallenna. Vastauslinkki katoaa ja nyt kysely on suljettu eikä siihen enää voida vastata. 16

17 Yleensä vastauslinkin paikka on jo luotu INKA-järjestelmään organisaation työtilaan, kun organisaatio ottaa järjestelmän käyttöönsä. Jos linkkiä ei kuitenkaan ole luotu, pääkäyttäjä voi luoda sen itsekin. Tämä tapahtuu käyttäjät -kohdassa. Siellä ikään kuin lisätään opiskelijatasoinen käyttäjä järjestelmään, mutta henkilötietojen sijasta kirjoitetaan nimikenttiin vastauslinkin tiedot. Käyttäjätunnukseksi ja salasanaksi voidaan antaa mikä tahansa merkkijono. Syytä on kuitenkin huomata, että salasana-kenttään kirjoitettava merkkijono tulee näkymään vastaajille toimitettavan vastauslinkin loppuosassa. Käyttöoikeustasoksi tulee määritellä opiskelija. -kenttää ei tarvitse täyttää. Tämän jälkeen klikataan tallenna. 17

18 8. Tulosten tarkasteleminen 8.1 Yksittäisten kyselyjen tulostarkastelu Kyselyt -listassa valitaan kysely, jonka tuloksia halutaan tarkastella. Sitten klikataan tulokset painiketta, jolloin avautuu alla oleva näkymä: Jos kyselyn luontihetkellä on määritelty kyselyn tunnistetietoihin ryhmän koko, niin järjestelmä laskee automaattisesti vastausprosentin. Näkymään tulevat esille myös kyselyn viimeisen vastauksen kirjautumisajankohta sekä kyselyn toteuttajan omat muistiinpanot ja huomiot, mikäli hän on niitä kirjoittanut kyselyn luontihetkellä. Tulostarkastelussa on mahdollista valita keskiarvot, jakaumat tai sanalliset tulokset. 18

19 8.1.1 Keskiarvot Keskiarvojen tarkastelussa on mahdollista joko jättää vertailuryhmä pois tai valita vertailuryhmä mukaan. Vertailuryhmä muodostuu viimeisen vuoden (365 vrk) aikana samalla lomakepohjalla toteutetuista kyselyistä. Aika lasketaan siitä hetkestä, kun käyttäjä tekee tulostarkastelun (eli klikkaa keskiarvot -painiketta). Vertailuryhmä muodostuu kaikkien järjestelmän piirissä olevien lukioiden samalla lomakkeella toteutetuista kyselyistä. Jos kohdekyselyyn on valittu vastaajaryhmä (nuoret, aikuisopiskelijat jne.) niin vertailuryhmä muodostuu saman vastaajaryhmän kyselyistä. Jos kohdekyselyssä ei ole vastaajaryhmää valittuna, vertailuryhmä muodostuu kaikkien ryhmien kyselyistä. Keskiarvo -pylvääseen tulevat kohdekyselyn keskiarvot kysymyksittäin sekä vertailuryhmän tulos kolmiomerkinnällä. 19

20 8.1.2 Jakaumat Jakaumissa taulukoihin tulevat lukumäärä- ja prosenttijakaumat sekä keskiarvo ja keskihajonta Sanalliset vastaukset Sanalliset vastaukset näkyvät siinä muodossa, kuin vastaajat ovat ne avokysymyksiin kirjoittaneet. INKA-järjestelmä ryhmittelee vastaukset kysymyksittäin. Vastauksen perässä oleva numerosarja tarkoittaa vastauksen tietokantaan tallentumisen järjestysnumeroa. 20

21 8.2 Koonti Koonti on käytössä ainoastaan pääkäyttäjä-tason käyttöoikeuksilla. Koonnin avulla on mahdollista koota kyselyjen tuloksia yhteen eri tavoin. Koonti -toiminnossa valintaehdot ovat: kyselyn teema-alue, kohderyhmä, kyselyn kohteena oleva oppiaine, käytettävä lomake, aikaväli ja rajauskoodi. Lisäksi voidaan valita kyselyjen listaus, jolloin tulosten lopussa näkyy koonnissa mukana olevat kyselyt. Koonnissa lomake ja aikaväli ovat pakollisia valintaehtoja. Samoin kuin yksittäisten kyselyjen kohdalla, myös koonnissa on mahdollista määritellä vertailuryhmä. Erona yksittäisten kyselyjen vertailuryhmämäärittelyyn on se, että koonnissa voidaan keskiarvojen tarkasteluun valita myös vertailuryhmän aikaväli. Trenditoiminnossa vertailuryhmän aikaväli on automaattisesti sama kuin kohderyhmälläkin. Näin siksi, koska trenditoiminto perustuu summamuuttujiin ja etukäteen asetettuihin trendipisteisiin (ks. tarkemmin jäljempänä). Kohderyhmän ja vertailuryhmän aikaväli toimii siten, että koontiin tulevat mukaan kaikki sellaiset kyselyt, joissa viimeinen vastaus on kirjautunut annetun aikavälin sisällä. Esim. jos aikaväliksi määritellään , mukaan tulevat kaikki sellaiset kyselyt, joissa viimeinen vastaus on kirjautunut tämän aikahaarukan sisällä. 21

22 Koonnissa voidaan tarkastella keskiarvoja, jakaumia ja trendejä Keskiarvot Keskiarvoja tarkasteltaessa on mahdollista valita vertailuryhmä samalla tavalla kuin yksittäisten kyselyjen tulostarkastelussakin. Vertailussa on mahdollista verrata tuloksia kaikkien INKA-järjestelmän piirissä olevien oppilaitosten tuloksiin. Yksittäisten oppilaitosten tiedot eivät järjestelmässä paljastu, vaan kukin oppilaitos pääsee tutkimaan vain omia tuloksiaan, mutta oppilaitos voi verrata tuloksiaan koko käyttäjäkunnan keskiarvotuloksiin. Keskiarvojen tarkastelussa on mahdollista märitellä vertailuryhmän aikaväli. Voidaan esimerkiksi verrata oman oppilaitoksen tilannetta eri vuosina tai kokonaistilannetta useampia vuosia yhteenlaskettuna. Keskiarvopylvääseen tulevat kohderyhmän keskiarvot kysymyksittäin sekä vertailuryhmän tulos kolmiomerkinnällä Jakaumat Jakaumissa taulukoihin tulevat lukumäärä- ja prosenttijakaumat sekä keskiarvo ja keskihajonta Koonnin mahdollisia ongelmakohtia Koontiin tulevat mukaan sellaisten kyselyjen tulokset, jotka osuvat koonnin valintaehdoissa asetettuun aikaväliin ja joissa on käytetty samoja luokitusehtoja kuin koonnin luokitusehdoissa (teema-alue, kohderyhmä, oppiaine, lomake, mahdollinen rajauskoodi). Jos koonti ei anna haluttua kyselyjoukkoa, kannattaa kokeilla aikavälin vaihtamista, esim. laittamalla sekä alku- että loppupäivämäärään hieman enemmän varaa. Myös valintaehdot on hyvä tarkistaa. Esim. jos halutaan kaikkien oppiaineiden palautteet yhteenvedettynä koko lukukauden osalta, niin valitaan lomakkeeksi kurssipalautelomake, mutta jätetään oppiainevalikko tyhjäksi. Tällöin koontiin tulevat kaikki sellaiset kyselyt, jotka on toteutettu kurssipalautelomakkeella. 22

23 7. Palautteenkeruun erilaiset mallit 7.1 Keskitetty ja hajautettu palautteenkeruumalli Organisaation arviointistrategia ja -suunnitelma ohjaavat arviointitoimintaa ja siihen liittyvää palautteenkeruuta. Opiskelijapalautteen keräämisessä on pääsääntöisesti kaksi eri mallia: keskitetty ja hajautettu malli. Osa oppilaitoksista hoitaa palautteen keräämisen joko kokonaan tai osittain keskitetysti siten, että pääkäyttäjä(t) hoitaa käytännön järjestelyt ja opettajat saavat tulokset ilman, että ovat itse käyttäneet järjestelmää. Keskitetyllä mallilla voidaan myös kontrolloida kyselyjen määrää ja kohdentamista. Tällä varmistetaan sekä opiskelijoille mielekäs vastaamistiheys että riittävän ja kulloinkin tarvittavan tiedon saanti opettajia ja oppilaitosta varten. Vaikka hajautetun mallin etuna on palautteenkeruun parempi kokonaiskontrolloitavuus, voi opettajien oman työn kehittämisen kannalta olla motivoivaa, jos käytännön laadun arviointityö ja INKA:n käyttö muodostuu luonnolliseksi osaksi heidän omaa työnkuvaansa. Tällöin opettajat voisivat mahdollisuuksien mukaan kerätä palautetta omista kursseistaan ja käydä palautteen läpi yhdessä opiskelijoiden kanssa. Keskitetty, pääkäyttäjävetoinen kyselyjen toteuttamismalli ja opettajalähtöinen malli eivät ole toisiaan poissulkevia, vaan niitä yhdistelemällä voidaan päästä siihen, että organisaatio saa tarvitsemansa tiedot, opettaja voi käyttää INKA:a välineenä oman työnsä kehittämisessä, eikä opiskelijoitakaan kuormiteta liian monilla kyselyillä. 7.2 Itsenäinen ja ohjattu malli Palautteen keräämisessä voidaan soveltaa itsenäistä tai ohjattua menetelmää. Itsenäisessä mallissa palautekyselyt avataan kullekin opiskelijaryhmälle ja tunnukset tai vastauslinkki toimitetaan opiskelijoille ja pyydetään heitä vastaamaan tiettyyn päivämäärään mennessä. Ohjatussa menetelmässä palautteen antamiselle varataan aika ja paikka. Itsenäinen menetelmä on tietysti vaivattomampi, mutta ohjatussa menetelmässä vastausprosentti on yleensä parempi. Ohjatun mallin etuna on myös se, että opettaja tai muu henkilökunnan edustaja voi selventää kysymyksiä ja vastata, jos opiskelijoilla on jotain kysyttävää palautteen annosta. 23

24 Kurssipalautteiden osalta käytäntönä voi olla, että opettajat saavat itse kerätä palautteen omista kursseistaan. Toki mahdollista on myös kerätä kurssipalaute keskitetysti pääkäyttäjän / pääkäyttäjien toimesta. Voidaan myös sopia, että tänä lukuvuona kerätään keskitetysti palaute tietyistä kursseista ja seuraavana lukuvuona tietyistä. Aloitusvaiheen kyselyt, lukuvuosikyselyt ja opintojen päättövaiheen kyselyt voidaan kerätä keskitetysti joko niin, että ryhmänohjaajat keräävät palautteen omilta ryhmiltään. Tai mahdollista on, että pääkäyttäjät keräävät palautteet keskitetysti Arviointipäivä ohjatun palautteen tapauksessa Ohjatussa palautteenannossa voidaan järjestää esim. arviointipäivä, jonka aikana kaikki / tietyt opiskelijaryhmät käyvät vastaamassa palautekyselyyn. Järjestelyt aloitetaan varaamalla atk-luokka ja tekemällä aikataulu, jonka mukaan ryhmät käyvät palautteet antamassa. Käytäntö on osoittanut, että yhtä ryhmää kohti kannattaa ensimmäisellä palautteenantokerralla varata minuuttia. Opiskelijoiden totuttua järjestelmän minuuttia on riittävä aika palautteen antamiselle. Sen jälkeen avataan ryhmiä varten tarvittavat kyselyt, esim. kloonaamalla (ks. kohta kyselyn muokkaus ja kloonaus ). Jos palaute halutaan kerätä kokonaisaineistona (eli ei ole tarpeen kerätä tuloksia esim. ryhmittäin), riittää että avataan vain yksi kysely ja luodaan vain yhdet tunnukset. Jos halutaan säästää aikaa siinä, ettei opiskelijaryhmien tarvitse kirjautua järjestelmään tilaisuuden alussa, voidaan menetellä siten, että käytetään koko arviointitilaisuuden ajan samaa tunnusta. Opiskelijat vastaavat kyselyyn ja klikkaavat lähetä -painiketta, mutta eivät kirjaudu ulos järjestelmästä vastaamisen jälkeen, vaan seuraava ryhmä siirtyy koneille heti edellisen poistuttua. Jos halutaan kerätä tulokset siten, että niitä voidaan tarkastella ryhmittäin (esim. 09A, 09B, 09C jne.) tulee kullekin ryhmälle avata oma kyselynsä (ks. edellinen kohta 6.2 kyselyn muokkaus ja kloonaus). Ryhmälle toimitetaan ryhmän oman kyselyn tunnus ja salasana, joilla he pääsevät vastaamaan. Palautteenantotilanteen alussa ryhmälle ilmoitetaan oryhmän oman kyselyn tunnus ja salasana, joilla he kirjautuvat järjestelmään ja sieltä ulos, kun palaute on annettu (ks. edellä kohta Palautteiden kerääminen pikatunnuksia käyttäen). 24

25 Jos halutaan säästää aikaa siinä, ettei opiskelijaryhmien tarvitse kirjautua järjestelmään palautteenkeruutilaisuuden alussa, voidaan menetellä siten, että käytetään koko arviointitilaisuuden ajan samaa tunnusta. Opiskelijat vastaavat kyselyyn ja klikkaavat lähetä painiketta, mutta eivät kirjaudu ulos järjestelmästä vastaamisen jälkeen, vaan seuraava ryhmä siirtyy koneille heti edellisen poistuttua. Ohessa tarkempi kuvaus tästä menettelytavasta: 1) Pääkäyttäjä lisää järjestelmään käyttäjät -kohdassa opiskelijatunnuksen, jota tullaan käyttämään kaikkien ryhmien kohdalla. Näin menetellen riittää, kun järjestelmään kirjaudutaan vain kerran tilaisuuden alussa ja mahdollisten taukojen jälkeen. Tässä esimerkissä opiskelijakäyttäjän tunnus on palaute ja salasana aloittavat ) Järjestelmään luodaan ryhmiä varten tarvittavat kyselyt (jos halutaan, että kunkin ryhmän vastaukset kirjautuvat erilleen, niin luodaan kullekin oma kyselynsä, jos tuloksia ei ole tarpeen tarkastella ryhmittäin, niin palaute voidaan kerätä samaan kyselyyn). Oheisessa esimerkissä kullekin ryhmälle on luotu oma kysely. 25

26 3) Kunkin kyselyn kohdalla määritellään käyttöoikeus tuolle aiemmin luodulle opiskelijatunnukselle. Eli valitaan kyselyt -kohdassa nimenomainen kysely ja klikataan muokkaa. Laitetaan merkintä opiskelijatunnuksen edessä olevaan ruutuun ja tallennetaan. 4) Palautteenkeruutilanteen alussa opiskelijoita pyydetään kirjautumaan järjestelmään tunnuksella palaute ja salasanalla aloittavat2008. Näin opiskelijoille ilmestyy valikko, jossa näkyvät eri ryhmien kyselyt. 5) Opiskelijaa ohjeistetaan valitsemaan oman ryhmänsä kysely. Lomakkeen täyttämisen jälkeen opiskelija klikkaa lähetä painiketta, mutta ei kirjaudu ulos järjestelmästä. Kun opiskelija klikkaa lähetä painiketta, hänelle tulee seuraava ilmoitus.: Opiskelija voi klikata Palaa takaisin kyselyt listaan tai jättää koneen tähän tilaan. Järjestelmä palautuu 10 sekunnin kuluttua automaattisesti kyselyjen valikko kohtaan, josta seuraava vastaaja voi valita oman ryhmänsä kyselyn. 6) Mahdollista on myös tehdä niin, että ainoastaan yhden ryhmän kysely näkyy valikossa kerrallaan. Tämä kuitenkin edellyttää, että pääkäyttäjä tai kyselyt luonut opettaja poistaa tunnuksen kyselystä, kun vastaajaryhmä on vastannut ja lisää tunnuksen seuraavan ryhmän kyselyyn. 26

27 7) Kun kaikki ryhmät ovat vastanneet, tunnus poistetaan kyselyistä 9. Omat lomakkeet Arviointityössä voidaan käyttää INKA:n standardilomakkeiden lisäksi myös omia lomakkeita. Omat lomakkeet eivät mahdollista benchmarkkausta kaikkiin INKA-verkoston organisaatioihin, koska benchmarkkauksen edellytyksenä on kaikille yhteinen lomakepohja. Lomakkeiden laadinta ja järjestelmään siirtäminen voidaan tilata Jyväskylän yliopiston täydennyskoulutuskeskuksesta. Mahdollista on myös ottaa käyttöön lomake-editori, jolla organisaation pääkäyttäjät voivat laatia itse omia lomakkeitaan ja siirtää ne INKAan oman organisaation käyttöön. 27

28 10. Arviointi- ja laadunkehittämistoimintaan liittyviä näkökulmia INKA on apuväline koulutuksen paikalliseen itsearviointiin. Välineen lisäksi tarvitaan arvioinnin ja laadunkehittämisen periaatteita ja toimintakäytäntöjä sekä arviointi- ja kehittämiskulttuurin luomista ja vakiinnuttamista. Seuraavassa on esitelty muutamia näkökulmia, joita voidaan hyödyntää INKA:n käytössä sekä oppilaitosten organisaatioiden laadun arvioinnin suunnittelussa ja hallinnassa. Jyväskylän yliopiston täydennyskoulutuskeskuksesta on mahdollista tilata arviointi- ja laadunkehittämistoimintaan liittyvää koulutusta, konsultointia ja kehittämistukea Arviointistrategia Organisaation arviointistrategia määrittelee arviointitoiminnan perustavoitteet, muodot, pääperiaatteet, laajuuden ja keinovalikoiman. Arviointistrategiassa määritellään ja kootaan yhteen viitekehykseen oppilaitoksen arviointitoiminnan eri ulottuvuudet: 1. Paikallinen arviointi 2. Ulkopuolinen arviointi 3. Benchmarking Arviointistrategia määrittelee, mitä arvioinnilla organisaatiossa tarkoitetaan, miten arvioinnin keskeiset käsitteet ymmärretään, mitä toiminnan osa-alueita arvioinnin piiriin kuuluu, millaista arviointia organisaatiossa toteutetaan ja millainen on arvioinnin työnjako. Arviointistrategialla pyritään luomaan organisaatioon yhteinen käsitys arvioinnista. Organisaation arviointistrategia on väline, jolla tuloksellinen arviointitoiminta tehdään mahdolliseksi. Arviointistrategiassa määritellään ja perustellaan myös arvioinnin menetelmät ja mittarit. Arviointistrategia takaa sen, että organisaation eri osastoilla arviointitoimintaa toteutetaan samoin menetelmin ja mittarein. Tällä tavalla arviointistrategia takaa arviointitietojen yhteismitallisuuden ja vertailtavuuden. Arviointistrategia pitää myös huolen siitä, ettei opiskelijoita, henkilökuntaa tai sidosryhmiä rasiteta liikaa arviointikyselyillä. Arviointistrategia määrittelee myös kehittämistoiminnan peruslähtökohdat ja toimintamallit. Arviointistrategia kertoo selkeästi laadun tavoitetason. Se kertoo myös, miten kehittämisen kohteet valitaan ja miten kehittämistyötä toteutetaan. 28

29 Arviointistrategiassaan oppilaitoksen tulee määritellä: 1. Mitä ja miksi arvioidaan 2. Miten arvioidaan 3. Mitkä ovat arvioinnin painopisteet 4. Kuka tai ketkä ovat vastuussa arvioinnin toteuttamisesta 5. Millainen määrä arviointeja on tarkoitus toteuttaa lukukausi ja -vuosi tasolla 6. Miten arviointien määrä jakautuu koulutusalojen, yksiköiden ja aineiden kesken 7. Miten arvioinneista tiedotetaan ja raportoidaan 8. Miten tarvittavat kehittämistoimenpiteet saadaan liikkeelle Arviointisuunnitelma Arviointisuunnitelma on tietylle ajanjaksolle (esim. tulevalle lukuvuodelle) laadittu suunnitelma organisaation arviointitoiminnan käytännön toteuttamisesta. Arviointisuunnitelman laadinnassa otetaan huomioon: 1. organisaation koko 2. yksiköiden lukumäärä 3. yksiköiden sijainti toisiinsa nähden 4. organisaatiossa jo olemassa olevat tehtäväjaot ja rakenteet Arviointisuunnitelma pitää huolen siitä, että arvioinnissa käytetään tehokkaasti hyväksi organisaation eri yksiköiden henkilöstön olemassa olevaa osaamista, jo käytössä olevia tehtävänjakoja, välineitä ja mahdollisuuksia. Organisaation arviointisuunnitelmassa määritellään yksityiskohtaisesti: 1. Arvioinnin kulloisetkin strategiset painopisteet 2. Arviointien toteuttamisajankohdat ja aikataulut 3. Arvioinnin toteuttajat 4. Arvioinnissa kulloinkin käytettävät yhteiset mittarit 5. Arviointiin osallistuvat ryhmät 6. Tulosten välittäminen tiedoksi ao. henkilöille 29

30 11. INKA-tuen yhteystiedot INKA -järjestelmää koskevissa kysymyksissä löydät apua: INKA-järjestelmän www-sivuilta osoitteessa: INKA-järjestelmän tukisähköpostista: Puhelinnumeroista ja