INKA Koulutuksen arviointijärjestelmä Pääkäyttäjän ohje Ammatillinen koulutus
Sisällys 1. INKA -järjestelmän yleiskuvaus... 3 2. Käyttäjätasot... 4 3. Pääkäyttäjän roolista... 5 4. Järjestelmään kirjautuminen... 5 5. Käyttäjäasetusten muuttaminen ja uusien käyttäjien lisääminen... 7 5.1 Omien tietojen päivitys... 7 5.2 Uusien käyttäjien lisääminen... 8 5.3 Käyttäjien poistaminen... 8 6. Kyselyjen toteutus... 9 6.1 Kyselyn luominen... 9 6.2 Kyselyn muokkaus ja kloonaus... 11 6.3 Palautteiden kerääminen... 12 6.3.1 Pikatunnuksia käyttäen... 12 6.3.2 Suoraa linkkiä käyttäen... 13 7. Palautteenkeruun erilaiset mallit... 15 7.1 Keskitetty ja hajautettu malli... 15 7.2 Itsenäinen ja ohjattu malli... 16 7.3 Arviointipäivän järjestäminen... 16 8. Tulosten tarkasteleminen... 19 8.1 Yksittäisten kyselyjen tulostarkastelu... 19 8.1.1 Keskiarvot... 20 8.1.2 Jakaumat... 21 8.1.3 Sanalliset vastaukset... 21 8.2 Koonti... 22 8.2.1 Keskiarvot... 23 8.2.2 Jakaumat... 24 8.2.3 Trendit... 24 8.2.4 Koonnin mahdollisia ongelmakohtia... 25 9. Omat lomakkeet... 26 10. Arviointi- ja laadunkehittämistoimintaan liittyviä näkökulmia... 27 10.1 Arviointistrategia... 27 10.2 Arviointisuunnitelma... 28 11. INKA-tuen yhteystiedot... 29 2
1. INKA -järjestelmän yleiskuvaus INKA -järjestelmä on verkkopohjainen selainkäyttöinen arviointijärjestelmä. Järjestelmä ei edellytä ohjelmistojen asentamista asiakkaan palvelimille tai työasemiin. Käyttäjä tarvitsee ainoastaan internet-yhteyden ja selaimen järjestelmän käyttämiseen. Järjestelmä toimii pääpiirteissään siten, että järjestelmän käyttäjä avaa kyselyn tietylle kohderyhmälle ja toimittaa heille tunnukset, joilla vastaajat pääsevät kirjautumaan järjestelmään ja vastaamaan kyselyyn. Tiedot tallentuvat Jyväskylän yliopiston tietokantapalvelimelle ja organisaation INKA- käyttäjät pystyvät tarkastelemaan vastauskertymiä reaaliaikaisesti. Järjestelmän käyttäjä voi valita käyttökielekseen suomen tai englannin. Järjestelmään on integroitu 10 valmista kyselylomaketta, jotka on suunniteltu ammatillisen koulutuksen käyttöön yhteistyössä koulutuksen järjestäjien kanssa. Lomakkeet mittaavat koulutuksen eri osa-alueita (opintojen aloitus, yleisaineiden opetus, ammattiteorian opetus, työnopetus, työssäoppiminen ja ammattiosaamisen näytöt, koko lukuvuosi, valmistuminen, työpaikkaohjaajan palaute, aikuiskoulutus, työyhteisöarviointi). Lomakkeet ovat järjestelmässä suomen- ruotsin ja englanninkielisinä eli vastaaja voi valita vastaustilanteessa yhden näistä kielistä. Kaikki peruslomakkeet mahdollistavat benchmarkkauksen eli oman organisaation tuloksia on mahdollista verrata kaikkien INKAjärjestelmää käyttävien oppilaitosten keskiarvoon. Tulosten tarkastelussa vertailuryhmän voi valita erilaisin valintaehdoin. INKAssa vastaustuloksia voidaan tarkastella keskiarvojakaumina sekä lukumäärä- ja prosenttijakaumina. Sanalliset vastaukset järjestelmä ryhmittelee kysymyksittäin. Järjestelmään on rakennettu peruslomakkeista myös summamuuttujat, joiden avulla organisaatio voi seurata kehitystrendiään pitkällä aikavälillä ja verrata sitä muiden järjestelmän piirissä olevien organisaatioiden trendiin. Jos organisaatio haluaa luoda omia arviointilomakkeita, niin tämä on mahdollista joko ottamalla käyttöön lomake-editori tai tilaamalla lomakkeiden laadinta Jyväskylän yliopiston täydennyskoulutuskeskuksesta. Lomake-editori on erillinen ohjelma, joka tulee asentaa käyttäjän koneelle. Omat lomakkeet eivät mahdollista benchmarkkausta muihin organisaatioihin. 3
2. Käyttäjätasot INKA -järjestelmän käyttäjätasot ovat: Pääkäyttäjällä on kaikki järjestelmän toiminnot käytössä. Pääkäyttäjätunnuksella pystytään toteuttamaan kyselyjä sekä hallinnoimaan ja tarkastelemaan kaikkia organisaation alla toteutettujen kyselyjen tuloksia. Mahdollista on myös koota useiden eri kyselyjen tuloksia yhteen. Pääkäyttäjä pystyy luomaan uusia käyttäjiä järjestelmään. Opettajatunnuksella voidaan toteuttaa kyselyjä ja tarkastella itse toteutettujen kyselyjen tuloksia (sekä niiden kyselyjen, joihin opettajalle on annettu oikeus joko toisen opettajatasoisen tai pääkäyttäjän toimesta). Opettajatunnuksella voidaan tarkastella yksittäisten kyselyjen tuloksia, mutta ei tehdä koonteja useiden kyselyjen tuloksista. Opettaja-käyttäjä voi muuttaa omia käyttäjätietojaan (lukuun ottamatta käyttäjätasoa), mutta hän ei voi luoda uusia käyttäjiä järjestelmään. Arvioijatunnuksella voidaan ainoastaan avata uusia kyselyjä, mutta ei tarkastella tuloksia. Opiskelijatunnuksella päästään ainoastaan vastaamaan kyselyihin. Näiden lisäksi osalle pääkäyttäjistä voidaan määritellä ns. superpääkäyttäjätunnukset. Tällaiset käyttäjätunnukset ovat tarpeen silloin, jos organisaatio on jaettu INKAjärjestelmässä useaksi alaorganisaatioksi (esim. ammattiopisto koostuu useasta eri oppilaitoksesta tai ammattiopisto on jaettu järjestelmään koulutusyksiköittäin, - klustereittain tai -ohjelmittain) ja pääkäyttäjän tulee päästä useaan eri alaorganisaatioon. Toimintaominaisuuksiltaan superpääkäyttäjätunnukset ovat samanlaiset kuin em. esitellyt pääkäyttäjätunnukset. 4
3. Pääkäyttäjän roolista Pääkäyttäjinä organisaatioissa ja oppilaitoksissa toimivat tyypillisesti esim. rehtorit, laatupäälliköt, koulutusalajohtajat ja muut laadunkehittämishenkilöstöön kuuluvat toimijat. Myös atk-tukihenkilöt ovat joissain organisaatioissa pääkäyttäjiä. Osassa organisaatioista atk-tukihenkilöt toimivat arvioija -oikeuksilla, jolloin he pystyvät teknisesti huolehtimaan kyselyiden järjestämisestä, mutta eivät pääse tarkastelemaan tuloksia. Pääkäyttäjien tehtävänä on usein esim. arviointien suunnittelu ja käytännön järjestäminen sekä tulosten kokoaminen ja raporttien tuottaminen. 4. Järjestelmään kirjautuminen INKA -järjestelmään kirjaudutaan Internet-selaimella osoitteessa http://inka.jyu.fi Sisäänkirjautumissivulla tiedotetaan ajankohtaisista asioista ja sieltä löytyy myös yleistä tietoa järjestelmästä ja arviointitoiminnasta yleensä. Tunnus- ja salasanakenttiin kirjoitetaan omat tunnukset ja klikataan sisään painiketta. 5
Sisään kirjautumisen jälkeen avautuu työskentelytilan perusnäkymä, jossa palautekyselyjä voidaan toteuttaa ja tuloksia tarkastella. Yläpalkissa olevalla kyselyt -painikkeella päästään aina perusnäkymään. Perusnäkymään listautuvat kyselyt, joita organisaatiossa on toteutettu. Näytä -valikon avulla voidaan rajata näkyviin tulevien kyselyjen määrää. Vaihtoehtoina ovat 1 viikko, 1 kk, 3 kk, 1 vuosi, kaikki. Aikarajaus käyttää niitä päivämääriä, jotka kyselyyn on merkitty kyselyn luomisen hetkellä. Näytä -toiminto on käyttökelpoinen etenkin silloin, kun järjestelmää on käytetty useita vuosia ja kyselyjä on kertynyt järjestelmään paljon. Koonti -toiminnon avulla on mahdollista yhteen vetää useiden kyselyjen tuloksia. Käyttäjät -kohdassa pääkäyttäjä voi luoda uusia käyttäjiä järjestelmään tai muokata olemassa olevien käyttäjien asetuksia. Ohjeet -valikosta löytyvät järjestelmän käyttöohjeet. 6
5. Käyttäjäasetusten muuttaminen ja uusien käyttäjien lisääminen 5.1 Omien tietojen päivitys Pääkäyttäjä voi päivittää omia käyttäjätietojaan sekä lisätä uusia käyttäjiä, muuttaa käyttäjien tietoja ja poistaa käyttäjiä. Omien tietojen päivitys tapahtuu seuraavasti: klikataan käyttäjät -painiketta, valitaan oma nimi eli laitetaan merkintä oman nimen kohdalle ja klikataan muuta tietoja -painiketta. Tämän jälkeen avautuu käyttäjäasetusten näkymä. Jos halutaan esim. muuttaa oma tunnus ja salasana, niin kirjoitetaan kenttiin uudet tunnukset ja klikataan tallenna. Huomaa, että salasana kysytään kahteen kertaan. 7
5.2 Uusien käyttäjien lisääminen Uusi käyttäjä voidaan lisätä toiminnolla lisää käyttäjä. Sen jälkeen avautuviin kenttiin määritellään henkilön nimi, käyttäjätunnus, salasana, käyttöoikeustaso ja sähköpostiosoite. Salasanan pituudeksi suositellaan vähintään 6 merkkiä, mieluiten 8 merkkiä, mutta järjestelmä hyväksyy vähintään kolme merkkiä pitkän salasanan. Järjestelmä hyväksyy myös skandinaaviset kirjaimet. INKAn sisäänkirjautumissivulla (http://inka.jyu.fi) oleva unohditko salasanasi -toiminto perustuu tässä käyttäjät - näkymässä kirjoitettuun sähköpostiosoitteeseen. Eli järjestelmä lähettää tunnuksen ja salasanan E-mail -kentässä määriteltyyn sähköpostiosoitteeseen. Kun käyttäjän tiedot on määritelty, klikataan tallenna -painiketta. Kun uusi käyttäjä on luotu järjestelmään, niin INKAn sisäänkirjautumisosoite sekä luotu tunnus ja salasana ilmoitetaan käyttäjälle. Halutessaan käyttäjä voi muuttaa tunnustaan ja salasanaansa samalla tavalla kuin edellä kuvattiin omien tietojen päivitystä. 5.3 Käyttäjien poistaminen Käyttäjien poistaminen on tarpeellista esim. käyttäjän vaihtaessa työpaikkaa, jolloin hänen INKA-tunnustakaan ei enää tarvita. Poistaminen tapahtuu siten, että mennään käyttäjät - kohtaan ja valitaan käyttäjä, joka halutaan poistaa. Sitten klikataan poista käyttäjä. 8
Järjestelmä kysyy vielä, halutaanko käyttäjä todella poistaa ja tämän jälkeen käyttäjä poistetaan. 6. Kyselyjen toteutus 6.1 Kyselyn luominen Uuden kyselyn toteutus alkaa perusnäkymästä eli kyselyt -kohdasta, jossa klikataan toimintoa uusi kysely. Tämän jälkeen avautuu näkymä, jossa määritellään avoimiin kenttiin kyselyä koskevat tiedot. Seuraavalla sivulla on tarkemmat kuvaukset kyselyn tunnistetiedoista. 9
Kaikki tiedot eivät ole pakollisia. Pakolliset tiedot on merkitty listassa (*) merkillä. 01. Toimipiste: (*) Määritellään oppilaitoksen mahdollinen toimipiste/ yksikkö, jossa kyselyä toteutetaan tai jota kysely koskee. 02. Ryhmä: (*) Voidaan valita vastaajaryhmä. Esim. nuoret, opetushenkilöstö, ym. 02. Ryhmän tunnus: Ryhmän tunnuksella voidaan erotellaan ryhmät (luokat) oppilaitoksissa toisistaan. Esimerkiksi kone- ja metallialan 2008 aloittaneen ryhmän koodi voi oppilaitoksessa olla KOME08. Tähän kohtaan kirjoitettu tunnus näkyy kyselylistauksessa (eli kyselyt - kohdassa) kyselyn nimen edessä. 03. Kyselyn nimi: (*) Kyselylle annetaan otsikko. Tämä otsikko näkyy kyselylistauksessa ja se näkyy myös vastaajille varsinaisessa kyselylomakkeessa. 04. Lyhyt kuvaus: Kyselyn toteuttaja voi kirjoittaa tähän tarkempaa kuvausta kyselystä. Tämä kuvaus näkyy kyselylistauksessa, mutta se ei näy vastaajille. 05. Koulutusala: (*) Kyselyyn vastaavan ryhmän koulutusala. INKAn luokitus pohjautuu opintoaloihin. Eli kunkin koulutusalan alla näkyy siihen kuuluvat opintoalat, joista valitaan oikea. 06. Kyselyn kohteena (*) Valitaan lomakepohja, jota käytetään. INKA-järjestelmässä benchmarkkauksen mahdollistavat peruslomakkeet ovat: opintojen aloitus, ammatilliset teoreettiset opinnot, ammatillisen työnopetukselliset opinnot, yleis- tai muut teoreettiset opinnot, työssäoppiminen + amos-näytöt, työpaikkaohjaajan palaute lukuvuosiarviointi, valmistuva ryhmä, aikuiskoulutus, työyhteisölomake 07. Oppiaine: Jos toteutetaan kysely lomakkeella yleis- tai muut teoreettiset opinnot, niin halutessa voidaan määritellä myös oppiaine. 08. Opettaja (etu-, sukunimi): Kyselyn vastuuhenkilön / -henkilöiden nimi 09. Kyselyn alku ja loppu (*) Kyselyn toteutuksen alkamis- ja päättymispäivämäärä. Kyselyt näkyvät kyselylistauksessa tässä asetettujen päivämäärien mukaan. Eli, jos mennään kyselyt listaan ja määritellään näytä -valikkoon 1 viikko, niin näkyviin tulevat sellaiset kyselyt, joissa päättymispvm. osuu viikon aikahaarukkaan, kuukauden aikarajauksella kuukauden aikahaarukkaan jne. 10. Jakso: Lukuvuoden jakso, johon arvioitava opintokokonaisuus sijoittuu (1 6). 11. Luokka: Kohteena olevan ryhmän luokka-aste / vuosikurssi (1 4). 12. Ryhmän koko: Palautetta antavan ryhmän koko. Kun tähän merkitään lukumäärä, niin järjestelmä laskee palautusprosentit kyselylle. 13. Lomakkeelle tuleva ohjeteksti Tähän voi kirjoittaa ohjeita, jotka näkyvät opiskelijoille kyselylomakkeella. 14. Huomautuksia: Tähän kyselyn toteuttaja voi kirjoittaa omia huomioita ja muistiinpanoja. Nämä eivät näy vastaajille. 15. Rajauskoodi Rajauskoodia voidaan käyttää luokitteluehtona, jonka perusteella koonnissa voidaan vetää yhteen kaikki samalla koodilla merkityt kyselyt. Koodissa voi olla max. 50 merkkiä. 16. Kyselyn käyttöoikeudet: Tässä voidaan määritellä ketkä pääsevät kyselyyn. Pääkäyttäjät näkevät kaikki organisaation kyselyt, joten heille ei tarvitse oikeutta erikseen antaa. Sen sijaan, jos halutaan, että opettaja-käyttäjä pääsee pääkäyttäjän tekemien kyselyjen tuloksia tarkastelemaan, niin tässä hänelle voidaan antaa oikeus. Oikeuksien antaminen tapahtuu siten, että käyttäjän nimen edessä olevaan ruutuun laitetaan merkintä. Opiskelijatunnuksilla päästään vain vastaamaan kyselyyn 10
Järjestelmän koonti -toiminnossa valintaehtoina ovat toimipiste, ryhmä, koulutusala, lomake ja rajauskoodi. Eli näitä voidaan käyttää luokittelukriteereinä, kun kootaan yhteen useiden kyselyjen tuloksia. 6.2 Kyselyn muokkaus ja kloonaus Jos kyselyn tietoja on tarpeen muokata, niin se onnistuu, kun kyselyt listassa valitaan haluttu kysely Sitten klikataan muokkaa painiketta. Näin päästään takaisin tunnistetietoihin. Jos on tarpeen luoda useita kyselyitä, pääosin samoilla tunnistetiedoilla, niin kätevintä on käyttää kloonaus toimintoa. Kloonaa -painikkeen klikkaamisen jälkeen kysely tallentuu uudeksi kyselyksi. Eli uuteen kyselyyn tulevat samat tunnistetiedot kuin siinä, josta kloonattiin. Tarvittaessa tunnistetietoja voi kuitenkin muokata normaaliin tapaan. Useimmiten on tarpeen muuttaa ainakin kyselyn nimi. Huomaa, että uuden kloonatun kyselyn nimi-kenttään tulee teksti kloonattu. Se kannattaa myös poistaa nimikentästä. 11
6.3 Palautteiden kerääminen Palautteen keräämisessä on kaksi erilaista tapaa: A) pikatunnuksia käyttäen ja B) suoraa linkkiä käyttäen. Ohessa tarkemmat kuvaukset kummastakin tavasta. 6.3.1 Pikatunnuksia käyttäen Kysely avataan vastaamista varten kyselyt näkymässä. Klikataan avaa kysely, jolloin järjestelmä luo vastaajille annettavat tunnukset (tunnus;salasana -sarakkeeseen). Myös tila -sarakkeeseen tulee teksti auki merkiksi siitä, että palautteita voidaan kyselyyn lähettää. Tunnus ja salasana toimitetaan vastaajille esim. kirjoittamalla ne taululle, lähettämällä sähköpostitse tms. Vastaajia ohjeistetaan menemään Internetissä INKA-järjestelmän osoitteeseen (http://inka.jyu.fi) ja kirjautumaan tunnuksilla järjestelmään. Näin he pääsevät vastaamaan nimenomaiseen kyselyyn. Tämän jälkeen he täyttävät kyselylomakkeen ja klikkaavat lähetä, jonka jälkeen järjestelmä kiittää vastauksesta ja palaa kirjautumisen jälkeen avautuvalle sivulle. Vastaaja voi tässä vaiheessa kirjautua ulos tai vaihtoehtoisesti seuraava vastaaja voi tulla täyttämään lomaketta (jos kyselyyn vastataan ohjatusti esim. atk-luokassa). Kun vastaukset on saatu ja palautteen keruu halutaan lopettaa, klikataan sulje kysely - painiketta, jolloin tunnukset häviävät, eikä kyselyyn enää voi lähettää vastauksia. Kysely voidaan kuitenkin avata uudestaan, jos esim. osa vastaajista on ollut palautetta annettaessa poissa. Huomaa kuitenkin, että tällöin järjestelmä luo uuden salasanan ja tunnuksen, jotka on toimitettava vastaajille. 12
6.3.2 Suoraa linkkiä käyttäen Toinen mahdollisuus palautteiden keräämiseen on suoran vastauslinkin käyttäminen. Tämä on kätevä tapa, jos vastauspyyntö lähetetään vastaajille sähköpostitse tai se toimitetaan intranetin tms. foorumin kautta. Tällöin on ensin luotava vastauslinkki järjestelmään, ellei sitä ole jo aiemmin luotu. Tämä tapahtuu käyttäjät -kohdassa. Siellä ikään kuin lisätään opiskelijatasoinen käyttäjä järjestelmään, mutta henkilötietojen sijasta kirjoitetaan nimikenttiin alla olevat tekstit. Käyttäjätunnukseksi ja salasanaksi voidaan antaa jokin merkkijono. Huom! salasana-kenttään kirjoitettava merkkijono tulee näkymään vastaajille toimitettavan vastauslinkin lopussa. Käyttöoikeustasoksi tulee määritellä opiskelija. E-mail kenttää ei tarvitse täyttää. Tämän jälkeen klikataan tallenna. 13
Kun tämän jälkeen klikataan käyttäjät -kohtaa, vastauslinkki on ilmestynyt sinne seuraavasti: Kun kyselyaineistoa halutaan kerätä, mennään kyselyt listaan, valitaan nimenomainen kysely ja klikataan muokkaa. Avautuvassa näkymässä laitetaan rasti kohtaan Vastaus-linkki ja klikataan tallenna 14
Tämän jälkeen palataan jälleen muokkaus -kohtaan ( takaisin muokkaukseen ), jolloin näkymän alaosaan on ilmestynyt vastauslinkki. Linkki voidaan kopioida ja toimittaa vastaajille esim. sähköpostitse. Linkin kopioinnissa tulee olla huolellinen, jotta kaikki merkit tulevat mukaan. Kun palautteiden keruu lopetetaan, kysely suljetaan. Suoran linkin tapauksessa sulkeminen tapahtuu siten, että mennään kyselyn muokkaa -kohtaan ja otetaan rasti pois kohdasta Vastaus -linkki ja klikataan tallenna. Nyt kysely on suljettu eikä siihen voida enää vastata. 7. Palautteenkeruun erilaiset mallit 7.1 Keskitetty ja hajautettu malli Organisaation arviointistrategia ja -suunnitelma ohjaavat arviointitoimintaa ja siihen liittyvää palautteenkeruuta. Opiskelijapalautteen keräämisessä on pääsääntöisesti kaksi eri mallia: keskitetty ja hajautettu malli. Osa oppilaitoksista hoitaa palautteen keräämisen joko kokonaan tai osittain keskitetysti siten, että pääkäyttäjä(t) hoitaa käytännön järjestelyt ja opettajat saavat tulokset ilman, että ovat itse käyttäneet järjestelmää. Keskitetyllä mallilla voidaan myös kontrolloida kyselyjen määrää ja kohdentamista. Tällä varmistetaan sekä opiskelijoille mielekäs vastaamistiheys että riittävän ja kulloinkin tarvittavan tiedon saanti opettajia ja oppilaitosta varten. Vaikka hajautetun mallin etuna on palautteenkeruun parempi kokonaiskontrolloitavuus, voi opettajien oman työn kehittämisen kannalta olla motivoivaa, jos käytännön laadun 15
arviointityö ja INKA:n käyttö muodostuu luonnolliseksi osaksi heidän omaa työnkuvaansa. Tällöin opettajat voisivat mahdollisuuksien mukaan kerätä palautetta omista opintojaksoistaan tai kursseistaan ja käydä palautteen läpi yhdessä opiskelijoiden kanssa. Keskitetty, pääkäyttäjävetoinen kyselyjen toteuttamismalli ja opettajalähtöinen malli eivät ole toisiaan poissulkevia, vaan niitä yhdistelemällä voidaan päästä siihen, että organisaatio saa tarvitsemansa tiedot, opettaja voi käyttää INKA:a välineenä oman työnsä kehittämisessä, eikä opiskelijoitakaan kuormiteta liian monilla kyselyillä. 7.2 Itsenäinen ja ohjattu malli Palautteen keräämisessä voidaan soveltaa itsenäistä tai ohjattua menetelmää. Itsenäisessä mallissa palautekyselyt avataan kullekin opiskelijaryhmälle ja tunnukset tai linkki toimitetaan opiskelijoille ja pyydetään heitä vastaamaan tiettyyn päivämäärään mennessä. Ohjatussa menetelmässä palautteen antamiselle varataan aika ja paikka. Näin menetellen vastausprosentti on yleensä parempi. Ohjatun mallin etuna on myös se, että opettaja tai muu henkilökunnan edustaja voi selventää kysymyksiä ja vastata, jos opiskelijoilla on jotain kysyttävää palautteen annosta. 7.3 Arviointipäivän järjestäminen Ohjatussa palautteenannossa voidaan järjestää esim. arviointipäivä, jonka aikana kaikki / valitut opiskelijaryhmät käyvät vastaamassa palautekyselyyn. Järjestelyt aloitetaan varaamalla atk-luokka ja tekemällä aikataulu, jonka mukaan ryhmät käyvät palautteet antamassa. Käytäntö on osoittanut, että yhtä ryhmää kohti kannattaa ensimmäisellä palautteenantokerralla varata 20-30 minuuttia. Opiskelijoiden totuttua järjestelmän 15-20 minuuttia on riittävä aika palautteen antamiselle. Sen jälkeen avataan ryhmiä varten tarvittavat kyselyt, esim. kloonaamalla (ks. kohta kyselyn muokkaus ja kloonaus ). Palaute on mahdollista kerätä niin, että kullekin ryhmälle avataan oma kysely ja palautteenantotilanteen alussa ryhmälle ilmoitetaan tunnukset, joilla he kirjautuvat järjestelmään ja sieltä ulos, kun palaute on annettu. Jos halutaan säästää aikaa siinä, ettei opiskelijaryhmien tarvitse kirjautua järjestelmään tilaisuuden alussa, voidaan menetellä siten, että käytetään koko arviointitilaisuuden ajan 16
samaa tunnusta. Opiskelijat vastaavat kyselyyn ja klikkaavat lähetä painiketta, mutta eivät kirjaudu ulos järjestelmästä vastaamisen jälkeen, vaan seuraava ryhmä siirtyy koneille heti edellisen poistuttua. Ohessa tarkempi kuvaus tästä menettelytavasta: 1) Pääkäyttäjä lisää järjestelmään käyttäjät -kohdassa opiskelijatunnuksen, jota tullaan käyttämään kaikkien ryhmien kohdalla. Näin menetellen riittää, kun järjestelmään kirjaudutaan vain kerran tilaisuuden alussa ja mahdollisten taukojen jälkeen. Tässä esimerkissä opiskelijakäyttäjän tunnus on palaute ja salasana aloittavat2008. 2) Järjestelmään luodaan ryhmiä varten tarvittavat kyselyt (jos halutaan, että kunkin ryhmän vastaukset kirjautuvat erilleen, niin luodaan kullekin oma kyselynsä, jos tuloksia ei ole tarpeen tarkastella ryhmittäin, niin palaute voidaan kerätä samaan kyselyyn). Oheisessa esimerkissä kullekin ryhmälle on luotu oma kysely. 3) Kunkin kyselyn kohdalla määritellään käyttöoikeus tuolle aiemmin luodulle opiskelijatunnukselle. Eli valitaan kyselyt kohdassa nimenomainen kysely ja klikataan muokkaa. Laitetaan merkintä opiskelijatunnuksen edessä olevaan ruutuun ja tallennetaan. 17
4) Palautteenkeruutilanteen alussa opiskelijoita pyydetään kirjautumaan järjestelmään tunuksella palaute ja salasanalla aloittavat2008. Näin opiskelijoille ilmestyy valikko, jossa näkyvät eri ryhmien kyselyt. 5) Opiskelijaa ohjeistetaan valitsemaan oman ryhmänsä kysely. Lomakkeen täyttämisen jälkeen opiskelija klikkaa lähetä painiketta, mutta ei kirjaudu ulos järjestelmästä. Kun opiskelija klikkaa lähetä painiketta, hänelle tulee seuraava ilmoitus.: Opiskelija voi klikata Palaa takaisin kyselyt listaan tai jättää koneen tähän tilaan. Järjestelmä palautuu 10 sekunnin kuluttua automaattisesti kyselyjen valikko kohtaan, josta seuraava vastaaja voi valita oman ryhmänsä kyselyn. 6) Mahdollista on myös tehdä niin, että ainoastaan yhden ryhmän kysely näkyy valikossa kerrallaan. Tämä kuitenkin edellyttää, että pääkäyttäjä tai kyselyt luonut opettaja poistaa tunnuksen kyselystä, kun vastaajaryhmä on vastannut ja lisää tunnuksen seuraavan ryhmän kyselyyn. 7) Kun kaikki ryhmät ovat vastanneet, tunnus poistetaan kyselyistä 18
8. Tulosten tarkasteleminen 8.1 Yksittäisten kyselyjen tulostarkastelu Kyselyt -listassa valitaan kysely, jonka tuloksia halutaan tarkastella. Sitten klikataan tulokset painiketta, jolloin avautuu alla oleva näkymä: Jos kyselyn luontihetkellä on määritelty kyselyn tunnistetietoihin ryhmän koko, niin järjestelmä laskee automaattisesti vastausprosentin. Näkymään tulevat esille myös kyselyn viimeisen vastauksen kirjautumisajankohta sekä kyselyn toteuttajan omat muistiinpanot ja huomiot, mikäli hän on niitä kirjoittanut kyselyn luontihetkellä. Tulostarkastelussa on mahdollista valita keskiarvot, jakaumat tai sanalliset tulokset. 19
8.1.1 Keskiarvot Keskiarvojen tarkastelussa on mahdollista joko jättää vertailuryhmä pois tai valita vertailuryhmä annetuista vaihtoehdoista. Vertailuryhmä muodostuu viimeisen vuoden (365 vrk) aikana samalla lomakepohjalla toteutetuista kyselyistä. Aika lasketaan siitä hetkestä, kun käyttäjä tekee tulostarkastelun (eli klikkaa keskiarvot -painiketta). Vertailussa on mahdollista tehdä oppilaitoksen sisäistä benchmarkkausta tai verrata kohdekyselyn tuloksia kaikkien INKA-järjestelmän piirissä olevien oppilaitosten tuloksiin. Vertailuryhmän voi myös määrittää muodostuvan joko saman koulutusalan kyselyistä kuin kohdekyselykin tai kaikkien koulutusalojen kyselyistä. Jos valitaan ehto sama koulutusala, niin vertailuryhmään tulevat sen opintoalan kyselyt, joka on kohdekyselyyn määritelty (esim. jos kohdekyselyssä alaksi on määritelty sähkö- ja automaatiotekniikka, niin vertailuryhmä muodostuu saman opintoalan kyselyistä). Jos kohdekyselyssä ei ole koulutusalaa valittuna, järjestelmä ilmoittaa tästä. Jos kohdekyselyyn on valittu vastaajaryhmä (nuoret, aikuisopiskelijat jne.) niin vertailuryhmä muodostuu saman vastaajaryhmän kyselyistä. Jos kohdekyselyssä ei ole vastaajaryhmää valittuna, vertailuryhmä muodostuu kaikkien ryhmien kyselyistä. Keskiarvo -pylvääseen tulevat kohdekyselyn keskiarvot kysymyksittäin sekä vertailuryhmän tulos kolmiomerkinnällä. 20
8.1.2 Jakaumat Jakaumissa taulukoihin tulevat lukumäärä- ja prosenttijakaumat sekä keskiarvo ja keskihajonta. 8.1.3 Sanalliset vastaukset Sanalliset vastaukset näkyvät siinä muodossa, kuin vastaajat ovat ne avokysymyksiin kirjoittaneet. INKA-järjestelmä ryhmittelee vastaukset kysymyksittäin. Vastauksen perässä oleva numerosarja tarkoittaa vastauksen tietokantaan tallentumisen järjestysnumeroa. 21
8.2 Koonti Koonti on käytössä ainoastaan pääkäyttäjä-tason käyttöoikeuksilla. Koonnin avulla on mahdollista koota kyselyjen tuloksia yhteen eri tavoin. Koonti -toiminnossa valintaehdot ovat: oppilaitos (näkyy superpääkäyttäjillä, jos organisaatio on jaettu eri oppilaitoksiksi), toimipiste (jos organisaatiolle on määritelty toimipisteitä), ryhmä, koulutusala, lomake, aikaväli ja rajauskoodi. Lisäksi voidaan valita kyselyjen listaus, jolloin tulosten lopussa näkyy koonnissa mukana olevat kyselyt. Jos organisaatio on jaettu useaksi eri oppilaitokseksi, superpääkäyttäjän tulee ensin valita (merkitä rastilla), mitä oppilaitoksia koonti koskee. Mukaan voi valita yhden tai muutamia oppilaitoksia tai kaikki oppilaitokset. Muiden valintaehtojen kohdalla toimintaperiaatteena on, että jos jokin valintakenttä jätetään tyhjäksi, niin järjestelmä noudattaa kaikki mukaan -logiikkaa. Esim. jos toimipiste-kenttä jätetään tyhjäksi, niin koontiin tulevat mukaan valitun oppilaitoksen/ -laitosten kaikki toimipisteet. Samoin, jos koulutusalavalikko jätetään tyhjäksi, niin mukaan tulevat kaikki valitun oppilaitoksen/ -laitosten koulutusalat. 22
Samoin kuin yksittäisten kyselyjen kohdalla, myös koonnissa on mahdollista määritellä vertailuryhmä. Erona yksittäisten kyselyjen vertailuryhmämäärittelyyn on se, että koonnissa voidaan keskiarvojen tarkasteluun valita myös vertailuryhmän aikaväli. Trenditoiminnossa vertailuryhmän aikaväli on automaattisesti sama kuin kohderyhmälläkin. Näin siksi, koska trenditoiminto perustuu summamuuttujiin ja etukäteen asetettuihin trendipisteisiin (ks. tarkemmin jäljempänä). Kohderyhmän ja vertailuryhmän aikaväli toimii siten, että koontiin tulevat mukaan kaikki sellaiset kyselyt, joissa viimeinen vastaus on kirjautunut annetun aikavälin sisällä. Esim. jos aikaväliksi määritellään 1.1.2007-31.12.2007, mukaan tulevat kyselyt, joissa viimeinen vastaus on kirjautunut tämän aikahaarukan sisällä. Koonnissa voidaan tarkastella keskiarvoja, jakaumia ja trendejä. 8.2.1 Keskiarvot Keskiarvoja tarkasteltaessa on mahdollista valita vertailuryhmä samalla tavalla kuin yksittäisten kyselyjen tulostarkastelussakin. Eli vertailussa on mahdollista tehdä oppilaitoksen sisäistä benchmarkkausta tai verrata kohdekyselyn tuloksia kaikkien INKAjärjestelmän piirissä olevien oppilaitosten tuloksiin. Vertailuryhmän voi myös määrittää muodostuvan joko saman koulutusalan kyselyistä kuin kohdekyselykin tai kaikkien koulutusalojen kyselyistä. Jos valitaan ehto sama koulutusala, niin vertailuryhmään tulevat sen opintoalan kyselyt, joka on koonnin kohderyhmälle määritelty (esim. jos kohdekyselyssä alaksi on määritelty sähkö- ja automaatiotekniikka, niin vertailuryhmä muodostuu saman opintoalan kyselyistä). Jos kohderyhmän valintaehdoissa ei ole koulutusalaa valittuna, järjestelmä ilmoittaa tästä. Jos kohderyhmälle on valittu vastaajaryhmä (nuoret, aikuisopiskelijat jne.) niin vertailuryhmä muodostuu saman vastaajaryhmän kyselyistä. Jos kohderyhmälle ei ole vastaajaryhmää valittuna, vertailuryhmä muodostuu kaikkien ryhmien kyselyistä. 23
Keskiarvojen tarkastelussa on mahdollista märitellä vertailuryhmän aikaväli. Voidaan esimerkiksi verrata oman oppilaitoksen tilannetta peräkkäisinä vuosina tai oman oppilaitoksen tilannetta suhteessa koko INKA -verkoston tulokseen eri ajanjaksoina. Keskiarvopylvääseen tulevat kohderyhmän keskiarvot kysymyksittäin sekä vertailuryhmän tulos kolmiomerkinnällä. 8.2.2 Jakaumat Jakaumissa taulukoihin tulevat lukumäärä- ja prosenttijakaumat sekä keskiarvo ja keskihajonta. 8.2.3 Trendit Trendi -toiminnon avulla organisaatio voi seurata pitkän aikavälin kehitystrendejä. Trendi - toiminto perustuu INKAn peruslomakkeista rakennettuihin summamuuttujiin, joissa kunkin lomakkeen samaa asiaa mittaavat kysymykset on koottu yhteen ja järjestelmä laskee näiden kysymysten vastauksista yhden yhteisen keskiarvon. Summamuuttujat on otsikoitu trendissä siten, että ne kuvaavat mittaamaansa ilmiötä. Kunkin lomakkeen kohdalla ensimmäisenä summamuuttujana on kokonaislaatu, jossa on laskettu yhteen lomakkeen kaikkien kysymysten vastausten arvot (niiden kysymysten osalta, joissa vastausasteikko on muotoa: 1= kielteinen asenne, 2, 3, 4, 5= myönteinen asenne). Tämän jälkeen kysymykset on ositettu pienempiin summamuuttujiin. Esimerkiksi työssäoppimisen ja 24
ammattiosaamisen näyttöjä koskevassa lomakkeessa summamuuttuja nimeltä perehdytys ja ohjaus työssäoppimispaikalla sisältää kysymykset: 1. Työssäoppimispaikalla minulle kerrottiin työtehtäväni ja vastuuni selkeästi. 2. Tehtävissäni tarvittavat taidot opetettiin perusteellisesti. 3. Työhön perehdyttämisessä otettiin huomioon oppimistahtini. 4. Minulle opetettiin hyviä ja turvallisia työskentelytapoja. 5. Tukea ja ohjausta oli tarjolla, kun sitä tarvitsin. 6. Sain riittävästi palautetta siitä, miten suoriudun työtehtävistäni. 7. Työpaikan henkilökunta suhtautui minuun myönteisesti. Kohderyhmän trendikäyrän yläpuolella on summamuuttujan keskiarvo ja alapuolella vastaajien lukumäärä. Trendi -toiminnon kohdalla vertailuryhmä muodostuu aina samalta ajanjaksolta kuin kohderyhmäkin. Jos kohderyhmän aikaväliksi määritellään esim. 1.1.2005 31.12.2007, niin vertailuryhmä muodostuu samalta ajanjaksolta. Trendissä vastaukset sijoittuvat trendipisteiden mukaan, joita vuodessa on kaksi kappaletta: 1. trendipiste (esim. 1/2007): maaliskuu elokuu (tähän kirjautuvat kaikkien niiden kyselyjen vastaukset, joissa viimeinen vastaus on kirjautunut aikavälillä 1.3.-31.8.) 2. trendipiste (esim. 2/2007): syyskuu helmikuu (tähän kirjautuvat kaikkien niiden kyselyjen vastaukset, joissa viimeinen vastaus on kirjautunut aikavälillä 1.9.-28.2.) Valitsemalla valintaehdoissa Listaa kyselyt, nähdään mitkä kyselyt tulevat mukaan koontiin. Listauksessa näkyy myös, mihin trendipisteeseen kunkin kyselyn vastaukset sijoittuvat. 8.2.4 Koonnin mahdollisia ongelmakohtia Koontiin tulevat mukaan sellaisten kyselyjen tulokset, jotka osuvat koonnin valintaehdoissa asetettuun aikaväliin ja joissa on käytetty samoja luokitusehtoja kuin koonnin luokitusehdoissa. Jos koonti ei anna haluttua kyselyjoukkoa, kannattaa kokeilla aikavälin vaihtamista, esim. laittamalla sekä alku- että loppupäivämäärään hieman enemmän varaa. Myös valintaehdot on hyvä tarkistaa. Esim. jos halutaan kaikkien toimipisteiden kyselyt, niin toimipistevalikko tulee jättää tyhjäksi. Edelleen, koontiin tulevat mukaan vain sellaiset kyselyt, joissa on käytetty samoja luokitusehtoja kuin koonnin luokitusehdoissa. 25
Esimerkiksi jos yksittäisessä kyselyssä on jätetty toimipiste- tai koulutusalaluokitus tekemättä, niin se ei tule mukaan koontiin, kun valintaehdoksi asetetaan tietty toimipiste- tai koulutusala. 9. Omat lomakkeet Arviointityössä voidaan käyttää INKA:n standardilomakkeiden lisäksi myös omia kunta-, organisaatio- tai oppilaitoskohtaisia lomakkeita. Omat lomakkeet eivät mahdollista benchmarkkausta kaikkiin INKA-verkoston organisaatioihin, koska benchmarkkauksen edellytyksenä on kaikille yhteinen lomakepohja. Sisäinen benchmarkkaus on sen sijaan mahdollista myös omilla lomakkeilla. Lomakkeiden laadinta ja järjestelmään siirtäminen voidaan tilata Jyväskylän yliopiston täydennyskoulutuskeskuksesta. Mahdollista on myös ottaa käyttöön lomake-editori, jolla organisaation pääkäyttäjät voivat laatia itse omia lomakkeitaan ja siirtää ne INKAan oman organisaation käyttöön. 26
10. Arviointi- ja laadunkehittämistoimintaan liittyviä näkökulmia INKA on apuväline koulutuksen paikalliseen itsearviointiin. Välineen lisäksi tarvitaan arvioinnin ja laadunkehittämisen periaatteita ja toimintakäytäntöjä sekä arviointi- ja kehittämiskulttuurin luomista ja vakiinnuttamista. Seuraavassa on esitelty muutamia näkökulmia, joita voidaan hyödyntää INKA:n käytössä sekä oppilaitosten organisaatioiden laadun arvioinnin suunnittelussa ja hallinnassa. Jyväskylän yliopiston täydennyskoulutuskeskuksesta on mahdollista tilata arviointi- ja laadunkehittämistoimintaan liittyvää koulutusta, konsultointia ja kehittämistukea. 10.1 Arviointistrategia Organisaation arviointistrategia määrittelee arviointitoiminnan perustavoitteet, muodot, pääperiaatteet, laajuuden ja keinovalikoiman. Arviointistrategiassa määritellään ja kootaan yhteen viitekehykseen oppilaitoksen arviointitoiminnan eri ulottuvuudet: 1. Paikallinen arviointi 2. Ulkopuolinen arviointi 3. Benchmarking Arviointistrategia määrittelee, mitä arvioinnilla organisaatiossa tarkoitetaan, miten arvioinnin keskeiset käsitteet ymmärretään, mitä toiminnan osa-alueita arvioinnin piiriin kuuluu, millaista arviointia organisaatiossa toteutetaan ja millainen on arvioinnin työnjako. Arviointistrategialla pyritään luomaan organisaatioon yhteinen käsitys arvioinnista. Organisaation arviointistrategia on väline, jolla tuloksellinen arviointitoiminta tehdään mahdolliseksi. Arviointistrategiassa määritellään ja perustellaan myös arvioinnin menetelmät ja mittarit. Arviointistrategia takaa sen, että organisaation eri osastoilla arviointitoimintaa toteutetaan samoin menetelmin ja mittarein. Tällä tavalla arviointistrategia takaa arviointitietojen yhteismitallisuuden ja vertailtavuuden. Arviointistrategia pitää myös huolen siitä, ettei opiskelijoita, henkilökuntaa tai sidosryhmiä rasiteta liikaa arviointikyselyillä. 27
Arviointistrategia määrittelee myös kehittämistoiminnan peruslähtökohdat ja toimintamallit. Arviointistrategia kertoo selkeästi laadun tavoitetason. Se kertoo myös, miten kehittämisen kohteet valitaan ja miten kehittämistyötä toteutetaan. Arviointistrategiassaan oppilaitoksen tulee määritellä: 1. Mitä ja miksi arvioidaan 2. Miten arvioidaan 3. Mitkä ovat arvioinnin painopisteet 4. Kuka tai ketkä ovat vastuussa arvioinnin toteuttamisesta 5. Millainen määrä arviointeja on tarkoitus toteuttaa lukukausi ja -vuosi tasolla 6. Miten arviointien määrä jakautuu koulutusalojen, yksiköiden ja aineiden kesken 7. Miten arvioinneista tiedotetaan ja raportoidaan 8. Miten tarvittavat kehittämistoimenpiteet saadaan liikkeelle. 10.2 Arviointisuunnitelma Arviointisuunnitelma on tietylle ajanjaksolle laadittu suunnitelma organisaation arviointitoiminnan käytännön toteuttamisesta. Arviointisuunnitelman laadinnassa otetaan huomioon: 1. organisaation koko 2. yksiköiden ja koulutusalojen lukumäärä 3. yksiköiden sijainti toisiinsa nähden 4. organisaatiossa jo olemassa olevat tehtäväjaot ja rakenteet Arviointisuunnitelma pitää huolen siitä, että arvioinnissa käytetään tehokkaasti hyväksi organisaation eri yksiköiden henkilöstön olemassa olevaa osaamista, jo käytössä olevia tehtävänjakoja, välineitä ja mahdollisuuksia. Organisaation arviointisuunnitelmassa määritellään yksityiskohtaisesti: 1. Arvioinnin kulloisetkin strategiset painopisteet 2. Arviointien toteuttamisajankohdat ja aikataulut 3. Arvioinnin toteuttajat 28
4. Arvioinnissa kulloinkin käytettävät yhteiset mittarit 5. Arviointiin osallistuvat ryhmät 6. Tulosten välittäminen tiedoksi ao. henkilöille Arviointisuunnitelmassa otetaan huomioon, ettei arvioinneilla kuormiteta liiaksi opiskelijoita, henkilöstöä tai sidosryhmiä. Optimaalinen kyselyiden määrä vaihtelee eri ryhmien kesken vuositasolla. Sidosryhmiä ja henkilökuntaa voi lähestyä 1-2 kertaa vuodessa. Opiskelijoiden kohdalla voidaan suositella, että kukin opiskelija voi täyttää lukuvuoden aikana keskimäärin 2-4 arviointikyselyä. 11. INKA-tuen yhteystiedot INKA -järjestelmää koskevissa kysymyksissä löydät apua: INKA:n www-sivuilta osoitteessa: http://inka.jyu.fi, INKA:n tukisähköpostista: inka@educlusterfinland.fi Puhelinnumeroista 0400 247 971 ja 040-759 9048 29