Sähköisen tenttipalvelun kuvaus. Sisällys:

Transkriptio

1 Sähköisen tenttipalvelun kuvaus Sisällys: Miten EXAM tuotettiin? EXAM on moderni ja monipuolinen tenttityöväline! o Erimuotoisten tenttien tuki o Rajapinnat ja tietointegraatiot o Tehokas ajan ja tilan hallintaväline o Joustava kaikille käyttäjäryhmille o Intuitiivisesti käytettävä, saavutettava, tietoturvallinen ja yhteensopiva Tekninen toteutus ja arkkitehtuuri EXAM- palvelun perusmalli ja sen kehitysversiot EXAM- konsortio vastaa palvelun ylläpidosta ja kehittämisestä EXAM- palvelun käyttöönottopolku Käyttöohjeet: o Ylläpitäjän käyttöohje o Opettajan käyttöohje o Opiskelijan käyttöohje Tekninen dokumentaatio Tenttiakvaarion suunnittelu ja mitoitus Laatudokumentaatio Konsortiosopimusdokumentaatio

2 - tenttipalvelu Miten EXAM tuotettiin? Korkeakoulujen tarve kehittää opintopolkujen noustavuutta ja suoritusmuotoihin liittyviä vaihtoehtoja on virittänyt laajaa kiinnostusta sähköisiä tenttiratkaisuja kohtaan. Nykyisin käytössä oleva teknologia on koettu vanhentuneeksi, rajoittavaksi ja siihen on liittynyt vakaus- ja tietoturvaongelmia. Uuden kansallisen tenttipalvelun valmistelu käynnistyi syksyllä 2013, kun CSC:n järjestämässä sarjassa määritystyöpajoja tuotettiin uudelle tenttijärjestelmälle alustava vaatimusmäärittely ja käyttöpolku- kuvaukset. Vuoden loppuun mennessä tuotettiin myös teknologiakartoitus, projektisuunnitelma sekä hankeyhteistyön pohjaksi osallistujasitoumus, jonka allekirjoitti yhdeksän korkeakoulua. Tältä pohjalta käynnistettiin Sitnet- ohjelmistotuotantohanke vuoden 2014 alussa. Uuden tenttipalvelun perusmalli tuotettiin ketterän kehityksen ohjelmistohankkeena yhdeksän sprintin aikana kesäkuun 2014 alkuun mennessä. Hanketta ohjasi 10 korkeakoulun ja CSC:n asiantuntijoista koostuva ohjausryhmä ja toimin- nallisista vaatimusmäärittelyistä vastaava projektiryhmä. Teknisen toteutuksen tuotti Arcusys Oy. Laa- jan nimikilpailun tuloksena palvelulle valittiin tuotenimeksi Exam. Exam- tenttipalvelun käyttöönoton ja jatkokehityksen tueksi perustettaan elokuussa 2014 Exam- konsortio, johon kuuluu 11 perustajajäsentä ja joka on heti avoin uusille jäsenille. EXAM on moderni ja monipuolinen tenttityöväline! Erimuotoisten tenttien tuki Järjestelmä tukee kiinteiden ja satunnaistettujen kysymysten esseetenttejä, automaattisesti tarkastettavista monivalintatehtävistä koostuvia tenttejä sekä näiden yhdistelminä toteutuvia tenttejä. Kysymyksille voidaan luoda ominaisuuksia valmiiksi määritellyillä viketeillä. Järjestelmä tukee henkilökohtaistettuja tenttejä sekä usean tarkastajaroolin tenttejä (kuten maturititeetit). Järjestelmä tukee useiden eri arvosteluasteikkojen käyttöä tenttikysymyksissä. Järjestelmään liittyy suljettu ja avoin kysymyskirjasto, joihin voidaan tuoda sisältöjä ulkoisista järjestelmistä, ja noista voidaan viedä sisältöjä toisiin järjestelmiin. Rajapinnat ja tietointegraatiot Tenttipalvelun perusversioon toteutetaan seuraavat tiedonsiirrot: Käyttäjän tunnistus ja roolin hallinta toteutuvat FunetEduPerson- skeemaan pohjautuvalla kor- keakoulun HAKA- kirjautumisella. Järjestelmä tarvitsee minimissään käyttäjän nimi-, rooli- ja organisaatiotiedon sekä opiskelija/henkilökunta- ID:n. Opintojaksotietojen haku korkeakoulun perusjärjestelmästä tenttiä luotaessa. Perusjärjestel- mästä ja migraation laajuudesta riippuen tuotava tieto voi sisältää opintojakson perustiedot tai myös toteutustietoja. Tarvittavilta osin nämä tiedot ovat manuaalisesti muokattavissa ja täydennettävissä. Suoritustietojen ohjattu siirto rekisteriin. Tenteissä syntyvät loppusuoritukset ovat eroteltavis- sa muista suorituksista ja vietävissä suoritusrekisteriin.

3 Tehokas ajan ja tilan hallintaväline Sähköiseen tenttiin voidaan liittää rinnakkaisia valvottuja suoritustiloja Varauskalenteritoiminnallisuudella voidaan hallita kaikkien suoritustilojen aikavarauksia, jotka voivat olla tenttikohtaisesti erimittaisia ja joihin voi liittyä tenttikoneen erikoisohjelmistovaa- timuksia ja esteettömän käytettävyyden vaatimuksia. Joustava kaikille käyttäjäryhmille Sähköinen tentti tukee joustavan opiskelun tavoitteita: omien suoritusaikataulujen suunnittelu on helppoa, tenttiaikojen varaaminen ja varausten muuttaminen on mahdollista myös mobiililaitteilla, ja erityisesti automatisoidusti tarkastettaviin kysymystyyppeihin pohjautuvien tenttien tulokset valmis- tuvat nopeasti ja tentin uusiminen voi tapahtua viivytyksittä. Nämä joustavuuden ja saavutettavuuden perushyödyt halutaan tarjota myös opiskelijoille, joilla suo- rittamiseen liittyy liikunta- tai aistirajoitteista johtuvia lisähaasteita. EXAM- tenttipalvelun käyttäjän tukiaineistoon sisältyvät siksi Ohjeita esteettömän ja saavutettavan tenttitilan suunnittelulle ja tilakuvauksen laadintaan Suosituksia tenttiaikojen mitoitukselle. Intuitiivisesti käytettävä, saavutettava, tietoturvallinen ja yhteensopiva Kymmenien tuhansien opiskelijoiden ja opettajien käyttöön tulevan tenttipalvelun on toimittava ilman erillistä käyttäjäkoulutusta ja laajaa online- tukea, jotta se on kilpailukykyinen, turvallinen ja kustannus- tehokas ratkaisu korkeakouluille. Näistä perusvaatimuksista on johdettu palvelun toteutukselle laatu- vaatimukset, jotka jakautuvat viiteen pääryhmään: 1. Käytettävyys EXAM- tenttipalvelun käyttöliittymien tulee tukea opiskelijan, opettajan ja ylläpitäjän roolien mukaisten tehtävien itsenäistä ja virheetöntä suorittamista. Järjestelmän tulee toimia niin, että online- tukea tarvitaan vain poikkeustapauksissa Opiskelijoiden pitää pystyä toimimaan käyttöliittymän ja tenttiohjeiden varassa, kattavia käyt- täjäkoulutuksia ei korkeakouluissa ole mahdollista järjestää Opettajan käyttöliittymän tulee olla intuitiivinen ja selkeä jotta se rohkaisee opettajia palvelun monipuoliseen käyttöön. Sähköisen tentin käyttö voi yleistyä vain opettajien sitoutumisen kautta. Käyttöprosessia tuetaan automaattimuistutuksilla opiskelijalle ja opettajalle Käyttöliittymät ovat lokalisoitavissa eri toiminta- ja kieliympäristöihin. Laaja kirjainmerkkien ja matemaattisten merkkien tuki, kaavaeditoritoiminnallisuus. 2. Saavutettavuus Palvelun tulee olla käytettävissä työpisteeltä ja kotoa käsin. (!) Palvelu on selainkäyttöinen ja ainakin osa toiminnoista on käytettävissä mobiililaitteilla. Palvelu tukee korkeakoulurajat ylittävää joustavaa opiskelua: tenttipalvelua voivat sopimuksen mukaisesti käyttää eri korkeakoulujen opiskelijat. 3. Tietoturva ja suojaukset Opiskelijan henkilötietojen saatavuus (HAKA- kirjautuminen?) Tenttivastausten tallennukset varmistetaan automaattitallennuksilla Tenttivastausten näkyvyys? näkökulma? Apuvälineiden käyttörajoitukset tentin aikana? näkökulma?

4 Arviointien näkyvyys? Palautteen näkyvyys? Tiedonsiirrot perusjärjestelmästä? 4. Riippuvuudet ja yhteentoimivuus Palvelu käyttää Korkeakoulujen yhteistä tietomallia yhteentoimivuuden varmistamiseksi Tietomalli on MLO- yhteensopiva Suoritustietojen siirrossa hyödynnetään VIRTA- määrityksiä soveltuvin osin. 5. Hajautetun käytön ja keskitetyn ylläpidon malli Käyttöpalvelut järjestettävissä korkeakoulukohtaisesti tai ulkopuolisena keskitettynä palveluna Yhteinen tenttikysymysten tietokanta voidaan toteuttaa keskitetyssä ylläpidossa EXAM- tenttipalvelulla on yhteinen versionhallinta ja muutosprosessi. Käytettävyyteen ja tietoturvaan liittyvien laatutavoitteiden varmistamiseksi palvelulle on suoritet- tu kaksivaiheinen käytettävyysarviointi hankevaiheen aikana. Tekninen toteutus ja arkkitehtuuri Palvelu noudattaa Server Client - arkkitehtuuria. Palvelimen muodostaa Play framework komponent- teineen. Käyttöliittymä on rakennettu käyttäen AngularJS kirjastoa. Palvelin ja käyttöliittymä kommu- nikoivat keskenään REST rajapinnan kautta. Server: Palvelimella voidaan erottaa seuraavat kokonaisuudet: tietomalli, kontrollerit ja Deadbold 2 autorisointimoduuli, joka huolehtii resurssien sallimisesta käyttäjille käyttäjäroolien mukaisesti. Kuva 1: Sitnet model, jossa entiteettien suhteet kuvattuna.

5 Client: Käyttöliittymä on toteutettu AngularJS, JavaScript kirjastoa käyttäen, joka kommunikoi palve- limen kanssa REST rajapinnan kautta. Käyttöliittymän asettelu on toteutettu Twitterin Bootsrap 3 kehyksellä. Visualiset notifikaatiot on toteutettu Toastr kirjastolla. Käyttöliittymän ikonit on toteutettu FontAwesome kirjastolla. Opettajan ja opiskelijan tekstieditorissa käytetään CKEditor komponenttia, joka mahdollistaa tekstin muotoilun (fonttin ja fontinkoon valinta, kursivointi, lihavointi) sekä matemaattisten kaavojen syöttämisen. Matemaattisia kaavojen syötettäessä CKEditor hyödyntää MathJax kirjastoa.

6 EXAM- palvelun perusmalli ja sen kehitysversiot Vuonna 2014 valmistuva ja käyttöönotettava Exam- tentin perusmalli sisältää tentin luomisen, varaa- misen, suorittamisen, arvioinnin ja suoritustietojen siirron perustoiminnallisuudet esseetentille, moni- valintatehtävätentille ja niiden yhdistelmistä muodostuvalle tentille. Järjestelmä tukee varaus- ja tent- tiprosessin hallintaa automaattiviestein opiskelijalle ja opettajalle. Raportoinnin pohjaksi voidaan teh- dä muokattavia tietohakuja. Kehityspaketti 1 täydentää perusmallin ominaisuuksia Tämän täydennysosan valmistelu käynnistyy. Kuvattujen lisäominaisuuksien tuottamiseen resursoidaan. Kehityspaketti 1:n käyttöönottoaikataulu on Kehityspaketti 2 - ibidem

7 EXAM- konsortio vastaa palvelun ylläpidosta ja kehittämisestä Exam- konsortioon kuuluvat perustajajäseninä: Haaga- Helia ammattikorkeakoulu Helsingin yliopisto Turun yliopisto Tampereen yliopisto Tampereen teknillinen yliopisto Itä- Suomen yliopisto Jyväskylän yliopisto Tampereen teknillinen yliopisto Lappeenrannan teknillinen yliopisto Svenska Handelshögskolan Konsortion tehtävänä on organisoida ja resursoida Sitnet- hankkeessa tuotetun Exam- tenttipalvelun ylläpito ja jatkokehittäminen jäsenorganisaatioiden tarpeita vastaavalla tavalla. Konsortion perustajilla on aiemman Sitnet- sopimuksen pohjalta rajoittamattomat immateriaalioikeudet kehittämisprojektin tulosaineistoon. Konsortion uudet jäsenet saavat samanlaiset oikeudet palveluun ja sen jatkokehittä- misprojektien tulosaineistoihin kuin perustajajäsenillä on. Exam- palvelun kehitystä ohjaa konsortion johtoryhmä. Se vahvistaa kehittämisen yleistavoitteet ja päättää palvelumaksuista, liittymismaksuista ja erillisestä kehittämisrahoituksesta. Palvelun kehittämishankkeet määrittelee ja priorisoi konsortion jäsenkorkeakouluja edustava asian- tuntijaryhmä. Se valmistelee hankkeet palveluntuottajan tehtäväksi ja raportoi puolivuosittain kehit- tämistilanteen ohjausryhmän kokoukselle. Johtoryhmä hankkii konsortiojäsenten tarvitsemat palvelut valitsemaltaan palveluntuottajalta. Kukin jäsen tekee palveluntuottajan kanssa samansisältöisen palvelusopimuksen. Jäsenet voivat tämän lisäk- si hankkia palveluntarjoajalta itselleen tarvitsemiaan lisäpalveluita. Palvelusopimuksella hankitaan esimerkiksi tenttityökalun käyttö-, ylläpito- ja kehittämispalveluita sekä konsortion tarvitsemia hallin- topalveluita. Suomalainen korkeakoulu voi liittyä Exam- konsortioon maksamalla liittymismaksun, allekirjoittamalla konsortiosopimuksen ja sitoutumalla sen velvoitteisiin. EXAM- palvelun käyttöönottopolku Tässä kuvataan mitä sisältyy konsortiojäsenyyteen ja mitä jää korkeakoulun oman valmistelun piiriin. Käyttöönoton valmiuksia, toiminnallista testaamista, tuotantoon siirron valmistelua ja käyttöönottoa koskeva toimenpidelistaus ylläpidetään Käyttöönoton valmistelutehtävät - sivulla..

8 Käyttöohjeet: Ylläpitäjän käyttöohje 1. Ylläpitäjän käyttöliittymä 2. Roolien hallinta 3. Kalenteri- ja tilatietojen hallinta 4. Tenttikoneiden hallinta 5. Tarvittavien ohjetekstien hallinta 6. Viestiliikenteen hallinta 7. Perusjärjestelmästä tuotavan tiedon hallinta 8. Tentin perustaminen ja muokkaus 9. Tenttikysymysten importtaus ja eksporttaus 10. Tenttitulosten vienti rekisteriin 11. Raporttitiedon hallinta 12. Tenttitilan synkroninen ja asynkroninen valvonta 13. Tenttitilan toiminnalliset vaatimukset 14. Hyviä ylläpidon käytäntöjä, FAQ (Tarkempi sisältö tähän Jiran epikien pohjalta)

9 Opettajan käyttöohje 1. Opettajan käyttöliittymä ja roolin mukaiset toiminnot 2. Tentin luominen ja aikatauluttaminen - hyviä käytäntöjä tentin mitoittamiseen 3. Tentin perustietojen antaminen 4. Tenttikysymysten luominen 5. Kysymyskirjaston hallinta 6. Kysymyskansioiden hallinta 7. Kysymysten muokkaus ja hallinta viketeillä 8. Kysymysten ohjeistaminen 9. Liitteiden hallinta 10. Tilavaraustietojen hallinta 11. Tenttikoneiden 12. Tentin henkilökohtaistaminen 13. Opettajan lisääminen tenttiin: jaettu opettajuus 14. Arvosanan ja arvostelupalautteen antaminen (Tarkempi sisältö tähän Jiran epikien pohjalta)

10 Opiskelijan käyttöohje 1. Opiskelijan käyttöliittymä ja roolin mukaiset toiminnot 2. Tenttiin ilmoittautuminen 3. Varauskalenterin käyttö 4. Omien tenttivarausten tarkastelu 5. Tenttivarauksen peruuttaminen 6. Tenttijärjestelmän antamat ilmoitusviestit 7. Tenttiohjeet ja tentin tilakohtaiset ohjeet 8. Miten toimit kun tarvitset esteetöntä tenttiä 9. Tenttitilaan pääsy ja tenttikoneelle kirjautuminen 10. Tentin avaaminen ja sulkeminen 11. Vastauseditorin ja lisäohjelmien käyttö 12. Kysymys- ja vastausliitteiden hallinta 13. Tenttitulosten ja - palautteen tarkastelu (Tarkempi sisältö tähän Jiran epikien pohjalta)

11 Tekninen dokumentaatio Tiedonsiirrot Integraatiossa tarvittavat tentin tiedot Integraatiossa siirtyvät opiskelijan suoritustiedot

12 Tenttiakvaarion suunnittelu ja mitoitus Sähköisen tentin tenttitilaa perustettaessa, ylläpidettäessä ja laajennettaessa resursoitavia kustannus- tekijöitä ovat keskeisesti seuraavat: Tenttitilan esteettömyyttä ja saavutettavuutta suunniteltaessa tulisi ottaa huomioon seuraavat kritee- rit, joiden pohjalta luodaan myös tilakuvaus esteettömyysmerkintää, eli tilan esteettömyyden tason kuvaustietoa varten. Fyysisiin rajoituksiin liittyvät tilaominaisuudet: Suoritusrajoitteisiin liittyvät tilaominaisuudet: Käyttöliittymän rajoitukset: - WesQu- kriteeristön saavutettavuusosiosta kriteeristö tähän.

13 Laatudokumentaatio EXAM- tenttipalvelun käytettävyyttä on projektin kestäessä arvioitu demo- ympäristön pohjalta kaksi- vaiheisesti asiantuntija- arviointina ja myöhemmin opettajan ja opiskelijan roolissa toteutettuna käyt- täjäarviointina. Asiantuntija- arvioinnin laatukriteeristö pohjautuu Tampereen teknillisen yliopiston kehittämän Wes- Qu- työkalun kysymyssarjoihin. Tenttiympäristön arvioinnin kannalta relevantteja kysymyksiä valikoitui käyttöön 175 kappaletta. Näitä kysymyksiä käyttäen on mahdollista tuottaa myös vertailukelpoista seurantatietoa EXAM- palvelun toimivuuden ja käytettävyyden kehittymisestä. Kysymykset jakautuivat sisällöltään seuraavasti: Informaation esitystapa (17kysymystä) Visuaalinen suunnittelu (24 kysymystä) Tekstin luettavuus (7 kysymystä) Navigoinnin tukeminen (50 kysymystä) Tekninen toteutus (35 kysymystä) Saavutettavuus (42 kysymystä) Asiantuntija- arviointiin käytetty kysymysmatriisi kokonaisuudessaan Projektin aikaisen arvioinnin tulosraportti Käytettävyystestaukset toteutettiin testaajan ohjaamina, videoituina testaustilanteina. Tenttipalvelun käytettävyyttä arvioitiin seuraavien tehtävien mukaisilla käyttöprosesseilla: Opettajan tehtävät Tehtävä 1: Esseekysymyksen laadinta kysymyskirjastoon Tehtävä 2: Monivalintakysymysten laadinta kysymyskirjastoon Tehtävä 3: Laadi tentti kiinteillä kysymyksillä Tehtävä 4: Julkaise tentti Tehtävä 5: Laadi kypsyysnäyte- tentti Tehtävä 6: Laadi kirjatentti Tehtävä 7: Tentin arviointi Opiskelijan tehtävät Tehtävä 1: Tenttiajan varaaminen Tehtävä 2: Tenttiin vastaaminen Käytettävyystestaussuunnitelma Käytettävyystestauksen ohjeistosivu Exam- tenttipalvelulle suoritetaan ennen käyttöönottoja CSC:n tietoturva- auditointi ja erikseen määri- teltävä kuormitustestaus.

14 Konsortiosopimusdokumentaatio