68 Harjoitustehtävien palautus ja hallinta jotka eivät ole palautusta tehneet. Tämä työmäärä on ollut keskimäärin viisi merkintää viikossa kurssilla, jolla on ollut 80-100 palautusta viikossa. 5.1.3 Käyttökokemukset ja opetukset Opiskelijat ovat jopa yllättävän hyvin ymmärtäneet esseiden vaikutuksen asioiden seuraamiseen ja tenttiin vastaamisen harjoittelun motivaation. Hyvin harvat ovat olleet kiinnostuneita siitä, montako pistettä (ja minkälaisella algoritmilla) esseistä saa "bonusta" tenttiin. Jotta palautusten "itsekirjautuminen" toimisi oikein kannattaa opiskelijoille kertoa, että palautusohjeiden noudattaminen järjestyksessä on erityisen tärkeää. Varsinkin kannattaa korostaa sitä tosiseikkaa, että assistenteille tulee väärin palautetuista esseistä ylimääräistä työtä. Tyypilliset ongelmat lähinnä ensimmäisinä palautusviikkoina ovat olleet: palautusnumeron varauksen unohtaminen ja toisella viikolla edellisen viikon palautusnumeron käyttäminen. WWW-käyttöliittymä palautukseen ja omien palautusten seurantaan on ollut riittävän yksinkertainen ja selkeä. Suurin ongelma on ollut erillisessä ohjelmassa, jonka avulla opettaja tekee muutoksia tietokantaan. Tämä ohjelma on nopeasti kirjoitettu alunperin yhden ihmisen käyttöön ja siitä levinnyt useammalle kurssille. Ohjelma on vaikeakäyttöinen jopa ohjelmistotekniikan ammattilaiselle, mutta tästä huolimatta siitä ei vielä ole saatu aikaiseksi uutta versiota. 5.2 Sähköpostipalautusten ja tarkastustilanteen hallinta Kirsti Ala-Mutka 5.2.1 Tausta Tämä järjestelmä toteutettiin vuonna 1997 Laajan ohjelmoinnin kurssin ohjelmointiharjoitustöiden palautuksen ja tarkastuksen hallintaan. Harjoitustöiden palautukset oli kurssilla edellisinä vuosina suoritettu sähköpostitse, jolloin automaatti lajitteli ne otsikon perusteella työaiheittain kurssitunnuksen hakemistoihin. Järjestelyssä oli kuitenkin selviä puutteita. Se ei osannut ottaa huomioon opiskelijan mahdollisesti tekemiä useita palautusyrityksiä, joista varmuuden vuoksi olisi talletettava muutkin kuin viimeisin versio. Ongelmia tuottivat myös opiskelijoille korjattavaksi annetut työt (bumerangit), joiden palautukset olisi pitänyt käsitellä muista eroavasti. Bumerangipalautusten määräajat erosivat yleisistä ja lisäksi ne olisi pitänyt pystyä ohjaamaan työtä jo aiemmin tarkastaneelle assistentille käsiteltäväksi. Yleensäkään yhteisistä poikkeavien määräaikojen asettaminen, esimerkiksi sairastumisen vuoksi annettavan lisäajan yhteydessä, ei ollut mahdollista.
Harjoitustehtävien palautus ja hallinta 69 Myös assistenttien työmäärien ja työn etenemisen valvontaan kaivattiin apukeinoja. Kurssin aloitti tyypillisesti n. 500 opiskelijaa, palautettavia harjoitustöitä oli neljä kappaletta ja tarkastusta suorittavia assistentteja kahdeksan. 5.2.2 Toteutus Toteutettu ratkaisu pysyi opiskelijoiden kannalta ennallaan; harjoitustyöt palautettiin edelleenkin sähköpostitse työaiheen mukaisilla otsikoilla varustettuna. Uudessa toteutuksessa myös normaaleista määräajoista poikkeavat palautukset pystytään opettajan määrittelemien henkilökohtaisten määräaikojen avulla käsittelemään opiskelijan kannalta ilman erityistoimenpiteitä. Tarkastusten helpottamiseksi töiden tallennushierarkia jaettiin aihe- sekä tarkastustilakohtaisiin hakemistoihin. Näin työn sijainti ja nimi hakemistohierarkiassa ilmaisevat yksikäsitteisesti työn aiheen, tarkastusvaiheen, työn tekijän sekä tarkastajan nimen. Tarkastajan nimi liitetään työhön ensimmäisen tarkastukseenoton yhteydessä, jotta mahdolliset bumerangit osataan kohdistaa oikealle henkilölle tarkastettavaksi. Harjoitustyötä kuvaavaa tiedostoa siirretään hakemistosta toiseen, kunnes se päätyy tilaan hyväksytty/hylätty. Jotta hakemistojen sisällöt pysyisivät laillisina, töiden palautusta ja assistenttien toimintoja varten on luotu ohjelmat, jotka toimintoja suorittaessaan samalla valvovat niiden laillisuutta. Lisäksi tarkastustilanteen valvontaan on toteutettu CGI-skriptejä, joiden avulla tarkastusten etenemistä voi seurata WWW-selaimen avulla. Järjestelmä perustuu kurssitunnuksen alle luotuun hakemistorakenteeseen, jonne luotiin harjoitustyövaiheittain hakemistot tarkastusta odottaville, bumerangeiksi annetuille, hyväksytyille sekä hylätyille harjoitustöille. Kuva 5.1 esittää järjestelmän hakemistorakenteen. Hakemistorakenne määritellään järjestelmän tekstimuotoisessa konfiguraatiotiedostossa. Kantahakemiston alle määritellään käytettävät harjoitustyöt (tai saman työn eri vaiheet), joiden alta löytyy työaihekohtaiset hakemistot. Jokainen työaihehakemisto jaetaan eri tarkastustiloja kuvaaviin hakemistoihin, joiden alle opiskelijoiden työt sijoitetaan. Kuvassa esitetään tilanne lukuvuonna 97-98, jolloin opiskelijoiden tuli palauttaa työt neljässä vaiheessa. Toisessa vaiheessa työaiheena oli neljä eri nimistä työtä ja töihin tuli rekisteröityä ennen työn palauttamista. Kurssilla oli sääntönä, että työstä voidaan antaa bumerangi enintään kaksi kertaa. Tämä määrä on kuitenkin järjestelmän konfiguraatiotiedoston avulla helposti muutettavissa. Järjestelmä on tehty siten, ettei rekisteröinti ole pakollinen, mutta sitä käytettiin kurssilla, koska sen avulla pystyttiin arvioimaan kuinka opiskelijat jakautuivat työaiheittain tarkasteltuna.
70 Harjoitustehtävien palautus ja hallinta htyot_s97-k98 vaihe1 vaihe2 vaihe3 vaihe4 pass.txt closed.txt backup tilasto monte_carlo caesar reppu tilasto monte_carlo caesar reppu rekisteroidyt palautetut bumerangit1 bumerangit2 hyvaksytyt hylatyt Fig. 5.1 Harjoitustöiden hallintajärjestelmän hakemistorakenne Opiskelija palauttaa harjoitustyön sähköpostitse osoitteeseen laaja@cs.tut.fi. Viestin Subject-kentän tulee olla muotoa <työvaihe>:<työaihe>:<opiskelija> Esitetyn kuvan termeillä esimerkiksi vaihe2:reppu:123456. Kurssitunnukselle asetettu sähköpostin käsittelyautomaatti käsittelee sähköpostipalautukset. Kaikista saapuvista sähköposteista otetaan varmuuskopio, jonka jälkeen tarkistetaan seuraavat asiat: 1. Otsikon formaatti. Virheellisellä otsikolla (ei tunnistettavissa harjoitustyöksi) saapuneet mailit palautetaan lähettäjälle palautusohjeiden kera. 2. Pituus. Liian lyhyt (<2000 tavua) tai liian pitkä (>100000 tavua) maili palautetaan lähettäjälle tilannetta kuvaavan viestin kera. Kyseessä on joko ollut vahingossa lähetetty tyhjä viesti tai virheellisesti binaariohjelmia sisältävä palautus. 3. Palautusaika. Saapuvan viestin palautusaika otetaan käyttöjärjestelmältä, ja sitä verrataan opettajan asettamiin harjoitustöiden aikarajoihin. Palautusajan ohittanut työ saa vastauksenaan viestin työn myöhästymisestä. Palautusajan ulkopuolella palautuksia otetaan vastaan vain seuraavissa tilanteissa:
Harjoitustehtävien palautus ja hallinta 71 i. Opiskelijalle on annettu bumerangi kyseisestä harjoitustyöstä. ii. Opiskelijan opiskelijanumero on erikseen määritelty kyseisen työvaiheen aikarajatiedostossa, ja annettua määräaikaa ei ole vielä ohitettu. 4. Opettajan asettamia muita tarkistuksia, esimerkiksi suoritettu rekisteröinti kyseiseen työaiheeseen. Laillisesti palautettu työ tallennetaan työaiheen ja työn tilan mukaiseen hakemistoon. Onnistuneen tallennuksen jälkeen työn palauttaneelle lähettäjälle lähetetään viesti palautuksen onnistumisesta. Mikäli tallennus ei pääty onnistuneesti, lähetetään opiskelijalle viesti, joka ilmaisee palautuksen epäonnistumisen sekä pyytää ottamaan yhteyttä opettajaan. Sähköpostien käsittelyautomaatti on toteutettu siten, että asettamalla muuttujien arvot oikeiksi kurssin alussa sama tiedosto toimii koko kurssin ajan muita muutoksia tarvitsematta. Kurssin alussa asetetaan palautusten avaus- ja sulkemismääräajat kaikille työvaiheille, eikä niitä tarvitse kurssin suorituksen aikana päivittää. Jokaiselle työvaiheelle voidaan määritellä tiedosto, johon opettaja voi kurssin aikana kirjata opiskelijoille yleisistä aikarajoista poikkeavia harjoitustöiden palautusaikoja. Poikkeukselliset määräajat merkitään tekstitiedostoon opiskelijakohtaisesti omille riveilleen, formaatin tulee noudattaa seuraavaa: <opiskelijanumero>:<pvm>:<klo> Esimerkkimääritys: # Keuhkoputkentulehduksen vuoksi myönnetty viikon lisäaika # opiskelijalle 85067, deadline 19.4.1998 85067:1998.04.20:00.00.00 Harjoitustyötiedostojen nimeämiskäytäntö Opiskelija rekisteröityy töihin WWW-lomakkeen kautta ja ilmoittaa samalla, mitä työtä haluaa ryhtyä tekemään. Jos työhön rekisteröinti on mahdollista, eikä opiskelijalla ole voimassa olevaa aiempaa rekisteröintimerkintää, onnistuneesta rekisteröinnistä ilmoitetaan opiskelijalle WWW-sivulla. Samalla hänelle luodaan työaiheen rekisteroidyt -hakemistoon tunnustiedosto nimelle <opiskelijanro>. Opiskelijan tunnisteena käytetään kaikissa tunnustiedostoissa opiskelijanumeroa, jonka tiedetään olevan kaikilla TTKK:n opiskelijoilla yksikäsitteisesti opiskelijat erottava tunniste. Jos opiskelija on jo rekisteröitynyt yhteen työhön, hän voi vaihtaa aihetta rekisteröitymällä toiseen työaiheeseen ja vahvistamalla aiheen vaihdon. Opiskelijan palauttaessa harjoitustyötä palautusautomaatti sijoittaa palautuksen johonkin hakemistoista palautetut, bumerangit1 tai bumerangit2. Hakemistoon palautetut (ensimmäiset palautukset) sijoitetut työt on nimetty <opiskelija>.<id>, jossa <id> erottaa samalla opiskelijanumerolla alkavat tie-
72 Harjoitustehtävien palautus ja hallinta dostot toisistaan. Opiskelijan ensimmäinen palautus hakemistoon saa <id>-arvon 0. Jos opiskelija palauttaa työn uudelleen, ennen kuin se on otettu tarkastettavaksi, työ tallennetaan uudelle yhtä suuremmalle <id>:n arvolle. Bumerangihakemistoihin palautetut työt on nimetty <assari>.<opiskelija>.<id>, missä <assari> on työtä tarkastaneen assistentin käyttäjätunnus. Assistentti voi ottaa työn tarkastettavaksi komennolla co.py, joka hakee pyydetyn opiskelijan työn ja kopioi sen assistentin työhakemistoon tarkastusta varten. Nimi on valittu muistuttamaan komentoa, jota käytetään RCS-versionhallinnassa työn järjestelmästä käsittelyyn ottamiseksi. Tarkastukseen ottamisen merkiksi kurssin tiedostohierarkiaan merkitään tilaa ilmaisevaan hakemistoon tyhjä tunnustiedosto <assari>.<opiskelijanro>. Nimen alussa <assari> kertoo käyttäjätunnuksen, joka on ottanut työn tarkastettavakseen ja <id>-päätteen puuttuminen ilmaisee että työlle on suoritettu operaatioita opiskelijan tekemän palautuksen jälkeen. Koska assistentit toimivat usein samanaikaisesti, co.py huolehtii siitä, ettei kaksi assistenttia pysty sotkemaan toistensa toimintaa yrittämällä ottaa samaa työtä itselleen yhtä aikaa. co.py tarkistaa myös, ettei assistentti ota itselleen tarkastettavaksi jo toiselle assistentille nimettyä työtä. Assistentti merkitsee tarkastuksen tuloksen käyttämällä komentoa ci.py, joka siirtää co.py:n luoman tyhjän tunnustiedoston tarkastuksen tulosta ilmaisevaan hakemistoon ( hyvaksytyt, hylatyt, bumerangit1 tai bumerangit2 ). Myös tämä ohjelma tarkistaa, että assistentti merkitsee tarkastustuloksia vain itse tarkastukseen ottamilleen töille. Komennon nimi on yhtenevä versionhallintaohjelmistossa käytettävän uuden versiotiedoston tallennuskomennon kanssa. Tarkistustuloksen merkiksi luodaan kyseiseen hakemistoon tyhjä tunnustiedosto nimelle <assari>.<opiskelijanro>. Hakemistossa hyvaksytyt tai hylatyt tiedosto tarkoittaa työn lopullista arvostelutulosta. Bumerangihakemistoissa tiedosto ilmaisee, että työ on annettu uudelleen korjattavaksi ja opiskelijalla on oikeus yleisistä määräajoista riippumatta tehdä työstä pyydetty bumerangipalautus. Normaalioloissa opiskelijan numero on yhden työvaiheen alla enintään kahdessa kohtaa: hakemistossa rekisteroidyt sekä työn tilaa ilmaisevassa hakemistossa. Mikäli sama numero löytyy useammasta paikasta, on kyseessä useampaan kertaan suoritettu palautus (useita <id>-arvoja) tai jokin toimintavirhe. Tällöin skriptit tulostavat tiedon ongelmatilanteesta ja assistentin on selvitettävä asia tarkistamalla ja poistamalla ylimääräiset tiedostot siten, että vain yksi opiskelijanumeron sisältävä palautus/tunnustiedosto jää jäljelle. Näin toiminnot varoittavat aina heti ristiriitaisia tietoja havaitessaan ja järjestelmän sisältävät tiedot pysyvät määrittelyn mukaisina. Erikoisemmissa järjestelmän asetuksista tai tilasta johtuvissa virhetilanteissa ohjelmat tulostavat virheilmoituksen näytölle sekä lähettävät tiedon virheestä ja
Harjoitustehtävien palautus ja hallinta 73 käsiteltävänä olleista parametreista konfiguraatiotiedostossa määriteltyyn ylläpitäjän osoitteeseen. Näin virhe tulee nopeasti tiedoksi järjestelmää ylläpitävälle taholle, joka pystyy korjaamaan asian. Tarkastustilanteen seuranta Harjoitustöiden tarkastustilanteen seuranta on yksinkertaista selkeän hakemistojärjestelmän ja opiskelijakohtaisten tiedostojen avulla. Niinpä sekä opiskelijoille että opettajalle on toteutettu WWW-sivujen avulla mahdollisuus ajantasaisen tarkastustilanteen seurantaan. Yleinen harjoitustöiden tilanteen tarkkailuun toteutettu ohjelma käy läpi pyydetyn harjoitustyöaiheen hakemistot ja tulostaa listat eri tiloissa olevista harjoitustöistä. Sivulla näkyy opiskelijanumerolistat rekisteröityneistä, hyväksytyistä, hylätyistä sekä bumerangiksi annetuista töistä. Assistenttien työmäärien seurantaan on toteutettu ohjelmat, joiden avulla kerätään työvaiheittain tarkastetuksi kirjatut työt assistenteittain kirjattuna. Tarkempia tietoja halutessa voidaan vielä hakea nimetyn assistentin tarkastamat työvaiheen työt kaikista harjoitustyöaiheista. Lopuksi tulostetaan taulukkomuotoinen yhteenveto työmääristä. Tiedot kootaan listaamalla työhakemistojen tiedostoja ja erottamalla niiden nimissä esiintyvät opiskelijanumerot ja assistenttien tunnukset. Tarkastusta odottavat bumerangipalautukset erotetaan korjattavaksi annetuista lihavoidulla kirjasintyypillä. 5.2.3 Kokemukset ja opetukset Järjestelmä tuntui erittäin toimivalta töiden tarkastuksen hallinnan suhteen. Palautukset ohjautuivat automaattisesti oikeille tarkastajille ja tarkastusten kokonaistilanne oli jatkuvasti selvillä. Kurssin luennoijan oli helppo seurata eri assistenttien aktiivisuutta ja työmääriä palkanlaskentaa varten. Töiden käsittelyn rajoittaminen skriptien kautta tapahtuvaksi poisti inhimillisistä virheistä johtuvat töiden hukkumiset ja tulosten merkintävirheet. Myös varmistusjärjestelmät tuntuivat toimivan riittävän hyvin. Erään harjoitustyön määräajan kynnyksellä postitusjärjestelmä kaatui, jolloin suuri osa ajoissa lähetetyistä palautuksista saapui perille vasta vuorokausi määräajan jälkeen. Vaikka automaatti ensin palautti työt lähettäjilleen liian myöhäisinä palautuksina, ongelman selvittyä viikonlopun jälkeen pystyttiin kaikki ajoissa lähetetyt työt palauttamaan varmistuskopioista järjestelmään eikä opiskelijoille aiheutunut ylimääräistä työtä. Parannusehdotukseksi järjestelmään huomattiin piankin se, että co.py-ohjelman olisi hyvä osata automaattisesti etsiä assistentille aikajärjestyksessä vanhin työ tarkastettavaksi. Alkuperäisessä toteutuksessa assistentin oli itse valittava ja kerrot-
74 Harjoitustehtävien palautus ja hallinta tava tarkastukseen otettavan opiskelijan työ. Myös se, etteivät co.py ja ci.py automaattisesti osanneet käsitellä opiskelijalta ennen tarkastuksen tulosta saapuneita useampia palautuksia, aiheutti lisätyötä assistenteille. Tällaisia tilanteita ei kuitenkaan ollut kovin suuressa määrin. Rutiinitoimintojen poistamisen kannalta olisi ollut hyvä myös lisätä co.py-ohjelmaan toiminto, jolla se purkaa opiskelijan palauttaman tiedostopaketin ja kääntää sen valmiiksi ajettavaan muotoon, jota assistentti tarkastuksessaan tarvitsee. Ohjeistuksesta huolimatta järjestelmä on monimutkainen konfiguroida kurssille. Alunperin haluttiin, ettei järjestelmä ryhdy itse luomaan hakemistorakennettaan, vaan se jätetään opettajan tehtäväksi. Myöhemmin on kuitenkin tultu siihen tulokseen, että käyttöönotto olisi helpompaa, mikäli hakemistorakenne luotaisiin automaattisesti konfiguraatiotiedoston perusteella. Eräs opettajan työtä selvästi helpottava piirre järjestelmässä on sen tarjoama helppokäyttöinen henkilökohtaisten palautusmääräaikojen asetus: kun päätös on kerran kirjattu tiedostoon, järjestelmä huolehtii poikkeuksellisen palautusoikeuden oikeasta käsittelystä. Järjestelmää voisi tulevaisuudessa kehittää esimerkiksi siten, että myös korjattavaksi annetuille harjoitustöille kirjattaisiin automaattisesti samalla tavalla valvottava palautusaika. Tämänhetkisessä järjestelmässä bumerangipalautusten määräaikoja ei valvota automaattisesti muuten kuin kaikkien töiden viimeiseksi asetetun palautuspäivän muodossa. Järjestelmä tuntuu toimivan hyvin tilanteissa, joissa kaivataan lähinnä automaattista harjoitustöiden palautuksen käsittelyä sekä tarkastustilanteen valvontaa. Järjestelmää käytetään nykyään muun muassa Seittiohjelmoinnin kurssilla. 5.3 Kaksivaiheinen harjoitustöiden automaattitarkastus sekä tarkastusprosessin hallinta Kirsti Ala-Mutka 5.3.1 Johdanto Laajassa ohjelmoinnissa oli kehitetty kohdassa 5.2 esitetty opiskelijoiden harjoitustöiden käsittelyä koordinoiva järjestelmä, jolla pystyttiin organisoimaan ja valvomaan satojen harjoitustöiden palautusta sekä tarkastusta. Ongelmia aiheuttivat kuitenkin työt, jotka oli tehty huolimattomasti tai puutteellisesti ja jouduttiin hylkäämään suoraan tai ainakin antamaan korjattavaksi useaan kertaan. Vaikka assistentit antoivat opiskelijoiden käyttöön testipenkin ja vaativat, että töiden on toimittava testipenkin testeillä ennen kuin niitä saa palauttaa, palautusten joukosta löytyi aina myös töitä, jotka eivät toteuttaneet vaatimuksia.