YLE-UUTISPALVELUN ARVIOINTISUUNNITELMA ( http://yle.fi/uutiset/) 01.10.2013 Verkkopalvelun laadukkuus ja arviointi MAT 81100 Tampereen teknillinen yliopisto Pekka Laaksonen Juho Ylikojola Marjaana Putro Iita Aho Tero Malmberg
1. Johdanto Tässä arviointisuunnitelmassa kuvataan suunnitelma verkkopalvelun laadukkuuden arvioinnin toteuttamiselle. Tämän arviointisuunnitelman tarkoitus on kuvata tavoitteita, keinoja ja menetelmiä joita tullaan käyttämään laadukkuuden arvioinnissa. Arviointisuunnitelman pohjalta tullaan ryhmässä toteuttamaan laadukkuuden arviointi Ylen uutissivustolle http://yle.fi/uutiset/. Arviointisuunnitelmassa esitellään aluksi arvioitava verkkopalvelu sekä arvioinnin tavoitteet. Tämän jälkeen esitellään käytettävä arviointimalli, joka toimii laadukkuuden arvioinnin pohjana. Arvioinnin eri osa alueisiin perehdytään tätä seuraavassa luvussa, jonka jälkeen arvioidaan vielä arvioinnin luotettavuutta. Kappaleissa kuvataan myös syitä menetelmien ja mallien valinnoille. Viimeisessä kappaleessa esitellään vielä alustavalla tasolla ryhmän työnjako tulevaa laadukkuuden arviointia koskien. 2. Arvioinnin kohde Tässä työssä laadukkuuden arvioinnin kohteena on Ylen verkkopalvelun uutissivusto, joka on saatavilla osoitteesta http://yle.fi/uutiset/. Tarkasteltava verkkopalvelu on uutisista koostuva sivusto, jossa käyttäjät ensisijaisesti lukevat uutisia ajankohtaisista asioista tai erilaisista aiheista. Ylen uutissivuston etusivunäkymä sisältää otsikoita, linkkejä ja kuvia ajankohtaisista uutisista ja etusivun sisältö päivittyy uusien uutisten myötä. Yle on kaupallisesti ja poliittisesti riippumaton julkinen palvelu, joka tekee ohjelmia kaikille suomalaisille. Yle pyrkii tarjoamaan paikan yhteiskunnalliselle keskustelulle, journalismille ja kulttuurille ja sen tavoitteena on tuottaa luotettavaa tietoa. (Yle 2013) Verkkopalvelun käyttötarkoitus on pääasiassa uutisten esittäminen. Ylen tavoitteiden mukaisesti myös uutissivusto pyrkii esittämään uutiset kaupallisesti ja poliittisesti riippumattomasta näkökulmasta, eli näin ollen luotettavasti ja puolueettomasti. Verkkopalvelun kohderyhmänä toimivat suomalaiset verkkosivuston käyttäjät. Laadukkuuden tarkastelu ja arviointi tullaan tekemään ensisijaisesti verkkopalvelun käyttäjien näkökulmasta. Käyttäjäkohderymä on melko laaja, eikä ole selkeästi rajattavissa esimerkiksi tiettyä ikäryhmää kenelle verkkopalvelu olisi ensisijaisesti suunnattu. Tässä vaiheessa käyttäjiä ei eritellä sen tarkemmin, mutta arviointityön edetessä tarpeen vaatiessa käyttäjiä voidaan jaotella erilaisiin käyttäjäryhmiin. Tyypillinen Ylen uutisten verkkopalvelun käyttäjä esimerkiksi selailee uutisotsikoita etusivunäkymältä ja avaa mielenkiintoiseksi tai tarpeelliseksi kokemansa uutiset lähempään tarkasteluun. Vaihtoehtoisesti käyttäjä voi selailla uutisia eri kategorioiden tai lajitteluperusteiden mukaan, tai käyttää verkkopalvelun hakutoimintoa uutisten hakemiseen.
3. Arvioinnin tavoitteet Arvioinnilla pyritään saada kuva Ylen uutispalvelun käyttökelpoisuuden ja hyödyllisyyden laadukkuudesta palvelun käyttäjälle. Arviointi tehdään harjoitustyönä Tampereen teknillisen yliopiston kurssille: Verkkopalvelun laadukkuus ja arviointi kurssille. Arviointi siis suoritetaan oppimista varten. Arvioinnin suorittajilla ei ole mitään tekemistä Yle organisaation kanssa, joten arviointi tehdään ilman Ylen lupaa, tai että Ylellä olisi tässä vaiheessa tietoa arvioinnin tapahtumisesta. Arviointi suoritetaan myös yleisen mielenkiinnon takia verkkopalveluun, että kuinka hyvin palvelu vastaa erilaisiin laatuvaatimuksiin, varsinkin kun kyseessä on ison organisaation verkkopalvelu. 4. Arviointimalli Arviointimalliksi valittiin käyttökelpoisuuden arviointimalli. Tässä mallissa keskitytään kahteen suurempaan laadukkuuden osa alueseen: käyttökelpoisuus ja hyödyllisyys. Nämä kaksi osa aluetta taas on jaettu pienempiin osiin: käytettävyys, saavutettavuus, tavoitteiden saavuttamisen tukeminen ja informaation laadukkuus. Nämä esitellään tarkemmin luvussa 5. (Tervakari et al. 2005 2013, 3.3.3 Käyttökelpoisuuden arviointimalli) Tämä malli kattaa laajasti eri verkkopalvelun laadukkuuden osa alueita, joita on helpompi arvioida verkkopalvelun luoneen organisaation ulkopuolinen ryhmä, johon tämän arvostelun suorittajat kuuluvat. Tämä malli valittiin myös sen takia, että se kattaa laajasti eri osa alueita verkkopalvelun laadukkuudesta. Tässä mallissa ja siten tulevassa arvioinnissa ei oteta huomioon verkkopalvelun teknistä toteutusta tai sen aiheuttamia kustannuksia, joista arvioinnin suorittajilla ei olisikaan tietoa tai pääsyä tähän tietoon. Mallin vahvuuksiin kuuluu se, että se suosittelee erilaisten menetelmien käyttöä ja erilaisten toimijoiden näkökulmista tarkkailua (Tervakari et al. 2005 2013, 3.3.3 Käyttökelpoisuuden arviointimalli). Kuitenkin koska malli pitää sisällään 4 eri arvioinnin osa aluetta, saattaa arvioinnissa joidenkin osa alueiden arviointi jäädä puutteelliseksi ajan puutteen takia, kuin jossain toisessa mallissa, joka keskittyisi vain tarkastelemaan yhtä osa aluetta laajemmin kuin tässä arviointimallissa. Arviointi saattaa olla myös puutteellinen arvioiden kokemattomuuden takia. 5. Arvioinnin osa-alueet 5.1. Käytettävyys Kuten aiemmin mainittiin palvelun käyttäjäkunta on laaja, käytännössä kaikki suomen kieltä ymmärtävät ihmiset, joilla on laite päästä verkkoon. Koska käyttäjäkunta on päätelaiteriippumaton, tulee päätelaite ottaa huomioon arviointimenetelmän valinnassa. Palvelun sisältö on päivittäin vaihtuvaa, mutta juuri sivuston sisältö on koko sivuston tarkoitus ja käyttäjälle merkityksellisin osa. Tämä asettaa käytettävyyden arviointimenetelmälle sellaisen vaatimuksen,
arvioinnit tulee suorittaa samanaikaisesti, jotta tuloksista saadaan vertailtavia. Samanaikainen arviointi poistaa kvantitatiiviset menetelmät mahdollisten joukosta, koska ei ole mahdollista järjestää riittävää määrää arviointeja samanaikaisesti. Käytettävyyden arviointiin valittiin käytettäväksi pluralistinen (käytettävyys)läpikäynti, joka mahdollistaa usean arvioinnin samanaikaisesti. Läpikäynti on ryhmätilanne, jossa osallistujat käyvät arvioinnin kohdetta vaiheitta läpi. Kukin osallistuja antaa läpikäynnin tuloksiin oman mielipiteensä ja lisäksi keskusteluista muodostuu ryhmän mielipiteitä. Pluralistisella läpikäynnillä on viisi ominaispiirrettä, sääntöä. Läpikäynnin pluralistinen, moniarvoinen, luonne tulee ensimmäisestä ominaisuudesta, jonka mukaan samaan läpikäyntiin osallistuu kolmen tyyppisiä henkilöitä: oletettuja loppukäyttäjiä, tuotteen kehittäjiä sekä käytettävyysammattilaisia. Toisen ominaisuuden mukaan läpikäytävät näyttökuvat ovat tehtävänsuoritusjärjestyksessä siten kuin ne olisivat lopullisessa toteutuksessa. (Bias 1991, s. 94). Tämä koskee vain paperiprototyyppien läpikäyntejä. Bias on kehittänyt menetelmää vuosien saatossa ja lisäsi kolmanneksi ominaisuudeksi vaatimuksen, että kaikki osallistujat omaksuvat loppukäyttäjän roolin. Sekä toteuttajien että käytettävyysasiantuntijoiden tulee asettaa itsensä loppukäyttäjän asemaan suorittaessaan tehtäviä. (Bias 1994, s. 65) Neljäs ominaisuus edellyttää, että kaikki osallistujat kirjoittavat ylös kaikki ne toimet, jotka he tekisivät suorittaakseen tehtävän, mahdollisimman tarkasti sekä kaikki muut huomiot ennen keskustelun aloittamista. Kirjatuista huomioista saadaan kvantitatiivista dataa, joka voi olla arvokasta tietoa. Viidennen ominaisuuden mukaan keskustelu tehtävästä käydään vasta, kun kaikki ovat valmiita ja kunkin keskustelun aloittaa aina todellisten käyttäjien edustajat. Muut osallistujat saavat osallistua keskusteluun vasta heidän jälkeensä. (Bias 1994, s. 65 66) Tässä työssä menetelmää sovelletaan siten, että painotetaan loppukäyttäjien osuutta osallistujissa. Ryhmän kaksi jäsentä osallistuvat läpikäyntiin käytettävyysasiantuntijoina ja yksi ryhmäläinen, Iita Aho, toimii tilaisuuden moderaattorina ja menetelmän asiantuntijana. Lisäksi pyritään saamaan osallistuja myös YLE:ltä, mutta tämä voi osoittautua mahdottomuudeksi. Osallistujien tulisi sopia seuraaviin käyttäjäprofiileihin. tehomobiilikäyttäjä vieras älypuhelin satunnaismobiilikäyttäjä oma älypuhelin satunnaistablettikäyttäjä oma laitte tehotablettikäyttäjä vieras laite (rooli voi olla haastava saada toteutumaan) satunnaiskäyttäjä oma tietokone (luultavasti kannettava tietokone) tehokäyttäjä vieras tietokone Päätelaite vaikuttaa tehtävän suoritukseen, tästä syystä meillä on kolme eri ryhmää mobiili, tabletti ja tietokonekäyttäjät. Mielenkiintoisempien tulosten toivossa olemme jakaneet rooleille myös laitteen, jolla he läpikäyntiin osallistuvat. Niille, jotka palvelua käyttävät enemmän, annetaan käyttöön heille vieras laite, jolloin käyttötilanteeseen saattaa tulla heillekin uutta näkökulmaa. Käyttötiheys vaikuttaa usein myös käyttötapaan ja tehokkuuteen, joten pyrimme saamaan sekä
satunnais että tehokäyttäjiä. Tehokäyttäjälle ei ole virallista määritelmää olemassa, mutta tässä kontekstissa määrittelemme tehokäytöksi useamman kuin yhden vierailun viikossa sivustolla. Suunniteltuja tehtäviä ei voi tässä julkaista, koska se vaikuttaisi niihin ryhmän jäseniin, jotka osallistuvat läpikäyntiin. Pluralistinen läpikäynti ei tue käyttäjän vapaata tutkiskelua käyttöliittymässä, mikä on oppimisen perusta (Bias 1994, s. 69). Näin ollen tällä menetelmällä ei voida arvioida opittavuuden osaa palvelun käytettävyydessä. Pluralistisen läpikäynnin merkittävä etu verrattuna moniin muihin käytettävyyden arviointimenetelmiin on kuitenkin se, että siihen osallistuu usean eri roolin henkilöitä, jotka pääset keskustelemaan tuotteesta keskenään ja saattavat keksiä ongelmiin ratkaisun jo läpikäynnin aikana (Bias 1994, s.70). Lisäksi yhteistilaisuudessa saatetaan löytää sellaista dataa, jota ei löydettäisi suoritettaessa esimerkiksi yksittäisiä käytettävyystestejä, koska kunkin tehtävän jälkeen koko ryhmä keskustelee (Bias 1991, s. 95). Palvelussa itsessään ei ole muuta uutta opittavaa kuin sivuston käyttämä uutisaiheiden jaottelu tavallisen verkkoselaamisen lisäksi. Näin ollen opittavuuden arvioinnin poisjäänti ei ole kriittinen puute eikä edellytä erillisen menetelmän käyttöönottoa. 5.2. Saavutettavuus Saavutettavuuden arviointiin käytetään WCAG 2.0 Verkkosisällön saavutettavuusohjeita sekä ohjelmallista arviointia tämän tukena. Ohjelmalliset työkalut päätetään myöhemmin. WCAG 2.0 arviointi tehdään asiantuntija-arviointina käyttäen ohjeita tarkistuslistana. Kuten oppimateriaalissa sanotaankin, niin saavutettavuuden ja käytettävyyden raja on häilyvä (Tervakari et al. 2005-2013, 3.3.3 Käyttökelpoisuuden arviointimalli), joten käytettävyyden arvioinnissa otetaan huomioon myös saavutettavuuden näkökulmat. Palvelun päätelaitesidonnaisuutta arvioidaan myös käytettävyysläpikäynnissä hankkimalla kolmenlaisia eri käyttäjiä ja suorittamalla läpikäynti kolmella eri laitteella: tietokoneella, tabletilla ja mobiililaitteella. Tabletti on mobiililaitteiden erikoistapaus, mutta tabletit ovat suuri ja kasvava laiteryhmä kotitalouksissa sekä ne ovat luonteeltaan erilaisia kuin matkapuhelimet, jolloin niiden erottaminen omaksi ryhmäkseen on perusteltua. Saavutettavuuden arviointi tässä työssä rajataan koskemaan vain normaaleja laitekonfiguraatioita eikä apuvälineiden tukemista oteta tässä työssä huomioon. Suoritettaessa ohjelmallisia arviointeja, niiden raportit saattavat olla puutteellisia ja vaativat aina tulkintaa. Tulkinnan tulee olla kriittistä, mutta tulokset ovat aina vain yhtä luotettavia kuin niiden tulkitsija. Lisäksi ohjelmallisesti ei saada arvioitua palvelun koko saavutettavuutta, vain pelkästään sen osia. (Tervakari et al. 2005-2013, 11.4 Ohjelmallinen arvioiminen) Käytettäessä WCAG 2.0:n kaltaisia tarkistuslista -tyylisiä työkaluja arvioinnissa, arviointi on niin kattava kuin itse tarkistuslista (Tervakari et al. 2005-2013, 11.5 Asiantuntija-arviointi). 5.3 Tavoitteiden saavuttamisen tukeminen
Kolmas osa alue käsittää tavoitteiden saavuttamisen tukemisen. Tarkoituksena on tutkia, kuinka verkkopalvelu tukee käyttäjälle keskeisten toiminto ja asiointiprosessien toteutumisen. Keskeisinä kysymyksinä mielessä ovat mitä asiakas saa ja miten. (Tervakari et al. 2005 2013, 3.3.3 Käyttökelpoisuuden arviointimalli) Jotta osa aluetta pystyttäisiin arvioimaan, täytyy ensin selvittää mitkä prosessit ovat keskeisessä asemassa. Eläytymismenetelmän avulla pystytään prosessien selvittäminen sekä itse arviointi toteuttamaan samanaikaisesti. Menetelmässä kehitetään kattava määrä skenaarioita, joita toteutetaan käytännössä. Tällä tavalla pystytään samanaikaisesti arvioimaan kuinka erilaiset prosessit toimivat. Toisaalta saadun tiedon perusteella pystytään mahdollisesti ryhmittelemään eri prosesseja niin, että saadaan aikaan yksityiskohtaisen lisäksi hiukan yleisempi kuva tietyntyyppisten prosessien hyvistä ja huonoista puolista. (Tervakari et al. 2005 2013, 5.3.3 Eläytymismenetelmä) Arvioinnin tukena käytämme WeSQu arviointityökalua, joilla voidaan tutkia esimerkiksi navigoinnin tukemista (TTY/Hypermedialaboratorio 2008). Valitun arviointimenetelmän vahvuutena on käytännönläheisyys. Arvioinnin suorittava ryhmä kuuluu tutkittavan sivuston kohderyhmäksi, joten sivustoon tutustuminen menetelmän avulla on luonnollista. Heikkoutena menetelmässä on testaajien mahdollinen subjektiivisuus työssä. Tätä pyritään välttämään lisäämällä työn kulkuun systemaattisuutta WeSQu arviointityökalun avulla. 5.4 Informaation laadukkuus Informaation laadukkuus viittaa verkkopalvelussa toteutettuun informaatioarkkitehtuuriin, informaation esitystapaan ja luotettavuuteen (Tervakari et al. 2005 2013, 3.3.3 Käyttökelpoisuuden arviointimalli). Käytämme myös tämän osa alueen arvioinnissa apuna WeSQu työkalua (TTY/Hypermedialaboratorio 2008). Työkalu tarjoaa apua informaation esitystavan sekä luotettavuuden arviointiin. Informaatioarkkitehtuuria voidaan arvioida kappaleessa 5.3 mainitun eläytymismenetelmän yhteydessä. Toimintoprosessien arvioinnin yhteydessä on mahdollista havaita muun muassa kuinka informaatioarkkitehtuuri tukee tutkittavia prosesseja. Arviointimenetelmien heikkouden ja vahvuudet tulivat esille edellä kappaleessa 5.3. 5.5 Lisäarvo Lisäarvon tutkimisella on tarkoitus ottaa selvää siitä, tuottaako palvelu verkossa toteutettuna asiakkaalle sellaista lisäarvoa, mitä jokin toinen toteutustapa ei pystyisi tuottamaan (Tervakari et al. 2005 2013, 13. Lisäarvo). Tutkitaan siis sitä, onko verkkopalvelun olemassaolo ylipäätään perusteltua. Vertailukohteina tässä yhteydessä voivat olla mm. sanomalehdet, televisio ja radiolähetykset. Olennaista on myös arvioida sitä, pärjääkö verkkopalvelu vertailussa muihin vastaaviin palveluihin. Tuottaako palvelu käyttäjälle sellaista lisäarvoa, mitä se ei jo muualta saisi. Esimerkiksi informaation luotettavuus lienee yksi tärkeimmistä tekijöistä valitessa vastaavanlaisten verkkopalvelujen joukosta mieluisinta. Verkkopalvelun toimivuus
mobiililaitteessa voi olla myös yksi ominaisuus, joka tuo palvelulle lisäarvoa verrattuna muihin vastaaviin sivustoihin. Vertailu toteutetaan laatimalla lista vertailtavista verkkopalveluista sekä ominaisuuksista. Ominaisuuksien tutkimisen ja listaamisen apuna voidaan käyttää WeSQu arviointityökalua (TTY/Hypermedialaboratorio 2008). Tämän osa alueen arviointi toteutetaan arviointityön lopuksi, kun harjoitusryhmälle on syntynyt kokonaisvaltaisempi kuva palvelun eri osa alueiden laadusta. Arvioinnin vahvuutena on se että asiaa lähestytään kahdesta näkökulmasta. Kyseenalaistetaan verkkopalvelun olemassaolon tarpeellisuus, ja toisaalta tutkitaan verkkopalvelua omassa ympäristössään, sitä kuinka se pärjää vastaaville palveluille. Heikkoudeksi saattaa muodostua vertailun tuottama työmäärä. Vertailun yhteydessä joudutaan mahdollisesti käyttämään paljonkin aikaa muiden verkkopalvelujen ominaisuuksien selvittämisessä. Tässä yhteydessä ryhmän koko lienee vahvuus. 6. Luotettavuuden arviointi Arvioinnin luotettavuuden arvioinnissa meidän tulee keskittyä käytetyn mallin ja menetelmien luotettavuuteen ja sopivuuteen juuri Ylen uutispalvelua varten. Lisäksi voimme etukäteen pohtia käytetyn mallin ja menetelmien ja tekijöiden vahvuuksia ja heikkouksia ja minkälaisia ongelmakohtia voi tulla vastaan. Pientä ongelmaa tuottaa luonnollisesti se, että arvioinnin luotettavuuden arvioinnin suorittaa ryhmän oma jäsen, mutta tähän saadaan toista näkökulmaa vertaisarvioinnin myötä. Valitsimme vain yhden käytettävän mallin kahden tai useamman sijaan, sillä uskomme että arvioinnista saa enemmän irti kun käytämme yhtä mallia syvällisesti paneutuen, kuin silloin jos käyttäisimme useampaa mallia jolloin itse malleihin paneutuminen olisi mahdollisesti enemmän pintaraapaisua. Valitsemamme malli, käyttökelpoisuuden arviointimalli, on suomalainen malli verkkopalvelun laadukkuuden arviointiin. Käytössämme on siis suomalainen malli, suomalaiset arvioijat ja suomalainen sivusto. Kansainvälisessä verkkopalvelussa tämä saattaisi aiheuttaa ongelmia, mutta kun kyseessä on suomalaiselle yleisölle suunniteltu uutispalvelu, niin koemme tästä kulttuurisesta yksiulotteisuudesta olevan jossain määrin jopa hyötyä. Lisäksi osalta ryhmästämme löytyy kokemusta suoritettujen hypermedian opintojen lisäksi mm. saavutettavuuden ja käytettävyyden arvioinnista työelämässä. Valitsimme käyttökelpoisuuden arviointimallin koska tämä on laaja ja luotettava malli laadukkuuden arviointiin ja soveltuu varsin hyvin myös ulkopuolisen ryhmän käyttöön. Lisäksi malli ei ota kantaa tekniseen toteutukseen tai kustannuksiin jotka ryhmämme näkökulmasta ovat tässä vaiheessa hyödytöntä tietoa sekä näistä on hyvin vaikea saada tietoa. Kaiken kaikkiaan uskomme arvioinnista tulevan luotettavan ja
kattavan dokumentin ylen uutispalvelun laadukkuudesta. Lähestymme aihetta systemaattisesti valitun mallin avulla ja käytämme järkevästi erilaisia menetelmiä ja hyödynnämme aikaisempaa osaamistamme. 7. Työnjako Työnjaossa on pyritty jakamaan työtehtävät tasaisesti, kuitenkin painottaen sitä että jaot pysyvät loogisina kokonaisuuksina ja työstä saadaan täten eheä kokonaisuus. Käyttämämme käyttökelpoisuuden arviointimalli on helpoin jakaa viiteen osaan: käytettävyys, saavutettavuus, tavoitteiden saavuttamisen tukeminen, informaation laadukkuus ja lisäarvo. Näin ollen jokaiselle jäsenelle saadaan yksi kokonaisuus jota tutkia ja josta kirjoittaa sekä arvioinnin että kehittämisehdotusten osalta. Vaikka työnjakoa tässä esitellään niin korostettakoon että ei ole kovinkaan järkevää lyödä tätä ehdottoman lukkoon vaan tämä on enemmänkin lähtökohta ja saattaa harjoitustyön edetessä muuttua. Iita tulee vastaamaan käytettävyydestä, Tero saavutettavuudesta, Pekka tavoitteiden saavuttamisen tukemisesta, Juho informaation laadukkuudesta ja Marjaana lisäarvosta. Näin jokaisella on yksi selkeä alue josta vastata sekä arvioinnin että kehityksen osalta. Jokaiselle kuuluu itse käyttämien menetelmien esittely ja käytön kuvaus. Johdanto, ulkoasu ja harjoitustyön merkityksen arviointi tehdään yhdessä, jokainen on vastuussa oman alueensa lähteistä ja liitteistä. Säännöllisillä tapaamisilla varmistamme työn etenemisen ja sen että työ säilyy eheänä kokonaisuutena. Työtä tehdään google documents pilvipalvelulla joten kaikki pystyvät myös seuraamaan etenemistä kotoa käsin. Työnjakoa arvioidaan jatkuvasti ja jos esimerkiksi jokin osa alue oli selkeästi vähemmän työläs kuin muut niin tälle henkilölle voidaan antaa muita tehtäviä.
Lähteet Bias, R. 1991. Walkthroughs: Efficient collaborative testing. IEEE Software, 8, 5, pp. 94 95. Bias, R. 1994. The Pluralistic Usability Walkthrough: Coordinated Empathies. In: Nielsen, J. Mack, R.L. (eds.). Usability Inspection Methods. New York. Wiley. pp. 63 76. Tervakari, A M., Silius, K. & Koro, J. 2005 2013. Verkkopalvelun käyttökelpoisuuden arvioiminen [online]. Oppimateriaali. Tampere: Tampereen teknillinen yliopisto, Intelligent Information Systems Laboratory. [viitattu 27.9.2013]. Saatavissa: http://hlab.ee.tut.fi/piiri/vpkk oppimateriaali TTY/Hypermedialaboratorio 2008. WeSQu verkkomateriaalien arviointiin [online]. [Viitattu 27.9.2013] Saatavissa: http://hlab.ee.tut.fi/wesqu/index.php Yle. 2013. Yle lyhyesti [online]. [viitattu 29.9.2013]. Saatavissa: http://yle.fi/yleisradio/yle lyhyesti