8. Informaation laadukkuuden arviointi Erilaisia näkökulmia informaatiosisällön arvioimiseen Arvioitaessa verkkopalvelun laadukkuutta ja käyttökelpoisuutta tulee verkkopalvelun käyttöliittymän ja asiointi- ja toimintaprosessien arvioinnin lisäksi kiinnittää huomiota myös verkkopalvelun informaatiosisältöön (esim. Silius ym. 2003; De Marsico & Levialdi 2004). Hyvä ja toimiva sisältö on merkittävä etenkin ns. viestinnällisten verkkopalveluiden laadun osatekijänä. Viime kädessä sisältö on se asia, jonka vuoksi käyttäjä (asiakas) ylipäätään käyttää verkkopalvelua. Se mikä sisältö milloinkin koetaan laadukkaaksi ja käyttökelpoiseksi riippuu verkkopalvelun luonteesta, sen käyttötarkoituksesta sekä sisällön tavoitteista ja käyttäjästä (asiakkaasta). Informaatiosisällöltäänkin sama asia voi poiketa esimerkiksi esitystavaltaan ja kieleltään suurestikin riippuen siitä esitetäänkö se esim. valtakunnan päälehden verkkosivustolla vai ns. keltaisen lehdistön verkkosivuilla. Toisaalta sama asiasisältö voidaan esittää paitsi tavallisena leipätekstinä, uutisena, pelinä jne. käyttäen pelkästään tekstiä tai tekstin ohella tai sijaan muita mediaelementtejä, vaihdella tekstin tyyliä, jättämällä osa kertomatta tai lisäämällä muuta informaatiota jne. Palvelun tuottajan näkökulma Palvelun tuottajan näkökulmasta korostuu sisällöntuotannon hallintaan liittyvät tekijät. Samoista lähdemateriaaleista voidaan helposti tuottaa monenlaisia sisältöjä erilaisiin tarpeisiin ja erilaisille kohderyhmille hyödyntäen monikanavajulkaisemisen 1 periaatteita hyödyntäen. Oleellinen osa toimivaa monikanavajulkaisemista on hyvin suunniteltu informaatioarkkitehtuuri ja informaatiosisällön "paloitteleminen", kuvaaminen, jäsentäminen ja luokittelu tarkoituksenmukaisesti. Vasta tällöin informaatioarkkitehtuuri tarjoaa mahdollisuuden luoda aina uusia informaatioelementtien metatason yhdistelmiä ja sen myötä erilaisia näkymiä yksilön, päätelaitteen ja käyttötilanteen mukaisesti. (Vrt. Huhtamäki 2005; Instone 2000; Kauhanen-Simanainen 2003; Lie & Saarela 1999; Tervakari, Silius & Huhtamäki 2005.) Monikanavajulkaisemisen keskeisiä piirteitä on julkaisuprosessin automatisointi, joka edellyttää informaation esittämistä siten, että sitä voidaan käsitellä tietokoneen avulla. Tällöin on otettava kantaa mm. siihen miten informaation esitystapa ja verkkopalvelun toiminnallisuus ylipäätään mukautetaan eri käyttötarkoituksiin erilasille käyttäjille. Mukauttaminen edellyttää ensinäkin sekä käyttäjien että sisältöjen profiloimista ja sääntöjen luomista eli millä perusteella tietty sisällön ominaispiirre voidaan yhdistää tiettyyn käyttäjän ominaispiirteeseen. Toiseksi on ratkaistava se, miten eri mediaelementtien mukauttaminen kulloinkin toteutetaan. Esimerkiksi kuvista on laadittava eri päätelaiteille soveltuvat versiot ja toteutettava tekstiversio, joka esitettään silloin kun kuvien käyttö on mahdotonta. (Ibid.) Laaja-alainen arviointi palvelun tuottajan näkökulmasta edellyttäisi myös informaatiosisällön tuotantoprosessin arvioimista. Asian laajuuden vuoksi se jää tämän kursin ulkopuolelle. Toki jossakin määrin tietoa voidaan saada informaatiosisällön käyttökelpoisuuden myös palvelun tuottajan näkökulmasta kiinnittämällä huomiota vastaaviin seikkoihin kuin arvioitaessa informaatiosisällön käyttökelpoisuutta ja laadukkuutta käyttäjän (asiakkaan) näkökulmasta. Arvioinnissa tulee 1 Monikanavajulkaisemisella (single source publishing, multichannel publishing tai multipurpose publishing) tarkoitetaan yhdessä lähteessä (esim. XML-dokumentti tai tietokanta) sijaitsevan rakenteistetun informaation julkaisemista eri muodoissa esim. erilaisille päätelaitteille tai personoituna käyttäjän tarpeiden mukaisesti (Huhtamäki 2005; Lie & Saarela 1999). 74
tällöin punnita asioiden toteutumista palvelun tuottajan näkökulmasta. Palvelun tuottajalla on aina motiivi ja tietty viestinnällinen tavoite informaatiosisällön tarjoamisessa esim. tiedottaminen, vaikuttaminen, markkinoiminen jne. Arvioinnissa voidaan pyrkiä selvittämään sitä miten informaatiosisältö tukee palvelun tuottajan tavoitteiden toteumista tarkastelemalla käyttäjien käyttäytymistä ja toimintaa yms. Käyttäjän näkökulma Arvioitaessa verkkopalvelun informaatiosisältöjä kiinnitetään de Marsicon ja Levialdin (2004) mukaan yleensä huomiota mm. informaation jäsentämiseen ja järjestämiseen, informaatiosisällön saatavuuteen, saavutettavuuteen ja liikkumiseen informaatiosisällössä sekä informaatiosisällön esitystapaan. Kuitenkin verkkomaailma on kaikille avoin ja vapaa julkaisufoorumi. Kuka tahansa voi julkaista verkossa mitä tahansa. Koska verkkomaailmassa ei ole mitään tarkistuskäytäntöjä tai vastuutahoja, on käyttäjän (asiakkaan) voitava varmistua informaation oikeellisuudesta, laadukkuudesta ja virheettömyydestä. Informaatiosisällön luotettavuus onkin eräs keskeinen verkkopalvelun laadun osatekijä. (Esim. Alexander & Tate 1998.) Internetin tärkeimpiä käyttötarkoituksia on käyttäjän tarpeisiin soveltuvan informaation etsiminen ja löytäminen. Silloin kun käyttäjä ei tarkalleen tiedä millaista informaatiota hän itse asiassa tarvitsee tai mitä hän tarkalleen on etsimässä, on selailu yleisin tapa etsiä tarvittavaa informaatiota. Käyttäjän tavoitteiden saavuttamista voidaan pyrkiä tukemaan myös hakutoiminnoilla. (Esim. Morville 2001; Rosenfeld & Morville 2002, 132.) Arvioitaessa verkkopalveluiden informaatiosisältöjen käyttökelpoisuutta ja laadukkuutta käyttäjän (asiakkaan) näkökulmasta tulisikin kiinnittää huomiota seuraaviin seikkoihin ja niiden toteutumiseen verkkopalvelussa (vrt. Alexander & Tate 1998; Doll & Torkzadeh 1988; de Marsicon & Levialdin 2004; Morville 2001; Rosenfeld & Morville 2002, 132) : 1. Informaation jäsentämiseen ja järjestämiseen (luento 5) 2. Informaatiosisällön saatavuuteen, saavutettavuuteen ja liikkumiseen informaatiosisällössä (luennot 5 ja 7) 3. Informaatiosisällön esitystapaan. 4. Informaatiosisällön luotettavuus 5. Verkkopalvelun hakutoiminnot ja niiden laadukkuus Arviointi käytännössä Ylipäätään verkkopalvelun informaatiosisällön arvioiminen on haastavaa työtä, jossa usein tarvitaan paitsi viestinnän asiantuntijaa myös varsinaisen aihealueen asiantuntijaa. Informaation laadukkuuden arvioimisessa voidaan käyttää sekä asiantuntija-arviointeja että käyttäjätestauksia. Asiantuntija voi hyödyntää erilaisia esim. tässä dokumentissa esitettyjä tarkistuslistoja arviointityönsä tukena. Käyttäjiltä tietoa voidaan koota esim. haastattelemalla heitä vaikkapa käytettävyystestauksen yhteydessä käyttäen apuna mainittuja tarkistuslistoja. Haastattelu voidaan tehdä testauksen jälkeen tai testauksen kuluessa sisällyttäen arvioitavat kohdat osaksi esim. skenaariomaista läpikäyntiä ja kysyen käyttäjältä tarvittavia tarkennuksia. Myös kyselylomaketta voidaan hyödyntää tiedonkeruutapana, joskin kysymysten muotoilu voi olla haasteellista. Lisätietoa arviointimenetelmistä mm. luennon 3 materiaali: Arviointimenetelmiä. 75
Informaation esitystapa Verkkopalvelun informaatiosisältö saatetaan esittää sellaisessa muodossa, että vaikka käyttäjä saattaa kyetä hyvinkin helposti löytämään haluamansa tiedon, hän ei kuitenkaan pystyy omaksumaan olennaista sanomaa. Informaatio on saatettu esittää siten, että on hankala ymmärtää tai siitä on vaikea saada kokonaiskäsitystä. Informaatio voi olla myös joko huonosti jäsennetty, järjestetty tai esitetty kielellisesti sekavasti esim. sekavin lauserakentein. Toinen seikka, joka saattaa häiritä informaatiosisällön omaksumista on erilaisten mediaelementtien käyttötarkoitukseensa nähden liiallinen käyttö sekä sisällöllisesti ristiriitaisten informaatioelementtien käyttö. Kolmanneksi informaation esittämisessä käytetyt visuaaliset vihjeet ovat epäjohdonmukaisia, puutteellisia tai sekavia. Hyvä informaation esitystapa tuo selkeästi esiin oleelliset asiat sekä jättää pois epäoleelliset asiat. Esitystavaltaan toimivan verkkopalvelun luominen edellyttää usein informaatioarkkitehtuurin, verkkopalvelun toiminnallisuuden sekä esteettisen tekijöiden yhteen nivomista. Toiseksi informaatioelementtien ominaispiirteiden ja esitystapojen yhdistämistä siten, että tuloksena on toimiva ja käytettävä, mutta myös miellyttävä ja houkutteleva sisältökokonaisuus. Esitystavan suunnittelun tavoitteena tuleekin olla informaatiosisällön ja käyttäjän välinen tehokas vuorovaikutus. (De Marsico & Levialdi 2004.) Informaation ymmärrettävyyden tukeminen Käyttöliittymän kautta välitettävän informaation ymmärtämistä ja omaksumista voidaan tukea esimerkiksi käyttämällä tiivistä, ytimekästä ja kieliasultaan tarkoituksenmukaista tekstiä. Käytetty kieli tuo oman merkityksensä verkkopalvelun sisällölle. Yleiskielen käyttäminen on aina turvallista. Yleiskielellä tarkoitetaan kieliyhteisön eri ikä- ja ammattiryhmille yhteistä, kirjakielen normien mukaista kielimuotoa, joka ei sisällä erikoisalojen sanastoa. (Esim. Hirsjärvi ym. 2001, 259 260.) Silloin kun verkkopalvelun kohderyhmä on jollakin tietoisella tavalla rajoitettu ja tiedossa, voidaan käyttää kohderyhmälle tuttua alan omaa erityissanastoa tai puhetapaa. Huonosti valittu tai huolimattomasti käytetty kieli on omiaan vähentämään luottamusta verkkopalvelua kohtaan. Verkkosivuilla tulisi aina välttää monimutkaisia lauserakenteita sekä moniselitteisiä ja konstailevia ilmaisuja. Myös lyhenteiden ja vierasperäisten sanojen käyttöä on syytä välttää. Tarvittaessa tekstiä pyritään havainnollistamaan konkreettisin esimerkein. Toisinaan asioiden yksiselitteinen esittäminen vaatii erikoiskielelle tyypillisiä ilmaisuja esim. tieteellinen teksti. Myös tällöin on hyvä pyrkiä havainnollistamaan asioita sekä selittämään käytetyt termit yleiskielen avulla. (Esim. Hirsjärvi ym. 2001, 260; Tompuri 2004.) Erityisesti kirjoitetussa tekstissä tulisi suosia verbejä ja karsia monimutkaisia määriteketjuja. Myös kielioppivirheet ja monimutkaiset lauserakenteet kuormittavat lukijan muistia. Tällöin tekstin ymmärtäminen voi vaatia useita lukukertoja. Ylipäätään verkkosivuilla esitettävästä informaatiosta tulisi karsia turha tietoaines ja turhat sanat. Informaatiota voi pyrkiä tiivistämään myös välttämällä yhdyssanoja ja käyttämällä lyhyitä sanoja pitkien sanojen sijasta. (Ibid.) Arvioitaessa verkkopalvelun informaatiosisältöä tuleekin kiinnittää huomioon verkkopalvelussa käytettyyn tekstiin (kirjoitettuun tai puhuttuun) ja arvioida sitä esimerkiksi seuraavana tarkistuslistaa apuna käyttäen: Onko käytetty kieli yleiskieltä? (+) Mikäli käytetään muuta kuin yleiskieltä, onko käyttö perusteltua? (+) 76
Onko käytetty monimutkaisia lauserakenteita? (-) Entä onko käytetty moniselitteisiä ilmaisuja? (-) Onko käytetty vierasperäisiä sanoja? (-) Entä lyhenteitä? Jos, niin onko niiden merkitys avattu käyttäjälle? (+/-) Onko käytetty havainnollistavia esimerkkejä? (+) Onko käytetty kieli virheetöntä? (+) Käytetäänkö tekstissä runsaasti verbejä? (+) Onko etenkin kirjoitetussa tekstissä käytetty runsaasti yhdyssanoja? (-) Sisältääkö teksti turhaa asiaa ja turhia täytesanoja? (-) Selviääkö asia kertalukemalla tai kertakuulemalla? (+) Mediaelementtien käyttö Informaatiosisällön esittämisessä voidaan hyödyntää erilaisia mediaelementtejä. Tarkoituksenmukainen eri mediaelementtien käyttö tukee käyttäjää informaatiosisällön omaksumisessa. Toisaalta runsas ja suunnittelematon mediaelementtien käyttö ainoastaan hämmentää käyttäjää. Eri mediaelementtien käytön tarkoituksenmukaisuus riippuu monesta eri tekijästä kuten esim. informaation tarkoituksesta ja sisällöllisestä merkityksestä, käyttäjien tarpeista, käyttötilanteesta jne. Viime kädessä kysymys on kuitenkin siitä mitä halutaan sanoa ja kenelle. (Vrt. Guttormsen & Krueger, 2001; Najjar 1998; Nielsen 2000, 134.) Arvioitaessa eri mediaelementtien käyttöä tärkeintä on kiinnittää huomiota siihen, miten verkkopalvelun sisällön omaksumisen tai asiointiprosessien toteutumisen kannalta olennainen informaation on onnistuttu välittämään käyttäjälle. Arvioinnissa kiinnitetään huomiota seuraaviin seikkoihin: Verkkopalvelun toimivuus pelkästään tekstuaalisen informaation varassa Mediaelementtien tarkoituksenmukainen viestinnällinen käyttö Mediaelementtien tekniset ominaisuudet Toimivuus tekstuaalisen informaation varassa Arvioitaessa verkkopalvelun toimivuutta pelkästään esim. tekstuaalisen informaation varassa voidaan hyödyntää erilaisia läpikäyntejä kuten skenaariopohjainen läpikäynti joko asiantuntijoiden tai käyttäjien toimesta. Verkkopalvelun keskeiset asiointi- ja toimintoprosessit käydään läpi esim. tekstiselaimen avulla simuloiden verkkopalvelun käyttöä. Läpikäynnin yhteydessä kiinnitetään huomiota siihen miten palvelun käyttö sujui ja onnistuttiinko tavoitteen savuttamisessa? Millaisia ongelmia käyttäjä kohtasi? Mistä ongelmat mahdollisesti johtuivat? jne. Useimmiten ongelmana on se, että asian ymmärtämisen kannalta olennainen ei-tekstuaalisten (kuva, animaatio, ääni tai video) mediaelementtien esittämä informaatiolla ei ole tekstuaalista vastinetta. Aina tekstivastineen laatiminen ei ole mahdollista. Tällöin sivulla tulee kuitenkin olla lyhyt kuvaus asiasta, jolloin tekstiselaimen, mobiililaitteen ruudunlukuohjelman tms. käyttäjä kykenee arvioimaan missä määrin sivulta ulos saatava informaatio on puutteellista. (Esim. Nielsen 2000, 135; Sinkkonen ym. 2002, 90.) Mediaelementtien tarkoituksenmukainen käyttö Informaatiota voidaan välittää tekstin ohella myös kuvien, liikkuvien kuvien ja äänen avulla. Arvioitaessa verkkopalvelun mediaelementtien käyttöä pohditaan kunkin informaatioelementin kohdalla mikä sen merkitys on informaatiosisällön omaksumisen tukemiselle ja onko mediaelementin välittämä viesti ristiriidaton muuhun informaatiosisältöön verrattuna. 77
Kuva: Yleensä täydentää, selventää ja havainnollistaa tekstin esittämää informaatiota. - Valokuva: Tunnelman luomiseen ja mielenkiinnon herättämiseen. - Piirrokset: Rakenteen ja yksityiskohtien havainnollistamiseen. Ääni: Tunteisiin vaikuttaminen. - Varoitus- ja huomioääni: Käyttäjän huomion kiinnittäminen (tarvitaan myös jokin muu mediaelementti). - Musiikki: Luo tunnelmaa, viihdyttää (ärsyttää), toimii tunnuksena tai kertovana elementtinä. - Puhe: Antaa tietoa, opastaa käyttäjää, johdattaa asiaan, kommentoi. - Tehoste: Tukee kuvaa tai kertoo asioita kuvan ulkopuolisia asioita. Liikkuva kuva: Käyttäjän huomion herättäminen - Animaatio: Muutoksen, siirtymisen ja jatkumisen havainnollistaminen. Myös informaation tiivistäminen ja kolmiulotteisen tilan tai rakenteen havainnollistaminen. - Video: tekstissä esitetyn informaation täydentäminen ja havainnollistaminen, liikkeen ja persoonallisuuden välittäminen. Toisaalta arvioinnissa on huomioitava se, että tietyntyyppisten sisältöjen esittämiseen soveltuu tietynlaiset mediaelementtien yhdistelmät (Najjar 1996). Arvioinnissa onkin pyrittävä arvioimaan missä määrin valitut mediaelementit tukevat informaatiosisällölle asetettuja tavoitteita. Informaatiosisältö Mediaelementti Esimerkiksi huonekalujen kokoamisohjeet Teksti ja tekstiä havainnollistava kuvat Toimintaohjeet esim. sovelluksen käyttöohjeet Selittävä teksti ja animaatio tai diagrammi Ongelman ratkaisuun liittyvä informaatio Animaatio ja selittävä, kertova teksti tai puhe Tunnistaminen Kuva Tilaan liittyvä avaruudellinen tieto Kuva Lyhyt sanallinen informaatio nopeasti Ääni Yksityiskohdat kertomuksessa Video ja kertova puhe tai teksti ja sitä tukevat kuvat Taulukko 1: Mediaelementtien käyttö erityyppisten sisältöjen esittämisessä. (Najjar 1996.) Kuva ja ääni: Kun tietty informaatiosisältö on saatava käyttäjän tietoisuuteen nopeasti. Verbaalisen ja ei-verbaalisen kanavan yhdistäminen on tehokas keino tukea informaation omaksumista. Yhdistelmä tukee sekä visuaalisia ja auditiivisia ihmisiä. Kuva ja teksti: Kuvan ja tekstin käyttö rasittaa käyttäjän kognitiivisia prosesseja enemmän kuin kuvan ja äänen käyttö. Toisaalta kuva auttaa palauttamaan paremmin mieleen tekstissä esitettyjä asioita. Toisaalta verbaalisen ja ei-verbaalisen kanavan samanaikainen hyödyntäminen visuaalisella tasolla saattaa joillakin käyttäjillä häiritä liikaa informaation prosessointia. Tukee parhaiten visuaalisia ihmisiä. Teksti ja ääni: Toimii ainoastaan tietyissä tapauksissa (käyttäjä on joko kuulo- tai näkövammainen ja informaatio välitetään hänelle ainoastaan toisen aistikanavan kautta). Animaatio/video ja ääni: Verbaalinen ja ei-verbaalinen kanava. Tukee informaation omaksumista jopa paremmin kuin kuvan ja äänen yhdistelmä. Edellytyksenä on kuitenkin se, että käyttäjä voi kontrolloida animaation ja kuvan etenemistä tarvittaessa. Hyvä still- kuva toimii kuitenkin paremmin kuin heikkolaatuinen animaatio. Tukee visuaalisia ja auditiivisia ihmisiä. 78
Muut mediaelementtien ominaisuudet Mediaelementtien arvioinnissa tulee kiinnittää huomiota myös mediaelementtien teknisiin ominaisuuksiin ja laadukkuuteen, optimoimiseen verkkokäyttöön sekä siihen missä määrin käyttäjälle tarjotaan mahdollisuus kontrolloida eteneviä esityksiä esim. pysäyttää, palata alkuun käynnistää uudelleen jne. Lisätietoa: Arvioinnin apuna voidaan käyttää esimerkiksi ARVOn tarkistuslistaa "Mediaelementit": ARVOverkkomateriaalien arviointiin [online]. Helsinki: Suomen virtuaaliyliopisto [viitattu 24.10.2005]. Saatavissa :<URL: http://www.virtuaaliyliopisto.fi/arvo/index.php>. Arviointityöväline verkossa. Visuaalisten vihjeiden käyttö Yleensä käyttäjä muodostaa verkkopalvelun visuaalisen yleisilmeen pohjalta syntyvän ensivaikutelman perusteella käsityksen palvelun käyttötarkoituksesta sekä oletetusta informaatiosisällöstä. Visuaalisen ilmiasun tulee siis pyrkiä välittämään vihjeitä verkkopalvelun käyttötarkoituksesta käyttäjälleen ja houkutella käyttäjä perehtymään informaatiosisältöön syvemmin. Informaation esitystavan kannalta on tärkätä kiinnittää huomiota ensinnäkin siihen, miten koko verkkosivuston asettelu ja visuaalinen ulkoasu ilmaisevat verkkopalvelun käyttötarkoitusta, miten visuaalinen ilmiasu tukee käyttäjää tavoitteiden saavuttamisessa. Toiseksi arvioinnissa on kiinnitettävä huomiota siihen miten tietty yksittäinen informaatioelementti on esitetty (represent) verkkosivulla. Visuaalisella ilmiasulla voidaan kiinnittää käyttäjän huomio olennaiseen informaatioon, auttaa käyttäjää jäsentämään informaatiosisältöä sekä tuetaan käyttäjää tavoitteiden saavuttamisessa. Käyttäjän tulisi kyetä muodostamaan käsitys verkkosivun keskeisestä sisällöstä lukematta kaikkea tekstiä. Toimiva visuaalinen ilmiasu nostaa esiin keskeiset informaatiosisällöt olematta silti hallitseva. Liian hallitsevaksi nouseva visuaalinen ilmiasu vie käyttäjän huomion epäolennaiseen ja pahimmillaan häiritsee käyttäjää tavoitteen saavuttamisessa. Toisin sanoen verkkopalvelun ulkoasun esteettinen ja taiteellinen vaikutelma eivät saa viedä käyttäjän päähuomiota. (Esim. De Marsico & Levialdi 2004; Silius ym. 2003.) Arvioitaessa visuaalisten vihjeiden käyttöä verkkosivulla kiinnitetään huomiota siihen, miten verkkopalvelun tekstuaalisen informaation jäsentämistä, näytöltä lukemista sekä informaatiosisällön eri osa-alueiden näkyvyyttä on tuettu hyödyntämällä erilaisia visuaalisia keinoja. Toiseksi kiinnitetään huomiota siihen miten verkkopalvelun sivuston visuaalinen yleisilme (värien ja muotojen käyttö) tukevat informaatiosisällön jäsentämistä ja miten ne nostavat esiin tai häivyttävät informaatiosisällön eri osa-alueita. (Esim. De Marsico & Levialdi 2004; Silius ym. 2003.) Tekstin jäsentäminen visuaalisin keinoin: Informaatiosisällön pilkkominen selkeästi hahmotettaviin, suhteellisen pieniin kokonaisuuksiin. Tyhjän tilan käyttäminen asiakokonaisuuksien jäsentämisessä. Otsikointi: asiakokonaisuuksien nimeäminen Tekstin tehostus. informaatiosisällön ydinkohtien esiin nostaminen Tekstuaalisen informaation näytöltä lukemisen tukeminen: Kirjasinkoot ja kirjasintyypit Kontrastin riittävyys 79
Tekstin asettelu ja luettavuus o tekstin tasaus o palstoitus Värien ja muotojen käyttöön: Yleisilmeen rauhallisuus ja selkeys: o erilaisten värien käyttö o erilaisten muotojen käyttö o pääelementtien näkyvyys o informaatioalueiden määrä Johdonmukaisuus visuaalisessa suunnittelussa Toimivuus ilman värejä Huomion herättäminen vs. häly Värien käytön arviointi on haastavaa, koska värien merkitykset ovat hyvin moninaiset riippuen kulttuurista ja henkilöistä itsestään. Erilaiset ihmiset pitävät erilaisista väreistä. Arvioitaessa verkkopalvelun värimaailmaa on hyvä pohtia värien merkitystä paitsi käytettävyyden ja esteettömyyden näkökulmasta myös väreihin liitettävien mielikuvien näkökulmasta (Brusila 1998, 52): Millaisen vaikutelman verkkopalvelun värimaailmaa saa aikaan? Hätkähdyttävän, rauhoittavan, luotettavan jne. Onko se linjassa verkkopalvelun tyypin ja käyttötarkoituksen kanssa? Onko väriyhdistelmää käytetty paljon erilaisissa yhteyksissä? Millaisissa yhteyksissä? Tukevatko värien symboliset merkitykset verkkopalvelun viestinnällistä tarkoitusta? Onko valittujen värien huomioarvo sopiva käyttötarkoitukseensa nähden? Entä luettavuus? Lisätietoa: Arvioinnin apuna voidaan käyttää esimerkiksi ARVOn tarkistuslistoja "Visuaalinen suunnittelu", "Mediaelementit", "Tekstin luettavuus": ARVO-verkkomateriaalien arviointiin [online]. Helsinki: Suomen virtuaaliyliopisto [viitattu 24.10.2005]. Saatavissa :<URL: http://www.virtuaaliyliopisto.fi/arvo/index.php>. Arviointityöväline verkossa. Runsaasti tietoa väreistä ja mm. niiden merkityksestä eri kulttuureissa. Hintsanen, P. Coloria [online]. 2000, päivitetty 2005 [viitattu 21.3.2005]. Saatavissa www-muodossa: <URL: http://www.coloria.net/ > Informaation luotettavuus Verkkopalvelun informaatiosisällöllä on aina tietty viestinnällinen ulottuvuutensa. Verkkopalvelun informaatiosisällön arvioinnissa on hyvä kiinnittää huomiota myös viestinnälliseen puoleen ja pohtia mikä onkaan verkkopalvelun tavoite ja tarkoitus tässä mielessä sekä millainen viesti käyttäjälle välittyy verkkopalvelun kautta ja missä määrin käyttäjää pyritään ohjaamaan tiettyyn suuntaan ja kuinka näkyvää tämä vaikuttaminen on. Tällä ulottuvuudella on merkitystä erityisesti informaation luotettavuuden kannalta. Viestintä on keskeinen vaikuttamisen ja näin ollen myös vallankäytön väline, jonka avulla voidaan ohjata ihmisten ajattelua tiettyyn suuntaan. Sen luonteeseen kuuluu sekä suora että epäsuora vaikuttaminen; siksi mediatekstit valistavat, tiedottavat ja suostuttelevat. Esimerkiksi uutisoinnin objektiivisuudessa tai viihteessä on aina painotuksia ja asenteita, jotka tahallisesti tai tahattomasti vaikuttavat vastaanottajan tietoihin, tunteisiin, mielipiteisiin ja asenteisiin. 80
Viestinnässä voidaan hyödyntää suostuttelun ja sosiaalisen vaikuttamisen keinoja. Sosiaalisen vaikuttamisen tavoite on vaikuttaa siihen, miten ihminen havaitsee todellisuutta ja toimii. Vaikutus voi olla tiedollinen, asenteellinen tai käyttäytymiseen liittyvä. Sosiaalinen vaikuttaminen on usein luonteeltaan tahatonta. Suostuttelu sitä vastoin on toisen tahallista ja tavoitteellista ohjaamista halutunlaiseen käyttäytymiseen. Suostuttelua ovat mm. mainonta, poliittinen vaikuttaminen sekä terveyden ja turvallisuuden edistämiseen tähtäävä vaikuttaminen. Käyttäjään voidaan pyrkiä vaikuttamaan mm. vertailemalla muihin vastaaviin tuotteisiin tai palveluihin sekä vetoamalla uutuuteen tai erikoisuuteen. (Mustonen 2001, 38-45.) Internet on täysin vapaa julkaisufoorumi, missä kenellä tahansa on mahdollisuus saada äänensä kuuluvuille. Toisekseen verkossa ei myöskään ole mitään tarkistuskäytäntöä tai vastuutahoa kuten esim. paperijulkaisujen ollessa kyseessä. Tiedon oikeellisuudesta, laadukkuudesta ja virheettömyydestä ja sen julkaisun motiiveista ei siis aina voi olla täysin varma. Julkaisijoilla on kuitenkin aina motiiveja, jonka perusteella he valitsevat kenen tiedontuottajan aineistoa he julkaisevat. Motiiveina voivat olla niin julkaisijan omien intressien edistäminen tai kaupalliset intressit. Perinteisten arviointikriteerien käyttö Informaatiosisällön arvioimisessa pätevät osittain edelleenkin perinteisten julkaisujen arviointikriteerit, kuten täsmällisyys, asiantuntevuus, ajankohtaisuus, objektiivisuus, kattavuus, alkuperä jne. (Alexanderin & Tate 1998). Useita perinteiselle medialle soveltuvia arviointikriteerejä voidaan soveltaa myös verkossa julkaistavan informaation arvioimiseen. Huomioitavaa on, että näiden kriteerien käyttö edellyttää useimmiten asiasisällön asiantuntemusta. ( Vrt. Alexanderin & Tate 1998; Doll ja Torkzadeh 1988.) Täsmällisyys (accurancy) - Onko sivulla esitetty informaatio luotettavaa ja virheetöntä. Tiedon sisällöllistä täsmällisyyttä voidaan pyrkiä arvioimaan kiinnittämällä huomiota esim. seuraaviin seikkoihin: - Onko lähteen esittämien tosiasiaväitteiden tukena riittävästi todistusaineistoa? - Millaista aineistoa lähteen tuottaja itse on käyttänyt todistelunsa tukena? - Onko lähteen sisältämä tieto laadultaan mielipiteenilmaisu? Asiantuntevuus (authority) - Onko informaation (tiedon) tuottaja(t) aiheen asiantuntija, entä kuinka arvostettu informaation julkaisija on. Kuinka pätevää ja asiantuntevaa julkaistava informaatio on? Asiantuntemusta voi selvittää: - Tarkistamalla löytyykö tiedontuottajasta tietoa henkilöhakuteoksista. - Etsimällä kirjastoluetteloista, löytyykö tiedontuottajalta muita julkaisuja - Jos kyseessä on verkkosivu, tarkastamalla löytyykö jostain kohtaa sivustoa tietoja tiedontuottajasta - Ilmaiseeko verkkopalvelun domain-nimi (sivun URL:issa) jotakin tiedon tuottajasta tai julkaisijasta? Onko tiedontuottaja esimerkiksi koulutusorganisaatio tai sen palveluksessa oleva vai jokin muu taho? Objektiivisuus - Mikä on julkaisijan ja/tai kirjoittajan tavoite ja intressi. Onko julkaisemisen tavoitteena esim. mielipiteisiin vaikuttaminen? 81
Voimassaolo (currency) - Milloin informaatio on julkaistu tai päivitetty? On hyvä huomata, että joillakin aloilla tieto vanhenee ja saattaa menettää merkityksensä nopeasti, kun taas toisilla aloilla vuosisatoja vanha tieto on edelleen käyttökelpoista. Toisaalta vaikka sivustosta löytyisikin päivämäärä, niin käyttäjälle saattaa jäädä epäselväksi onko kyseessä ajankohta, jolloin tieto on ensimmäisen kerran julkaistu vai ajankohta, jolloin sivustoa on päivitetty. Kattavuus (coverage) - kertooko esitetty informaatio "koko totuuden" vai ainoastaan valikoidut palat asiasta. Onko lähteessä asioita käsitelty yksipuolisesti vai monipuolisesti eri näkökulmista? Verkkojulkaisun erityispiirteiden huomioiminen Verkko julkaisukanavana asettaa kuitenkin tiettyjä erityisvaatimuksia, joihin verkkosivustojen informaatiosisältöjen kriittisessä arvioinnissa tulee myös kiinnittää huomiota. Tällaisia erityispiirteitä ovat mm. sivujen epästabiilius, ohjelmistovaativuus, hyperlinkkien luotettavuus. (Alexander & Tate, 1998.) Hypertekstilinkkien käyttö - Osoitetaanko käyttäjälle selkeästi milloin hän siirtyy toisen verkkopalvelun sivustolle? Käyttäjä ei ehkä huomaa arvioida sivuja erillisinä julkaisuina eikä osaa suhtautua riittävällä kriittisyydellä esitettyyn informaatioon. Kehysten käyttö - Onko käyttäjälle tuotu selkeästi esille kuka tai mikä taho vastaa kuloinkin kehyksiin ladatun sivun informaatiosisällöstä? Entä osoitettaanko käyttäjälle selkeästi milloin sisältö on peräisin jostakin toisesta verkkopalvelusta? Kussakin kehyksessä on teknisesti mahdollista esittää aivan eri lähteistä peräisin olevaa informaatiota. Tällöin informaatio voi esiintyä aivan vääränlaisessa asiayhteydessä. Toisaalta keskiverokäyttäjältä saattaa jäädä täysin huomaamatta, että jokin osa informaatiosta on peräisin jostakin muualta kuin kyseiseltä sivulta. Tekijänoikeudellisista syistä ei ole suositeltavaa toisen sivun avaaminen kehyksiin niin, että käyttäjälle voi muodostua väärä käsitys materiaalin alkuperästä (Wirzenius & Mustonen 2000, 12-15). Informaatio irti alkuperäisestä asiayhteydestä - Sisältääkö jokainen verkkopalvelun sivu riittävästi informaatiota, jotta käyttäjä pystyy arvioimaan kenen verkkosivusta on kysymys ja mikä taho vastaa verkkopalvelun informaatiosisällöstä. Hakukoneet saattavat "noutaa" sivuston irti alkuperäisestä asiayhteydestään, jolloin esim. osa informaation luotettavuuden arvioimiseksi tarpeellisesta tiedosta puuttuu. Kaupalliset sivustot - Onko käyttäjän helppo havaita milloin on kysymys informaation esittämisestä markkinoimistarkoituksessa vai informaationa sinänsä. Ongelmana on viihteen, kaupallisuuden ja informaation sekoittuminen. Ohjelmistovaatimukset - Rajoittavatko ohjelmistovaatimukset informaation saatavuutta? Muuttavatko erilaiset ohjelmistot mahdollisesti informaatiosisältöä siten, että esim. jollakin tietyllä selaimella katsottaessa kaikki sivuilla esitetty informaatio ei ole näkyvissä. Verkkosivujen epästabiilisuus - Tuetaanko käyttäjää informaation löytämisessä esim. verkko-osoitteen muuttuessa? Saattaa olla, että käyttäjä ei kykene palaamaan takaisiin informaation pariin, koska sivusto on yksinkertaisesti poistettu palvelimelta. 82
Sivujen alttius muutoksille - Onko verkkopalvelu suojattu tahattomilta ja tahallisilta sisällön muutoksilta. Lisätietoa: Arvioinnin apuna voidaan käyttää esimerkiksi ARVOn tarkistuslistoja "Informaation luottettavuus": ARVO-verkkomateriaalien arviointiin [online]. Helsinki: Suomen virtuaaliyliopisto [viitattu 24.10.2005]. Saatavissa :<URL: http://www.virtuaaliyliopisto.fi/arvo/index.php>. Arviointityöväline verkossa. Hakutoiminnot ja niiden laadukkuus Internetin tärkeimpiä käyttötarkoituksia on käyttäjän tarpeisiin soveltuvan informaation etsiminen ja löytäminen. Silloin kun käyttäjä ei tarkalleen tiedä millaista informaatiota hän itse asiassa tarvitsee tai mitä hän tarkalleen on etsimässä, on selailu yleisin tapa etsiä tarvittavaa informaatiota. Käyttäjän tavoitteiden saavuttamista voidaan pyrkiä tukemaan myös hakutoiminnoilla. (Esim. Morville 2001; Rosenfeld & Morville 2002, 132.) Arvioitaessa verkkopalvelun hakutoimintojen käyttökelpoisuutta on ensimmäinen kysymys: hyötyvätkö käyttäjät aidosti hakutoimintojen käytöstä. Hakutoiminnon olemassaolo on perusteltua silloin, kun kyseessä on laaja tai voimakkaasti laajeneva verkkopalvelu, kun sisällysluettelo tai sivustokartta ei tarjoa riittävästi tukea käyttäjille, kun verkkopalvelun sisältö on dynaamista ja nopeasti muuttuvaa tai kun käyttäjät ensisijaisesti etsivät verkkopalvelusta informaatiota. Seuraava kysymys koskeekin sitä miten toimiva ja läpinäkyvä hakupalvelu on. Arvioinnissa on kiinnitettävä huomiota mm. seuraaviin asioihin (vrt. Rosenfelt & Morville 1998, 2002; McGovern & Norton 2002): Miten käyttäjä voi kohdentaa hakuaan? Voiko käyttäjä kohdentaa hakutoiminnon ensisijaisesti johonkin tiettyyn osioon ns. hakualueeseen (search zone) esimerkiksi johonkin sivuston osioon, tiettyyn sisältötyyppiin, aihealueeseen, ajankohtaan, tekijään, yksikköön Voiko käyttäjä kohdentaa haun dokumentin tiettyihin osioihin (content components) kuten leipätekstiin, otsikkoon, kuvateksteihin, avainsanoihin jne. Miten hakualgoritmi toimii? Tuodaanko käyttäjälle selvästi esille se, millä periaatteella haku suoritetaan? Haetaanko täsmällisesti (precision) samanlaisia dokumentteja vai semanttisesti tai metatiedoiltaan samankaltaisia (similarity). Entä sovelletaanko sääntöjä, perustuvat esim. suosittelijajärjestelmiin ja sosiaaliseen suodatukseen (collaborative filtering and citation)? Onko hakutoiminnoissa käytettävissä apuna erilaisia hakuja tehostavia työkaluja? Esimerkiksi oikeinkirjoituksen tarkistusta, ääntämis- tai taivutusmuodon huomioimista, luonnollisen kielen syntaksia tai erilaisia sanastoja ja tesauruksia. Kerrotaanko näistä selkeästi käyttäjälle? Onko tarvittaessa saatavissa opastusta? 83
Onko hakulomake tarkoituksenmukainen? Riittääkö pelkkä perushakukenttä? Onko käyttäjän tarpeen rajata tai kohdentaa hakuaan? Tarvitaanko laajennetun haun lomake? Hakulomakkeen tarkoituksenmukaisuuden arvioiminen riippuu käyttäjien ominaisuuksista (millainen kokemus heillä on) ja verkkopalvelun sisällöstä (tarvitaanko hakuja mm. eitekstuaalisesta informaatiosta)? Miten hakutulokset esitetään käyttäjälle? Mitä informaatiota dokumenteista kerrotaan, miten hakutulokset ryhmitellään tai listataan ja miten esitettävien hakutulosten määrää voidaan tarvittaessa rajoittaa. Usein tarvitaan sekä kuvailevaa informaatiota (käyttäjälle, joka ei tiedä tarkkaan mitä etsii) että yksilöivää informaatiota (käyttäjälle, joka tietää mitä etsii). Millaisia mahdollisuuksia käyttäjällä on tallentaa hakulausekkeitaan tai hakutuloksena löytämiään dokumentteja? Voiko käyttäjä tallettaa, lähettää s-postilla tai tulostaa hakulausekkeitaan tai hakutuloksiansa. Metatieto Metatiedolla (metadata), jonka yleensä määritellään olevan tietoa tiedosta (data about data), on oma roolinsa informaatioarkkitehtuurin suunnittelussa ja toteuttamisessa. Metatieto -elementtejä käytetään kuvaamaan dokumenttien, kuvien, videoleikkeiden, audioleikkeiden, sovellusten ym. sisältöelementtien merkityksellistä sisältöä, käyttöä, ominaispiirteitä, alkuperää, muutoksia jne. Metatietoa voidaan hyödyntää dokumenttien hallinnan, säilytyksen ja navigoinnin tukemisessa sekä sen myötä tehostaa tiedonsaantia. Metatieto voidaankin jaotella käyttötarkoituksen mukaisesti dokumenttien hallintaan, kuvaukseen, varastoimiseen tai käyttöön liittyvään metatietoon sekä tekniseen metatietoon. Esimerkiksi teknisen metatiedon pääasiallinen käyttötarkoitus on dokumenttien tekninen hallinta. Teknisessä metatiedossa kuvataan tarvittavat laitteistot ja ohjelmistot, käytetty salausmenetelmä, käyttöoikeudet, autentikointi, tiedostomuodot, pakkausalgoritmit jne. (Vrt. Gilliland-Swetland 2000; Rosenfeld & Morville 2002, 176-178; Stenvall 1998.) Metatieto voi sijaita erillään dokumentista kuten kirjaston kortit tai se voi olla upotettuna esim. HTML-dokumentin HEAD -osioon. Esimerkiksi hakukoneet voivat hyödyntää metatiedon kenttiin sisällytettyä informaatiota. Hakutulosten informaatiosisältöjä ei tällä tavoin voida kuitenkaan ainakaan toistaiseksi parantaa, koska hakukoneet eivät esitä hakutuloksissaan näitä HTML - dokumenttiin upotettuja metatietoja. Suurimpana ongelmana metatietojen käyttämisessä on niiden sisältämän informaation heikko laatu. Informaatio on usein puutteellista tai laadultaan vaihtelevaa. Informaatioelementtien sisältämän metatiedon arvioinnissa voidaan kiinnittää huomiota mm. seuraaviin asioihin: Onko metatieto riittävää dokumentin hallinnan, kuvauksen, varastoimisen ja käytön näkökulmasta? Onko metatieto standardin mukaista esim. Dublin Core? Onko metatieto laadukasta? Onko metatiedon laatimisessa käytetty esim. kontrolloituja sanastoja? Kontrolloitu sanasto (controlled vocabularies on harkittu kokoelma sanoja, joiden avulla kuvaillaan dokumentin sisältöä. Erityyppiset sanastot eroavat toisistaan lähinnä kompleksisuudeltaan ja sen suhteen miten ne esittävät termien välisiä suhteita. Asiasanasto on harkittu kokoelma tietyn alan sanoja, esim. merenkulun, valokuvauksen, kielitieteen jne. asiasanastot. Luokittelujärjestelmä (classification schemes) eli taksonomia on sanasto, joka sisältää sanojen väliset hierarkkiset suhteet ja jossa luokittelun tavoitteena on poissulkevuus (esim. eliöiden luokittelu). Kolmantena mainitta- 84
koon tesaurukset, jotka ovat tiedon tallennukseen ja hakuun käytettävien asiasanojen hierarkkinen luettelo. Tällaisessa luettelossa asiasanojen yhteydessä ilmaistaan niiden suhteet muihin asiasanoihin eli rinnakkaistermeihin, laajempiin ja suppeampiin termeihin sekä ohjaustermeihin. Lisätietoa: Stenvall, J. Dublin Core -formaatin käyttöopas [online]. Helsinki: Helsingin yliopiston kirjasto, julkaistu 21.9.1998, päivitetty 3.1.2002 [viitattu 24.10.2005]. Saatavissa www-muodossa: <URL: http://www.lib.helsinki.fi/dublin_core/dc-opas2002.html > Lähteet: Alexander, J. & Tate, M.A. Web Resource Evaluation Techniques [online]. Chester: Widener University, 1998-2005 [viitattu 24.10.2005] Saatavissa Power Point -muodossa: <URL: http://www.widener.edu/sitedata/docs/evaluationrevised2005/877a6ecd6899913d4ff3edb0eeeeb97 d/evaluationrevised2005.ppt >. Brusila, R. 1998. Värikin on viesti. Teoksessa. Hatva, A. (toim.) Esteettinen ja toimiva verkkojulkaisun ulkoasu. Helsinki: Edita Oy, 41 53. Doll, W. J. & Torkzadeh, G. 1988. The measurement of end-user computing satisfaction. MIS Quarterly, vol. 12, 259-274. Gilliland-Swetland, A. Introduction to Metadata Pathways to Digital Information [online]. Los Angeles: The Getty Research Institute, 2000, [viitattu 24.10.2005]. Setting to Stage. Saatavissa www-muodossa: <URL: http://www.getty.edu/research/conducting_research/standards/intrometadata/2_articles/index.html > Guttormsen, S. & Krueger, H. Empirical research on the Effect of Dynamic Media for Information Presentation. Julkaisussa: EURODL - European Journal of Open and Distance Learning [online], 2001, Vol. 5, Nro 1 [viitattu 24.10.2005]. Saatavissa www-muodossa: <URL: http://www.eurodl.org/materials/contrib/2001/icl01/guttormsenschaericl2001.htm >. Hirsjärvi, S., Remes, P. & Sajavaara, P. 2001. Tutki ja kirjoita. 6. painos. Helsinki: Tammi. Huhtamäki, J. 2005. Rakenteisen tiedon hallittu julkaisuprosessi. Hypermedian diplomityö. Tampere: Tampereen teknillinen yliopisto, Digitaalisen median instituutti, Hypermedialaboratorio. Instone, K. Information architecture and personalization [online]. Argus Center for Information Architecture, 2000 [viitattu 23.3.2005]. Saatavissa www-muodossa: <URL: http://argusacia.com/white_papers/personalization.html >. Kauhanen-Simanainen, A. 2003. Informaatioarkkitehtuuri. Helsinki: Edita Prima Oy. 85
Lie, H.W. & Saarela, J. Multipurpose Web publishing using HTML, XML, and CSS. Julkaisussa Communications of the ACM [online], Vol. 42., Nro 10 [viitattu 17.11.2004]. Saatavissa wwwmuodossa: <URL: http://portal.acm.org/citation.cfm?id=317681>. Käyttäjätunnus vaaditaan. Marsico de, M. & Levialdi, S. Evaluating web sites: exploiting user s expectations. ScienceDirect [online]. Amsterdam: Elsevier Ltd, 2004 [viitattu 24.10.2005]. Saatavissa <DOI: http://dx.doi.org/10.1016/j.ijhcs.2003.10.008 >. Saatavissa myös painettuna: International Journal of Human-Computer Studies, Vol. 60, Issue 3, March 2004, 381-416. McGovern, G. & Norton, R. 2002. Content critical - Gaining Competitive Advantages Through High-Quality Web Content. London: Prentice Hall. Morville, P. In Defense of Search [online]. Ann Arbor (MI.): Semantic Studios, 2001, [julkaistu] 4.12.2001 [viitattu 24.10.2005]. Saatavissa www-muodossa: <URL: http://semanticstudios.com/publications/semantics/000004.php >. Mustonen, A. 2001. Mediapsykologia. Porvoo: Ws Bookwell Oy. Najjar, L. J. 1996. Multimedia information and learning. Journal of Educational Multimedia and Hypermedia, Vol. 5, Nro. 2, 129-150. Saatavissa myös pdf-muodossa: <URL: http://www.medvet.umontreal.ca/techno/eta6785/articles/multimedia_and_learning.pdf >. Nielsen, J. 2000. WWW-suunnittelu. Suom. Haanpää, T. Helsinki: Edita Oyj. Rosenfeld, L. & Morville, P. 2002. Information Architecture for World Wide Web. 2 nd ed. Sebastopol: O Reilly Media Inc. Silius, K., Tervakari, A-M., Kaartokallio, H. & Yritys, K. Tieto- ja viestintätekniikka-avusteisen opetuksen käyttökelpoisuuden arviointimalli [online]. Espoo: Suomen virtuaaliyliopiston kehittämisyksikkö, 2003 [viitattu 24.10.2005]. Suomen virtuaaliyliopiston e-julkaisuja nro 9. Saatavissa pdf-muodossa: <URL: http://www.virtuaaliyliopisto.fi/data/files/svy-julkaisut/julkaisu009.pdf > ISBN 951-22-6623-7. Sinkkonen, I. ym.. 2002. Käytettävyyden psykologia. Helsinki:Edita Publishing Oy/IT Press. Stenvall, J. Dublin Core -formaatin käyttöopas [online]. Helsinki: Helsingin yliopiston kirjasto, julkaistu 21.9.1998, päivitetty 3.1.2002 [viitattu 20.2.2005]. Saatavissa www-muodossa: <URL: http://www.lib.helsinki.fi/dublin_core/dc-opas2002.html > Tervakari, A-M., Silius, J. & Huhtamäki, J. 2005. Informaatioarkkitehtuuri luo toimivan verkkopalvelun. Tietoasiantuntija, Vol. 20. Nro 2, 7. Tompuri, J. Verkkosivun luettavuus [online]. Helsinki: Adage Oy, 2004, muokattu 26.3.2004 [viitattu 24.10.2005]. Saatavissa www-muodossa: URL:http://www.adage.fi/artikkelit/verkkosivun_luettavuus.html Wirzenius, A. & Mustonen, T. 2000. Vastuu laittomasta sisällöstä verkkoviestinnässä. Liikenneministeriön julkaisusarja (A-sarja) nro 34. Helsinki: Liikenneministeriö. 86