Verkkopalvelun käyttökelpoisuus ja arviointi

Transkriptio

1 Verkkopalvelun käyttökelpoisuus ja arviointi 4. luento erikoistutkija Kirsi Silius & tutkija Anne-Maritta Tervakari Hypermedialaboratorio Digitaalisen median instituutti Tampereen teknillinen yliopisto 1 Teemat: Arviointityö käytännössä Case 1: Suomen virtuaalyliopiston portaali Case 2: TTY:n virtuaaliyliopiston verkkokurssien arviointi Useimmiten esiin nousseita ongelmakohtia 2 1

2 Kaksi erilaista tapausta Kaksi esimerkkitapausta, joiden arviointitulokset ovat pääsääntöisesti julkisia. Case 1: Suomen virtuaaliyliopiston portaalin (vuoden 2003 versio) arviointi, joka on esimerkkinä yhden yksittäisen verkkopalvelun arvioimisesta. Case 2: TTY:n virtuaaliyliopiston kurssit - esimerkki laajasta arviointihankkeesta, jossa tavoitteena on ollut koko organisaation verkko-opetukseen liittyvän toiminnan kehittäminen. 3 Case 1: SVY:n portaali Kysymyksessä koulutusportaali, jonka tarkoituksena on tukea yliopistojen opiskelijoita, opettajia, tutkijoita ja hallinnon edustajia organisaation rajat ylittävässä toiminnassa esim. JOO-opiskelu, opetuksen verkostohankkeet, opettajien ammatillinen kehittyminen ja tukeminen sekä yliopistojen yhteistoiminnan tukeminen Arvioinneissa kiinnitettiin huomiota verkkopalvelun käytettävyyteen ja saavutettavuuteen (esteettömyyteen), informaation laadukkuuteen sekä käyttäjän tavoitteiden saavuttamisen kannalta olennaisten toiminto- ja asiointiprosessien tarkoituksenmukasiuuteen. Arvioinnit toteutettiin asiantuntija-arviointeina 4 2

3 Case 1: arvioinnin vaiheet Arvioinnit toteutettiin kahdessa vaiheessa loppuvuodesta 2002 ja alkuvuodesta Olemassa olevan portaalin arviointi (versio 2002) sekä uuden portaalin demoversion arviointi 2. Palaute- ja koulutustilaisuus verkkopalvelun tuottajien ja toteuttajien edustajien kanssa (läsnä lähes koko toteuttajatiimi) 3. [Uuden portaalin kehittäminen arvointitulosten pohjalta] palvelun tuottaja ja toteuttaja 4. Uuden portaaliversion (2003) arviointi 5. Arviointitulosten analysointi 6. Kehittämiskohteiden priorisointi 7. Palautekeskustelu palvelun tuottajien ja toteuttajien edustajien kanssa 5 Case 1: asiantuntijoiden näkemys Arvioinnin yhteydessä tietoa koottiin asiantuntijoiden toimesta verkkopalvelun ominaisuuksista verkkopalvelun käyttöön liittyvistä kokemuksista tietoa käyttökelpoisuudesta yleisellä tasolla Arvioinnissa voitiin tehdä ainoastaan valistuneita arvauksia käyttäjien (opiskelijoiden, opettajien, tutkijoiden, hallinnon edustajien) käyttökokemuksista erilaisissa käyttötilanteissa laadukkuuden kokemuksista lisäarvojen toteutumisesta oikeaa tietoa käyttökelpoisuudesta erilaisissa käyttökonteksteissa ei voitu saada. 6 3

4 Case 1: arvioinnin näkökulmat Verkkopalvelun käytön sujuvuus (toiminnallinen laadukkuus - miten asiointiprosessi sujuu) käytettävyys ja saavutettavuus (esteettömyys) näytöllä esitetyn informaation lukemisen tukeminen multimediaelementtien käyttö tekninen toteutus visuaalinen suunnittelu navigoinnin tukeminen virheistä toipuminen saavutettavuus (esteettömyys) Verkkopalvelun hyödyllisyys (utility) = palvelun soveltuvuus tiettyyn käyttötarkoitukseen (osa verkkopalvelun teknisen laadun eli mitä asiakas saa palveluprosessin lopputuloksena). Merkityksellisten toiminto- ja asiointiprosessien kattavuus ja niiden lopputulema. Myös verkossa tapahtuvien prosessien integroituminen verkon ulkopuolisiin prosesseihin. Informaation (sisällön) laadukkuus (informaatioarkkitehtuuri, esitystapa, luotettavuus). 7 Case 1: SVY:n portaali Ohjelmallinen arviointi HTML-merkkauksen ja CSS-syntaksin oikeellisuus validaattorien avulla yksittäisten sivujen latausaikojen testaaminen Heuristiset listat ja tarkistuslistat käytettävyys, visuaalinen suunnittelu, saavutettavuus opetuskäyttöön suunnattujen toteutusten arvioimiseen tarkoitetut listat toisen vaiheen arvioinnissa myös ARVOn listat Skenaariot eri toimijoiden näkökulmasta läpikäynnit asiantuntijat kirjasivat ylös ajatuksiaan ja havaintojaan analysointi ja yhteenveto Mitä heikkouksia ja vahvuuksia? 8 4

5 Yleisempiä ongelmakohtia Näytöltä lukemisen tukeminen ja olennaisen korostaminen kontrasti, fontit, avainsanojen korostaminen otsikoinnin ja tiivistelmän käyttö Informaation jäsentäminen käyttötarkoituksen kannalta järkevä ja käyttäjälle tuttu informaation pirstoutumisen välttäminen Kokonaiskäsityksen muodostamisen tukeminen (ja sen myötä navigoinnin tukeminen) selkeä navigointi ja kuvaavat linkkitekstit kuva käyttäjälle mitä voi tehdä ja mitkä ovat lisäarvot Toimintoprosessien tukeminen riittävän kattavasti ja riittävän pitkälle miten käyttäjää tuetaan hahmottamaan prosessin eteneminen verkkopalvelun ulkopuolella. 9 Case 2: TTY:n virtuaalyliopiston kurssit Miksi? Laaja toimintatutkimus, missä tavoitteena organisaation toiminnan kehittäminen Tavoitteena selvittää millaisia opiskelijaryhmiä oli tunnistettavissa millaisia odotuksia opiskelijoilla oli verkkopohjaista opetusta kohtaan millaisiksi opiskelijat kokivat verkkopohjaisen opetuksen laadukkuuden mitä lisäarvoa opiskelijat kokivat verkkopohjaisen opetuksen tarjonneen mitä ovat ne ns. merkitykselliset tekijät, jotka muotoutuvat kontekstista riippuen verkkopohjaisen opetuksen edistäviksi ja estäviksi tekijöiksi Aineisto koottu vuosina TTY:n virtuaali-yliopiston pilottikursseilta (25 kpl) keskim. 70 opiskelijaa kurssilla verkkopohjaisen opetuksen osuus 53% 10 5

6 Case 2: Keneltä/mistä tietoa koottiin ja miten Tietoa koottiin opiskelijoilta, opettajilta, toteutukseen osallistuvilta henkilöiltä sekä asiantuntijoiden toimesta verkkototeutuksen ominaisuuksista Aineisto luonteeltaan etnografista kyselyt opiskeljioille kyselyt opettajille (ohjattu lomakkeentäyttö) asiantuntija-arvioinnin tulokset arviointilistat, heuristiset listat ominaisuuksien katsastus erityisesti pedgogisen käytettävyyden näkökulmasta ohjelmallisen arvioinnin tulokset erilaiset dokumentit, jotka on koottu esim. ohjauskäynneiltä Otos opettajia yhdeksän harkinnanvarainen näyte opiskelijoita alkukyselyssä 578 (34%) ja loppukyselyssä 222 (13%) 11 Yhteiskunta ja kulttuuri Organisaatio ja sen toimintakulttuuri (tässä: myös tieteenala, oppiaine) Opiskelijan henkilökohtainen konteksti: henkilökohtaiset ominaisuudet, odotukset, kokemukset, asenteet, mielipiteet, tiedot ja taidot jne. Laadun kokeminen käyttökontekstissa Käytössä olevat resurssit Verkkopalvelun ominaisuudet: käytettävyys, saavutettavuus, informaation laatu ja pedagoginen käytettävyys Käyttötilanne (toiminnan näkökulmasta) Fyysinen käyttöympäristö (esim. päätelaite) Lisäarvot Opettajan henkilökohtainen konteksti: henkilökohtaiset ominaisuudet, kokemukset, asenteet, mielipiteet, tiedot ja taidot jne. 12 6

7 Case 2: Mitä tietoa koottiin Esimerkiksi opiskelija henkilökohtainen konteksti oppimistavoitteet, opiskelumotivaatio, suhtautuminen verkkoopiskeluun ja panostaminen opiskeluun, oma rooli oppijana, odotukset oppimisen siirtovaikutuksesta, aiemmat verkkoopiskelukokemukset kuten myös sellaiset tekijät kuin tietotekniset valmiudet, opintojen vaihe, aiempi opiskelumenestys, työssä käynti opintojen ohella jne opintojakson laadukkuus opiskelun ja oppimisen näkökulmasta toteutuksen vaikutus oppimiseen, kurssin vaikutus verkkoopiskeluun suhtautumiseen jne. käytettävyys lisäarvot 13 Case 2: Mitä tietoa koottiin Verkkototeutuksen käytön sujuvuus (toiminnallinen laadukkuus - miten asiointiprosessi sujuu) käytettävyys ja saavutettavuus (esteettömyys) näytöllä esitetyn informaation lukemisen tukeminen multimediaelementtien käyttö tekninen toeutus visuaalinen suunnittelu navigoinnin tukeminen virheistä toipuminen saavutettavuus (esteettömyys) Verkkototeutuksen hyödyllisyys (utility) = soveltuvuus tiettyyn käyttötarkoitukseen (osa verkkopalvelun teknisen laadun eli mitä asiakas saa palveluprosessin lopputuloksena). Pedagoginen käytettävyys Informaation (sisällön) laadukkuus (informaatioarkkitehtuuri, esitystapa, luotettavuus). 14 7

8 Tietojen analysointi Laajan tilastollisen aineiston analysoinnissa käytettiin tilastollisia menetelmiä pääkomponenttianalyysia, K-Means Cluster klusterointimenetelmää neuroverkkoja esim. SOM (self organized maps) Kyselylomakkeiden avointen vastausten sekä erilaisten dokumenttien analysointiin laadullisen tutkimuksen menetelmiä (tekstianalyysi - sisällönanalyysi) Tuloksena laaja aineisto kaikkea ei vielä analysoitu 15 Opiskelijoiden ryhmittyminen laadun kokemuksen perusteella 1. verkko-opiskelijat (22%) 2. tietoteknistä tukea tarvitsevat (20%) 3. passiiviset(9%) 4. pettyneet (22%) 5. tunnolliset (27%) Opiskelijat täyttivät verkkolomakkeen opintojakson lopussa (N=157) 16 8

9 Ryhmien ominaisuuksia 1. verkko-opiskelijat - suhtautuivat positiivisesti verkkoopiskeluun - tietotekniset taidot melko hyvät - yhteisöllisyydellä ei merkitystä - saavuttivat opiskelutavoitteensa hyvin - oppivat syvällisesti tiedot - opiskelivat mieluiten yksin - opintojakso oli melko helppo - eivät osallistuneet lähiopetukseen, mutta osallistuvat verkko-opetukseen - työmäärä pieni verrattuna perinteiseen - oppimateriaalin laatu parani - oppimateriaalin sisältö vaikutti motivaatioon positiivisesti - kokivat opintojakson soveltuvan parhaiten itseopiskeluun N=34 N=157 k-means klusterointi p < tietoteknistä tukea tarvitsevat - suhtautuivat hieman negatiivisesti verkko-opiskeluun - muita opiskelijoita heikommat tietotekniset taidot - yhteisöllisyys melko merkittävässä roolissa - opiskelutavoitteiden saavuttaminen heikkoa - oppivat lähinnä irrallisia asioita - kokivat saaneensa heikosti tietoa opintojaksosta ennen sen alkamista - opintojakso oli melko vaikea - osallistuivat paljon lähiopetukseen N=31 3. passiiviset - suhtautuivat negatiivisesti verkkoopiskeluun - yhteisöllisyydellä ei merkitystä - eivät saavuttaneet opiskelutavoitettaan - oppivat hajanaisia yksityiskohtia - opiskelivat mieluiten opettajan ohjaamana - opintojakso oli vaikeahako - eivät osallistuneet lähi- eivätkä verkko-opetukseen - kokivat saaneensa palautetta opettajalta vähemmän kuin perinteisessä - oppimateriaalin laatu heikkeni - oppimateriaalin sisältö vaikutti motivaatiota heikentävästi - kokivat opintojakson soveltuvan parhaiten opettajan ohjaamaksi N=15 17 Ryhmien ominaisuuksia 4. pettyneet - suhtautuivat negatiivisesti verkkoopiskeluun - tietotekniset taidot hyvät - yhteisöllisyydellä positiivinen merkitys - saavuttuvat opiskelutavoittensa melko hyvin - oppivat sisällön pääpiirteittäin - opintojakso oli helpohko - opiskelivat mieluiten opettajan ohjaamina - osallistuivat aktiivisesti lähiopetukseen, mutta eivät niinkään verkko-opiskeluun - opettajalta saatu palaute vähäistä verrattuna perinteiseen opetukseen - oppimateriaalin laatu heikkeni voimakkaasti -oppimateriaalin sisältö vaikutti motivaatioon negatiivisesti -opintojakso soveltuu parhaiten opettajan ohjaamaksi N=157 k-means klusterointi p < 0.05 N=34 5. tunnolliset - suhtautuivat positiivisesti verkko-opiskeluun - tietotekniset taidot melko hyvät - yhteisöllisyydellä positiivinen merkitys - saavuttivat melko hyvin opiskelutavoitteensa - oppivat sisällön melko syvällisesti - saivat melko riittävästi tietoa opintojaksosta ennen sen alkamista - osallistuivat aktiivisesti lähiopetukseen, mutta myös verkko-opetukseen - työmäärä suurempi kuin perinteisessä opetuksessa - kokivat saaneensa palautetta opettajalta enemmän kuin perinteisessä - oppimateriaalin laatu parani - oppimateriaalin sisältö vaikutti motivaatioon positiivisesti N=

10 Yleisimmät lisäarvot Montako % ko. ryhmästä valitsi kunkin lisäarvon. Kukin vastaaja saattoi valita useamman kuin yhden lisäarvon. Lisäarvo joustavuus ajan suhteen joustavuus paikan suhteen joustava pääsy materiaaleihin vastuu omasta oppimisesta enemmän materiaalia Kaikki Verkkoopiskelijat vastaajat ATKtukea Passiivis et Pettyneet Tunnolliset havannollisempi materiaali Eri ryhmien kokemuksia verkko-opiskelusta Verkko-opiskelijat Oppimateriaalin laatu parani verkko-opetuksen myötä vaikutti positiivisesti opiskelumotivaatioon ja tuki opiskelua. Kokivat käytettyjen opetustapojen, opintojakson ajankäytön vaikuttaneen positiivisesti opiskeluun. Verkossa olevat harjoitustehtävät tukivat melko paljon opiskelua. Tärkeimät lisäarvot: joustavuus paikan suhteen, materiaalin saatavuus ja mahdollisuus syventyä itsenäisesti opittavaan asiaan. Laadukas verkkomateriaali, itsenäisen verkkotyöskentelyn tukeminen merkittäviä tekijöitä Jatkossa 88% vastaajista valitsisi mieluiten verkkopohjaisen opintojakson. "Webbidemot erittäin hyvä "Laskuharjoitukset olivat todella hyvät koska siellä joutui laskemaan itse ja porkkanapisteet kannustivat yrittämään"

11 Eri ryhmien kokemuksia verkko-opiskelusta Tietoteknistä tukea tarvitsevat Tiedon saaminen opintojaksosta ennen sen alkamista puutteellista. Opiskelutavoitteiden saavuttaminen onnistui heikohkosti. Muista ryhmistä poiketen tämän ryhmän edustajista yli puolet sijoittui pakolliselle verkkokurssille. Kokivat verkossa olevien harjoitustehtävien tukeneen opiskeluaan. Noin 33% ryhmästä koki verkko-oppimateriaalin tukevan omaa opiskeluaan. Melko neutraaleja arvioita opetuksen laadukkuudesta. Tärkeimmät lisäarvot: joustavuus ajan ja paikan suhteen, oppimisympäristön laajeneminen. (Valitsivat vain vähän lisäarvoja). >> Opiskelurutiinien tukeminen verkon välityksellä. >> Jatkossa 50% vastaajista valitsisi mieluiten verkkopohjaisen. opintojakson....verkon tärkein tehtävä on toimia keskustelukanavana ongelmatilanteissa ja tarjota kurssimateriaali. 21 Eri ryhmien kokemuksia verkko-opiskelusta Passiiviset Suhtautuivat varsin negatiivisesti verkko-opiskeluun ja eivätkä osallistuneet lähi- tai verkko-opetukseen Oppimateriaalin laatu heikkeni verkkopohjaisen opetuksen myötä vaikutti heikentävästi opiskelumotivaatioon. Samaten opintojakson toteutunut ajankäyttö. Yksikään ei kokenut käytettyjen opetustapojen tukeneen opiskeluaan. Palautetta opettajalta vähemmän kuin perinteisellä opintojaksolla. Eivät kokeneet oppivansa verkko-opintojaksolla. Tärkeimmät lisäarvot: oppimateriaalin parempaan saatavuus, suurempi määrä, mahdollisuus syentyä itsenäisesti. Ongelmat tuntuvat liittyvän opintojaksolla opiskelun motivaatioon ja ajakäyttöön. Jatkossa 73% ryhmästä valitsisi mieluiten perinteisen opintojakson. Oma motivaatio ja ajankäyttö olivat ratkaisevia. Valitettavasti huonoon suuntaan tällä kertaa

12 Eri ryhmien kokemuksia verkko-opiskelusta Pettyneet (tietoteknisesti vahvoja) Oppimateriaalin laadun heikentyminen verkkopohjaisen opetuksen myötä vaikutti heikentävästi opiskelumotivaatioon ja vaikutti negatiivisesti opiskeluun (esim. päivitysten viivästyminen). Palautteen ja opastuksen saaminen opettajalta vähäisempää kuin perinteisellä opintojaksolla. Lähiopetus tuki parhaiten opiskelua, verkossa käyetetyt opetustavat vaikuttivat negatiivisesti omaan opiskeluun (50%). Tärkeimmät lisäarvot: oman metraalin tekeminen, joustavuus paikan suhteen, ryhmätyötaitojen kehittyminen. Verkko-toteutuksen käytettävyys ja esteettömyys sekä merkittäviä tekijöitä sekä oppimisen ohjaus ja opettajan antama palaute. Jatkossa 79% vastaajista valitsisi mieluiten perinteisen opintojakson. Toimiva portaali, jota kurssinpitäjät eivät käyttäneet Verkko-opinnot sinänsä voi tehdä myös erittäin toimivasti, mutta tällä kurssilla verkon kanssa pelleilystä ei ollut muuta kuin haittaa. 23 Eri ryhmien kokemuksia verkko-opiskelusta Tunnolliset Oppimateriaalin laadun parantuminen verkkopohjaisen opetuksen myötä vaikutti positiivisesti opiskelumotivaatioon. Käytetyt opetustavat ja toteutunut ajankäyttö vaikuttivat opiskeluun positiivisesti. Lähiopetus, verkkomateriaali, harjoitustehtävät tukivat oppimista. Työmäärä suurempi kuin perinteisellä opintojaksolla. Opiskelutavoitteiden saavuttaminen onnistui hyvin. Palautetta enemmän opettajilta verrattuna perinteiseen. Tärkeimmät lisäarvot: joustavuus ajan ja paikan suhteen, oppimateriaalin saatavuus, tietokoneen käyttötaitojen oppiminen. Laadukas verkkomateriaali, vuorovaikutteisen työskentelyn tukeminen sekä opettajan antama palaute merkittäviä tekijöitä. Jatkossa 85% valitsisi mieluiten verkkopohjaisen opintojakson. "Opetustavasta oli hyötyä" "Lisäksi minulle merkitsi paljon mukava opettaja ja muut kurssilaiset." 24 12

13 Case 2: Opetuksen laadukkuuden merkityksellisiä tekijöitä Verkko-opiskelun jatkossa valitsevat kokivat löytäneensä enemmän lisäarvoja kuin perinteisen opintojakson jatkossa valitsevilla verkko-opiskelun valinneet keskimäärin 7,7 lisäarvoa perinteisen opiskelun valinneet keskimäärin 4,7 lisäarvoa Merkitykselliset tekijät, jotka vaikuttavat korostuvan jatkossa verkkopohjaisen opintojakson valinneilla, liittyvät mm. verkko-opiskelumateriaaliin toteutuneeseen ajankäyttöön käytettyihin opiskelu- ja opetustapoihin opiskelumotivaatioon. Merkitykselliset tekijät, jotka vaikuttavat korostuvan jatkossa perinteisen opintojakson valinneilla, liittyvät mm. opiskelijoiden aikaisempiin tietoihin ja taitoihin opiskeluprosessia tukevat ohjeistukset ja opastukset verkkototeutuksen käytettävyyteen ja esteettömyyteen (esim. päivitys, tekniset ongelmat) 25 13