Pelikokemusten ja pelattavuuden tutkimuksen menetelmiä Janne Paavilainen Game Research Lab Tampereen yliopisto 20.8.2015
Janne Paavilainen (KTM) Pelitutkija Agora Game Lab, JYU 2004-2006 Game Research Lab, UTA 2006- Game-Human Interaction, GHI Laadulliset tutkimusmenetelmät Pääasiassa soveltavaa tutkimusta Tekes-hankkeissa, yhteistyötä suomalaisten peliyritysten kanssa Pelien käytettävyys, pelattavuus, pelikokemus Suunnittelu- ja arviointimenetelmät, heuristiikat Väitöskirjatutkimus tarkastelee pelien ansaintamallin ja some-integraation vaikutusta pelisuunnitteluun ja pelikokemukseen
HCI ja pelit Alexander Sandy Douglas (1921-2010)
Pelikokemusten tutkimusmenetelmiä Kyselyinstrumentteja Game Experience Questionnaire (IJsselsteijn et al., 2008) Presence-Involvement-Flow-Framework² (Takatalo et al., 2010) Sensory-Challenge-Imagination (Ermi & Mäyrä, 2005) Haastattelut Itseraportointi, pelipäiväkirjat (N)etnografia Keskustelu/tekstianalyysit Heuristiikat/analyysimallit GameFlow (Sweetser & Wyeth, 2005/2012) Playful Experiences (PLEX) -malli (Korhonen et al., 2009) Psykofysiologiset menetelmät EKG, EMG, EEG, EDM... jne...
Pelattavuuden tutkimusmenetelmät?
Pelattavuus Toiminnallisuus Käytettävyys Pelillisyys Ansaintamalli
Pelitutkimus Pelitutkimus keskittyy usein tutkimaan jotakin muuta kuin pelejä itsessään Pelaajia Pelaamista Pelikulttuuria Pelisuunnittelua jne. Pelattavuuden tutkimus pureutuu pelien ominaisuuksiin Minkälaisia laadullisia vaatimuksia on hyvälle pelille? Miten nämä laadulliset vaatimukset voidaan valjastaa suunnittelun ja arvioinnin käyttöön? Mitä nämä vaatimukset kertovat peleistä itsestään? Millä tavoin pelattavuutta voisi tutkia? Pelattavuus käsitteenä ymmärretään monin tavoin - vakiintunutta määritelmää ei ole toistaiseksi olemassa
Miksi pelattavuuden ymmärtäminen on tärkeää? Pelikokemus on ns. toisen asteen suunnitteluongelma Pelikokemusta ei voi suunnitella Peli voidaan suunnitella niin, että se pyrkii tuottamaan tietynlaisia pelikokemuksia Pelattavuuden elementtejä voidaan suunnitella - hyvä pelattavuus johtanee todennäköisemmin myös hyvään pelikokemukseen Suurin osa markkinoilla olevista peleistä ovat kaupallisesti epäonnistuneita ja kilpailu on erittäin kovaa Free-to-play -ilmaisjakelumallin myötä pelejä jaetaan ilmaiseksi, jolloin pelaaja voi huonon pelikokemuksen myötä vaihtaa toiseen peliin ilman rahallista menetystä Ensikokemuksen merkitys kasvanut huomattavasti
Heuristiikat ja heuristinen arviointi
Heuristiikat Heuristiikat ovat nyrkkisääntöjä - ajattelun oikopolkuja Heuristiikkoja käytetään arjessa ja monilla tieteenaloilla ongelmien ratkaisuun Ihmisen ja tietokoneen vuorovaikutuksen tutkimuksessa käytetään heuristiikkoja mm. käyttöliittymien arviointiin Esimerkkinä Nielsenin 10 heuristiikkaa käyttöliittymien arviointiin (Nielsen, 1994)
Heuristinen arviointi Heuristinen arviointi on asiantuntijamenetelmä, jossa asiantuntijat arvioivat kohdejärjestelmän käyttäen apunaan heuristiikkoja - ja omaa kokemustaan Ketterä ja halpa menetelmä Kustannustehokas verrattuna käyttäjätestaukseen Soveltuu hyvin jo varhaisten prototyyppien arviointiin Löydetään helppoja ongelmia nopeasti, jolloin esim. käyttäjätestauksessa löydetään uusia ongelmia Heuristinen arviointi on yksi yleisimmistä käytettävyyden arviointimenetelmistä Heuristinen arviointi on täydentävä menetelmä - sen ei tule korvata käyttäjätestausta Heuristisen arvioinnin on todettu olevan tehokas tapa ongelmien löytämiseen, mutta tyypillisesti käyttäjätestauksessa löydetään ongelmia joita heuristinen arviointi ei löydä - ja päinvastoin
Heuristisen arvioinnin toteuttaminen 1. Valitaan sopivat asiantuntijat ja käytettävät heuristiikat Peliarvioinneissa perehtyneisyys on tärkeää, asiantuntijan tulisi hallita arviointimenetelmä ja ymmärtää arvioitavan pelin luonne 2. Asiantuntijat arvioivat järjestelmän itsenäisesti perustuen kokemukseensa ja heuristiikkoihin 1. 2. 3. 4. Löydetyt ongelmat kirjataan Rikottu heuristiikka kirjataan Ongelmat luokitellaan vakavuusasteen mukaisesti (Ehdotetaan mahdollisia korjaustoimenpiteitä) 3. Asiantuntijat kokoontuvat, keskustelevat havainnoista ja kokoavat listan uniikeista ongelmista 4. Raportointi eteenpäin, palautekeskustelu
Peliheuristiikat Pelit tarvitsevat omanlaiset heuristiikkansa Erilaisia peliheuristiikkoja on luotu jo 80-luvulta lähtien, todennäköisesti jo aiemminkin Peliheuristiikat jaetaan usein erilaisiin kategorioihin Käyttöliittymä Pelimekaniikka Tarina Moninpeli Alusta tai genre-kohtaiset (mobiili, lautapeli, strategiapelit ) Peliheuristiikkoja on luotu monilla tavoin Peliprototyyppien luominen ja vertailu (Malone, 1980) Pelikehittäjien seuranta ja haastattelut (Federoff, 2002) Käyttökontekstiin perehtyminen ja iteratiivinen pelitestaus (Korhonen & Koivisto 2006/2007) Peliarvosteluiden analysointi (Pinelle et al., 2008/2009) Synteesi (Koeffel et al. 2010)
Esimerkkejä peliheuristiikoista Eri malleissa peliheuristiikkoja on yleensä 20-40 erilaista Peliheuristiikkojen laatu vaihtelee Hyviä esimerkkejä: GU9: The game gives feedback on the player s actions GP1: The game provides clear goals or supports player created goals MO1: The game and play sessions can be started quickly Huonoja esimerkkejä: A. A good game should be easy to learn and hard to master B. Create a great storyline C. The game is fun for the Player first, the designer second and the computer third. That is, if the non-expert player s experience isn t put first, excellent game mechanics and graphics programming triumphs are meaningless
Korhonen & Koivisto (2006/2007) Gameplay Game Usability GU1 GU2 GU3 GU4 GU5 GU6 GU7 GU8 GU9 GU10 GU11 GU12 Audio-visual representation supports the game Screen layout is efficient and visually pleasing Device UI and game UI are distinguishable Indicators are visible The player understands the terminology Navigation is consistent, logical and minimalist Control keys are consistent and follow standard conventions Game controls are convenient and flexible The game gives feedback on the player s actions The player cannot make irreversible errors The player does not have to memorize things unnecessarily The game contains help GP1 GP2 GP3 GP4 GP5 GP6 GP7 GP8 GP9 GP10 GP11 GP12 GP13 GP14 The game provides clear goals or supports player created goals The player sees the progress in the game and compare the results The players are rewarded and rewards are meaningful The player is in control Challenge, strategy, and pace are in balance The first time experience is encouraging The game-story supports the gameplay and is meaningful There are no repetitive or boring tasks The players can express themselves The game supports different playing styles The game does not stagnate The game is consistent The game uses orthogonal unit differentiation The player does not lose any hard won possessions Multiplayer MP1 MP2 MP3 MP4 MP5 MP6 MP7 MP8 The game supports communication The are reasons to communicate The game supports groups and communities The game helps the player to find other players and game instances The game provides information about other players The design overcomes lack of players and enables soloing The design minimizes deviant behaviour The design hides the effects of the network Mobility MO1 MO2 MO3 The game and play sessions can be started quickly The game accommodates with the surrounding Interruptions are handled reasonably
Menetelmän käyttö tutkimusprojekteissa Tutkimuspeliprototyyppien heuristinen arviointi Tutkimuspartneri tuotti kokeellisen mobiilipelin Pelitutkijat ja käytettävyysasiantuntijat suorittivat heuristisen arvioinnin pelattavuusongelmien löytämiseksi Tulosten pohjalta pelattavuutta hiottiin käyttäjätestejä varten Some-pelien pelattavuusongelmien tutkiminen 58 noviisiarvioitsijaa arvioi 12 some-peliä heuristisen arvioinnin avulla Kolme tutkijaa tekivät meta-arvion raportoiduille ongelmakuvauksille Tavoitteena selvittää some-peleille tyypillisiä pelattavuusongelmia Heuristiikkojen vertailututkimuksia Verrattiin kahta heuristiikkamallia mobiilipelin arvioinnissa Vertailtiin heuristiikkoja keskenään mm. yhteneväisyyden, abstraktiotason, selkeyden suhteen Selvitettiin hyvien heuristiikkojen ominaisuuksia
Tutkimusesimerkki #1 Some-pelien erityisongelmia 12 Facebook-peliä 58 Arvioitsijaa Interrupting pop-ups 614 Pelattavuusongelmaa Click fatigue 3 Meta-arvioitsijaa Paavilainen et al. (in press) Repetitive gameplay Aggressive monetization Friend requirements Spammy messages
Tutkimusesimerkki #2 Some-pelien yleisimmät pelattavuusongelmat # Type Category Games Mentions 1 Game usability UI Layout 12 57 Too many icons and buttons on screen 2 Game usability Navigation 12 54 Complex navigation paths in UI 3 Game usability Help 11 68 Features are not explained 4 Game usability Visual clarity 11 28 Icons are not intuitive to understand 5 Game usability Feedback 11 28 Some actions have no feedback 6 Game usability Camera view 11 24 View does not move with the cursor 7 Gameplay Challenge 10 24 No challenge at all - the player can t fail 8 Platform Browser/Flash 9 21 Full screen disables chat option 9 Gameplay Goals 8 21 Too many tasks simultaneously 10 Gameplay Rewards 8 19 Collecting rewards is tedious Paavilainen et al. (2014) Evaluator Comments
Pelattavuuden arvioinnin haasteita Pelit ovat usein hyvin laajoja kokonaisuuksia, koko pelin läpikäynti todennäköisesti mahdotonta Peliheuristiikkojen määrä on suuri, tyypillisesti heuristiikkoja on käytössä samaan aikaan kymmeniä Asiantuntijoita on usein vaikea rekrytoida - joudutaan käyttämään ja perehdyttämään noviiseja ajatuksella määrä korvaa laadun Ongelmakuvauksien haasteita Pelin luonteen tai kontekstin ymmärtämättömyys Raportoidaan useita ongelmia yhtenä ongelmana Ongelmien syy-seuraus suhteen hämärtyminen
Pelattavuusongelman syy ja seuraus EnerCities-pelissä pelielementit saattavat kätkeytyä toistensa taakse. Isompi rakennelma peittää takana olevan pienemmän pelaajan on hankala nähdä ja manipuloida takana olevaa elementtiä. Ongelman syy on huono graafinen suunnittelu ja kamerakulma, jonka seurauksena navigointi on hankalaa. GU1 Audio-visual representation supports the game GU6 Navigation is consistent, logical and minimalist
Heuristiikkojen haasteita Heuristiikat perustuvat olemassa olevaan tietoon, täysin uudenlaisten konseptien arviointi voi olla vaikeaa Subjektiivinen menetelmä - esimerkiksi Microsoft Game Research ei tiettävästi käytä heuristista arviointia tämän vuoksi Evaluator effect, arvioitsijat ovat eri mieltä ongelmien laadusta ja luonteesta Yleisheuristiikat saattavat olla usein riittämättömiä, tarvitaan esimerkiksi genrekohtaisia heuristiikkoja
Lopuksi Heuristinen arviointi on tehokas tapa pelattavuusongelmien löytämiseksi Heuristiikat eivät ole kuitenkaan kiveen hakattuja, vaan tarvittaessa niitä voidaan (ja pitää) rikkoa pelisuunnittelussa Heuristiikat kertovat paljon pelien (oletetuista) suunnitteluarvoista Heuristiikat toimivat myös viestinnän välineenä suunnittelijoiden ja arvioitsijoiden välillä Heuristista arviointia voidaan käyttää hyödyksi myös monissa muissa suunnitteluprosesseissa laadun kehittämisen menetelmänä
Kiitos! Kysymyksiä tai kommentteja? janne.paavilainen@staff.uta.fi