Käyttöliittymien perusteet

Transkriptio

1 Agentit, robotit ja affektiivinen tietojenkäsittely Saila Ovaska Informaatiotieteiden yksikkö Tampereen yliopisto Agenttiperustaiset käyttöliittymät Agentin tavoitteena avustaa käyttäjää seuraamalla käyttäjän toimia ehdottamalla parempia työskentelytapoja tekemällä joitakin toimintosarjoja käyttäjän puolesta tarjoamalla uudenlainen vuorovaikutustapa Uudenlainen, keskusteleva vuorovaikutus sosiaalinen kumppani tai assistentti Agentti (tai robotti) on itsenäinen, autonominen ja oma-aloitteinen toimii käyttäjän puolesta jossakin tehtävässä (usein) kommunikoimaan kykenevä (usein) oppimaan kykenevä toteutus vaatii tekoälyä (mutta millaista? Riippuu agentin tehtävistä!) ks. esim. Eliza Esimerkki: Eliza Keskusteleva psykiatri yksi ensimmäisistä ohjelmista, joita voi pitää älykkäänä keskustelukumppanina 1960-luvulla (kehittäjä Joseph Weizenbaum) Perustuu yksinkertaiseen tekoälyyn Mallinnettu käyttäjän keskustelua psykiatrinsa ( Rogerian therapist ) kanssa Eliza on agentti vaikkei näkyvää hahmoa Luonnollista englantia (?) Ei grafiikkaa, vain tekstiä Esimerkkitoteutuksia verkossa: > hello eliza How do you do. Please state your problem. > i am going to a dentist Why do you say 'am'? > because 1 am I don't understand that. > because you are just a machine Do computers worry you? > no. Are you saying no just to be negative? > no. You are being a bit negative. Luonnollista kieltä myös Erilaisia agentteja Chatbot ( jutturobotti ) verkkosivuilla, kokeile: Myös suomeksi: esim. Anna Ikean verkkosivulla ( 1. Ei näkyvää hahmoa eikä käyttäjän ohjaamaa vuorovaikutusta: taustaprosessi Esimerkiksi Letizia: pyrkii hakemaan käyttäjälle valmiiksi kiinnostavia www-sivuja Oppii käyttäjän valinnoista 2. (Animoitu) hahmo osana GUI-käyttöliittymää 3. Animoitu hahmo ilman GUI-käyttöliittymää Embodied Conversational Character Saila.Ovaska@uta.fi 1

2 Aktiivinen agentti: Eager Peedy the Parrot Innokas apulainen Ei erillistä käynnistystä: tarkkailee tapahtumia Kun löytää toistuvia tehtäviä, tarjoutuu auttamaan Käyttäjä voi seurata toimintaa askel askeleelta Ongelmat käyttäjän virhetoiminnot Lopetusehdon määrittäminen vaikeaa Käyttäjät vastahakoisia päästämään Eager töihin Allen Cypher, Eager: Programming repetitive tasks by example. Proc. CHI91, Peedy, 1995 Esikuva Office Assistants hahmoille, mutta 1995 oma sovelluksensa Windows-koneissa (ennen XP:tä): animoitu Office Assistant hahmo kelluu sovellusten päällä Puhekomennot ja puhe-tulostus (Windows 2000) SAPI (Speech Application Programming Interface) Seuraa käyttäjän toimia ja avustaa Microsoft Agent Characters olivat liitettävissä esimerkiksi www-sivulle Peedy s Pizza Palace Toimi IE-selaimessa, vaati agenttihahmon latauksen kovalevylle (ja puheentunnistuksen) toimiakseen hyvin Puhekäyttöliittymä: Casper iphone 4S: Siri Casper (Apple Computer, 1986) Puhekomentoja vastaanottava agentti Vrt. Knowledge Navigator videon agenttihahmo Demovideo 1993, tekijänä Kai-Fu Lee Casper, stop listening! ks. myös JoVuoT-kurssilta puheentunnistuksen haasteita kuuloaistia koskevasta luentosetistä Laurel, B., Interface Agents: Metaphors with Character. Laurel, B. (ed.) The Art of Human-Computer Interface Design. Addison-Wesley, Puhekäyttöliittymä, ei näkyvää hahmoa vuonna 2011 beta Demoja englanniksi webissä esim. Oppii käyttäjästään osaa auttaa navigoimaan kotiin nykysijainnista (kunhan tietää, missä koti on) osaa soittaa vaimolle, kunhan tietää kuka vaimo on toimii yhteispelissä iphonesovellusten kanssa, esim. kalenterin, muistutusten, tekstiviestien, säätiedotusten, webin, käytössä Olga: tietoa mikroaaltouuneista Olga, Kungliga Tekniska Högskolan, Stockholm, 1996 Olga-hahmo Animoidut ilmeet ja eleet Puhesynteesi Luonnolliset vastaukset käyttäjän kysymykseen: Jos löytyi monta kohdetta, Olga osoittaa taulukkoon ja kertoo niistä Jos löytyy 0 kohdetta, Olga osoittaa ilmein, elein ja sanoin olevansa pahoillaan Olga osaa myös ehdottaa itse August Agentin esikuvana kirjailija August Strindberg, jolta lainauksia August tuntee Tukholmaa puhuu ja kuuntelee seuraa käyttäjän kasvoja kameran kautta liikuttaa päätään ja silmiään ilmehtii, esittää erilaisia tunnetiloja näyttää jopa ajatuksensa virikkeeksi käyttäjälle Saila.Ovaska@uta.fi 2

3 August-kioski käytössä Vuorovaikutusta aidossa käyttötilanteessa Julkisessa käytössä 6 kk ajan Stockholm Cultural Capital '98 People Strindberg What call can When What myself answer do you were is was Strindberg, your questions do born for name? born? a in living? about 1849 but I Strindberg, Yes, I Yes, come Over The How Strindberg The Perhaps Do that who a many from you million was live like the people a people it smart department glass here? live thing houses live of don t Speech, should it You information the might Royal Thank Good are we welcome! Institute bye! you! will is meet shown of really Technology! on Stockholm? soon not KTH Music the be was have throw say! again! and map that married three times! and a Stockholm stones surname area Hearing will! Rea Real Estate Agent Tulevaisuuden kumppani? MIT, USA mallinnettu sekä sosiaalista small-talkia että huoneistojen esittelyyn liittyvää myyjän puhetta konenäkö, näkee käyttäjän tulevan voi toimia aloitteentekijänä keskustelussa tunnistaa kädenliikkeet (esim. mahdollista keskeyttää kädenliikkeellä) Tietokone voi osata faktoja älykkyys on muutakin Erilaisia ilmenemismuotoja: Mukautuvat käyttöliittymät oppivat ja muuttuvat käyttäjän ja tilanteiden mukaisesti Kriitikot ja selitysjärjestelmät ymmärtävät kohdealueen (esim. keittiösuunnittelun asiantuntija) Käyttöliittymäagentit, joiden tehtävänä voi olla opastaa käyttäjää pulmatilanteissa tarjota vaihtoehto graafiselle käyttöliittymälle toimia oma-aloitteisena "agenttina" käyttäjän puolesta pitää seuraa ja viihdyttää Agentit ja antropomorfismi Augustin tunneilmaisut Antropomorfismi = tietokoneen ihmisenkaltaisuus, joka saadaan aikaan visuaalisilla ja auditiivisilla piirteillä Onko antropomorfismista hyötyä? On havaittu, että agentin emotionaaliset ilmaisut ovat keskeisiä vuorovaikutuksen miellyttävyyden kannalta Ihmisenkaltaisuus saattaa johdattaa käyttäjiä odottamaan agentilta enemmän kuin mihin se pystyy Happiness Anger Fear Surprise Disgust Sadness Saila.Ovaska@uta.fi 3

4 Animointi ja tunneilmaisut Stanfordin yliopiston Façade Ronny demo Javapohjainen Responsive Face -demo Keinohenkilöitä kehitetään Suomessakin Ihmisen mallinnusta Kasvojen muoto ja liikkeet Puheen tuottaminen (viseemi = visuaalinen foneemi) Ilmeet Suomea puhuva pää Kehitetty osana Suomen Akatemian rahoittamaa Mulmodprojektia Kehitysvastuussa nykyisin Aalto yliopisto (prof. Mikko Sams) Samsin ryhmässä kehitetty uusi versio Affective computing Tunteiden tunnistaminen käyttäjän kasvonilmeistä, puheesta, asennosta, fysiologisista signaaleista, Tunteiden ilmaisu tietokoneessa Esimerkiksi agenttihahmojen kasvonilmeet ja eleet Myös pelkän äänen avulla Tunteisiin vaikuttaminen Monet eri asiat vuorovaikutuksessa vaikuttavat käyttäjän tunnereaktioihin Affektiivisen tietojenkäsittelyn perusteesi: vuorovaikutuksen suunnittelulla voidaan vaikuttaa käyttäjän tunnetilaan ja koko hyvinvointiin Esimerkiksi emotional feedback, emotional support, Picard (1995). Affective computing. technology that relates to, arises from or deliberately influences emotions Rosalind Picard Sosiaalinen kumppani? Microsoft Xbox 360 peliohjain (2009) Agentti voi pyrkiä luomaan sosiaalista suhdetta käyttäjän kanssa Keskustelevan kumppanin tavoitteena esimerkiksi kannustaa ikääntyneitä tai laihduttavia liikkumaan antaa terveystietoa lukutaidottomille Toteutuuko immersio pelissä? Peliohjain ilman fyysisiä ohjaimia Virtuaalihenkilö Milo ja Milon maailma Tunnistaa konenäöllä tuntee käyttäjänsä ymmärtää liikkeitä ja eleitä tunnistaa tunnetiloja äänen perusteella vuorovaikutusta yli ruudun rajojen Saila.Ovaska@uta.fi 4

5 Vuorovaikutus robottien kanssa Robotit käyttöliittymänä Roboteilla on tiettyjä käytöksiä ja fyysinen ruumis Vuorovaikutus liittyy yleensä robotin ohjaamiseen ja opettamiseen Millainen robotin antropomorfismin asteen tulisi olla? Esimerkkejä Roomba robotti-imuri: täydellisen itsenäinen ja käyttäjästä riippumaton osaa ladata itsensä tarvittaessa Robotteja joilla persoonallisuus elokuvissa (kuvissa Star Wars C-3PO, R2-D2) Vuorovaikutus robottien kanssa Millainen robotin antropomorfismin asteen tulisi olla? JoVuoT-kurssin esimerkkejä Kismet, Repliee Q1 & Q2 MIT Kismet Osakan yliopisto, Japani Repliee Q2 Vuorovaikutus robottien kanssa Millainen robotin antropomorfismin asteen tulisi olla? Nao humanoidirobotti Nao osaa pelata jalkapalloa koko vartalo liikkuu Naon kanssa voi keskustella luonnollisella kielellä Nao on ohjelmoitavissa Nao mukana tutkimusprojekteissa eri puolilla maailmaa» Esim. KSERA-projekti (Eindhovenin yliopisto) Knowledgeable Service Robots for Aging Sosiaalinen kumppani? Agenttipohjainen käyttöliittymä käyttäjän terveystottumusten ohjaamiseen Keskusteleva Nabaztag-pupu Paro-robotti Paro, vauvahyljerobotti (2003--) Terapeuttinen robotti dementikoille, muuten syrjäytyneille ja yksinäisille Helppohoitoisempi kuin oikea lemmikki Reagoi silittämiseen, valoon, ääneen Kehossa ja viiksissä kosketussensoreita Ääntelee kuin aito grönlanninhyljevauva silitettäessä Hylje vs. kissa tai koira vs. humanoidi: Ei liikaa odotuksia älykkyydestä Ei ennakkokäsitystä tai roolimallia hylkeen käyttäytymisestä Agenttien tavoitteita Tavoitteena olla seurana ja kumppanina Sosiaalista läsnä-älyä? Tavoitteena auttaa käyttäjän tehtävissä: pienentää käyttäjän ja järjestelmän välisiä kuiluja (Norman: gulf of execution, gulf of evaluation) Siinäkin tarvitaan koneen aisteja ja älykkyyttä Avoimia kysymyksiä Kommunikointi: miten helpotetaan käyttäjän ja järjestelmän vuorovaikutusta? Keskustelua luonnollisella kielellä? Reagointi sosiaalisiin vihjeisiin (katsesuunta, äänen prosodia, ) Kontrolli: kuka tekee mitä ja milloin? Miten paljon antropomorfisia piirteitä? Saila.Ovaska@uta.fi 5

6 Oma-aloitteiseksi yhteistyökumppaniksi Knowledge Navigator The use of techniques from the field of autonomous agents provides a new complementary style of humancomputer interaction, where the computer becomes an intelligent, active and personalized collaborator. Interface agents are computer programs that employ Artificial Intelligence methods to provide active assistance to a user of a particular computer application. The metaphor used is that of a personal assistant who is collaborating with the user in the same work environment. The assistant becomes gradually more effective as it learns the user's interests, habits and preferences. Videoprototyyppi, tekijä Apple Computer Vuoden 1987 visio henkilökohtaisesta tietokoneesta Älykäs agentti Luonnollisen kielen puheentunnistus Kosketusnäyttö Kaikki maailman tietopankit saatavilla Puhelin ja video integroitu viikkoharjoituksissa Saila.Ovaska@uta.fi 6