Agentit, robotit ja affektiivinen tietojenkäsittely Saila Ovaska Informaatiotieteiden yksikkö Tampereen yliopisto Agenttiperustaiset käyttöliittymät Agentin tavoitteena avustaa käyttäjää seuraamalla käyttäjän toimia ehdottamalla parempia työskentelytapoja tekemällä joitakin toimintosarjoja käyttäjän puolesta tarjoamalla uudenlainen vuorovaikutustapa Uudenlainen, keskusteleva vuorovaikutus sosiaalinen kumppani tai assistentti Agentti (tai robotti) on itsenäinen, autonominen ja oma-aloitteinen toimii käyttäjän puolesta jossakin tehtävässä (usein) kommunikoimaan kykenevä (usein) oppimaan kykenevä toteutus vaatii tekoälyä (mutta millaista? Riippuu agentin tehtävistä!) ks. esim. http://en.wikipedia.org/wiki/intelligent_agent Saila.Ovaska@uta.fi 1
Eliza Keskusteleva psykiatri yksi ensimmäisistä ohjelmista, joita voi pitää älykkäänä keskustelukumppanina 1960-luvulla (kehittäjä Joseph Weizenbaum) Perustuu yksinkertaiseen tekoälyyn Mallinnettu käyttäjän keskustelua psykiatrinsa ( Rogerian therapist ) kanssa Eliza on agentti vaikkei näkyvää hahmoa Luonnollista englantia (?) Ei grafiikkaa, vain tekstiä Esimerkkitoteutuksia verkossa: http://en.wikipedia.org/wiki/eliza Esimerkki: Eliza > hello eliza How do you do. Please state your problem. > i am going to a dentist Why do you say 'am'? > because 1 am I don't understand that. > because you are just a machine Do computers worry you? > no. Are you saying no just to be negative? > no. You are being a bit negative. Saila.Ovaska@uta.fi 2
Luonnollista kieltä myös Chatbot ( jutturobotti ) verkkosivuilla, kokeile: www.elbot.com http://www.alicebot.org/ http://alicebot.blogspot.com/ Myös suomeksi: esim. Anna Ikean verkkosivulla (www.ikea.fi) Erilaisia agentteja 1. Ei näkyvää hahmoa eikä käyttäjän ohjaamaa vuorovaikutusta: taustaprosessi Esimerkiksi Letizia: pyrkii hakemaan käyttäjälle valmiiksi kiinnostavia www-sivuja Oppii käyttäjän valinnoista 2. (Animoitu) hahmo osana GUI-käyttöliittymää 3. Animoitu hahmo ilman GUI-käyttöliittymää Embodied Conversational Character Saila.Ovaska@uta.fi 3
Aktiivinen agentti: Eager Innokas apulainen Ei erillistä käynnistystä: tarkkailee tapahtumia Kun löytää toistuvia tehtäviä, tarjoutuu auttamaan Käyttäjä voi seurata toimintaa askel askeleelta Ongelmat käyttäjän virhetoiminnot Lopetusehdon määrittäminen vaikeaa Käyttäjät vastahakoisia päästämään Eager töihin Allen Cypher, Eager: Programming repetitive tasks by example. Proc. CHI91, 33-39. http://www.acypher.com/publications/chi91/eagerchi.html Peedy the Parrot Peedy, 1995 Esikuva Office Assistants hahmoille, mutta 1995 oma sovelluksensa Windows-koneissa (ennen XP:tä): animoitu Office Assistant hahmo kelluu sovellusten päällä Puhekomennot ja puhe-tulostus (Windows 2000) SAPI (Speech Application Programming Interface) Seuraa käyttäjän toimia ja avustaa Microsoft Agent Characters olivat liitettävissä esimerkiksi www-sivulle Peedy s Pizza Palace Toimi IE-selaimessa, vaati agenttihahmon latauksen kovalevylle (ja puheentunnistuksen) toimiakseen hyvin Saila.Ovaska@uta.fi 4
Puhekäyttöliittymä: Casper Casper (Apple Computer, 1986) Puhekomentoja vastaanottava agentti Vrt. Knowledge Navigator videon agenttihahmo Demovideo 1993, tekijänä Kai-Fu Lee Casper, stop listening! ks. myös JoVuoT-kurssilta puheentunnistuksen haasteita kuuloaistia koskevasta luentosetistä Laurel, B., Interface Agents: Metaphors with Character. Laurel, B. (ed.) The Art of Human-Computer Interface Design. Addison-Wesley, 1990. 367-381. iphone 4S: Siri Puhekäyttöliittymä, ei näkyvää hahmoa vuonna 2011 beta Demoja englanniksi webissä esim. www.youtube.com/watch?v=mkrwv3dtvlo Oppii käyttäjästään osaa auttaa navigoimaan kotiin nykysijainnista (kunhan tietää, missä koti on) osaa soittaa vaimolle, kunhan tietää kuka vaimo on toimii yhteispelissä iphonesovellusten kanssa, esim. kalenterin, muistutusten, tekstiviestien, säätiedotusten, webin, käytössä http://www.apple.com/iphone/features/siri.html Saila.Ovaska@uta.fi 5
Olga: tietoa mikroaaltouuneista Olga, Kungliga Tekniska Högskolan, Stockholm, 1996 Olga-hahmo Animoidut ilmeet ja eleet Puhesynteesi Luonnolliset vastaukset käyttäjän kysymykseen: Jos löytyi monta kohdetta, Olga osoittaa taulukkoon ja kertoo niistä Jos löytyy 0 kohdetta, Olga osoittaa ilmein, elein ja sanoin olevansa pahoillaan Olga osaa myös ehdottaa itse http://www.speech.kth.se/multimodal/ August Agentin esikuvana kirjailija August Strindberg, jolta lainauksia August tuntee Tukholmaa puhuu ja kuuntelee seuraa käyttäjän kasvoja kameran kautta liikuttaa päätään ja silmiään ilmehtii, esittää erilaisia tunnetiloja näyttää jopa ajatuksensa virikkeeksi käyttäjälle Saila.Ovaska@uta.fi 6
August-kioski käytössä Julkisessa käytössä 6 kk ajan Stockholm Cultural Capital '98 Vuorovaikutusta aidossa käyttötilanteessa People Strindberg What call can When What myself answer do you were is was Strindberg, your questions do born for name? born? a in living? about 1849 but I Strindberg, Yes, I Yes, Over come The How Strindberg The Perhaps Do that who a many from you million was live like the people a people it smart department glass here? live thing houses live of don t Speech, should it You information the might Royal Thank Good are we welcome! Institute bye! you! will is meet shown of really Technology! on Stockholm? soon not KTH Music the be was have throw say! again! and map that married three times! and a Stockholm surname stones area Hearing will! Saila.Ovaska@uta.fi 7
Rea Real Estate Agent MIT, USA mallinnettu sekä sosiaalista small-talkia että huoneistojen esittelyyn liittyvää myyjän puhetta konenäkö, näkee käyttäjän tulevan voi toimia aloitteentekijänä keskustelussa tunnistaa kädenliikkeet (esim. mahdollista keskeyttää kädenliikkeellä) http://www.media.mit.edu/gnl/ Tulevaisuuden kumppani? Tietokone voi osata faktoja älykkyys on muutakin Erilaisia ilmenemismuotoja: Mukautuvat käyttöliittymät oppivat ja muuttuvat käyttäjän ja tilanteiden mukaisesti Kriitikot ja selitysjärjestelmät ymmärtävät kohdealueen (esim. keittiösuunnittelun asiantuntija) Käyttöliittymäagentit, joiden tehtävänä voi olla opastaa käyttäjää pulmatilanteissa tarjota vaihtoehto graafiselle käyttöliittymälle toimia oma-aloitteisena "agenttina" käyttäjän puolesta pitää seuraa ja viihdyttää Saila.Ovaska@uta.fi 8
Agentit ja antropomorfismi Antropomorfismi = tietokoneen ihmisenkaltaisuus, joka saadaan aikaan visuaalisilla ja auditiivisilla piirteillä Onko antropomorfismista hyötyä? On havaittu, että agentin emotionaaliset ilmaisut ovat keskeisiä vuorovaikutuksen miellyttävyyden kannalta Ihmisenkaltaisuus saattaa johdattaa käyttäjiä odottamaan agentilta enemmän kuin mihin se pystyy Augustin tunneilmaisut Happiness Anger Fear Surprise Disgust Sadness Saila.Ovaska@uta.fi 9
Animointi ja tunneilmaisut Stanfordin yliopiston Façade Ronny demo http://movement.stanford.edu/facade/ Javapohjainen Responsive Face -demo http://www.mrl.nyu.edu/~perlin/facedemo/ Keinohenkilöitä kehitetään Suomessakin Ihmisen mallinnusta Kasvojen muoto ja liikkeet Puheen tuottaminen (viseemi = visuaalinen foneemi) Ilmeet Suomea puhuva pää Kehitetty osana Suomen Akatemian rahoittamaa Mulmodprojektia 1996-1999 Kehitysvastuussa nykyisin Aalto yliopisto (prof. Mikko Sams) Saila.Ovaska@uta.fi 10
Samsin ryhmässä kehitetty uusi versio http://www.lce.hut.fi/research/cogntech/artificial/ Affective computing Tunteiden tunnistaminen käyttäjän kasvonilmeistä, puheesta, asennosta, fysiologisista signaaleista, Tunteiden ilmaisu tietokoneessa Esimerkiksi agenttihahmojen kasvonilmeet ja eleet Myös pelkän äänen avulla Tunteisiin vaikuttaminen Monet eri asiat vuorovaikutuksessa vaikuttavat käyttäjän tunnereaktioihin Affektiivisen tietojenkäsittelyn perusteesi: vuorovaikutuksen suunnittelulla voidaan vaikuttaa käyttäjän tunnetilaan ja koko hyvinvointiin Esimerkiksi emotional feedback, emotional support, Picard (1995). Affective computing. technology that relates to, arises from or deliberately influences emotions Rosalind Picard Saila.Ovaska@uta.fi 11
Sosiaalinen kumppani? Agentti voi pyrkiä luomaan sosiaalista suhdetta käyttäjän kanssa Keskustelevan kumppanin tavoitteena esimerkiksi kannustaa ikääntyneitä tai laihduttavia liikkumaan antaa terveystietoa lukutaidottomille http://relationalagents.com/index.html Microsoft Xbox 360 peliohjain (2009) Toteutuuko immersio pelissä? Peliohjain ilman fyysisiä ohjaimia Virtuaalihenkilö Milo ja Milon maailma Tunnistaa konenäöllä tuntee käyttäjänsä ymmärtää liikkeitä ja eleitä tunnistaa tunnetiloja äänen perusteella vuorovaikutusta yli ruudun rajojen http://www.youtube.com/watch?v=cpibgnbqcjy http://news.bbc.co.uk/2/hi/8077369.stm Saila.Ovaska@uta.fi 12
Vuorovaikutus robottien kanssa Robotit käyttöliittymänä Roboteilla on tiettyjä käytöksiä ja fyysinen ruumis Vuorovaikutus liittyy yleensä robotin ohjaamiseen ja opettamiseen Millainen robotin antropomorfismin asteen tulisi olla? Esimerkkejä Roomba robotti-imuri: täydellisen itsenäinen ja käyttäjästä riippumaton osaa ladata itsensä tarvittaessa Robotteja joilla persoonallisuus elokuvissa (kuvissa Star Wars C-3PO, R2-D2) Vuorovaikutus robottien kanssa Millainen robotin antropomorfismin asteen tulisi olla? JoVuoT-kurssin esimerkkejä Kismet, Repliee Q1 & Q2 MIT Kismet Osakan yliopisto, Japani Repliee Q2 Saila.Ovaska@uta.fi 13
Vuorovaikutus robottien kanssa Millainen robotin antropomorfismin asteen tulisi olla? Nao humanoidirobotti Nao osaa pelata jalkapalloa koko vartalo liikkuu Naon kanssa voi keskustella luonnollisella kielellä Nao on ohjelmoitavissa Nao mukana tutkimusprojekteissa eri puolilla maailmaa» Esim. KSERA-projekti (Eindhovenin yliopisto) Knowledgeable Service Robots for Aging http://www.aldebaran-robotics.com/en http://ksera.ieis.tue.nl/ Sosiaalinen kumppani? Agenttipohjainen käyttöliittymä käyttäjän terveystottumusten ohjaamiseen Keskusteleva Nabaztag-pupu http://www.youtube.com/watch?v=kqsiigseyhu http://www.companions-project.org/ Saila.Ovaska@uta.fi 14
Paro-robotti Paro, vauvahyljerobotti (2003--) Terapeuttinen robotti dementikoille, muuten syrjäytyneille ja yksinäisille Helppohoitoisempi kuin oikea lemmikki Reagoi silittämiseen, valoon, ääneen Kehossa ja viiksissä kosketussensoreita Ääntelee kuin aito grönlanninhyljevauva silitettäessä Hylje vs. kissa tai koira vs. humanoidi: Ei liikaa odotuksia älykkyydestä Ei ennakkokäsitystä tai roolimallia hylkeen käyttäytymisestä http://www.nytimes.com/2010/07/05/science/05robot.html http://www.parorobots.com/ http://www.youtube.com/watch?v=wdynbx94sgy Agenttien tavoitteita Tavoitteena olla seurana ja kumppanina Sosiaalista läsnä-älyä? Tavoitteena auttaa käyttäjän tehtävissä: pienentää käyttäjän ja järjestelmän välisiä kuiluja (Norman: gulf of execution, gulf of evaluation) Siinäkin tarvitaan koneen aisteja ja älykkyyttä Avoimia kysymyksiä Kommunikointi: miten helpotetaan käyttäjän ja järjestelmän vuorovaikutusta? Keskustelua luonnollisella kielellä? Reagointi sosiaalisiin vihjeisiin (katsesuunta, äänen prosodia, ) Kontrolli: kuka tekee mitä ja milloin? Miten paljon antropomorfisia piirteitä? Saila.Ovaska@uta.fi 15
Oma-aloitteiseksi yhteistyökumppaniksi The use of techniques from the field of autonomous agents provides a new complementary style of humancomputer interaction, where the computer becomes an intelligent, active and personalized collaborator. Interface agents are computer programs that employ Artificial Intelligence methods to provide active assistance to a user of a particular computer application. The metaphor used is that of a personal assistant who is collaborating with the user in the same work environment. The assistant becomes gradually more effective as it learns the user's interests, habits and preferences. http://www.aaai.org/aitopics/pmwiki/pmwiki.php/aitopics/interfaces Knowledge Navigator Videoprototyyppi, tekijä Apple Computer Vuoden 1987 visio henkilökohtaisesta tietokoneesta Älykäs agentti Luonnollisen kielen puheentunnistus Kosketusnäyttö Kaikki maailman tietopankit saatavilla Puhelin ja video integroitu viikkoharjoituksissa Saila.Ovaska@uta.fi 16