Tekstinsyöttö: tässä kalvosetissä Tekstinsyöttö Saila Ovaska Informaatiotieteiden yksikkö Tampereen yliopisto Fyysiset näppäimistöt ja virtuaalinäppäimistöt Erilaisia tekstinsyöttömenetelmiä Kosketus sormin Etenkin pienet mobiililaitteiden kosketusnäytöt Kosketus kynän avulla Pen user interfaces Käsin kirjoittaminen tietokoneen syöttötapana Muuta kynän käyttöä: älykynät 1 2 Virtuaalinäppäimistö: pienellä kosketusnäytöllä kirjoittaminen Kynän käyttö kirjoittamiseen Visuaalinen palaute valitusta kirjaimesta Touch+hold to get special characters Kynän (osoitustikku, stylus) hyödyt Ei peitä näyttöä yhtä paljon kuin sormi Valinta-alue tarkempi kuin sormella Kynä soveltuu siis käytettäväksi tarkkoihin valintatehtäviin pienillä näytöillä Haittapuolena ylimääräinen osa, joka on otettava esiin ja häviää helposti Kynä on luonnollinen väline kirjoittamiseen Magnify-to-edit http://www.apple.com/iphone/ http://vimeo.com/5239499 3 4 Ensimmäinen PDA: Apple Newton PDA = Personal Digital Assistant Henkilökohtainen muistikirja Perusidea Nopea käynnistys Kaikki kirjoitettu tallentuu automaattisesti Applen Newton, ensimmäinen "PDA" John Sculley, Apple CEO at the time, invented the Personal Digital Assistant term to name a new breed of products that the Newton would define. http://www.computerhistory.org/revolution/ Etenkin osa Mobile computing 5 Kämmenelle mahtuvaa teknologiaa Varhaisia kynäkäyttöliittymiä Palm Pilot Xerox PARCTab Kynällä osoittaminen Merkkien syöttäminen kynän avulla Virtuaalinäppäimistö Käsinkirjoitetun tekstin tunnistus: Apple Newton Erityisaakkosto: PARCTab: Unistrokes, Palm Pilot: Graffiti (joskus muita modaliteetteja, kuten sormikosketukseen reagointi, tai puhesyöte, Apple Siri) Apple Newton 6 Saila.Ovaska@uta.fi 1
Tekstinsyöttö pienellä laitteella Vaihtoehtoja Mininäppäimistöt Kasvattavat laitteen kokoa Kiinteä vs. kokoontaitettava Virtuaalinäppäimistö näytöllä Ja siihen lisätyt lisäavut, esimerkiksi Vokaalivalikko Eleiden käyttö apuna Käsialantunnistus Tikkukirjaimet Luonnollinen käsiala Käyttäjän opettelema erityisaakkosto Yleensä tekstin syötössä taustalla jokin kielimalli kielikohtainen sanakirja sanasto, jossa useimmin tarvittavat sanat tässä asiayhteydessä ehkä myös lauserakennemalli: kun tiedetään ensimmäiset sanat, mikä sana tässä todennäköisesti olisi? KÄSINKIRJOITETTU TEKSTI 7 8 Jos tavoitteena käsinkirjoitetun tekstin tunnistus Tallennustapoja: Bittikartta Digitaalinen muste (digital ink): muistissa bittikartan (lopullisen hahmon) lisäksi myös liikkeen suunta, liikkeen nopeus (monta datapistettä/sekunti) jopa kynään kohdistuva paine Tunnistetut (ASCII) kirjaimet ja kuviot etuina mm. haettavuus, tallennustilan tarve pieni ongelmana tunnistus: hidasta ja virhealtista (?) Digitaalinen muste riittää joskus sellaisenaan Haasteena kuitenkin esim. mustemerkintöjen haku ja lajittelu joskus vaihtoehtoinen tapa: tallennetaan musteena kunnes erikseen tehdään tunnistus ASCII-merkeiksi 9 Miksi käsinkirjoitetun tekstin tunnistus on vaikeaa? Jos kirjoituksessa ei ole käytössä (Graffitin kaltaista) erityistä aakkostoa, tunnistustehtävä on vaikea Käsialan vaihtelu eri kirjoituskerroilla Kirjainten yhdistämiset ("ligatures") Tekstauksen ja kaunokirjoituksen vaihtelu Millä vedolla kirjain loppuu ja seuraava alkaa? Perinteinen tapa: kirjoitetaan kukin kirjain omalle paikalleen lokerikossa tai viivastossa Pyrkimys kohti vapaamuotoista tunnistusta Viivojen välistä Mielivaltaiselta näytön kohdalta Touch typing with a stylus video http://www.open-video.org/details.php?videoid=8147 10 Käsinkirjoituksen tunnistus verrattavissa puheentunnistukseen Dataa tarvitaan ainakin 120 pistettä sekunnissa Sopeuduttava eri kirjoitusnopeuksiin Sopeuduttava tärinöihin Piirtojen lukumäärää ja suuntaa voidaan käyttää hyväksi Esim. 5 vs. S, samoin b vs. 6 Tunnistuksen ytimenä yleensä neuroverkko, jolle opetetaan kirjainten muoto Käytännössä myös kirjoittaja oppii! Käsinkirjoitetun tekstin tunnistuksen parantaminen Yksittäisten merkkien tunnistusongelmien ja väärien tulkintojen vähentämiseksi: Voidaan esim. tallettaa ja etsiä kirjainpareja Sanojen tunnistamisessa voidaan käyttää sanastoja Voidaan tarjota muitakin kuin yksi tunnistusehdotus Sanakirjan pitää olla päivitettävissä (mm. erisnimet) Sanastot eivät ratkaise kaikkia ongelmia (esim. "oven" vai "over, kumpikin järkevä sana) Tunnistetaan esim. mobiililaitteessa Niin kutsuttu kännykän ennustava tekstinsyöttö (predictive text entry) ei oikeastaan ennusta mitään Alun perin teknologia tunnettiin nimellä T9 (tegic.com) mutta nyttemmin sen omistaa Nuance Sanan merkityksen hyväksikäyttö tulkinnassa taivutuspäätteet/sijamuoto sanan lopun ehdottaminen seuraavan sanan tai lauseen lopun ehdottaminen 11 12 Saila.Ovaska@uta.fi 2
Kynäkäyttö Windows-käyttöjärjestelmän osana Kynäkäyttö Windows-käyttöjärjestelmän osana Windows UXguide (s. 451-) Mobile PC User Experience guidelines for developers, verkkosivut http://msdn.microsoft.com/en-us/library/ms695565%28v=vs.85%29.aspx Erilaisia kyniä (oheislaitteita) Kynän kätisyys vaihdettavissa vaikuttaa esim. valikoiden esilletuloon Kynässä voi olla painikkeita Kynän tuominen pinnan lähelle voidaan joskus tunnistaa hover-palaute (alakuva) Mobile PC User Experience guidelines for Developers Jos ensisijainen tavoite on tukea käsinkirjoittamista, kynän oletusmoodiksi inking Jos käsinkirjoitus vain yksi tapa antaa syötteet, piirrot voidaan tulkita (yksi kerrallaan kuten seuraavalla sivulla tai välittömästi kynän noston jälkeen), tai jättää kynänjälkenä dokumenttiin Tunnistustarkkuus? 13 http://www.youtube.com/watch?v=xu-wq8a6aga http://www.youtube.com/watch?v=j1zt7i1fzkq 14 Tekstinsyöttöä tarvitaan isommillakin laitteilla Windowskäyttöjärjestelmä esimerkiksi SmartBoard-älytaulu Neljä eriväristä kynää ja kumi kynätelineessä Tunnistus kynällä kirjoitetusta tekstistä: vaiheet esim. ERITYISAAKKOSTOT JA TEKSTINSYÖTTÖMENETELMÄT http://www.smarttech.com/ 15 16 Erityinen aakkosto käytössä kirjoitettaessa Virtuaalinäppäimistö + merkkausvalikko Tekstinsyöttö merkkausvalikon avulla Graffiti-aakkoset käytössä Palm Pilot koneissa Unistrokes-eleet kuvattu Touch Typing with a Stylus -videolla (David Goldberg, Xerox PARC, 1995) Graffiti2-aakkosto Virtuaalista näppäimistöä täydennetty merkkausvalikolla Merkkausvalikossa vokaalit tai useimmin käytetyt kirjaimet Nopeuttaa tekstinsyöttöä eksperttikäyttäjillä, mutta oppiminen vie aikaa 17 Isokoski (2004) Performance of menu-augmented soft keyboards. Proc. of CHI 04. 18 Saila.Ovaska@uta.fi 3
MessagEase Näppäimistö ja eleet Quikwriting http://mrl.nyu.edu/~perlin/experiments/quikwriting/ (Ken Perlin 1992-) Toteutettu monille kosketusnäytöisille laitteille Tavallisimmat kirjaimet: napautus riittää Harvemmin tarvittavat kirjaimet: veto kirjaimen suuntaan http://www.exideas.com/me/index.php (2003-) Tekstinsyöttömenetelmä, jossa aakkoset on järjestetty keskialueen ympärille Kynää ei nosteta pois pinnalta ollenkaan Quikwriting-idea oli Flowmenun kehityksen taustaidea Toteutettu eri syötelaitteille Kuvassa 3-vuotias George ja ohjauspallo Ohjauspallo vaatii vähemmän voimaa kuin esim. hiiren liikuttelu 19 http://cat.nyu.edu/current/technologies/quikwriting_txt.html http://www.mrl.nyu.edu/projects/quikwriting/quikwrite2_0.html 20 Virtuaalinäppäimistö ja sanojen syöttö yhtenäisillä eleillä Sanan syöttö yhdellä eleellä nostamatta piirtotikkua tai sormea SHARK (Shorthand aided rapid keyboarding), sittemmin Shapewriter Nykyisin osa Nuance-tuoteperhettä: T9 Trace http://nuance.com/for-business/by-product/t9-trace/index.htm SHARK-tutkimus: ATOMIK-näppäimistö, jossa kirjainten järjestys optimoitu Tavoitteena näppäimistön "häviäminen" ja nopeutuva kirjoitustahti Tunnistus perustuu hahmoon jota verrataan sanastoon Toinen yhtenäiseen liikerataan perustuva tuote: Swype Eri tuote, sama idea kuin Shapewriter: Swype Myös Swype on nykyisin osa Nuance-tuoteperhettä Eri alustoilla, mm. iphone & Nokia C7 & Galaxy 65000 englannin kielen sanan oppiva sanasto Eri kieliä saatavilla Atomik-näppäimistö Zhai & Kristensson, Shorthand writing on stylus keyboard. Proc. CHI 2003, 97-104 Eleet kolmen sanan kirjoittamiseen. Eleen alku kuvattu pisteellä. http://www.youtube.com/watch?v=-zcgkqjtqve 21 http://www.swype.com Swype for Symbian: www.youtube.com/watch?v=vzovlmyamgq 22 Dasher Dynaaminen tekstinsyöttötapa Kirjainten virta oikealta vasemmalle Kirjaimet aina aakkosissa ylhäältä alas Todennäköisin isoimpana ja lähimpänä Peruutus takaisin viivan taa peruuttaa jo kirjoitetun Toteutettu eri oheislaitteille ja vuorovaikutustavoille mm. hiiriohjattu versio katseenseurantalaitteen avulla ilman käsiä kuvassa iphonen kallistussensorin avulla Erilaisia kielimalleja jo kirjoitetulle sanan osalle ehdotettava jatko riippuu sanasta ja sille kielessä todennäköisistä jatko-osista aidosti ennustava järjestelmä http://www.inference.phy.cam.ac.uk/dasher/ (1997-) 23 ÄLYKYNÄT 24 Saila.Ovaska@uta.fi 4
Pick and Drop Älykynät Kynä voisi olla enemmänkin kuin vain osoitinlaite Rekimoton kynänkäyttöä helpottava idea Pick-and-drop : Kynällä voidaan siirtää kohteita laitteelta toiselle tai yhden laitteen sisällä esim. kansiosta toiseen Pienellä laitteella myös kynän moodin asetus, esim. väri ja viivan paksuus Kohde poimitaan ("Pick") "kynän muistiin" kohdetta koskettamalla ja pudotetaan ("Drop") seuraavasta näyttöpinnan kosketuksesta Jotta idea toimisi, kynän on oltava tunnistettavissa Laitteet voivat olla isoja elektronisia liitutauluja ja/tai pienempiä pda-laitteita, joita käytetään samalla kynällä Kynä itsessään voi olla PDA-laite Erilaisia teknisiä ratkaisuja paljon Anoto Paperissa lähes näkymätön pistematriisi, joka osoittaa kynän tarkan paikan matriisissa Paperissa voi olla tiettyjä kohtia, esimerkiksi painikkeita valmiiksi painettuna Kamerakuvia 50-100/sekunti Pystytään päättelemään kirjoituskohta ja sisältö Siirto tietokoneelle joko Bluetooth- tai USB-yhteydessä Esimerkiksi Livescribe pulse pen http://www.youtube.com/watch?v=bum_xyd6wga http://www.anoto.com/ http://www.csl.sony.co.jp/person/rekimoto/pickdrop/ 25 26 Älykynät Toinen toteutusvaihtoehto esim. Pegasus NoteTaker mille tahansa paperille erillinen tallennuskomponentti Bluetooth tai RF yhteys Kaksi eri moodia: Writing on paper Pen tablet mode voidaan käyttää paitsi muistiinpanojen tekoon myös tietokoneen kynäkäyttöliittymänä (vaikkei olisi kosketusnäyttöä) Yhteenveto Kosketuskäyttöisiä laitteita paljon pienistä kämmenlaitteista isoihin informaatiokioskeihin laitteen asento kädessä tai pöydällä kirjoitettaessa Sormella ja kynällä annettavalla syötteellä voi korvata sekä hiiren että näppäimistön myös tekstiä kirjoitettaessa Tekstin syötön tarkkuus ja nopeus? Tarvitaanko virtuaalinäppäimistö Qwerty vai muu näppäinasettelu? Osuminen yksittäiseen painikkeeseen vs. eleet, joista saadaan talteen liikerata Kynällä voi olla myös muuta käyttöä kuin tekstinsyöttö: vrt. Pick-and-Drop tiedon välittäjä ja siirtäjä laitteelta toiselle tai PDA-toiminnallisuus kynässä Käsialan tunnistukseen liittyy haasteita jatkossakin digitaalinen muste tietotyyppinä joskus riittävä (ei tarvita tunnistusta tekstiksi) http://www.pegatech.com http://www.youtube.com/watch?v=ukbpvbqt36y 27 28 Saila.Ovaska@uta.fi 5