Tekstinsyöttö Tekstinsyöttö Saila Ovaska Informaatiotieteiden yksikkö Tampereen yliopisto Fyysiset näppäimistöt ja virtuaalinäppäimistöt Erilaisia tekstinsyöttömenetelmiä Kosketus sormin Kosketusnäytöt, tactile screens Kosketus kynän avulla Pen user interfaces Käsin kirjoittaminen tietokoneen syöttötapana Muuta kynän käyttöä: älykynät 1 2 Tekstinsyöttö pienellä laitteella Vaihtoehtoja Mininäppäimistöt Kasvattavat laitteen kokoa Kiinteä vs. kokoontaitettava Virtuaalinäppäimistö näytöllä Ja siihen lisätyt lisäavut, esimerkiksi Vokaalivalikko Eleiden käyttö apuna Käsialantunnistus Tikkukirjaimet Luonnollinen käsiala Käyttäjän opettelema erityisaakkosto Yleensä tekstin syötössä taustalla jokin kielimalli kielikohtainen sanakirja sanasto, jossa useimmin tarvittavat sanat tässä asiayhteydessä ehkä myös lauserakennemalli: kun tiedetään ensimmäiset sanat, mikä sana tässä todennäköisesti olisi? Kynän käyttö kirjoittamiseen Kynän (osoitustikku, stylus) hyödyt Ei peitä näyttöä yhtä paljon kuin sormi Valinta-alue tarkempi kuin sormella Kynä soveltuu siis käytettäväksi tarkkoihin valintatehtäviin pienillä näytöillä Haittapuolena ylimääräinen osa, joka on otettava esiin ja häviää helposti Kynä on luonnollinen väline kirjoittamiseen 3 4 Ensimmäinen PDA: Apple Newton PDA = Personal Digital Assistant Henkilökohtainen muistikirja Perusidea Nopea käynnistys Kaikki kirjoitettu tallentuu automaattisesti This is the Apple machine which launched the "PDA" trend. John Sculley, Apple CEO at the time, invented the Personal Digital Assistant term to name a new breed of products that the Newton would define. KÄSINKIRJOITETTU TEKSTI 5 6 Saila.Ovaska@uta.fi 1
Jos tavoitteena käsinkirjoitetun tekstin tunnistus Tallennustapoja: Bittikartta Digitaalinen muste (digital ink): muistissa bittikartan (lopullisen hahmon) lisäksi myös liikkeen suunta, liikkeen nopeus (monta datapistettä/sekunti) jopa kynään kohdistuva paine Tunnistetut (ASCII) kirjaimet ja kuviot etuina mm. haettavuus, tallennustilan tarve pieni ongelmana tunnistus: hidasta ja virhealtista (?) Digitaalinen muste riittää joskus sellaisenaan Haasteena kuitenkin esim. mustemerkintöjen haku ja lajittelu joskus vaihtoehtoinen tapa: tallennetaan musteena kunnes erikseen tehdään tunnistus ASCII-merkeiksi 7 Miksi käsinkirjoitetun tekstin tunnistus on vaikeaa? Jos kirjoituksessa ei ole käytössä (Graffitin kaltaista) erityistä aakkostoa, tunnistustehtävä vaikeutuu Käsialan vaihtelu eri kirjoituskerroilla Kirjainten yhdistämiset ("ligatures") Tekstauksen ja kaunokirjoituksen vaihtelu Millä vedolla kirjain loppuu ja seuraava alkaa? Perinteinen tapa: kirjoitetaan kukin kirjain omalle paikalleen lokerikossa tai viivastossa Pyrkimys kohti vapaamuotoista tunnistusta Viivojen välistä Mielivaltaiselta näytön kohdalta Touch typing with a stylus video http://www.open-video.org/details.php?videoid=8147 8 Käsinkirjoituksen tunnistus verrattavissa puheentunnistukseen Käsinkirjoitetun tekstin tunnistuksen parantaminen Dataa tarvitaan ainakin 120 pistettä sekunnissa Sopeuduttava eri kirjoitusnopeuksiin Sopeuduttava tärinöihin Piirtojen lukumäärää ja suuntaa voidaan käyttää hyväksi Esim. 5 vs. S, samoin b vs. 6 Tunnistuksen ytimenä yleensä neuroverkko, jolle opetetaan kirjainten muoto Käytännössä myös kirjoittaja oppii! Yksittäisten merkkien tunnistusongelmien ja väärien tulkintojen vähentämiseksi: Voidaan esim. tallettaa ja etsiä kirjainpareja Sanojen tunnistamisessa voidaan käyttää sanastoja Voidaan tarjota muitakin kuin yksi tunnistusehdotus Sanakirjan pitää olla päivitettävissä (mm. erisnimet) Sanastot eivät ratkaise kaikkia ongelmia (esim. "oven" vai "over, kumpikin järkevä sana) Tunnistetaan esim. mobiililaitteessa Niin kutsuttu kännykän ennustava tekstinsyöttö (predictive text entry) ei oikeastaan ennusta mitään Alun perin teknologia tunnettiin nimellä T9 (tegic.com) mutta nyttemmin sen omistaa Nuance Sanan merkityksen hyväksikäyttö tulkinnassa taivutuspäätteet/sijamuoto sanan lopun ehdottaminen seuraavan sanan tai lauseen lopun ehdottaminen 9 10 Kynäkäyttö Windows-käyttöjärjestelmän osana Kynäkäyttö Windows-käyttöjärjestelmän osana Windows UXguide (s. 451-) Mobile PC User Experience guidelines for developers, verkkosivut http://msdn.microsoft.com/en-us/library/ms695565%28v=vs.85%29.aspx Erilaisia kyniä (oheislaitteita) Kynän kätisyys vaihdettavissa vaikuttaa esim. valikoiden esilletuloon Kynässä voi olla painikkeita Kynän tuominen pinnan lähelle voidaan joskus tunnistaa hover-palaute (alakuva) Mobile PC User Experience guidelines for Developers Jos ensisijainen tavoite on tukea käsinkirjoittamista, kynän oletusmoodiksi inking Jos käsinkirjoitus vain yksi tapa antaa syötteet, piirrot voidaan tulkita (yksi kerrallaan kuten seuraavalla sivulla tai välittömästi kynän noston jälkeen), tai jättää kynänjälkenä dokumenttiin Tunnistustarkkuus? 11 http://www.youtube.com/watch?v=xu-wq8a6aga http://www.youtube.com/watch?v=j1zt7i1fzkq 12 Saila.Ovaska@uta.fi 2
Tekstinsyöttöä tarvitaan isommillakin laitteilla Windowskäyttöjärjestelmä esimerkiksi SmartBoard-älytaulu Neljä eriväristä kynää ja kumi kynätelineessä Tunnistus kynällä kirjoitetusta tekstistä: vaiheet esim. ERITYISAAKKOSTOT http://www.smarttech.com/ 13 14 Erityinen aakkosto käytössä kirjoitettaessa Graffiti-aakkoset käytössä Palm Pilot koneissa Unistroke-eleet kuvattu Touch Typing with a Stylus -videolla Graffiti2-aakkosto VIRTUAALINÄPPÄIMISTÖ JA ELEET DASHER 15 16 Virtuaalinäppäimistö: pienellä kosketusnäytöllä kirjoittaminen Virtuaalinäppäimistö + merkkausvalikko Tekstinsyöttö merkkausvalikon avulla Visuaalinen palaute valitusta kirjaimesta Touch+hold to get special characters Virtuaalista näppäimistöä täydennetty merkkausvalikolla Merkkausvalikossa vokaalit tai useimmin käytetyt kirjaimet Nopeuttaa tekstinsyöttöä eksperttikäyttäjillä, mutta oppiminen vie aikaa Magnify-to-edit http://www.apple.com/iphone/ http://vimeo.com/5239499 17 Isokoski (2004) Performance of menu-augmented soft keyboards. Proc. of CHI 04. 18 Saila.Ovaska@uta.fi 3
MessagEase Näppäimistö ja eleet Virtuaalinäppäimistö ja sanojen syöttö yhtenäisillä eleillä Toteutettu monille kosketusnäytöisille laitteille Tavallisimmat kirjaimet: napautus riittää Sanan syöttö yhdellä eleellä nostamatta piirtotikkua tai sormea SHARK (Shorthand aided rapid keyboarding), sittemmin Shapewriter Nykyisin osa Nuance-tuoteperhettä: T9 Trace http://nuance.com/for-business/by-product/t9-trace/index.htm SHARK-tutkimus: ATOMIK-näppäimistö, jossa kirjainten järjestys optimoitu Tavoitteena näppäimistön "häviäminen" ja nopeutuva kirjoitustahti Tunnistus perustuu hahmoon jota verrataan sanastoon Harvemmin tarvittavat kirjaimet: veto kirjaimen suuntaan http://www.exideas.com/me/index.php (2003-) 19 Atomik-näppäimistö Zhai & Kristensson, Shorthand writing on stylus keyboard. Proc. CHI 2003, 97-104 Eleet kolmen sanan kirjoittamiseen. Eleen alku kuvattu pisteellä. http://www.youtube.com/watch?v=-zcgkqjtqve 20 Toinen yhtenäiseen liikerataan perustuva tuote: Swype Quikwriting Eri tuote, sama idea kuin Shapewriter: Swype Myös Swype on nykyisin osa Nuance-tuoteperhettä Eri alustoilla, mm. iphone & Nokia C7 & Galaxy 65000 englannin kielen sanan oppiva sanasto Eri kieliä saatavilla Tekstinsyöttömenetelmä, jossa aakkoset on järjestetty keskialueen ympärille Kynää ei nosteta pois pinnalta ollenkaan Quikwriting-ideaa käytettiin Flowmenun kehityksessä taustaideana Demo harjoituksissa Toteutettu eri syötelaitteille Kuvassa 3-vuotias George ja ohjauspallo Ohjauspallo vaatii vähemmän voimaa kuin esim. hiiren liikuttelu http://www.swype.com www.youtube.com/watch?v=vzovlmyamgq 21 http://mrl.nyu.edu/~perlin/experiments/quikwriting/ (Ken Perlin 1992-) 22 Dasher Dynaaminen tekstinsyöttötapa Kirjainten virta oikealta vasemmalle Kirjaimet aina aakkosissa ylhäältä alas Todennäköisin isoimpana ja lähimpänä Peruutus takaisin viivan taa peruuttaa jo kirjoitetun Toteutettu eri oheislaitteille ja vuorovaikutustavoille mm. hiiriohjattu versio katseenseurantalaitteen avulla ilman käsiä kuvassa iphonen kallistussensorin avulla Erilaisia kielimalleja jo kirjoitetulle sanan osalle ehdotettava jatko riippuu sanasta ja sille kielessä todennäköisistä jatko-osista aidosti ennustava järjestelmä http://www.inference.phy.cam.ac.uk/dasher/ (1997-) 23 ÄLYKYNÄT 24 Saila.Ovaska@uta.fi 4
Pick and Drop Älykynät Kynä voisi olla enemmänkin kuin vain osoitinlaite Rekimoton kynänkäyttöä helpottava idea Pick-and-drop : Kynällä voidaan siirtää kohteita laitteelta toiselle tai yhden laitteen sisällä esim. kansiosta toiseen Pienellä laitteella myös kynän moodin asetus, esim. väri ja viivan paksuus Kohde poimitaan ("Pick") "kynän muistiin" kohdetta koskettamalla ja pudotetaan ("Drop") seuraavasta näyttöpinnan kosketuksesta Jotta idea toimisi, kynän on oltava tunnistettavissa Laitteet voivat olla isoja elektronisia liitutauluja ja/tai pienempiä pda-laitteita, joita käytetään samalla kynällä Kynä itsessään voi olla PDA-laite Erilaisia teknisiä ratkaisuja paljon Anoto Paperissa lähes näkymätön pistematriisi, joka osoittaa kynän tarkan paikan matriisissa Paperissa voi olla tiettyjä kohtia, esimerkiksi painikkeita valmiiksi painettuna Kamerakuvia 50-100/sekunti Pystytään päättelemään kirjoituskohta ja sisältö Siirto tietokoneelle joko Bluetooth- tai USB-yhteydessä Esimerkiksi Livescribe pulse pen http://www.youtube.com/watch?v=bum_xyd6wga http://www.anoto.com/ http://www.csl.sony.co.jp/person/rekimoto/pickdrop/ 25 26 Älykynät Yhteenveto Toinen toteutusvaihtoehto esim. Pegasus NoteTaker mille tahansa paperille erillinen tallennuskomponentti Bluetooth tai RF yhteys Kaksi eri moodia: Writing on paper Pen tablet mode voidaan käyttää paitsi muistiinpanojen tekoon myös tietokoneen kynäkäyttöliittymänä (vaikkei olisi kosketusnäyttöä) http://www.pegatech.com http://www.youtube.com/watch?v=ukbpvbqt36y 27 Kosketuskäyttöisiä laitteita paljon pienistä kämmenlaitteista isoihin informaatiokioskeihin Sormella ja kynällä annettavalla syötteellä voi korvata sekä hiiren että näppäimistön myös tekstiä kirjoitettaessa Tekstin syötön tarkkuus ja nopeus? Kynällä voi olla myös muuta käyttöä: vrt. Pick-and-Drop tiedon välittäjä ja siirtäjä laitteelta toiselle tai PDA kynässä Käsialan tunnistukseen liittyy haasteita jatkossakin digitaalinen muste tietotyyppinä joskus riittävä (ei tarvita tunnistusta tekstiksi) 28 Saila.Ovaska@uta.fi 5