Puheentunnistus. Joel Pyykkö 1. 1 DL-AT Consulting

Transkriptio

1 Puheentunnistus Joel Pyykkö 1 1 DL-AT Consulting 2018

2 Sisällysluettelo Puheentunnistus Yleisesti Chattibotin Luonti Esimerkkinä - Amazon Lex

3 Puheentunnistus Yleisesti

4 Puheentunnistus Yleisesti Puheentunnistus on automatisoitua puheen muuttamista tekstiksi tai semanttiseksi tiedoksi. Poikkitieteellinen ala kielitieteiden ja tietojenkäsittelyn välillä. Nykyään toteutetaan useimmiten neuroverkoilla. Käytössä useissa arkipäivän toimissa sekä töissä. Tämän jatkeeksi voidaan tehdä esimerkiksi chattibotteja.

5 Käyttökohteita Puheentunnistusta käytetään yleisimmin: Henkilökohtaisissa assistenteissa: Siri, Cortana, Alexa, Google Assistant Puhelinboteissa asiakkaille Diktatoinnissa, transkriptoinnissa: Youtube transcript Ajoneuvoissa (autot, lentokoneet) Invalidien apuna Kielten kääntämisessä Pilot / WT2 kieltenkääntäjät

6 Cortana Useat tietokoneohjelmat käytössä puhekomennoilla, ts. korvaa näppäimistön. Toimii assistenttina joka ymmärtää kalenteria, viestejä sekä toimii viihdykkeenä. Tukee useita kieliä. Yhdistettiin Alexan kanssa hetki sitten

7 Google Voice Yksi alan perusteellisimmista tuotteista. Puhelinpalvelu jossa puheentunnistin käytössä esim., voic in transkriptiossa

8 WT2 Kuuloke joka toimii tulkkina yli kymmenelle kielelle. Reaaliaikainen

9 Chattibotin Luonti

10 Chattibotin Luonti Tarvitaan puheentunnistin, ASR (Automatic Speech Recognition), mikä muuntaa äänen tekstiksi. NLP-järjestelmä (Natural Language Processing) joka tunnistaa tekstistä elementtejä (sanoja, merkityksiä). Järjestelmä joka päättää mitä vastata elementtien perusteella. Vastaukset mahdollisia tekstinä tai puhesynteesinä

11 Puheentunnistimen Luonti Hyviä tuloksia Recurrent Neural Networkeilla (RNN). Tarvitaan opetusdataa (akustisia näytteitä) ja oikeita vastauksia (foneemeja, sanoja) annetusta aihealueesta ja kielestä. Opetetaan neuroverkkoa kunnes tulokset kelpaavat. Oletuksia tekstin semantiikasta jo täällä, sillä pitää tarvittaessa arvata mitä sanottiin

12 Neuroverkoista Kuvassa RNN-arkkitehtuuri. Data (X) syötetään alhaalta, josta muodostetaan hypoteesi (h) datan merkityksestä. Neuroni (A) muistaa edeltävän ajan tilan syöttämällä tiedon itseensä

13 Reagointi Sääntöpohjainen tapa: Toimii joka kerta kuten suunniteltu, helppo toteuttaa. Jokainen tapaus pitää vain erikseen määritellä itse. Koneopittu tapa: Oppii joustavamman tavan tunnistaa ja reagoida eri skenaarioihin. Opettaminen vaatii paljon vaivaa, ja välillä voi olla arvaamaton.

14 Puhesynteesi Neuroverkoilla voidaan toteuttaa myös puhesynteesiä. Teksti muutetaan puheääneksi, joka kuulostaa inhimilliseltä intonaatioiden kera. WaveNet 7 7

15 Esimerkkinä - Amazon Lex

16 Amazon Lex AWS:ssä toimiva alusta puheentunnistusjärjestelmien ja chattibottien luomiseen. Pohjautuu Alexan teknologiaan

17 Amazon Lex Kykenee tunnistamaan homonyymejä ja keskustelun kontekstin. Vastaukset tulevat millisekunneissa

18 Amazon Transcribe Muuntaa äänen tekstiksi. Tunnistaa useammat puhujat ja homonyymit. Tuki useanlaiselle käyttötarkoitukselle. Sanoja voi lisätä

19 Testausta Google Cloud Speech-to-Text Dictation.io Amazon Lex

20 Lähteitä Pilvipalveluissa valmiita sovelluksia, sekä kehitysympäristöjä: Amazon Web Service (AWS) ja Microsoftin Azure. Githubista löytyy useita valmiita ratkaisuja, vaatii koodausta käyttöönottoon