Laskennan perusmallit (LAP)

Transkriptio

1 Lskennn perusmllit (LAP) Kimmo Fredrikssonin j Mtti Nykäsen luentomonisteest krsien muoknnut Pekk Kilpeläinen Tietojenkäsittelytieteen litos, Itä-Suomen yliopisto sähköposti: pekk.t.kilpelinen@uef.fi Lukuvuoden III periodi Sisältö 1 Kurssin sem opetuksess 1 2 Kurssin sem tietojenkäsittelytieteessä Histori Kurssin sisältö tästä eteenpäin Johdnto Lskennlliset ongelmt Päätösongelmt j formlit kielet Lskennllisten ongelmien rtkevuus Pysähtymisongelmn rtkemttomuus Säännölliset kielet j äärelliset utomtit Äärellisen utomtin esitystpoj Äärellisen utomtin formli määrittely Säännöllinen kieli Äärellisen utomtin lskentvoimst Sovelluksist Epädeterministiset äärelliset utomtit Säännölliset lusekkeet j kielet Säännölliset lusekkeet j äärelliset utomtit Säännöllisestä lusekkeest utomtti Automtist säännöllinen luseke Säännöllisten kielten sulkeumominisuudet Säännöllisten kielten rjoituksist Kontekstittomt kielet j pinoutomtit Kontekstittomien kielten sulkeumominisuuksist Säännölliset j kontekstittomt kielet Äärellistä utomtti vstv linerinen kielioppi Linerist kielioppi vstv äärellinen utomtti Pinoutomtti Deterministiset j epädeterministiset pinoutomtit Pinoutomtit j kontekstittomt kielet i

2 5.4 Kielioppien jäsennysongelm Kontekstittomien kielten rjoituksist Cocke-Younger-Ksmi-lgoritmi LL(1)-kieliopit j rekursiivisesti etenevä jäsennys LR-kieliopeist Summ summrum 126 Viitteet Alfred V. Aho, Monic S. Lm, Rvi Sethi, nd Jeffrey D. Ullmn. Compilers: Principles, Techniques, nd Tools. Addison Wesley, second edition, John E. Hopcroft, Rjeev Motwni, nd Jeffrey D. Ullmn. Introduction to Automt Theory, Lnguges nd Computtion. Addison Wesley, second edition, John R. Levine, Tony Mson, nd Doug Brown. Lex & Ycc. O Reilly, second edition, Hrry R. Lewis nd Christos H. Ppdimitriou. Elements of the Theory of Computtion. Prentice-Hll, second edition, Michel Sipser. Introduction to the Theory of Computtion. Course Technology, second edition, Thoms A. Sudkmp. Lnguges nd Mchines: An Introduction to the Theory of Computer Science. Addison Wesley, second edition, ii

3 1 Kurssin sem opetuksess Tietojenkäsittelytieteen pääineopiskelijoille pkollinen ineopintokurssi (3 op). Esitietovtimukset: Johdtus tietojenkäsittelytieteeseen (JTT): Lskennn, lgoritmin j tietokoneen käsitteet. Diskreetit rkenteet (DSR): Sovelletn diskreetin mtemtiikn peruskäsitteitä, kuten joukkoj, reltioit, funktioit, puit j verkkoj. Lisäksi molemmill kursseill lähestymistp j jtusmilm on mtemttinen (eikä esimerkiksi ohjelmointitekninen). Tietorkenteet 1 (TRA1): Käytetään joitkin siellä selostettuj perustietorkenteit, kuten pinoj j puit. Lisäksi viittn joihinkin siellä esiteltyihin käsitteisiin, kuten symptoottiseen ikvtivuuteen. Kiinnostuneille lisää vlinnisill syventävien opintojen jtkokursseill: Algoritmien suunnittelu j nlyysi (ASA): Tätä kurssi ljemmt perustiedot ns. P? = NP-ongelmst sekä teoreettisest että lgoritmisuunnittelun näkökulmst. Lskennn teori (LAT): Syvällisemmin tästä ongelmst j muistkin tällä kurssill esitellyistä sioist. Tämä P =? NP-ongelm onkin tunnetuin esimerkki lskennn vtivuusteorin käsittelemistä ongelmist. Yksi (mutt ei läheskään ino!) tp luke se on: P = selliset lskentongelmt, joiden vstukset voi lske tvllisell tietokoneell tehokksti NP = voisi jos koneeseen lisättäisiin mginen konekäsky vlitse hyppäätkö nyt riville X viko riville Y jok jotenkin in osisi vlit juuri oikein. Silloin kysymys on: Voisiko tvllinen tietokone in löytää itsekin oiken vlinnn nopesti? Yleisesti uskotn, että ei voisi: Uskotn, että on sellisi ongelmi j tilnteit, joiss on väistämättä hidst löytää se oike vlint. Tämä P? = NP-ongelm on kuitenkin osoittutunut teoriss hyvin vikeksi rtkist se on yhä voin, j on stu tuloksi inkn menetelmällä X sitä ei voi rtkist erilisille lähestymistvoille X. käytännössä merkittäväksi, kosk monet käytännön ongelmt ovt osoittutuneet ns. NP-vikeiksi, eli sellisiksi että jos yksikin niistä voitisiin rtkist tehokksti (eli se kuuluisi luokkn P) niin sen vull ne kikki muutkin voitisiin rtkist tehokksti. 1

4 Cly Mthemtics Institute onkin vlinnut sen yhdeksi seitsemästä Millenniumongelmstn, j nt sen rtkisust plkinnoksi USD! ( clymth.org/millennium/) Jo tietojenkäsittelijän yleissivistykseen kuuluu tunte peruskäsitteet kuten lskentongelm jne., j tämän kurssin tvoitteen onkin tutustutt niihin. Oppimterili Nämä luentomuistiinpnot ovt wikissä: tkt-wiki Kurssien kotisivuj - Course homepges LAP - Lskennn perusmllit ( , 3op). Pohjutuvt Kimmo Fredrikssonin j Mtti Nykäsen luentoihin edellisiltä vuosilt. Pelkät muistiinpnot eivät välttämättä riitä itseopiskeluun, vn voivt vti tuekseen joko luentojen ti jonkun oppikirjn seurmist. Esimerkiksi kirjn Hopcroft, John E., Motwni, Rjeev j Ullmn, Jeffrey D.: Introduction to Automt Theory, Lnguges nd Computtion, 2. pinos (Addison Wesley, 2001) luvut 1 8.2, j 10 kttvt vltosn kurssin sioist (näitä luentoj yksityiskohtisemmin). Näistä sioist on julkistu moni muitkin oppikirjoj, kuten esimerkiksi Lewis nd Ppdimitriou (1981), Sipser (2005) j Sudkmp (1997), joit voi myös käyttää. 2 Kurssin sem tietojenkäsittelytieteessä Erään määritelmän mukn tietojenkäsittely tutkii 1. milliset tietojenkäsittelytehtävät on mhdollist utomtisoid j 2. miten tämä utomtisointi tulisi suoritt. Useimpien kurssien lähestymistp on yleensä konstruktiivinen, eli koht 2. Esimerkiksi TRA: Kehitetään nnetun lskentongelmn tehokksti rtkisev lgoritmi j sen trvitsemt tietorkenteet. Tällä kurssill pinolue onkin kohdss 1. Osoittutuu, että on olemss erilisi tehtäviä; sellisi 1. joit ei edes peritteess voi utomtisoid lgoritmin olemssolo on looginen mhdottomuus. 2. jotk voi utomtisoid, mutt vin tehottomsti tehokst lgoritmi ei voi oll olemss. 3. jotk voi utomtisoid j tehokksti tehokskin lgoritmi on keksitty: luokk P. 4. joist emme vielä tiedä ovtko ne tehokksti rtkistviss vi idosti työläitä; erityisesti päteekö NP P? 2

5 2.1 Histori Lskentongelmn käsitteen muotoilu sekä ongelmien erottelu utomtisoitumttomiin (eli tyyppiin 1) j utomtisoituviin tehtiin 1930-luvull. Siis jo ennen tietokoneit! (Ensimmäiset yleiskäyttöiset tietokoneet rkennettiin pin II milmnsodn jälkeen.) Motivtion oli mtemtiikn filosofin j formlin logiikn kehitys: Hluttiin erott toisistn selliset mtemttiset j loogiset ongelmt, jotk vtivt ito luovuutt, sellisist joihin riitti pelkkä lskeminen siis nt trkk formli määritelmä rkikielen käsitteelle mekninen lskent. Näin syntyi lskettvuuden teori yhdeksi keskeiseksi osksi mtemttist logiikk. Tällä kurssill esitetään mekniselle lskennlle trkk formli määritelmä käyttäen ns. Turingin koneit tietokonepioneeri Aln M. Turingin vuonn 1936 esittämää bstrkti mtemttist mlli hypoteettiselle lskulitteelle. Smn ikn oli muitkin loogikkojen ehdotuksi meknisen lskennn määritelmäksi, esimerkiksi: Kurt Gödel kehitti 1930-luvun lust lken rekursiivisten funktioiden teori osn kuuluisn (ensimmäisen) epätäydellisyysluseens todistust. Iden oli induktio: funktion seurv rvo f(n+1) voidn määritellä edellisen rvon f(n) vull, joss n N. Alonzo Church esitti vuonn 1936 omn λ-lskentns. Iden oli lskent lusekkeen sievennyksenä. Nämä ts olivt tärkeitä ohjelmoinnin j ohjelmointikielten kehitykselle. Tällä kurssill niitä ei käsitellä, mutt kurssill Johdtus funktionliseen ohjelmointiin (FOH) sivutn λ-lskent. Miksi vlittiin Turingin litelähtöinen lähestymistp meknisen lskennn määritelmäksi eikä Gödelin ti Churchin ohjelmointilähtöistä? Eksplisiittinen lite jok kulke rksutt kuin kello on konkreettisempi käsite kuin induktio ti sievennys joiden voisi epäillä sittenkin vtivn sitä ito luovuutt... Lskentn kuluv ik j til on helpompi määritellä litteen kuin siinä pyörivän ohjelmn kutt. Tietokoneiden yleistymisen myötä lettiin huomt, että tämä mekninen lskent jkutui edelleen vivlloiseen (eli tyypin 2) j vivttomn (eli tyypin 3) mekniseen lskentn. Yksi tp selventää tätä jko on tutki vielä yksinkertisempi lskulitteit kuin Turingin kone. Tätä utomttien teori on kehitetty 1960-luvult lähtien. Tällä kurssill tutustummekin sen keskeisiin käsitteisiin kuten äärellisiin j pinoutomtteihin. 3

6 Toinen tp on sett resurssirjoj Turingin koneille. Tätä lskennn vtivuusteori on kehitetty 1970-luvult lähtien. Sen keskeinen ongelm on juuri edellä minittu P? = NP. Vtivuusteori kuitenkin jätetään vltosin kursseille ASA j LAT. 2.2 Kurssin sisältö tästä eteenpäin 1. Johdnto: Yleisktsus lskennn teorin, lskennn vtivuusteorin j lskennn mlleihin. Kurssill käytettävien käsitteiden j nottioiden määritelmiä. 2. Säännölliset kielet: äärelliset utomtit j säännölliset lusekkeet. Äärelliset utomtit ovt mhdollisimmn yksinkertisi lskulitteit. Säännölliset kielet ts ovt sellisi merkkijonojoukkoj, joihin kuuluminen voidn rtkist näillä litteill. Säännölliset lusekkeet ts ovt nottio, joll niitä voidn kuvt lyhyesti. Kun esimerkiksi kirjoitt Linuxin komentoriville ls *.jr niin käytät säännöllistä lusekett *.jr kuvilemn säännöllisen kielen kikki selliset ASCII-merkkijonot, jotk päättyvät merkkijonoon.jr j kone list sinulle kikki ne tämän hkemiston tiedostonimet, jotk tämän kielen tunnistv utomtti hyväksyy sen jäseniksi. Käytännössä niihin törmää esimerkiksi merkkijonolgoritmeiss, hjutettujen järjestelmien mllintmisess sekä dokumenttirkenteiden kviokielissä (kuten XML DTD j XML Schem). 3. Kontekstittomt kielet j kieliopit sekä pinoutomtit. Vstvsti pinoutomtit ovt hiemn mutkikkmpi lskulitteit j kontekstittomt kielet niitä, joit ne voivt tunnist. Ne ovt käytännössä tärkeitä rkenteisen syötteen käsittelyssä. Esimerkiksi HTML, XML sekä rkenteisell ohjelmointikielellä kirjoitettu lähdekoodi ovt rkenteisi syötteitä, kosk niissä on mielivltisen mutkikkit sisäkkäisyyksiä, joist syötettä lukevn ohjelmn pitää ott selvää. Esimerkiksi HTML-syötettä lukevn ohjelmn pitää löytää korostuksen loittvlle tgille <em> juuri oike sitä vstv lopettv tg </em>, j niiden välissä voi oll muit senkltisi tgiprej, jotk pitää smoin pritt. Kontekstittomt kieliopit ts ovt näiden kielten kuvilutp, vstvsti kuin säännölliset lusekkeet ovt säännöllisille kielille. Lskettvuuden j vrsinkn lskennn vtivuuden teori emme vlitettvsti ennätä käsitellä juuri linkn. Lskennllisesti vtiviin ti jop kokonn rtkemttomiin ongelmiin törmää esimerkiksi tekoälyssä sekä ohjelmien j järjestelmien formliss verifioinniss. 4

7 3 Johdnto Lskennn teori (theory of computtion) käsittelee sitä, miten ongelm luokitelln rtkevuuden, vikeuden j tehokkuuden perusteell ennen kuin se rtkistn. Se jetn perinteisesti khteen os-lueeseen: Lskettvuuden teori (theory of computbility) tutkii, mitä tietokoneell ylipäänsä voidn rtkist j kuink vike nnettu ongelm on. Ongelmien vikeus määritellään melko krkell tsoll sen perusteell, kuink monimutkist lskennn mlli rtkisuss trvitn. Lisäksi lskettvuuden teori nt hyviä eväitä itse rtkisun ltimiseen. (LAP, LAT) Lskennn vtivuusteori (theory of computtionl complexity) tutkii, kuink tehokksti ongelm voidn rtkist. Lskennn vtivuusteori muistutt lgoritmien nlyysi, mutt siinä ei määritellä yksittäisen rtkisulgoritmin ik- ti tilvtivuutt, vn itse ongelmn phimmn tpuksen ik- j tilvtivuusluokk. Lskennn vtivuusteori nt myös hyvät eväät ongelmien pluttmiseksi toisiin, jo tunnettuihin ongelmiin. (LAT, ASA) Tällä kurssill käsitellään jonkin verrn lskennn teorin ensimmäistä os-luett eli lskettvuuden teori. Aihepiirinä ovt lskennlliset ongelmt j niiden rtkisun mekniset mllit, joit kutsutn lskennn mlleiksi. Käsittelemme kht eri lskennn mlli äärellisiä utomttej j pinoutomttej sekä tutkimme, mitä kullkin mllill voidn rtkist. Kurssin loppupuolell esitellään lyhyesti myös Turingin koneet (joist enemmän kurssill LAT). Lskettvuuden teorist Lskennn mekninen mlli, utomtisointi, trkoitt tämän kurssin knnlt lgoritmin esittämistä. Intuitiivisesti lgoritmi kuv tietojenkäsittelyprosessin niin täsmällisesti, että se voidn tämän kuvuksen perusteell suoritt meknisesti (ilmn luov jttelu ). Meknisen lskennn trkemmksi määrittelemiseksi, eli lgoritmikäsitteen mtemttiseksi formlisoimiseksi, on kksi lähestymistp: 1. Lähdetään liikkeelle tyhjästä j mietitään, mitä voidn pitää meknisen lskentn. 2. Otetn lähtökohdksi nykyiset tietokoneet, jotk selvästi suorittvt meknist lskemist, j pelkistetään pois epäolennisuudet. Kosk mekninen lskent on keskeistä mtemtiikn perusteiden trksteluss, mtemtikot j loogikot miettivät si pljon 1930-luvull. He sovelsivt luonnollisesti lähestymistp 1 kosk tietokoneit ei silloin vielä ollut. 5

8 Jos ts hlutn sovelt tuloksi käytännön tietojenkäsittelyyn, lähestymistp 2 tuntuisi lupvmmlt. Tämä on oleellisesti se tp, jot käytettiin esimerkiksi kurssill TRA, kun siellä lskettiin symptoottisi resurssitrpeit eli O-rvioit. Onneksi osoittutuu, että lähestymistvt 1 j 2 johtvt smn lgoritmikäsitteen formlisointiin. Siis mtemttist logiikk j tietokoneit koskevill peritteellisill rjoituksill on syvällinen yhteys. Lskettvuuden teori trkstelee näitä rjoituksi, eli sitä millisille ongelmille on olemss rtkisulgoritmi. Automttiteori Kun on stu vlmiiksi bstrkti mlli tietokoneelle, voidn kysyä, mikä muuttuu, jos mllist jätetään jokin piirre pois. Rjoitettujen mllien trksteleminen utt ymmärtämään yleisempiä mllej. Äärellinen utomtti on hyvin yksinkertinen (bstrkti) lskentlite, joll kuitenkin voi tehdä mielenkiintoisi sioit. Teoreettisen mielenkiinnon lisäksi se on hyödyllinen käytännössä ohjelmointi- j mllinnustekniikkn. Kontekstittomt kieliopit ovt hiemn äärellisiä utomttej ilmisuvoimisempi meknismi, joll on tärkeitä sovelluksi esimerkiksi ohjelmointikielten määrittelemisessä j kääntämisessä j luonnollisen kielen mllintmisess. 3.1 Lskennlliset ongelmt Lskennllinen ongelm = mikä thns tehtävä, jok voidn mllint rtkistvksi digitlisell tietokoneell. (Kuv 1.) Lskennllisi ongelmi: kokonislukujen kertolsku kirjstokortiston kkostminen yrityksen plknlskent yliopistollisen kurssin kurssitietojen ylläpito nnetun kokonislukulistn järjestäminen... Ongelmn rtkisev ohjelm on sen yksi esitystp. Mihin sijoittuu ongelm Onko oikein huijt tentissä? Jos mielestäsi tentissä huijminen on kikiss olosuhteiss väärin, niin silloin ongelm on trivilisti lskennllinen j tehokksti rtkistviss: Tietenkin voidn kirjoitt ohjelm, jok ei lue syötettään, vn tulost heti Ei!. 6

9 ONGELMA LASKENNALLINEN ONGELMA EI LASKENNALLINEN ONGELMA RATKEAVA ONGELMA RATKEAMATON ONGELMA TEHOKKAASTI RATKAISTAVISSA TEHOKASTA RATKAISUA EI OLE MISSÄ NÄIDEN VÄLINEN RAJA KULKEE? OSITTAIN RATKEAVA TÄYSIN RATKEAMATON (useit eri steit) Kuv 1: Ongelmien hyvin krke luokittelu Jos ts mielestäsi tentissä huijminen voi oll oikein joisskin lieventävissä olosuhteiss niin silloin on mietittävä jtkokysymystä Voiko nämä olosuhteet kuvill tyhjentävästi snllisesti? Jos mielestäsi näiden olosuhteiden kikki relevntit spektit voi kuvill vikkp jollkin sopivll logiikll, niin silloin ongelm on lskennllinen: Jos olosuhteet ovt kuten tämä kv φ kuvilee, niin onko silloin oikein huijt tentissä viko ei? Tämä φ on se syöte, jok luetn, j jonk perusteell rtkistn onko vstus Kyllä! viko Ei!. Ongelm on rtkev, jos tämä käytetty logiikk on riittävän yksinkertinen; muuten rtkemton. Esimerkiksi luselogiikk on rtkev, predikttilogiikk rtkemton. Vikk ongelm olisikin rtkev, se tuskin on tehokksti rtkistviss; looginen päättely on yleensä työlästä tietokoneellekin. Esimerkiksi luselooginen päättely on NP-vike eli luultvsti työlästä. Jos ts ktsot todellisuuden olevn niin monimutkinen j hienosyinen, että on mhdotont kuvill loogisesti kikki tälliseen morliseen päätöksentekoon vikuttvi spektej, niin silloin ongelm ei ole lskennllinen: Silloin meillä ei ole riittävän ilmisuvoimist kieltä joll voisimme kuvill olosuhteet riittävän kttvsti j trksti syötekvksi φ. Siis lgoritminen tietojenkäsittely eli lskent on oleellisesti syntktist mnipulointi. Ongelmn esitys Lskennllinen ongelm = kuvus äärellisesti esitettävien tpusten joukost äärellisesti esitettävien vstusten joukkoon Ongelmll on potentilisesti ääretön joukko tpuksi ( syötteitä ). 7

10 Syötteet Tulosteet π (1,1) (1,3)... (2,2) (2,4)... (1,2) (2,3) jne Kuv 2: Kertolskuongelmn syötteet j tulosteet. Ongelmn rtkisu on lgoritmi, jok liittää kuhunkin tpukseen sen oiken vstuksen ( tulosteen ). Jokisen yksittäisen tpuksen j sen vstuksen on oltv äärellisesti esitettäviä (muutenhn lskent ei päättyisi). Esimerkki 1. Kokonislukujen kertolskuongelmss (kuv 2) tpuksi ovt kikki kokonislukuprit (p, q) (merkkijonoiksi koodttun) vstus nnetulle tpukselle on kyseisen lukuprin tulo p q (merkkijonoksi koodttun) rtkisu on mikä thns yleinen kertolskulgoritmi (esimerkiksi kouluss opittu lkkin lskeminen ). Äärellinen esitys Kikki tietokoneen käsittelemä tieto täytyy viime kädessä koodt bittijonoiksi. On luontev slli koodukseen käytettävän myös muit merkkejä kuin bitit 0 j 1 (kosk nämä muut merkit voidn tietenkin trvittess edelleen esittää bittijonoin). Määritelmä: äärellinen esitys = äärellisen pituinen merkkijono (eli jono merkkejä) josskin äärellisessä kkostoss. Peruskäsitteitä: Akkosto Akkosto on äärellinen, epätyhjä joukko lkeismerkkejä eli symboleit. Esimerkiksi binäärikkosto B = {0, 1} j ltinlinen kkosto {A, B, C,..., Z}. Akkosto voidn määritellä ihn miten hlutn, esim: {HiiriVsenNppi, HiiriOikeNppi, HiiriKeskiNppi, HiiriRullYlös, HiiriRullAls}. 8

11 Peruskäsitteitä: Merkkijonot Merkkijono (eli sn) on äärellinen järjestetty jono jonkin kkoston merkkejä. Esim j 000 ovt binäärikkoston B merkkijonoj, j LAP j XYZZY ovt ltinlisen kkoston merkkijonoj. Merkintä Σ trkoitt kikkien niiden merkkijonojen joukko, jotk voidn muodost nnetun kkoston Σ eli merkkien merkeistä. Siis B = {ε, 0, 1, 00, 01, 10, 11, 000,... }. Tyhjä merkkijono ε ei sisällä yhtään merkkiä. (Huom! Eri si kuin välilyönti ). Merkkijonon x pituus x on siihen sisältyvien merkkien määrä. Esim = XYZZY = 5 j ε = 0. Merkkijonojen ktenointi j kääntäminen Ktentio on merkkijonojen kirjoittmist peräkkäin, esimerkiksi: jos x = 00 j y = 11, niin xy = 0011 j yx = 1100; kikill x on xε = εx = x; kikill x j y on xy = x + y. Toisto eli merkkijonon ktentio itsensä knss voidn merkitä potenssin: 3 = (b 2 ) 3 = (bb) 3 = bbbbbb. Itse siss merkintä (...) voidnkin luke toisto mielivltisen (mutt äärellisen) mont kert. Käänteismerkkijono x R Esim. (bbc) R = cbb. on merkkijono x kirjoitettun tkperin. 3.2 Päätösongelmt j formlit kielet Yleisesti lskennllinen ongelm π on kuvus eli funktio π : Σ Γ joss Σ j Γ ovt kkostoj: syötekkosto Σ on se joll kysymys, j tuloskkosto Γ on se joll vstus kirjoitetn. Päätösongelmt ovt lskennllisten ongelmien liluokk, joss kunkin ongelmn tpuksen vstus on kyllä ti ei. Formlisti päätösongelm on muoto π : Σ B. Intuitio: Yksinkertistetn mutkikst yleiskäsitettä tietokoneohjelm selliseksi, jok lukee syötteenä smns tekstitiedosto 9

12 Σ A π A 0 1 Kuv 3: Kielen A Σ päätös- eli tunnistusongelm π A. 2. käsittelee sitä (eräjon, siis omin päin keskustelemtt käyttäjän knss tms.) 3. tulost lopuksi vstuksenn kyllä ti ei. Esimerkiksi päätösongelm onko nnettu kymmenjärjestelmän luku lkuluku? voidn esittää syötekkoston Σ = {0, 1, 2,..., 9} kuvuksen π : Σ B { 1 jos merkkijonon x esittämä luku on lkuluku, π(x) = 0 jos ei. Yleisesti, jokist päätösongelm π : Σ B vst merkkijonojoukko A π = {x Σ π(x) = 1} eli niiden ongelmn tpusten joukko, joihin vstus on kyllä. Kääntäen, jokist merkkijonojoukko A Σ vst päätösongelm (kuv 3) { 1, jos x A; π A : Σ {0, 1}, π A (x) = 0, jos x / A. Tätä π A kutsutn joukon A krkteristiseksi funktioksi kosk se kertoo kuuluuko nnettu x Σ joukkoon A viko ei. Akkoston Σ (formli) kieli on mikä thns merkkijonojoukko A Σ Olemme kiinnostuneit siitä, kuuluuko nnettu merkkijono nnettuun merkkijonojoukkoon, eli kuuluuko nnettu sn nnettuun kieleen. Kielen A Σ tunnistusongelm on merkkijonojoukkoon A liittyvä päätösongelm π A : Tässä on merkkijono x Σ. Päteekö x A? Jtkoss käsittelemme vin päätösongelmi. Huom että tämä ei peritteess ole rjoitus, kosk monimutkisemmt kysymykset voi in pilkko joukoksi kyllä-ei -kysymyksiä... 10

13 Esimerkiksi monimutkisempi kysymys Mikä on lukujen x j y tulo? voidn pilkko kysymyksiin Onko lukujen x j y tulo = z viko ei? Esimerkki 2. Olkoon A kkoston {+,, 0, 1, 2,..., 9} kieli, jok koostuu yksinkertisist kokonislukuvkioist (esim. Jv-kielessä). Siis 0 A, A j 32 A, mutt A. Tämä kieli A on esimerkki säännöllisestä kielestä. Esimerkki 3. Olkoon B kkoston {+,,, (, ), 0, 1, 2,..., 9} kieli, jok koostuu lillisist kokonislukulusekkeist. Esim B j ( ) 4 5 B, mutt (1 + 2)) B j 3+ B. Tämä kieli B on esimerkki kontekstittomst kielestä. Esimerkki 4. Muodostukoon ASCII-kkoston kieli C niistä Jv-kielisistä ohjelmist, jotk tyhjällä syötetiedostoll joutuvt ikuiseen silmukkn. Kieli C on esimerkki rtkemttomst kielestä. Sitä siis ei void tunnist millään tietokoneohjelmll. Esimerkki 5. Kieli { k k N } on säännöllinen; kieli { k b k k N } on kontekstiton; kieli { k b k c k k N } on kontekstillinen (eli sen kuvminen vtii kontekstitont voimkkmmn kieliopin). Ongelmn vikeuden rviointi päätösongelmll Trkstelln mielivltist lskentongelm π: Syötteellä x, plut y = π(x) j vstv päätösongelm: Päteekö syötteellä (x, y), että y = π(x)? Tätä vst kielen tunnistmisen ongelm. L π = {(x, y) y = π(x)} Ongelm π voisi esim. oll neliöjuuren lskent π(x) = x ). (vikk lspäin pyöristäen, eli Tiedämmekö yleisesti jotin näiden välisestä suhteest? Jos lskentongelm π on rtkev, on sitä vstv päätösongelm myös rtkev: Syötteellä (x, y) voidn ensin lske z = π(x), minkä jälkeen riittää trkist onko z = y. Kääntäen: Jos päätösongelm ei ole rtkev, myöskään vstv lskentongelm ei ole rtkev. Lskentongelmn pluttminen päätösongelmn Toislt lskentongelmn voi rtkist soveltmll vstvn päätösongelmn rtkisu (M 3, kuv 4). Jos päätösongelm (komponentti M 3 ) on rtkev niin ongelmkin on rtkev helppo (josskin mielessä) niin ongelmkin on helppo (smss mielessä; inkin jos testttvi rtkisuehdokkit y ei ole liik). 11

14 input x M 1 M 3 Aset Onko y = 0 π(x) = y on M 4 Tulost rtkisu y ei Generoi seurv y M 2 Kuv 4: Lskentongelm päätösongelmn. Kurssin rtkevuustuloksi Erityisesti, jos kieli A kuuluu säännöllisiin kieliin, niin sen tunnistusongelm π A voidn rtkist helposti rkentmll sen rtkisev äärellinen utomtti; kontekstittomiin niin rkentmll pinoutomtti; rekursiivisiin niin rkentmll Turingin kone. Jos kieli A ei kuulu edes rekursiivisiin kieliin, niin sen π A ei ole rtkev linkn. Silloin se voi oll joko osittin rtkev eli voidn tehdä Turingin kone jok os vstt kyllä mutt ei -vstuksen sijst voi myös jäädä ikuiseen silmukkn, ti sitten vieläkin vikempi jolloin se ei enää ole tietojenkäsittelyn vn esimerkiksi mtemttisen logiikn ongelm. Päätösongelmien rtkisemisest käytännössä Käytännössä päätösongelmn rtkiseminen ei useinkn poikke pljon vstvn lskentongelmn rtkisemisest. Hrvoin esim. voidn tehdä päätöstä vikkp jonkin reitin olemssolost ilmn että löydetään sellinen (mikäli on olemss). Kurssill käsiteltäviin tunnistusmenetelmiin liitetään käytännössä yleensä myös muut lskent. Esimerkiksi tietokoneohjelmn syntksin trkistminen kontekstittomn kielen tunnistusongelm. Ohjelmn jäsennyksen yhteydessä kuitenkin yleensä myös tuotetn käännöksen kohdekoodi (ti siihen trvittvt tietorkenteet). Kielten vikeusluokt Chomskyn kielihierrki (kuv 5) määrittelee seurvt kielten vikeusluokt: Tyyppi 3: säännölliset kielet (erikoistpuksenn äärelliset kielet). 12

15 rtkemttomt ongelmt tyyppi 0: rjoittmttomt kielet rekursiivisesti lueteltvt kielet tunnistus: universli Turingin kone (pysähtyy "kyllä" tpuksess) rekursiiviset kielet tunnistus: Turingin kone + riittävän mittinen työnuh (pysähtyy in), RAM kone, ohjelmointikielet tyyppi 1: kontekstiset kielet tunnistus: Turingin kone + kohtuullisen (eli polynomisen) mittinen työnuh tyyppi 2: kontekstittomt kielet tunnistus: pinoutomtti tyyppi 3: säännölliset kielet; tunnistus: äärellinen utomttivkiomäärä muisti äärelliset kielet Kuv 5: Chomskyn kielihierrki. Tyyppi 2: kontekstittomt kielet (ti yhteysvpt ti yhteydettömät ). Tyyppi 1: kontekstilliset kielet (ti kontekstiset ti yhteyksiset ). Tyyppi 0: rjoittmttomt kielet = rekursiiviset j rekursiivisesti lueteltvt (ti rekursiivisesti numeroituvt ) kielet. Nom Chomsky on merkittävä kielitieteilijä. Niinpä hänen hierrkissn on vstv kieliopillinen näkökulm: esimerkiksi kontekstittomill kielillä on suor yhteys tietynlisiin formleihin kielioppeihin j kontekstillisillä kielillä sellisiin kielioppeihin, joiss huomioidn myös luseyhteys. Esimerkki 6. Joillekin yksinkertisille ohjelmointikielille (kuten Pscl) pätee Leksiklisesti oikeiden ( muodostuu oikeist snoist ) ohjelmien joukko voidn esittää säännöllisillä kielillä ( oikelle linerinen kielioppi ). Syntktisesti oikeiden ( snt järkevässä järjestyksessä ) ohjelmien joukko voidn esittää kontekstittomill kielillä. Kontekstilliset j rekursiiviset kielet eivät kuulu kurssin lueeseen, mutt näillä voitisiin kuvt ohjelmn suorittm lskent... Toislt kikkien ohjelmien joukko jotk rtkisevt jonkin ongelmn ei voi kuvt kieliopill. Rjoittmttomt kielet koostuvt rekursiivisist kielistä, joiden tunnistusongelm on rtkev 13

16 Lskennlliset ongelmt Kikki binäärijonot Σ={0,1} Päätösongelmt Lilliset konekieliohjelmt Rtkevt päätösongelmt Päätösongelmien rtkisuohjelmt Kuv 6: Lskennlliset ongelmt vs. ohjelmt. rekursiivisesti lueteltvist kielistä, joiden tunnistusongelm on osittin rtkev. Sellisell kielellä on ohjelm, jok tulost sen merkkijonot luettelon x 0, x 1, x 2, Lskennllisten ongelmien rtkevuus Läheskään kikki lskennllisi(kn) ongelmi ei void rtkist tietokoneell yksinkertisesti jo siksi, että ongelmi on ylinumeroituvn mont ( yhtä mont kuin relilukuj R ) mutt rtkisuohjelmi vin numeroituvn mont ( yhtä mont kuin luonnollisi lukuj N ). Perustelu Tietokoneohjelmt ovt merkkijonoj. 2. Minkä thns kkoston merkkijonojen joukko on numeroituv (luse 1). 3. Ongelmn rtkisevi tietokoneohjelmi on korkeintn numeroituv määrä. 4. Lskennllisi ongelmi on vähintään yhtä pljon kuin päätösongelmi. 5. Minkä thns kkoston päätösongelmien joukko on ylinumeroituv (luse 2). 6. Lskennllisi ongelmi on ylinumeroituvn mont. 7. Jokiselle lskennlliselle ongelmlle ei millään riitä sen rtkisev tietokoneohjelm. Akkoston merkkijonoj on numeroituv määrä Luse 1. Minkä thns kkoston Σ merkkijonojen joukko Σ on numeroituv. Todistus: Olkoon Σ = { 1, 2,..., n }. Kiinnitetään merkeille jokin kkosjärjestys, esim. 1 < 2 < < n. Joukon Σ merkkijonot voidn järjestää seurvsti (knoniseen järjestykseen): 14

17 1. Ensin luetelln 0:n mittiset merkkijonot (= ε), sitten 1:n (= 1, 2,..., n ), sitten 2:n (= 1 1, 1 2, 1 3,..., 1 n, 2 1, 2 2, 2 3,... ) jne. 2. Kunkin pituusryhmän sisällä merkkijonot luetelln kkosjärjestyksessä. Jokiseen merkkijonoon voidn siis liittää yksikäsitteinen luonnollinen luku, joten Σ on numeroituv. Kuvttu luonnollisten lukujen j merkkijonojen vstvuus luseess 1: 0 ɛ n n n n n 1 n 2n n 2 n. n 2 + n n n n 2 + n n 2 + n Päätösongelmi on ylinumeroituv määrä Luse 2. Minkä thns kkoston Σ päätösongelmien joukko on ylinumeroituv. Todistus: Merkitään kkoston Σ kikkien päätösongelmien kokoelm Π = {π π on kuvus Σ B}. Tehdään vstväite: Oletetn, että Π onkin numeroituv, eli että on olemss numerointi Π = {π 0, π 1, π 2,...}. Olkoot Σ :n merkkijonot knonisess järjestyksessä lueteltuin x 0, x 1, x 2,... Muodostetn uusi päätösongelm ˆπ: { 1, jos ˆπ : Σ πi (x B, ˆπ(x i ) = i ) = 0; 0, jos π i (x i ) = 1. Kosk oletuksen mukn ˆπ Π (kosk Π on kikkien päätösongelmien joukko), niin ˆπ = π k jollkin k N. Tällöin { 1, jos πk (x ˆπ(x k ) = k ) = ˆπ(x k ) = 0; 0, jos π k (x k ) = ˆπ(x k ) = 1. Tämä on ristiriit. Siis vstoletus, että joukko Π on numeroituv, on väärä. 15.

18 Todistus 2 kuvn: Ajtelln (ääretöntä) tulukko ongelmist π 0, π 1, π 2,... j merkkijonoist x 0, x 1, x 2,.... Ongelm ˆπ poikke kikist muist ongelmist π i tulukon digonlill, vikk i ksvisi äärettömään: ˆπ π 0 π 1 π 2 π 3 x x x x Suomeksi: ˆπ ei voi esiintyä tulukon millään srkkeell, joten päätösongelmi (j yleisemmin lskennllisi ongelmi) on ylinumeroituv määrä. (Eli ˆπ ero jokisest srkkeest inkin yhdessä koht.) Tämä todistustekniikk on ns. Cntorin digonlirgumentti, joll hän todisti, että relilukuj 0 x < 1 on idosti enemmän kuin luonnollisi lukuj. Käytännössä tämä merkitsee sitä, että kikist lskentongelmist voidn esimerkiksi Jv-ohjelmill rtkist vin häviävän pieni os: ylinumeroituvn joukon numeroituv osjoukko. Sm pätee kikill ohjelmointikielillä, sillä kikki riittävän vhvt ohjelmointikielet määrittävät täsmälleen smn rtkevien ongelmien luokn (ns. Churchin Turingin teesi; Tämä teesi pätee jop hypoteettisiin kvnttitietokoneisiin, vikk ne vikuttvtkin rtkisevn joitkin lskenttehtäviä oleellisesti tehokkmmin kuin muut lskentmllit.). Useimmt lskennlliset ongelmt ovt siis bsoluuttisesti rtkemttomi. Vlitettvsti rtkemttomt ongelmt käsittävät myös moni mielenkiintoisi / käytännöllisiä ongelmi, erityisesti pysähtymisongelmn: jos on nnettu ohjelm P j sen syöte w, niin pysähtyykö ohjelmn P lskent syötteellä w vi jääkö se ikuiseen silmukkn? (Tämä ongelm on kuitenkin osittin rtkev... ) Pysähtymisongelmn rtkemttomuus Näimme edellä, että vltos päätösongelmist on rtkemttomi lskemll, että niitä on pljon enemmän kuin rtkisulgoritmej. Osoitetn nyt yksi konkreettinen päätösongelm rtkemttomksi eli että rtkemttomuus on joidenkin oikeidenkin ongelmien piirre, eikä pelkkä mtemttinen ilmiö. 16

19 Kiinnitetään lskentmlliksemme vikkp C-ohjelmointikieli. Church Turingin teesin nojll sm pätee myös muillkin yhtä ilmisuvoimisill lskentmlleill. Pysähtymisongelmn C-kielinen tulkint on: Ei ole olemss totlist (in pysähtyvää) C-ohjelm, jok rtkisisi, pysähtyykö nnettu C-ohjelm P nnetull syötteellä w. Tehdään vstoletus, että voitisiinkin kirjoitt totlinen C-funktio bool h(chr p[],chr w[]) jonk syöteprmetrit ovt p: merkkijono, jok sisältää tutkittvn C-kielisen ohjelmn P lähdekoodin w: merkkijono, jok sisältää tutkittvn syötteen w j jonk tulos on true jos ohjelmn p suoritus syötteellä w pysähtyisi flse jos se jäisi ikuiseen silmukkn. Vstoletust käyttäen voitisiin kirjoitt toinen C-funktio void g(chr p[]){ if (h(p,p)) while (true); } jok siis pysähtyy täsmälleen silloin, kun C-lähdekoodi p ei pysähtyisi sdessn syötteenään omn itsensä. Olkoon q tämän funktion g lähdekoodi merkkijonon. Mitä tphtuu kutsuss g(q)? Sdn hluttu ristiriit: g(q) pysähtyy h(q,q) plutt flse g(q) ei pysähdykään! Niinpä tehty vstoletus ei pädekään. Tässä todistuksess istutetn ns. vlehtelijn prdoksi Tämä luse on vlhett! totuuden sijst lskennn pysähtymiseen. Sm ide käytti jo Kurt Gödel kuuluisiss epätäydellisyysluseissn istuttmll se totuuden sijst todistuvuuteen: Tällä väitteellä ei ole todistust! 17

20 4 Säännölliset kielet j äärelliset utomtit Äärellinen utomtti (engl. Finite (Stte) Automton, FSA (ti FA)) on hyvin yksinkertinen lskennn mlli (eli bstrkti lskentlite). Säännölliset kielet (engl. regulr lnguges) on se luokk lskentongelmi, jonk näin yksinkertisell litteell pystyy rtkisemn. Näillä on sovelluksi esim. tekstihuss j ohjelmien syötteiden tunnistmisess. Tvoitteet: oppi mitä ovt äärelliset utomtit j säännölliset lusekkeet j mikä on niiden välinen suhde muodostmn yksinkertisi äärellisiä utomttej j säännöllisiä lusekkeit (engl. regulr expressions) tekemään muunnoksi determinististen j epädeterminististen äärellisten utomttien j säännöllisten lusekkeiden välillä. osoittmn kieli joko säännölliseksi ti ei-säännölliseksi. Esimerkki 7. Khviutomtti, jok ei nn vihtorh, hyväksyy vin 50 sentin j yhden euron kolikoit j minimimksu on 2 euro. Millisi syötejonoj khviutomtti hyväksyy? Kelvollisi syötejonoj ovt esim. seurvt (yksikkönä snt): Ts. khviutomtti hyväksyy syötejonot, jotk ovt muoto 50 senttiä + 50 senttiä + 50 senttiä + 50 senttiä + [0 ti usempi 50 sentin ti 1 euron kolikoit] 1 euro + 1 euro + [0 ti usempi 50 sentin ti 1 euron kolikoit] 50 senttiä + 1 euro + 1 euro + [1 ti usempi 50 sentin ti 1 euron kolikoit] 1 euro + 50 senttiä + 50 senttiä + 1 euro + [1 ti usempi 50 sentin ti 1 euron kolikoit] jne... Khviutomtin toimint voidn kuvt äärellisenä utomttin. Automtin syötteitä ovt 50 sentin j 1 euron kolikot j utomtti hyväksyy syötejonon, jos siihen sisältyvien rhojen summ on vähintään 2 euro Automtti voidn esittää tilsiirtymäkvion (kuv 7). 18

21 50, 100 q q q , 100 q q 3 Kuv 7: Khviutomtti. Tämä kvio on suunnttu verkko jonk kret on pinotettu syötekkosill. Automtill on tiloj (5 kpplett), jotk on esitetty ympyröinä j nimetty q 0,... q 4, siirtymiä jotk on esitetty tilojen välisinä krin; kkosto jonk symboleill siirtymät on merkitty; lkutil (til q 0 ) jok on merkitty tyhjästä tulevll krell; j lopputil (til q 4 ) jok on rengstettu. Tilojen nimet ovt vpvlintisi, utomtin toimintn ne eivät vikut. Jokiseen kuvn 7 khviutomtin tiln liittyy se tilnne, johon syötetyt lntit ovt koneen settneet: q 0 : Asiks ei ole syöttänyt vielä yhtään rh lkutil(nne) joss lite on, kun siks tulee sen luo j lk syöttää siihen lnttejn q 1 : Asiks on syöttänyt tsn 50 senttiä rh. q 2 : Asiks on syöttänyt tsn 1 euro rh. q 3 : Asiks on syöttänyt tsn 1 euro 50 senttiä rh. q 4 : Asiks on syöttänyt vähintään 2 euro rh joten lite voi hyväksyä sneens trpeeksi rh, j ryhtyä nnostelemn khvi. Kun nnetn tehtäväksi suunnitell utomtti hyväksymään jonkin formlin kielen A Σ niin knntt miettiä 1. ensiksi mitä tilnteit utomtin pitää muist, jott se voisi tehdä oiken päätöksen siitä, kuuluuko sen nykyinen syöte x Σ kieleen A viko ei. Näin sdn utomttiin trvittvt tilt. Kuvn 7 khviutomtiss muistetn tähän mennessä syötetty rhsumm. 2. toiseksi miten näiden tilnteiden välillä siirrytään, kun syötettä x luetn merkki merkiltä. Näin sdn utomttiin trvittvt siirtymät. Kuvn 7 khviutomtiss jokinen lntti on om merkkinsä, j se vie nykyisestä rhsummst seurvn. 19

22 q Til q q 0 Alkutil Lopputil eli hyväksyvä til q q Tilsiirtymä δ(q, ) = q Kuv 8: Tilsiirtymäkvion merkinnät. 4.1 Äärellisen utomtin esitystpoj Tilsiirtymäkvion eli kuvien 7 j 8 mukisen piirroksen. Tilsiirtymätulukkon joss jokisell tilll on om rivinsä jokisell syötekkosell on om srkkeens tiln p srke c ilmoitt tiln (eli rivin) jonne siirrytään tilst p merkillä c. Kuvn 7 khviutomtin tilsiirtymätulukko: 50 snt 1 euro q 0 q 1 q 2 q 1 q 2 q 3 q 2 q 3 q 4 q 3 q 4 q 4 q 4 q 4 q 4 50, 100 q q q , 100 q q 3 Esimerkki 8. Etumerkillisen kokonisluvun tunnistminen. Tilsiirtymäkvion (joss d = {0, 1,..., 9} ovt 10-järjestelmän lukumerkit): 20

23 d +, d q 0 q 1 q 2 d Tilsiirtymätulukkon: d +, q 0 q 2 q 1 q 1 q 2 q 2 q 2 Tulukon puuttuvt kohdt vstvt virhetil Error. Tehtävä 1. C-kielessä 0-lkuiset luvut tulkitn oktliluvuiksi (jolloin merkkejä 8 j 9 ei sllit linkn), j lkuiset 10-kntisiksi luvuiksi. Muut esimerkin 8 utomtti siten, että nämä tpukset erotelln, eli että ne johtvt eri hyväksyviin tiloihin. Tehtävä 2. (Jtko tehtävään 1.) C-kielessä 0x-lkuiset luvut tulkitn heksdesimliluvuiksi. Ot tämäkin huomioon. Ohjelmn (esim. C:llä): int q=0; int c; while ((c=fgetc(stdin))!= EOF) switch (q) { cse 0: if (c== + c== - ) q=1; else if (isdigit(c)) q=2; else q=3; brek; cse 1: if (isdigit(c)) q=2; else q=3; brek; cse 2: if (isdigit(c)) q=2; else q=3; brek; cse 3: brek; } Esimerkki 9. C-kielen etumerkittömän liukulukuvkion tunnistus: d. E, e +,

24 1. d 2 3. d e,e 4 d e,e 5 d 7 d d +, 6 d 4.2 Äärellisen utomtin formli määrittely Äärellinen utomtti M koostuu seurvist osist: ohjusyksiköstä joss on äärellinen määrä tiloj j jonk toimint ohj utomtin siirtymäfunktio δ syötenuhst jok on jettu yhden syötemerkin kokoisiin pikkoihin. nuhpäästä jok kullkin hetkellä osoitt yhtä syötenuhn merkkipikk. i n p u t q 1 q 2 q 0 δ Automtin toimint Automtti käynnistetään erityisessä lkutilss q 0, siten että trksteltv syöte on kirjoitettun syötenuhlle j nuhpää osoitt sen ensimmäistä merkkiä. Yhdessä toimint-skeless utomtti lukee nuhpään kohdll olevn syötemerkin, päättää ohjusyksikön tiln j luetun merkin perusteell siirtymäfunktion mukisesti ohjusyksikön uudest tilst, j siirtää nuhpäätä yhden merkin eteenpäin. 22

25 Automtti pysähtyy, kun viimeinen syötemerkki on käsitelty. Jos ohjusyksikön til tällöin kuuluu erityiseen (hyväksyvien) lopputilojen joukkoon, niin utomtti hyväksyy syötteen, muuten hylkää sen. Automtin tunnistm kieli on sen hyväksymien merkkijonojen joukko. Määritelmä 1. Äärellinen utomtti on viisikko M = (Q, Σ, δ, q 0, F ), missä Q on utomtin tilojen äärellinen joukko; Σ on utomtin syötekkosto; δ : Q Σ Q on utomtin siirtymäfunktio; q 0 Q on utomtin lkutil; F Q on utomtin hyväksyvien tilojen joukko. Siirtymäfunktio δ on määritelmän 1 kiinnostvin os. Intuitiivisesti: Jos utomtti on nyt tilss q j seurvksi tulee merkki c niin silloin siirrytään tiln δ(q, c), eli siihen jonk siirtymäfunktio ilmoitt. Toisin snoen: Siirtymäfunktion rvo δ(q, c) = tilsiirtymätulukon sisältö sen rivillä q j srkkeell c. Esimerkki 10. Kokonislukuutomtin (esimerkki 8) formli esitys on joss δ on kuten tulukoss; esim. M = ({q 0, q 1, q 2, error}, {0, 1,..., 9, +, }, δ, q 0, {q 2 }), jne. δ(q 0, 0) = δ(q 0, 1) = δ(q 0, 2) = = δ(q 0, 9) = q 2 δ(q 0, +) = δ(q 0, ) = q 1 δ(q 1, +) = δ(q 1, ) = error Automtin lskennn mtemttinen esitys Automtin tilnne on pri (q, w) Q Σ joss q = utomtin nykyinen til w = syötemerkkijonon vielä käsittelemätön loppuos. Erityisesti utomtin lkutilnne syötteellä x on pri (q 0, x) joss q 0 on utomtin lkutil. Tilnne (q, cw), joss c Σ on seurv syötemerkki, joht suorn tilnteeseen (δ(q, c), w). Tätä merkitään lyhyesti (q, cw) (δ(q, c), w). 23

26 Tilnne (q, w) joht tilnteeseen (q, w ) jos on olemss tilnnejono (q 0, w 0 ) (q 1, w 1 ) (q 2, w 2 ) (q 3, w 3 ) (q n, w n ) missä (q 0, w 0 ) = (q, w) j (q n, w n ) = (q, w ) (jollkin n N). Tätä merkitään lyhyesti (q, w) (q, w ). Jos hlutn merkitä näkyviin minkä utomtin M tilnnejonoist on kyse, niin voidn käyttää lindeksiä: siis M j M. Automtti M hyväksyy syötemerkkijonon x Σ, jos j muuten hylkää sen. (q 0, x) (q f, ε) jollin q f F Toisin snoen, utomtti M hyväksyy syötteen x, jos sen vstv lkutilnne (q 0, x) joht johonkin hyväksyvään lopputilnteeseen, joss koko syöte on luettu. Vstv tilnnejono (q 0, x) M (q, ε) kutsutn utomtin M lskennksi syötteellä x. Se on siis hyväksyvä lskent jos lopputil q F j hylkäävä jos q F. Vihtoehtoisesti voidn ljent siirtymäfunktion δ yksittäisiltä merkeiltä Σ kokonisille merkkijonoille w Σ (j niin teemmekin jtkoss): δ (q, w) = q silloin kun (q, w) (q, ε). (1) Siis δ (q, w) on se til, johon päästään loittmll tilst q j lukemll merkkijono w loppuun skk. Erityisesti δ (q, ε) = q j δ (q, ) = δ(q, ), kun Σ. Automtti siis hyväksyy merkkijonon w, jos δ (q 0, w) F. Tämä on helppo määritellä myös rekursiivisesti: { δ q jos w = ε (q, w) = δ (δ(q, ), v) jos w = v joss Σ Tästä sdn suorn rekursiivinen lgoritmi, jonk rekursio on niin yksinkertist (ns. häntärekursiot), että se on helppo toteutt while-silmukkn. 4.3 Säännöllinen kieli Automtti M tunnist kielen { } L(M) = x Σ (q 0, x) (q f, ε) jollkin q f F M = {x Σ δ (q 0, x) F } eli niiden merkkijonojen x joukon, jotk M hyväksyy. Snomme, että kieli A on säännöllinen, jos jokin äärellinen utomtti tunnist sen, ts. A = L(M) jollin M. 24

27 Huom, että säännöllisyys on kielen, eli merkkijonojoukon ominisuus, ei yksittäisen merkkijonon. Ei ole mielekästä kysyä yksittäisestä merkkijonost, onko se säännöllinen. (Mistä thns merkkijonost w Σ voidn toki muodost yksilkioinen kieli {w} Σ, jok on selvästi säännöllinen.) Esimerkki 11. Merkkijonon hyväksyminen esimerkin 8 (s. 20) kokonislukuutomtill: (q 0, +1210) (q 1, 1210) (q 2, 210) (q 2, 10) (q 2, 0) (q 2, ε) Nyt jäätiin hyväksyvään lopputiln q 2 eli L(M). Littomn merkkijonon lskent onkin hylkäävä: (q 0, ) (q 2, ) (q 2, + 10) (error, 10) eli päädyttiin virhetiln error eli L(M). Äärelliseen utomttiin voidn helposti lisätä muutkin tulostust j toimintoj kuin pelkkä hyväksyminen ti hylkääminen. Nämä ovt pelkkiä sivuvikutuksi eivätkä ne vikut utomtin toimintn siihen, miten se vlitsee tilsiirtymänsä ti jos ne vikuttvt, niin silloin kyseessä ei enää olekn äärellinen utomtti, vn jokin muu sitä vhvempi lskennn mlli. Tälliset modifiktiot eivät tämän kurssin knnlt tuo mitään kovin oleellist uutt sin. Muiss yhteyksissä ne voivt kuitenkin oll hyvinkin hyödyllisiä. Esimerkki 12. Lisätään esimerkin 8 etumerkillisen kokonisluvun tunnistmiseen toiminto, jok lskee luvun rvon muuttujn vlue eli muunt syötemerkkijonon sitä vstvksi kokonisluvuksi. int q=0; int c; int sign=1; int vlue=0; while ((c=fgetc(stdin))!= EOF) switch (q) { cse 0: if (c== + ) q=1; else if (c== - ) { q=1; sign=-1; } else if (isdigit(c)) { q=2; vlue=c- 0 ; } else q=3; brek; cse 1: if (isdigit(c)) { q=2; vlue=sign*(c- 0 ); } else q=3; brek; cse 2: if (isdigit(c)) { q=2; vlue=10*vlue+sign*(c- 0 ); } else q=3; brek; cse 3: brek; } 25

28 Sivuhuomutus: Äärellisen utomtin tämän tpinen formlimpi ljennus on nimeltään äärellinen trnsduktori (finite stte trnsducer). Tässä jokiseen tiln liittyy pitsi yhden syötemerkin lukeminen, niin myös yhden (ti usemmn) tulostemerkin kirjoittminen erilliselle tulostenuhlle (ti syötteen päälle). Ohjelmointikielten kääntämisessä ensimmäinen vihe on leksiklinen nlyysi eli selus. Trkoituksen on poimi j erotell ohjelmn lähdekoodist erityyppiset lkiot, kuten kokonislukuvkiot (rvoineen), vrtut snt (if, else, while, jne.), muuttujien nimet, jne. Siis esimerkiksi nähtyään merkit for tällinen selin lukee vielä yhden merkin c eteenpäin. Jos tämä c on jokin muuttujn nimessä sllittu merkki, niin se tietää kokovns nyt muuttujn nimeä muoto forc... ; muuten se tietääkin löytäneensä vrtun snn for j tämä c kuuluukin seurvn lkioon. Selin voidn toteutt (j usein toteutetn) yhtenä äärellisenä trnsduktorin, jok lukee lähdekooditiedosto merkki merkiltä j nähtyään jonkin kokonisen lkion tulost vstvn tiedon. Selint ei kuitenkn (yleensä) koodt käsin, vn sen koodi voidn tuott utomttisesti ohjelmointikielen kuvuksest jollin sopivll työklull (esim. lex j sen GNU-versio flex), jok myös voi utomttisesti liittää hyväksyviin tiloihin käyttäjän määrittelemän toimintokoodin (tulostuksen yms.). fredriks@cs ~$ ct ex.lex %{ #include <stdio.h> %} %option noyywrp %% [0-9]+ { printf("kokonisluku: %s\n",yytext); } lp { printf("lap!\n"); } /* Tunnistetn "lp" */. { } /* Sivuutetn muu */ %% int min(void) { yylex(); return 0; } fredriks@cs ~$ flex ex.lex fredriks@cs ~$ gcc lex.yy.c -o foo fredriks@cs ~$./foo bc123def456lpxxxxx Kokonisluku: 123 Kokonisluku: 456 LAP! Tehtävä 3. Tee prnneltu versio esimerkin 7 khviutomtist: utomtti hyväksyy vin tsrhn, mutt lisäksi siihen on lisätty sellinen peruutusnppi, jok plutt kikki syötetyt kolikot (ntmtt khvi). Tehtävä 4. Ldi kkoston Σ = {, b} äärellinen utomtti jok tunnist kielen {w w sisältää täsmälleen kksi :t}. Tehtävä 5. Edellisen komplementti: ldi äärellinen utomtti jok tunnist kielen {w w ei sisällä täsmälleen kht :t}. 26

29 Tehtävä 6. Ldi utomtti kielelle: {w w ei muodostu pelkästä :st ti b:stä} Tehtävä 7. Ldi utomtti kielelle: {w w ei sisällä jono b} Tehtävä 8. Osoit että kieli {(b) n n > 0} on säännöllinen. Tehtävä 9. Trkstelln kieltä, jok koostuu niistä merkkijonoist, joiss jokinen priton (eli ensimmäinen, kolms, viides,... ) merkki on. Osoit, että se on säännöllinen. Tehtävä 10. Ldi äärellinen utomtti, jok tunnist kielen L = {0 n 1 m n, m N} {1 n 0 m n, m N}. 4.4 Äärellisen utomtin lskentvoimst Kieli L 1 = {0 n 1 m n, m N} on helppo tunnist äärellisellä utomtill, eli se on säännöllinen. Äärellinen utomtti on hyvin rjoittunut lskennn mlli. Vikkp niinkin yksinkertinen kieli kuin L 2 = {0 n 1 n n N} (eli merkkijonot joiss on ensin jono nolli j sitten smn verrn ykkösiä) ei olekn säännöllinen! (Tähän pltn.) Mikä on se perustv ero näiden kielten välillä, jok tekee toisest helpon j toisest mhdottomn tunnist äärellisellä utomtill? Intuitiivisesti, kielen L 1 = {0 n 1 m n, m N} tunnistminen vtii vin vkiomäärän muisti. Kieli L 1 = merkkijonot joss on ensin pelkkiä nolli j sitten pelkkiä ykkösiä. Siis niiden lukumäärällä ei ole väliä, j riittää muist mikä oli edellinen merkki (til). Toislt, kielen L 2 = {0 n 1 n n N} tunnistmiseen ei riitäkään vkiomäärä muisti. L 2 = merkkijonot joss on ensin jokin määrä n nolli j sitten yhtä mont ykköstä. Tässä tämä yhteinen n voi oll kuink suuri thns sehän riippuu syötteen pituudest. Äärellinen utomtti -prk ehtii unoht montko noll se on nähnyt ennen kuin ykköset lkvt, kun n on riittävän suuri. Formlisoimme tämän myöhemmin niin snottun pumppuslemmn. Toislt ominisuutt vkiomäärä muisti käyttävät kikki utomttimme, esim. khviutomttimme esimerkissä 7 muist syötetyn kokonisrhsummn, jos se on < 200 senttiä. Muuten se muist vin että syötetty summ on 200 senttiä. Eli se muist vin äärellisen mont eri vihtoehto. 27

30 Esimerkki 13. Tunnistetn binäärijonot, joiden toiseksi viimeinen merkki on noll: 0?? ? ? Automtti muist kksi viimeistä lukemns bittiä. Tilt on nimetty näiden mukn: tilss 01 viimeisin luettu bitti oli 1 j edeltävä oli 0. Akkostot Akkosto Σ voidn määritellä vrsin vpsti j sovellukseen sopivksi. Esim. ti Γ = {omen,päärynä,ppelsiini} Σ = {[ ], [ ], [ ], [ ],..., [ ]}. Akkoston Σ muodostvt siis kolmebittiset binäärivektorit; Σ = 2 3 = 8. Akkoston Σ syötteitä voidn kutsu kolmiurisiksi. Esimerkiksi 4-merkkisessä syötteessä [ ] [ voidn mieltää kolme rinnkkist ur: 28 ] [ ] [ ]

31 ylin ur joll on 0100, keskimmäinen ur joll on 0001, j lin ur joll on Automtti lukee näitä uri smn thtiin rinnkkin, sillähän on vin yksi lukupää. Tehtävä 11. Jono kkoston Σ symbolej määrittelee kolme riviä ykkösiä j nolli. Tulkitn nämä binäärilukuin, joiss eniten merkitsevä bitti on oikell. Olkoon L = {w Σ lin rivi on khden ylemmän rivin summ} Esimerkiksi eli [ ] [ ] [ ] L mutt [ ] [ ] L Osoit että tämä kieli L on säännöllinen. Rtkisu: = 4 mutt Todistetn kieli (määritelmän mukn) säännölliseksi osoittmll, että sillä on sen tunnistv äärellinen utomtti: A D B 0 1 C A = {[ D = {[ ] ], [ 1 0 1, [ ] ], [ 0 1 1, [ ]} ]} B = {[ C = {[ ]} ]} Tiln nimi = muistibitin (crry bit) rvo. Siirtymä suoritetn, kun muistibitin + ylimmän urn bitin + keskiurn bitin summss vähemmän merkitsevä bitti = limmn urn bitti, j enemmän merkitsevä bitti = seurv muistibitti eli kohdetil. 29

32 Tehtävä 12. Olkoon Σ = {[ 0 0 ], [ 0 1 ], [ 1 0 ], [ 1 1 Jono kkoston Σ symbolej määrittelee kksi ur ykkösiä j nolli. Tulkitn nämä binäärilukuin, joiss eniten merkitsevä bitti on oikell. Olkoon ]}. L = {w Σ lin rivi on kolme kert ylin rivi} Esimerkiksi [ 1 1 ] [ 0 1 ] [ 1 1 ] [ 1 0 ] [ 0 0 ] [ 0 1 ] L j [ 1 1 ] [ 0 1 ] L eli Osoit että tämä kieli L on säännöllinen. Rtkisu: 13 3 = 39 j 1 3 = 3. Smn tpn kuin edellinen tehtävä, mutt nyt muistibittejä voi oll kksi: = 0, 1 3 = 3 = (11) 2, eli tulokseen tulee 1 j muistiin litetn 1. Jos muistiss on 1, j lsketn 0 3, tulokseksi tulee 1 (muistist), jos ts 1 3, tulos on 4 = (100) 2, joten tulosbitti on 0 j muistiin jää 10, jne... Tämän (j edellisen) tehtävän rtkisu tunnist kuuluuko syöte kieleen. Jos hluisi oikesti tehdä yhteenlskukoneen (ti syötteen vkioll kertovn koneen), niin rtkisu voidn helposti muutt trnsduktoriksi, jonk syötteenä luettisiin vin ylintä (j keskimmäistä) ur, j tulosteen kirjoitettisiin lint ur. (Khden syöteluvun kertolsku ei kuitenkn voine toteutt äärellisenä utomttin.) Jos ei käytettäisikään ur-kkosto, vn kkoston olisikin Σ = {0, 1, +, =}, niin kieli L = {x + y = z x, y j z ovt binäärilukuj j luku z on lukujen x j y summ} ei olekn säännöllinen: jos x j y ovt trpeeksi suuri lukuj, niin äärellinen utomtti ehtii unoht ne lukiessn syötettä. 30

33 4.5 Sovelluksist Äärelliset utomtit sellisenn ovt hyödyllisiä merkkijonojen käsittelyssä, mistä myöhemmin lisää... Lisäämällä tilsiirtymiin stunnisuutt sdn Mrkovin ketjut eli stunnisprosessit, joill on äärellinen muisti. Perusversioss Mrkovin ketjuihin ei tosin liity mitään syötettä. Mrkovin piilomllit (hidden Mrkov models) ovt lähempänä tässä esitettyjä äärellisiä utomttej. Tilsiirtymäjärjestelmiä käytetään (etenkin hjutettujen järjestelmien) spesifioinniss j verifioinniss. Sovellus: viestinvälitysprotokollt Erilisi protokolli voidn kuvt äärellisinä utomttein ti tilkonein. Trkstelln yksikertist vuorottelevn bitin protokoll, joss lähettäjäprosessi S j vstnottjprosessi R kommunikoivt. S lähettää pkettej d 0, d 1, d 2,.... Pketti voi hukku mtkll (kuten kuvss d 1 ). R kuitt sdun pketin (viestillään ) j S lähettää seurvn pketin lähetetään vst kun on snut edellisestä kuittuksen. Jos kuittust ei kuulu sovituss jss, niin pketti lähetään uudestn: S timeout d 0 d 1 d 1 d 2 R Ongelm: Jos kuittus hukkuu, niin R voi sd duplikttiviestin: S timeout d 0 d 1 d 1 d 2 R Rtkisu 1: Numeroidn viestit j kuittukset: timeout S d 0, 0 d 1, 1 d 1, 1 d 2, 2 R, 0, 1, 1, 2 31

34 Mutt tällöin trvittisiin yhä suurempi j suurempi numeroit 0, 1, 2... Protokolln prnnus Riittää käyttää kht numero (0 j 1 prillinen/priton viesti ): timeout S d 0, 0 d 1, 1 d 1, 1 d 2, 0 R, 0, 1, 1, 0 S j R voidn mllint tilsiirtymäjärjestelminä: Vuorottelevn bitin protokoll tilkonein lähettäjä S, 1 vstnottj R, 1 d, 1 timeout timeout d, 0 d, 1 d, 1 d, 0 d, 1 d, 0, 0 d, 0, 0 Jos S ei s joiss symboli, niin se lukee sen sijn timeout-symbolin. 4.6 Epädeterministiset äärelliset utomtit Epädeterminismi trkoitt, ettei koskn trvitse myöntää olevns väärässä. Anon. Epädeterministisellä utomtill siirtymäfunktio δ liittää nykyisen tiln j syötemerkin priin (q, x) äärellisen joukon vihtoehtoisi seurvi tiloj. Epädeterministinen utomtti hyväksyy merkkijonon x jos sille on olemss jokin hyväksyvä lskent. Siis se hylkää merkkijonon x vin jos kikki sen lskennt ovt hylkääviä. Ihn loogisesti: kosk niin kääntäen x hyväksytään sille on jokin hyväksyvä lskent x hylätään ei niin, että sille olisi jokin hyväksyvä lskent sen kikki lskennt hylkäävät. 32

35 Esimerkiksi epädeterministinen utomtti b q 0 q 1 q 2 q 3 b b hyväksyy syötemerkkijonon bbb, kosk sillä on hyväksyvä lskent (q 0, bbb) (q 0, bbb) (q 0, bb) (q 0, b) (q 1, b) (q 2, ) (q 3, ε). Sillä on myös hylkääviä lskentoj kuten (q 0, bbb) (q 0, bbb) (q 0, bb) (q 0, b) (q 0, b) (q 0, ) (q 0, ε) mutt niitä ei siis otet huomioon. Determinismi vs. epädeterminismi Deterministisessä utomtiss siirtymä trkoitt, että nykyisestä tilst mennään in kohdetiln sen δ(q, ). Epädeterministisessä utomtiss siirtymä r δ(q, ) trkoittkin, että tilst q syötemerkillä on mhdollist mennä tiln r. Mutt voi oll muitkin mhdollisuuksi s δ(q, ). Deterministinen utomtti hyväksyy, jos se ino mhdollinen lopputilnne on hyväksyvä. Epädeterministinen utomtti hyväksyy, jos on mhdollist päätyä hyväksyvään lopputilnteeseen. Eli jos on jokin tp vlit in sopivsti nykyiselle tillle q i seurv til q i+1 δ(q i, i ) siten, että syötteen n loputtu olln josskin hyväksyvässä tilss q n. Tämä näyttää epäilyttävän epämekniselt: miten nykyisessä tilss q i voitisiin ost tehdä juuri oike vlint näkemättä syötteen loppuos i+1 i+2 i+3... n? Epädeterminismillä onkin erilisi tulkintoj, kuten: Spesifiktion, joss kuvilln minkäliset merkkijonot pitäisi hyväksyä, kertomtt trksti miten niiden hyväksyntä etenisi skel skeleelt. Etsintänä, joss on opertio etsi reitti tästä tilnteest johonkin hyväksyvään lopputilnteeseen. Tämä voitisiin meknisoid vikkp TRA-kurssin keinoin syvyyssuuntisen etsintänä kikkien tilnteiden verkost: 33

36 DFS(q, x) : 1 if merkkijono x = ε 2 then return onko til q hyväksyvä viko hylkäävä 3 else olkoon x = y joss Σ j y Σ 4 for ech r δ(q, ) 5 do if DFS(r, y) 6 then return true 7 return flse Epädeterministinen utomtti M = (..., q 0, F ) hyväksyy syötteen w jos kutsu DFS(q 0, w) plutt rvon true. Rinnkkisuuten, joss epädeterministinen utomtti seur mhdollisi lskentojn rinnkkin: Deterministinen lskent Epädeterministinen lskent hyväksy ti hylkää hyväksy hylkää Epädeterministiset lskennt muodostvt siis kokonisen lskentpuun, jonk hrt vstvt eri vlintkohti. Ilmisen neuvon. Epädeterministisen utomtin voidn jtell svn jokisess vlinttilnteessn Mihinköhän seurvist mhdollisist tiloist δ(q, ) minun knnttisi siirtyä? jostkin ulkopuolelt vstuksen Siirry tiln r, luot minuun! Silloin utomtin itsensä tehtäväksi jää vin vrment että sen smt neuvot olivt oikein. Ti jos jtelln etsintää, niin utomtti ei itse joudu tekemään rskst työtä, vn työn tekee neuvonntj j utomtti s työn tulokset ilmiseksi. Tämän tulkint tulee erityisen kiinnostvksi silloin kun trkstelln utomttej vhvempi lskentmllej mutt rjoitetn niille nnettvien resurssien määrää esimerkiksi P? = NP-ongelm s silloin tulkinnn jos jokin vstus voidn vrment nopesti, niin voisiko sen myös lske nopesti ilmn neuvojkin?. 34

37 0 b b ε b Kuv 9: Epädeterministinen utomtti joss on siirtymä tyhjällä merkkijonoll. Tärkeä tulos Deterministiset ( Deterministic Finite Automt, DFA) j epädeterministiset (Nondeterministic Finite Automt, NFA) utomtit tunnistvt täsmälleen smt kielet (eli säännölliset kielet). DFA j NFA ovt ilmisuvoimltn yhtä vhvoj lskennn mllej niillä voidn hyväksyä smt kielet. Epädeterminismiä käyttämällä kielen esitystä voidn kuitenkin usein selkeyttää j yksinkertist. Epädeterministisessä utomtiss sllitn myös ε-siirtymiä kuten kuvss 9. Tällisen ε-siirtymän kuten 1 ε 2 tulkint on, että sitä pitkin pääsee tilst 1 tiln 2 lukemtt yhtään syötemerkkiä. 0 Esimerkkinä kuvn 9 utomtti j syöte bbb Vknuolet kuvvt ε-siirtymiä, joiss ei siis luet syötettä. Automtti hyväksyy syötteen, kosk sillä on kksikin hyväksyvää lskent. b b b Seurv NFA hyväksyy kkoston {, b, c} merkkijonot, joiss on osjonon ensin bb j sen jälkeen c ti c. Huom konstruktion modulrisuus: ε-siirtymien vull utomtti voidn muodost helposti osrtktkisuist 35

38 ,b,c,b,c ε "bb moduuli" b b "mitä thns moduuli" ε ε "c moduuli" c ε,b,c ε c ε "c moduuli" Määritelmä 2. Epädeterministinen äärellinen utomtti on viisikko M = (Q, Σ, δ, q 0, F ) joss Q on äärellinen tilojen joukko, Σ on äärellinen syötekkosto, δ : Q Σ P(Q) on joukkorvoinen siirtymäfunktio siis sen rvot δ(q, ) Q ovt tiljoukon Q osjoukkoj q 0 Q on lkutil j F Q hyväksyvien lopputilojen joukko. Muist: Mtemtiikss merkintä P(S) (joskus myös 2 S ) trkoitt joukon S potenssijoukko {X X S} eli kikkien niiden joukkojen X joukko, jotk voidn muodost joukon S lkioist. Esimerkiksi Esimerkki 14. P({,, }) = {, { }, { }, { }, {, }, {, }, {, }, {,, }}. b q 0 q 1 q 2 q 3 b b b q 0 {q 0, q 1 } {q 0 } q 1 {q 2 } q 2 {q 3 } q 3 {q 3 } {q 3 } Nyt virhetilnne on helposti ilmistviss tyhjän seurjtiljoukon vull. Siirtymätulukoss voidn jättää joukkosulut poiskin: siis joukko {q 0, q 1 } voidn merkitä myös suorn sen lkioiden listn q 0, q 1. Tilnne (q, w) voi joht suorn tilnteeseen (q, w ), jot merkitään smoin kuin ennen eli (q, w) (q, w ), jos w = w j q δ(q, ). Silloin (q, w ) on tilnteen (q, w) M mhdollinen välitön seurj. Muutoin määritelmät epädeterministisille utomteille ovt smt kuin iemmin. 36

39 Tärkeän tuloksemme DFA NFA perustelu : Selvästikin deterministiset utomtit ovt epädeterminististen erikoistpus joss in δ(q, ) 1. Siten kikki edellisillä tunnistettvt kielet ovt tunnistettviss myös jälkimmäisillä. : Mutt myös kääntäen (j tämä on se yllättävämpi j vikempi suunt): Jokiselle epädeterministiselle utomtille M on olemss smn kielen tunnistv deterministinen utomtti M. Tämä osoitetn myöhemmin kehittämällä menetelmä, joll syötteenä sdust utomtist M voidn muodost sitä vstv M eli menetelmä determinisoid M. Tehtävä 13. Ldi sellinen kkoston Σ = {, b} epädeterministinen utomtti, jok hyväksyy täsmälleen ne merkkijonot, joiss esiintyy sekä merkkijono bb että merkkijono bb. Huom, että nämä esiintymät svt oll päällekkäinkin: siis esimerkiksi merkkijono bbbbbb hyväksytään, kosk siinä on lle- j ylleviivuksell merkityt esiintymät. Tehtävä 14. Ldi deterministinen utomtti edellisen tehtävän 13 kielelle. 37

40 Epädeterministisen utomtin simulointi Pltn iempn esimerkkiin kuvss 9. Kirjoitetn lgoritmi, jok käy läpi lskentpuut leveyssuuntisesti. Algoritmi pitää muuttujss NykyisetTilt list niistä tiloist, joiss se tällä hetkellä voisi oll (lskentpuun tso). Kullkin skeleell sitä päivitetään lskemll 1. stu syötemerkkiä vstvt seurjtilt j 2. ne tilt, joihin niistä päästään ε- siirtymillä. 0 b b ε b 0 0 b b b Tiljoukon R Q ε-sulkeum E(R) koostuu niistä tiloist, joihin tiljoukost R pääsee ε-kri pitkin. Siis R E(R) kosk jokisest tilst pääsee suorn itseensä ilmn yhtään (edes ε-)siirtymää, j jos tilst s E(R) on ε-siirtymä s ε t niin myös sen kohdetil t E(R). Muut sitten ei kuulukn joukkoon E(R). 38

41 SimulteNFA(M, syöte): 1 NykyisetTilt E(q 0 ) // lkutiln ε-sulkeum 2 while syötettä on yhä jäljellä 3 do lue seurv syötemerkki 4 SeurjTilt 5 for q NykyisetTilt 6 do SeurjTilt SeurjTilt δ M (q, ) 7 SeurjTilt E(SeurjTilt) 8 NykyisetTilt SeurjTilt 9 return F NykyisetTilt // onko svutettu joku lopputil? Algoritmi SimulteNFA tulkk epädeterministisen lskennn deterministiseksi. Yksittäinen syötemerkki käsitellään (phimmss tpuksess) jss O( Q 2 ). Tästä tulkkuksest päästään eroon kääntämällä, eli muodostmll deterministinen utomtti, jok tunnist smn kielen. Menetelmä muodost DFA:n siirtymätulukon siis etukäteen. Muuttujn NykyisetTilt rvot kuuluvt potenssijoukkoon P(Q). Siten sillä on korkeintn P(Q) = 2 Q mhdollist rvo joten voimme muodost äärellisen DFA:n littmll kukin mhdollinen NykyisetTiltrvo omksi tilkseen j siirtymät kuten SimulteNFA ne lskisi. Siis muodostmme NFA:st M DFA:n M seurvsti: Akkosto on molemmill sm Σ. Tiljoukko Q cm = P(Q M ). Siirtymäfunktio koostuu siirtymistä NykyisetTilt SeurjTilt joss nämä muuttujt NykyisetTilt, j SeurjTilt ovt kuten tulkkilgoritmin SimulteNFA riveillä 4 7. Eli kun nnetn til NykyisetTilt Q cm ( P(Q M )), niin käydään läpi jokinen Σ, j lsketn sille vstv SeurjTilt P(Q M ) ( Q cm ). Alkutil on kuten sen rivillä 1: E(q 0 ), missä q 0 on NFA:n M lkutil. Hyväksyvät tilt ovt kuten sen rivillä 9: ne tilt, joihin sisältyy inkin yksi NFA:n M lopputil. 39

42 1 Alust tulos M sisältämään lkutil nimeltä E(NFA:n M lkutil q 0 ) ilmn yhtään krt, j merkitse se uudeksi 2 while tuloksess M on uusi tiloj 3 do NykyisetTilt ot jokin niistä j merkitse se vnhksi 4 if joukkoon NykyisetTilt kuuluu inkin yksi epädeterministisen utomtin M hyväksyvä til 5 then merkitse NykyisetTilt hyväksyväksi tilksi 6 else merkitse NykyisetTilt hylkääväksi tilksi 7 for ech Σ 8 do lske SeurjTilt kuten lgoritmin SimulteNFA riveillä if til nimeltä SeurjTilt puuttuu tuloksest M 10 then luo sellinen j merkitse se uudeksi 11 Lisää tulokseen M siirtymä NykyisetTilt SeurjTilt Esimerkki 15. Determinisoidn epädeterministinen utomtti M b q 0 q 1 q 2 q 3 b b Esimerkiksi tiln s 2 = {q 0, q 2 } seurj syötemerkillä on til s 3 = {q 0, q 1, q 3 }, sillä s 3 sisältää täsmälleen kikki joukkoon s 2 kuuluvien lkioiden seurjt merkillä : s 3 s 2 q 0 q 2 q 0 q 3 q 1 1. Aloitetn lisäämällä lkutil {q 0 } j lskemll siitä lähtevät siirtymät. Jtketn uudell tilll {q 0, q 1 }. 2. Lsketn tiln {q 0, q 1 } siirtymät: Jtketn uudell tilll {q 0, q 2 }. b {q 0 } = s 0 {q 0, q 1 } {q 0 } b {q 0 } = s 0 {q 0, q 1 } {q 0 } {q 0, q 1 } = s 1 {q 0, q 1 } {q 0, q 2 } 40

43 3. Lsketn tiln {q 0, q 2 } siirtymät: b {q 0 } = s 0 {q 0, q 1 } {q 0 } {q 0, q 1 } = s 1 {q 0, q 1 } {q 0, q 2 } {q 0, q 2 } = s 2 {q 0, q 1, q 3 } {q 0 } 4. Stiin uusi til {q 0, q 1, q 3 } j jtketn sillä j iknn sdn lopputulos: b {q 0 } = s 0 {q 0, q 1 } {q 0 } {q 0, q 1 } = s 1 {q 0, q 1 } {q 0, q 2 } {q 0, q 2 } = s 2 {q 0, q 1, q 3 } {q 0 } {q 0, q 1, q 3 } = s 3 {q 0, q 1, q 3 } {q 0, q 2, q 3 } {q 0, q 2, q 3 } = s 4 {q 0, q 1, q 3 } {q 0, q 3 } {q 0, q 3 } = s 5 {q 0, q 1, q 3 } {q 0, q 3 } b q 0 q b 0, q 1 q 0, q 2 q 0, q 1, q b 3 q 0, q 2, q 3 b b q 0, q 3 b Esimerkki 16. Determinisoidn kkoston Σ = {M, I, U} seurv epädeterministinen utomtti: M,I,U M,I,U M I U Rtkisu: Kun generoidn koko potenssijoukko eli käytetään suor mtemttist määritelmää eikä while-lgoritmi niin sdn tulokseksi: 41

44 M I U A {0} {0, 1}=E {0}=A {0}=A B {1} {2}=C C {2} {3}=D D {3} {3}=D {3}=D {3}=D E {0, 1} {0, 1}=E {0, 2}=F {0}=A F {0, 2} {0, 1}=E {0}=A {0, 3}=G G {0, 3} {0, 1, 3}=L {0, 3}=G {0, 3}=G H {1, 2} {2}=C {3}=D I {1, 3} {3}=D {2, 3}=J {3}=D J {2, 3} {3}=D {3}=D {3}=D K {0, 1, 2} {0, 1}=E {0, 2}=F {0, 3}=G L {0, 1, 3} {0, 1, 3}=L {0, 2, 3}=M {0, 3}=G M {0, 2, 3} {0, 1, 3}=L {0, 3}=G {0, 3}=G N {1, 2, 3} {3}=D {2, 3}=J {3}=D O {0, 1, 2, 3} {0, 1, 3}=L {0, 2, 3}=M {0, 3}=G joss S P(Q) ovt svutettvt tilt ne jotk myös while-lgoritmi tuottisi P(Q) \ S ovt svuttmttomt tilt ne jotk while-lgoritmi jättäisi tuottmtt. Tulos tilsiirtymäkvion johon on piirretty vin svutettvt tilt: I,U M I,U M I A E F U M U G I M L U I M I,U M M Sm minimoitun: I,U M M,I,U A M I E U M F I U G Tehtävä 15. Determinisoi seurv utomtti: 42

45 , b 1 2 Esimerkki 17. Determinisoidn 0 0 b ε c ε b d Siinä on sekä ε-siirtymiä että tvllinen epädeterministinen siirtymä (tilst merkillä 0). 1. Alkutilksi sdn 2. Alkutilst päästään tiloihin E({}) = {, c, d} δ({, c, d}, 0) = E(δ(, 0) δ(c, 0) δ(d, 0)) = E({, b} {c} ) = E({, b, c}) = {, b, c, d} ensimmäinen uusi til δ({, c, d}, 1) = {d} toinen uusi til. 3. Käsitellään uudet tilt {, b, c, d} j... δ({, b, c, d}, 0) = {, b, c, d} δ({, b, c, d}, 1) = {c, d} sm vnh til kolms uusi til. 43

46 4. sitten til {d}: δ({d}, 0) = δ({d}, 1) = neljäs uusi til. 5. Sitten tiln {c, d} seurjt: δ({c, d}, 0) = {c, d} δ({c, d}, 1) = {d} sm vnh til toinen vnh til. 6. Ei enää uusi tiloj; Lopputulos: til 0 1 {, c, d} {, b, c, d} {d} {, b, c, d} {, b, c, d} {c, d} {c, d} {c, d} {d} {d} {, c, d} {, b, c, d} {d} {c, d} 0 1 Tehtävä 16. Determinisoi utomtti: b 1 ε 2 3, b Tehtävä 17. Determinisoi utomtti: 44

47 ε 1 2, b 3 b Hhmonsovituksest Epädeterministisellä utomtill voi helposti kuvt hhmonsovitusongelmi: esiintyykö nnettu merkkijono y syötteessä x? Mikä thns yksittäinen merkkijono (eli yksilkioinen kieli) y = y 1 y 2 y 3... y m Σ voidn tunnist yksinkertisell epädeterministisellä utomtill: y 1 y 2 y 3 y m... Σ Σ Kun tällinen utomtti determinisoidn, tilojen lukumäärä m+1 ei muutu. (Vrt. esimerkki 16.) Tällisen epädeterministisen utomtin kikki lskentpolkuj voi myös simuloid tehokksti, jos m = O(tietokoneen bittisyys eli nykyään 32 ti 64) ns. shift-or/shift-nd lgoritmill. Mutt yleisessä tpuksess (eli kun kyseessä on mielivltinen säännöllinen kieli) voi tilojen määrä ksv phimmilln eksponentiliseksi, onhn P(Q) = 2 Q. Toislt yksinkertiselle hhmonsovitusongelmlle ostn muodost deterministinen utomtti suornkin jss O(m), ns. Knuth-Morris-Prtt lgoritmi. Ensimmäinen ekskursio: NFA:n simulointi Olkoon pitkä teksti t j lyhyt merkkijono p ASCII-kkoston merkkijonoj, j n = t, m = p, j m w, missä w on bittien lukumäärä int-muuttujss (esim. 32 ti 64). Seurv C-kielinen funktio kertoo kikki kohdt missä p esiintyy t:ssä. Algoritmi perustuu NFA:n simuloimiseen, j se toimii jss O(n) (nyt kun m w). Yleisesti otten mielivltisen NFA:n tehoks simuloiminen on kuitenkin voin ongelm. Miten lgoritmi toimii??? Tämä ei kuulu kurssiin. 45

48 Ongelm on mhdollist rtkist myös keskimääräisessä jss O(n log Σ (m)/m)... void shift_or (chr * t, int n, chr * p, int m) { unsigned b [256], d = ~0, mm = 1 << (m - 1); int i; } for (i = 0; i < 256; i++) b [i] = ~0 >> (sizeof (int) * 8 - m); for (i = 0; i < m; i++) b [p [i]] &= ~(1 << i); for (i = 0; i < n; i++) { d = (d << 1) b [t [i]]; if ((d & mm)!= mm) printf("löytyi, kohdst %d\n", i); } Toinen ekskursio: Knuth Morris Prtt Olkoot edelleen t j p ASCII kkoston merkkijonoj, j n = t, m = p. Seurv C-kielinen funktio kertoo kikki kohdt missä p esiintyy t:ssä. Algoritmi perustuu deterministiseen utomttiin. Tässä on kuitenkin ε-siirtymiä, mutt näitä ei seurt jos on toinenkin vihtoehto, joten hrutumist ei tphdu... Algoritmi toimii jss O(n+m). Miten se täsmällisesti otten toimii??? Tämäkään ei kuulu kurssiin. void kmp (chr * t, int n, chr * p, int m) { int i = 0, j = -1, b [m]; b [i] = j; while (i < m) { while (j >= 0 && p [i]!= p [j]) j = b [j]; b [++i] = ++j; } i = j = 0; while (i < n) { while (j >= 0 && t [i]!= p [j]) j = b [j]; i++; j++; if (j == m) { printf("löytyi, kohdst %d\n", i); j = b [j]; } } } Epädeterminismin sovelluksi Näemme pin, että epädeterminismi yksinkertist huomttvsti moni utomttikonstruktioit. Sillä on käyttöä tietojenkäsittelytieteessä ljemminkin, esim. 46

49 Rinnkkisjärjestelmät: Asynkronisess lskennss eri prosessien suoritusjärjestys ei ole tiuksti kontrolloitviss. Ajttelemme siis, että suoritusjärjestys määräytyy epädeterministisesti j vdimme esim. että järjestelmä ei s lukkiutu millään suoritusjärjestyksellä. Lskennn vtivuus: Monille tärkeille etsintä- j optimointiongelmille on helppo esittää epädeterministinen rtkisu, mutt sen tehoks simuloiminen deterministisellä (eli oikell) tietokoneell on voin ongelm. Vrt. edellä: NFA:n muuntminen DFA:ksi stt iheutt tilojen lukumäärän eksponentilisen ksvun. (Mutt ei in, kuten nähtiin.) 4.7 Säännölliset lusekkeet j kielet Säännöllisellä lusekkeell (regulr expression) voi kuvill, minkä muotoisi merkkijonoj hyväksytään. XML-dokumenttien kvioformlismeiss käytetyt elementtien sisältömllit ovt oleellisesti säännöllisiä lusekkeit. Esim. XHTML-kielen tulukkoelementtien rkennekuvus: <!ELEMENT tble (cption?, (col* colgroup*), thed?, tfoot?, (tbody+ tr+))> XHTML-tulukko voi sisältää ll olevss järjestyksessä vlinnisen otsikon mielivltisen jonon srke- ti srkeryhmä-elementtejä vlinnisen ylä- j ltunnisteen epätyhjän jonon body- ti rivielementtejä. Tekstinhku säännöllisillä lusekkeill Unix-komennoll grep (=globl regulr expression prser) voidn etsiä tiedostost säännöllisellä lusekkeell kuviltuj rivejä. Esim. Etsi tekstitiedostost lp.txt rivit, joill esiintyy sn utomtti : egrep utomtti lp.txt Etsi tekstitiedostost lp.txt rivit, joill esiintyy sn utomtti ti sn kieli : egrep \(utomtti\ kieli\) lp.txt Etsi tekstitiedostost lp.txt rivit, joill esiintyy äärellinen utomtti ti khviutomtti : egrep \(äärellinen \ khvi\)utomtti lp.txt Etsi tekstitiedostost tiedosto.txt osoitteit, jotk ovt muoto... ktu ti... tie jot seur sunnon numero: 47

50 egrep [A-ZÅÄÖ][-zåäö]*\(ktu\ tie\) [0-9][0-9]* tiedosto.txt Monien editoreiden serch j serch & replce -komennot sllivt myös säännölliset lusekkeet; smoin jotkut ohjelmointikielet sisältävät regexp kirjstoj. Eräs mhdollisuus grep-toiminnon toteuttmiseksi olisi seurv: 1. Muodostetn äärellinen utomtti, jok hyväksyy tsn selliset merkkijonot, joiss esiintyy nnettu hhmo. 2. Seltn syöte rivi kerrlln käyttämällä tätä utomtti, j tulostetn hyväksytyt rivit. Kysymys: Kuink monimutkisi hhmoj tällä peritteell voidn käsitellä? Esim. edellä muodostettiin hhmoist utomtti j kieli uusi hhmo tioperttorill. Smoin sllittiin hhmon iterointi eli ktenointi itsensä knss ([0-9]*). Kuink voimkkt operttorit voidn siis slli? Kielten yhdiste, tulo j sulkeum Olkoot A j B kkoston Σ kieliä, eli A, B Σ. Kielten A j B yhdiste on kieli suorn joukko-opist. A B = {x Σ x A ti x B} Jos yhdistettä jttelee eräänlisen yhteenlskun niin sen noll on kosk sen lisäämisellä ei ole vikutust: X = X = X. Kielten A j B ktentio eli tulo on kieli AB = {xy Σ x A, y B} eli ne merkkijonot xy jotk lkvt jollkin kielen A merkkijonoll x j jtkuvt jollkin kielen B merkkijonoll y. Jos tulo jttelee eräänlisen kertolskun niin sen ykkönen on {ε} kosk Vstvsti nollll kertominen noll : {ε} X = X {ε} = X. X = X =. Tyhjä kieli j tyhjä merkkijono ε ovt eri sioit, niillähän on eri tyyppikin. Kielessä {ε} on yksi lkio, nimittäin ε, joten se ei ole tyhjä. 48

51 Kielen A potenssit A k, joss k N, määritellään itertiivisesti: A 0 = {ε} A k = AA k 1 = AAA... A } {{ } k kert = {x 1 x 2 x 3... x k x i A kikill i = 1, 2, 3,..., k} (k 1) Kielen A sulkeum on kieli A = k N = {ε} A AA AAA... A k = {x 1... x k k 0, x i A kikill i = 1, 2, 3,..., k} Tässä vihdoin on moniss pikoissä käyttämämme merkinnän potenssiin trkoitettu sisältö: (...) koostuu niistä merkkijonoist, jot sdn liimilemll yhteen äärellisen mont tämän kuvuksen (...) mukist merkkijono. Erikoistpuksen = {ε}... = {ε} kosk noll(kin) potenssiin noll on yksi. Esimerkki 18. Trkstelln kkoston {,... z, 0,..., 9} kieliä A = {, bb} j B = {01, 02}. Nyt A B = {, bb, 01, 02} Säännöllinen luseke (syntksi) AB = {01, 02, bb01, bb02} A = {ε,, bb,, bb, bb, bbbb,, bb, bb, bbbb, bb,...} Määritelmä 3. Akkoston Σ säännölliset lusekkeet (regulr expressions) määritellään induktiivisesti säännöillä: Vkiot j ε ovt jokisen kkoston säännöllisiä lusekkeit; kkoston jokinen merkki Σ on sen säännöllinen luseke; jos r j s ovt kkoston Σ säännöllisiä lusekkeit, niin myös (r s), (rs) j r ovt sen säännöllisiä lusekkeit; j muit kkoston Σ säännöllisiä lusekkeit ei ole. 49

52 Säännöllisen lusekkeen merkitys Määritelmä 4. Akkoston Σ säännöllinen luseke r kuv kielen L(r) Σ : L( ) = L(ε) = {ε} L() = {} kikill Σ L((r s)) = L(r) L(s) L((rs)) = L(r)L(s) L(r ) = (L(r)) Esimerkki 19. Akkoston {, b} säännöllisiä lusekkeit ovt esimerkiksi r 1 = ((b)b), r 2 = (b), r 3 = (b ), r 4 = ((b (bb))). näiden lusekkeiden kuvmt kielet ovt L(r 1 ) = ({}{b}){b} = {b}{b} = {bb}; L(r 2 ) = {b} = {ε, b, bb, bbb,...} = {(b) i i 0}; L(r 3 ) = {}({b}) = {, b, bb, bbb,...} = {b i i 0}; L(r 4 ) = ({}{b, bb}) = {b, bb} = {ε, b, bb, bb, bbb,...} = {x {, b} kutkin -kirjint x:ssä seur 1 ti 2 b-kirjint } Lyhennysmerkintäsopimuksi Sulkumerkkejä voidn vähentää seurvill säännöillä: Operttoreist sitoo vhvimmin, sitten tulo, j heikoimmin. Yhdiste- j tulo-opertioiden ssositiivisuus: L(((r s) t)) = L((r (s t))) L(((rs)t)) = L((r(st))). Käytetään tvllisi kirjsimi mikäli seknnuksen vr merkkijonoihin ei ole. Esim. edellisen esimerkin 19 lusekkeet r 1 = ((b)b), r 2 = (b), r 3 = (b ), r 4 = ((b (bb))) yksinkertisemmin: r 1 = bb, r 2 = (b), r 3 = b, r 4 = ((b bb)) Lyhennysmerkintä r + trkoitt toist r inkin kerrn. Siten r + = rr = r r. Esim. jos d = (0... 9), niin d + (ti dd ) trkoitt, että merkkijono koostuu yhdestä ti usemmst numeromerkistä. 50

53 Säännöllinen kieli (uudelt knnlt) Voimme määritellä säännöllisen kielen A myös sellisen, jok voidn kuvt jollkin säännöllisellä lusekkeell r, eli A = L(r). Osoitmme pin, että tämä on yhtenevää iemmn määritelmämme ( äärellisen utomtin hyväksymä kieli ) knss. Esimerkki 20. Olkoon kkosto Σ = {, b, c,...}. Säännöllisen lusekkeen Σ utomttiσ kuvm kieli on niiden merkkijonojen joukko jotk sisältävät osmerkkijonon utomtti. Siis tämä kieli on säännöllinen. Esimerkki 21. Olkoon Σ = {A, B, C,..., Ö,, b, c,..., ö, 0, 1, 2,..., 9, }. Osoite on muoto (Ll )(ktu tie) dd (l ε)(dd ε) ddddd Ll joss d on lyhenne lusekkeelle ( ) l on lyhenne lusekkeelle ( b c... ö) eli pienille kirjmille ( letters ), j L on lyhenne lusekkeelle (A B C... Ö) eli suurille kirjimille ( LETTERS ). Huom: Monet regexp -kirjstot j -työklut lisäävät ominisuuksi jotk eivät ole säännöllisiä (kuten esimerkiksi rjoittmttomt viitteet tksepäin, NP-täydellinen ongelm... ). Tällä kurssill käsitellään vin itoj säännöllisiä lusekkeit ilmn tällisi lisäyksiä. Esimerkki 22. Ohjelmointikielen C etumerkittömät liukuluvut (jotk ovt tyyppiä flot, double ti long double) määritellään seurvsti: (kokonisos).(desimlios) (e ti E) [+ ti ] (eksponentti) [suffiksi] merkintä [... ] trkoitt että kyseinen os voi myös puuttu kokonisos j desimlios koostuvt numeroist joko kokonisos ti desimlios voi puuttu (mutt eivät molemmt) joko (i) desimlipiste ti (ii) (e ti E) j eksponentti voivt puuttu (mutt eivät molemmt) suffiksi: F ti f: flot, L ti l: long double, muuten double Säännöllinen luseke (ilmn suffiksej): (d +.d.d + )(ε ((e E)(+ ε)d + )) d + (e E)(+ ε)d + Kieleen kuuluvt esim. seurvt merkkijonot: 12.,.12, 1.2, 1.2E3, 1.2e3, 1E2, 1e E-3, Tehtävä 18. Trkstelln seurvi kkoston Σ = {, b} säännöllisiä lusekkeit. Esitä kunkin lusekkeen kuvmst kielestä kksi merkkijono, jotk kuuluvt kieleen, j kksi, jotk eivät kuulu kieleen! 51

54 1. b 2. (b) b 3. b 4. () 5. (ε )b 6. Σ Σ Σ Σ Tehtävä 19. Etsi lyhyin merkkijono, jok kuuluu seurvn lusekkeen kuvmn kieleen! 1. (b bb)b b 2. b b( (b) ) b 3. ( b)( b) b Tehtävä 20. Muodost seurvi kieliä vstvt säännölliset lusekkeet: 1. {w {, b} w:n kolmnneksi viimeinen merkki on } 2. {w {, b} w sisältää joko merkkijonon b ti b} 3. {w {, b} w sisältää prillisen määrän merkkiä } 4. {w {, b} w:n pituus on priton} 5. {w {, b} w:ssä on 3:ll jollinen määrä merkkiä b} Tehtävä 21. Esitä yksinkertisemmss muodoss seurvt lusekkeet (eli nn luseke, jok yhä kuv smn kielen, mutt joss on vähemmän operttoreit): 1. ( ) 2. (0 10 ) 3. 1 (011 ) 1 (011 ) 0 Säännöllisten lusekkeiden sieventäminen Säännöllisillä kielillä on yleensä useit vihtoehtoisi kuvuksi, esim.: Σ = L(( b) ) = L(( b ) ) = L( b ( b) b( b) ) =... Merkitään r s, kun L(r) L(s), eli kun säännollisen lusekkeen r kuvm kieli on os säännöllisen lusekkeen s kuvm kieltä. Säännölliset lusekkeet r j s ovt ekvivlentit, merkitään r = s, silloin kun r s j s r, eli kun L(r) = L(s). Lusekkeen sievennys = yksinkertisimmn ekvivlentin lusekkeen määritys. Tässä luontev yksinkertisuuden mitt on sen sisältämien operttoreiden lukumäärä sen pituus kirjoitettun. 52

55 Sievennyssääntöjä Muistisääntö: on hiemn kuin yhteenlsku, j on hiemn kuin 0. Tulo on hiemn kuin kertolsku, j ε on hiemn kuin 1. r r = r (mutt rr r kun r, ε) r (s t) = (r s) t r(st) = (rs)t r s = s r r(s t) = rs rt (r s)t = rt st r = r = r εr = r = ε r = r r ε = r + ε r = (r ε) (r ) = r (mutt ε r = r vin jos ε L(r)) Tvlliset joukko-opertiot vs. säännöllisten kielten opertiot Olkoot A = {, b} j B = {c, d}. Joukot Kielet A B = {, b, c, d} A B = {, b, c, d} krteesinen tulo A B = tulo AB = {(, c), (, d), (b, c), (b, d)} {c, d, bc, bd} potenssijoukko P(A) = sulkeum A = {, {}, {b}, {, b}} {ε,, b,, b, b, bb,, b, b, bb, b, bb, bb, bbb,, b, b, bb,...} P(X) = 2 n, kun X = n X =, jos X {ε} Miten osoitt, että L(r) = L(s)? Mtemttinen rtkisutp on osoitt, että 1. L(r) L(s) eli r s, j 2. L(s) L(r) eli s r. Ti helpommin (mutt ehkä työläämmiin) vstvill utomteill: 1. Muodost lusekkeille r j s deterministiset utomtit M r j M s. 2. Tutki hyväksyvätkö utomtit smn kielen. (Tämän voi tehdä joko tutkimll tuottko niiden minimointi identtisen tuloksen sivuutmme minimoinnin ti trkstelemll niiden ns. tuloutomtti.) Miten lusekkeest voidn muodost utomtti? 53

56 r = : r = s t: r = ε: ε ε M s ε r =, Σ ε M t ε r = st: r = s : ε M s M t ε M s ε ε Kuv 10: Säännöllisestä lusekkeest äärelliseksi utomtiksi. 4.8 Säännölliset lusekkeet j äärelliset utomtit Osoitetn seurv tärkeä tulos: 1. Jokisen säännöllisen lusekkeen r kuvm kieli voidn tunnist äärellisellä utomtill M r : Muodostetn lusekett r vstv (epädeterministinen) ε-utomtti. Hluttess tämä epädeterministinen utomtti voidn vielä determinisoid (j minimoid). 2. Jokisen äärellisen utomtin M tunnistm kieli L(M) voidn kuvt säännöllisellä lusekkeell r M : Redusoidn utomtti 2-tiliseksi ns. lusekeutomtiksi, jost voidn luke vstv säännöllinen luseke Säännöllisestä lusekkeest utomtti Säännöllinen luseke on käytännöllinen tp määritellä esim. tekstinhku- ti tyypintrkistustehtäviä. Miten näin määritelty tehtävä sdn suoritettu? Luse 3. Säännöllisen lusekkeen kuvm kieli voidn tunnist äärellisellä utomtill. Todistus: Annetn kuvn 10 eräs menetelmä, joll voidn muodost mielivltist säännöllistä lusekett r vstv ε-utomtti M r, joll L(M r ) = L(r). (Tämä on ns. Thompson-konstruktio. Muitkin menetelmiä on.) Esimerkki 23. Muodostetn säännöllistä lusekett ((b ) (b )) vstv äärellinen utomtti. 54

57 ε ε M b ε ε ε ε ε ε M (b ) (b ) ε ε ε M b ε ε ε ε b ε ε, b ε ε b b b ε b Tehtävä 22. Muodost säännöllistä lusekett (0 1) 0 (0 1) 01 = (0 1) (0 01) = (0 1 ) (0 01) vstv äärellinen utomtti. Tehtävä 23. Muodost C-kielen liukuluvut tunnistv utomtti säännöllisestä lusekkeest (d +.d.d + )(ε ((e E)(+ ε)d + )) d + (e E)(+ ε)d + joss d = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} ovt 10-järjestelmän numeromerkit. Toislt ekvivlentti säännöllinen luseke voidn esittää monell tp, j osutomtit jost lopullinen rtkisu sdn voivt oll erilisi. Eli rtkisuj on erilisi (siihen skk kunnes on determinisoitu j minimoitu) Automtist säännöllinen luseke Luse 4. Jokinen säännöllinen kieli voidn kuvt säännöllisellä lusekkeell. Todistus: Esitetään menetelmä, joll utomtist M voidn kirjoitt ekvivlentti säännöllinen luseke r M, eli joll L(r M ) = L(M). Menetelmä toimii poistmll välitiloj, jotk esiintyvät utomtin lkutilst lopputiln johtvill poluill. Menetelmän edetessä polku tilst i tiln j korvtn oikotiellä eli yhdellä suorll siirtymällä. Tällisen oikotien pitää yhä kuvt kikki smt merkkijonot jotk kerätään kuljettess tilst i tiln j lkuperäisiä siirtymiä pitkin. Niinpä oikotie i merkkijonot. r j nimetään säännöllisellä lusekkeell r, jok kuv nämä 55

58 ε ε f ε Kuv 11: Lopputilojen korvminen yhdellä uudell. Menetelmässä käytetään siis ns. lusekeutomttej, joiss siirtymillä on yksittäisen syötemerkin sijst kokoninen säännöllinen luseke intuitio on, että siirtymässä i r j 1. luetn jäljellä olevn syötteen lust jokin lusekkeen r mukinen merkkijono, j 2. jtketn jäljelle jääneen syötteen loppuosn käsittelyä tilst j. Tvlliset utomtit j ε-utomtit ovt lusekeutomttien erikoistpuksi, kosk yksittäiset merkit j ε ovt myös säännöllisiä lusekkeit. Ohitmme formlin määritelmän (vikkei se olekn hnkl). Olkoon utomtin lkutil s. Yksinkertistetn käsittelyä olettmll, että utomtill on täsmälleen yksi lopputil, jost lisäksi ei lähde siirtymiä eikä se myöskään ole lkutil s. (Jos näin ei ole, korvtn vnht lopputilt yhdellä uudell, johon lisätään ε-siirtymät vnhoist lopputiloist. Ks. kuv 11.) Oikoteiden muodostminen: 1. Poistetn ensin kikki rinnkkiset siirtymät: Jos on kksi smojen tilojen p q välistä siirtymää i j j i j, korv ne yhdellä yhteisellä siirtymällä i p q j kuten kuvss 12. Selvästi tämä säilyttää smoin ne merkkijonot, jotk kerättäisiin kulkemll näitä siirtymiä pitkin solmust i solmuun j. 2. Sitten poistetn utomtist välitilt: Snotn, että til k s on välitil, til i sen edeltäjä j til j sen seurj, p i r j jos utomtiss on siirtymät i k j k j, j k i, j. (Edeltäjä j seurj voivt kuitenkin keskenään oll sm til.) Millisi merkkijonoj pitää välitiln k ohittvn oikopolun i R i,j j hyväksyä? V: Niitä, joiden lkuos hyväksytään krell (i, k) j loppuos krell (k, j). Lähtökohtisesti sdn siis suor siirtymä i p i.r j j. 56

59 p i j = i p q j q Kuv 12: Kksi rinnkkist siirtymää yhdeksi. Jos välitilst k on lisäksi silmukksiirtymä k q k tkisin itseensä, tällist voidn kulke mielivltisen mont kert. Tällöin oikopoluksi tulee i p i.q.r j j (2) kuten kuvss 13. Jos välitiln edeltävän i j seurjn j välillä oli jo suor siirtymä i r i,j j, niin oikopolun luseke lisätään siihen uuten vihtoehton: ti (jos välitilll oli silmukksiirtymä) i r i,j p i r j j (3) i r i,j p i q r j j (4) Jos välitiln edeltäjä j seurj ovt sm til, niin oikopolku on silmukksiirtymä. Kun välitillle on muodostettu oikopolku sen jokisest edeltäjästä sen jokiseen seurjn, niin tämä välitil k j kikki siihen liittyvät siirtymät voidn poist. Kun rinnkkiset siirtymät j välitilt on poistettu, niin: Automtiss on jäljellä sen lkutil s j lopputil f. Jos lkutilst ei ole siirtymää lopputiln, utomtti vstv luseke on : Alkuperäisessä utomtiss ei ole millään syötteellä lopputiln johtv polku. Muuss tpuksess redusoiduss lusekeutomtiss on siirtymä s r f. Jos tilst s on lisäksi silmukk s q s tkisin itseensä, tunnistettu kieltä kuvv luseke lk itertioll q. Tällöin tulos on q r (5) Jos tällist lkutiln silmukk ei ole, niin sitä vstv os q jää pois lopputuloksest (5). 57

60 q i. p i k r j. j p i q r j Kuv 13: Oikotie välisolmun k ohi. q r s r f q Kuv 14: Luseke kutistuneest utomtist. 58

61 Esitetään tämä menetelmä vielä lgoritmin: 1 Lisää kuvn 11 mukinen uusi hyväksyvä til f ellei sellist jo ole p q 2 while on rinnkkiset siirtymät i j j i j 3 do korv ne yhdellä siirtymällä i p q j 4 while on välitiloj s, f 5 do k jokin (mikä thns) välitil p i 6 for ech siirtymä i k joss i k 7 do for ech siirtymä k r j j joss j k 8 do if on siirtymä k q k 9 then t p i q r j 10 else t p i r j 11 u if on siirtymä i j 12 then päivitä se muotoon i u t j 13 else lisää siirtymä i t j 14 poist til k j kikki nämä siihen liittyvät siirtymät 15 if on siirtymä s r f 16 then if on siirtymä s q s 17 then return q r 18 else return r 19 else return Otetn esimerkki tästä menetelmästä: (i) lkuperäinen utomtti: (ii) lisätään uusi lopputil: s 1 s (iii) yhdistetään rinnkkiset: 1 1 ε 1 f (iv) poistetn til: ε s s ε f ε 0 1 ε (0 1)ε f 59

62 (v) poistetn til: (vi) poistetn til: s 1 (0 1)(ε (0 1)ε) s 1(0 1)(ε (0 1)ε) 0 1 f 0 1 f Nyt voidn luke lopputulos (0 1) 1(0 1)(ε (0 1)ε) jot voidn vielä hiemn sieventää muotoon (0 1) 1(0 1)(ε 0 1) jost voidn luke vstus: lkuperäinen utomtti hyväksyy ne binäärijonot, joiden toiseksi ti kolmnneksi viimeinen merkki on 1. Lusekkeit voi j knnttkin sievennellä jo menetelmän ikn. Tehtävä 24. Muodost seurvn utomtin tunnistm kieltä kuvv säännöllinen luseke:, b 1 2 b 3 b 4.9 Säännöllisten kielten sulkeumominisuudet Mtemtiikss snotn että joukko X on suljettu jonkin opertion suhteen, jos soveltmll opertiot joukon X lkioihin sdn tulokseksi in joukon X lkioit eli jos opertio ei vie pois joukost X. Esimerkiksi luonnollisten lukujen joukko N on suljettu yhteenlskun suhteen, kosk m + n N jokisell m, n N. Se ei kuitenkn ole suljettu vähennyslskun suhteen, kosk esimerkiksi 5 8 N, vikk 5, 8 N. Trkstelln säännöllisten kielten joukko (s.o. merkkijonojoukkojen joukko). Minkälisten opertioiden suhteen se on suljettu? 60

63 Luse 5. Olkoot L 1 j L 2 kkoston Σ säännöllisiä kieliä. Tällöin myös seurvt ovt säännöllisiä kieliä: yhdiste L 1 L 2 leikkus L 1 L 2 ktentio eli tulo L 1 L 2 komplementti L 1 = Σ \ L 1 erotus L 1 \ L 2 (Kleenen) sulkeum (L 1 ) käänteiskieli (L 1 ) R = {w R w L 1 } eli kielen L 1 merkkijonot tkperin kirjoitettuin. Toisin snoen säännöllisten kielten joukko on suljettu kikkien näiden opertioiden suhteen. Todistus: Perustelln ll. Huom että luse 5 on yksisuuntinen: Esimerkiksi yhdiste L 1 L 2 voi oll säännöllinen, vikk sen ost L 1 j L 2 eivät ole. Esimerkiksi säännöllinen kieli voidn muodost osist j L( b ) = L 1 L 2 L 1 = { i b j i j} L 2 = { i b j i > j} joist kumpikn ei ole säännöllinen (mikä voidn osoitt pumppuslemmll ). Sulkeum säännöllisten operttoreiden suhteen Sännölliset kielet nähdään helposti suljetuiksi säännöllisten lusekkeiden operttoreiden suhteen: Olkoot A j B säännöllisiä kieliä, eli A = L(p) j B = L(q) joillin säännöllisillä lusekkeill p j q. Tällöin A B = L((p q)) AB = L((pq)) j A = L(p ) Kukin on ilmistviss säännöllisellä lusekkeell, eli kukin on säännöllinen kieli. 61

64 Sulkeum komplementoinnin suhteen Esimerkki 24. Lditn utomtti, jok tunnist kielen L(M) = {w {, b} w ei sisällä merkkijono bb}. Lditn ensin deterministinen utomtti, jok tunnist sen komplementtikielen L(M) = {w {, b} w sisältää merkkijonon bb}. Hluttu utomtti sdn vihtmll hyväksyvät tilt hylkääviksi j päinvstoin. b,b b,b b b b b Huom: virhetilojen on oltv mukn, kosk niistä tulee komplementtiutomtin hyväksyviä tiloj. Sm voidn tehdä jokiselle deterministiselle utomttille j siten jokiselle säännölliselle kielelle. Muistutus: De Morgnin säännöt Tuttuj koulumtemtiikst ti diskreeteistä rkenteist ti mtemttisest logiikst. Ilmisevt joukko-opiss, että komplementointi kääntää yhdisteet leikkuksiksi j päinvstoin: A B = A B A B = A B. Osoitetn näiden nojll, että säännöllisten kielten A j B leikkus on säännöllinen: 1. A B = A B 2. De Morgn: A B = A B 3. Säännöllisten kielten komplementtein A j B ovt säännöllisiä. 4. Siten myös niiden yhdiste A B on säännöllinen, j smoin sen komplementti. Säännölliset kielet nähdään edellisen nojll suljetuiksi myös joukkoerotuksen suhteen, kun lähdetään liikkeelle tiedost A \ B = A B. Säännöllisten kielten leikkus/yhdiste/erotus utomtill Vihtoehtoisesti säännöllisten kielten A j B joukko-opillinen yhdistelmä L (yhdiste, leikkus ti erotus) voidn tunnist ns. tuloutomtill. Olkoot M 1 = (Q 1, Σ, δ 1, q 1, F 1 ) j M 2 = (Q 2, Σ, δ 2, q 2, F 2 ) deterministiset utomtit, joill A = L(M 1 ) j B = L(M 2 ). Muodostetn uusi utomtti M, jonk 62

65 tiloj ovt lkuperäisten utomttien tilojen prit (p, q) Q 1 Q 2 siirtymäfunktio δ muodostuu komponenttitilojen siirtymistä: δ ((p, q), ) = (δ 1 (p, ), δ 2 (q, )) lopputilt F vlitn sen mukn mitä joukko-opertiot toteutetn: Jos L = A B, niin F = {(p, q) p F 1 ti q F 2 } Jos L = A B, niin F = {(p, q) p F 1 j q F 2 } Jos L = A \ B, niin F = {(p, q) p F 1 j q F 2 }. Säännöllisen kielen käänteiskieli Miksi säännöllisen kielen L käänteiskieli (L) R olisi säännöllinen? Olkoon M = (Q, Σ, δ, q 0, F ) kielen L tunnistv DFA. Kuten iemmin, voidn olett (sllimll ε-siirtymiä), että utomtill on yksikäsitteinen lopputil f. Muodostetn käänteiskielen hyväksyvä NFA M settmll sen lkutilksi f j lopputilksi q 0 j kääntämällä utomtin M siirtymät päinvstisiksi. Formlisti utomtin M siirtymäfunktio δ : Q (Σ {ε}) P (Q) määräytyy säännöllä δ (q, ) := {p Q δ(p, ) = q} Säännöllisten kielten rjoituksist Kysymys: Kuink voidn hvit, ettei ongelm rtkekn äärellisillä utomteill? Eli ettei vstv formlikieli olekn säännöllinen? Esimerkki 25. Onko sisäkkäisten sulkulusekkeiden muodostm kieli L ( ) = {( k ) k k 0} säännöllinen? Yritetään tehdä sille utomtti: ( ( ( ( q 0 q 1 q n 1 q n ) ) ) ) q 2n q 2n 1 q n+2 q n+1 ) ( ( ( ( q 0 q 1 q n 1 q n ) ) ) ) Mutt entäpä jos sisäkkäisiä sulkuprej onkin n + 1 kpl? 63

66 Automttien rjllinen muisti Ääärellinen utomtti muist syötteen lkuosn vin tilojens vull. Se ei siis voi pitää kirj kikist näkemistään merkeistä. Ääretön kieli voi oll säännöllinen vin jos siinä on jokin toistuv rkenne. Automtiss silmukk, säännöllisessä lusekkeess sulkeum (...). Säännöllisten kielten pumppuslemm formlisoi tämän hvinnon. Kielen osoittminen säännölliseksi ei ole lskennllisesti rtkev ongelm, vn siihen trvitn ihmisen mtemttist intuitiot on keksittävä sille utomtti ti luseke ti todistettv se sulkeumominisuuksien vull säännöllisiksi tiedetyistä kielistä ti... Stt näyttää ilmeiseltä, että äärellisen muistin jtuksen soveltminen olisi jotenkin intuitiivisesti selvää, eli että muistivtimukset näkisi jotenkin suorn. Kieli A = {w {0, 1} w sisältää yhtä mont noll j ykköstä} ei ole säännöllinen (todistetn pin... ). Mutt kieli onkin säännöllinen. B = {w {0, 1} w:ssä esiintyy 01 j 10 yhtä mont kert} Tehtävä 25. Todist että tämä kieli B on säännöllinen. Vihje: Mieti millä merkillä jono w B voi lk j millä loppu. Luse 6. Kieltä C = {0 n 1 n n N} ei voi tunnist äärellisellä utomtill. Todistus: Osoitetn, että vstoletuksest C = L(M) jollin äärellisellä utomtill M seur ristiriit: Olkoon M vstoletuksen mukinen utomtti j siinä k = Q til, j m = k/2. Kosk L(M) = C, niin silloin myös syöte s = 0 m 1 m L(M). Tämän syötteen s pituus s = 2m k. Merkitään sen merkkejä s = s 1 s 2... s 2m. Syötteellä s utomtti käy yhteensä 2m + 1 tilss, mukn lukien lkutil (joist os (ti kikki) voivt oll smoj). Toisin snoen, utomtti käy tiloiss: r 1 0 r r 1 m+1 r 1 1 m+2 r 2m+1. Eli lkutil q 0 = r 1 j δ(r i, s i ) = r i+1, missä r i Q. Hvinto: Q = k < 2m + 1 joten jonoss r 1... r 2m+1 inkin yksi til esiintyy usemmin kuin kerrn, eli r i = r j jollin i < j. Automtti tekee merkkijonoll s i... s j 1 silmukn tilst r i tkisin tiln r i = r j : 64

67 x = s 1... s i 1 r i = r j z = s j... s 2m r 1 r 2m+1 y = s i... s j 1 Automtti siis hyväksyy lkuperäisen jonon s = xyz = xy 1 z kiertämällä silmukn yhden kerrn. Merkitään vstv hyväksyvää lskent lyhyesti: r 1 x r i y ri z r 2m+1. Silmukn sisältävästä hyväksyvästä lskennst sdn uusi hyväksyvä lskent ohittmll silmukk: r 1 x r i z r 2m+1 Siis utomtti hyväksyy myös merkkijonon xy 0 z = xz. Silmukk voidn myös toist mielivltisen mont kert: r 1 x r i y ri y ri z r 2m+1. r 1 x r i y ri y ri y ri z r 2m+1. Siis utomtti hyväksyy myös merkkijonot xy 2 z = xyyz, xy 3 z = xyyyz, xy 4 z = xyyyyz,... Kysymys: Kuuluuko merkkijono xy l z kieleen C = {0 n 1 n n N} jokisell mhdollisell toistokertojen lukumäärällä l N? Trkstelln silmukn mhdollisi sijintej merkkijonon s keskikohdn suhteen: 1. i < j m + 1: nyt y = 0 j i. 2. i < m + 1 < j: nyt y = 0 m+1 i 1 j m m + 1 i < j: nyt y = 1 j i. Missään näistä tpuksist esimerkiksi xy 2 z ei kuulu kieleen C: tpuksess 1 siinä on liik nolli tpuksess 2 se on muoto tpuksess 3 siinä on liik ykkösiä. Kosk utomtti kuitenkin hyväksyy merkkijonon xy 2 z, tämä on ristiriit oletuksen C = L(M) knss. 65

68 Siis kieltä C ei voi tunnist k-tilisell äärellisellä utomtill millään k, eli kieli C ei ole säännöllinen. Edellisen todistuksen peruside oli osoitt, että jos M on k-tilinen utomtti, niin kielellä L(M) on pumppuspituus k: Määritelmä 5. Kielellä A on äärellinen pumppusominisuus, jos on olemss sellinen p, että mikä thns s A, joll s p, voidn esittää muodoss s = xyz, missä 1. xy i z A kun i = 0, 1, 2,..., 2. y > 0 j 3. xy p. Tällöin p on (eräs) kielen A pumppuspituus. Siis x = ε j z = ε ovt sllittuj, mutt y ε (ehto 2, kosk muuten pumpttvuus olisi trivili). Kun kielellä on äärellinen pumppusominisuus, millä thns riittävän pitkällä merkkijonoll s on epätyhjä keskios y, jot pumppmll sdn uusi kieleen kuuluvi merkkijonoj xy 2 z, xy 3 z,... Luse 7 (Säännöllisten kielten pumppuslemm). Jokisell säännöllisellä kielellä on äärellinen pumppusominisuus. Todistus: Sivuutetn; vstv kuin edellisen luseen todistuksess. Intuitiivisesti: Äärettömän säännöllisen kielen tunnistvss utomtiss on silmukk siten, että 1. xy i z A: silmukk voidn kiertää mielivltisen mont (i) kert, j silti voidn päästä jonoll z hyväksyvään tiln. 2. y > 0: silmukk ei ole tyhjä, vn siihen kuuluu vähintään yksi ei-tyhjä siirtymä. 3. xy p: lskennn täytyy joutu silmukkn ennen kuin utomtist loppuvt tilt. Pumpputuvuusehto 1 trkoitt, että kieli sisältää merkkijonot xz, xyz, xyyz, xyyyz,... Ehdost 2 seur, että nämä jonot ovt toinen toistn pidempiä. Siis merkkijono y pumppmll sdn rjttomsti uusi kieleen kuuluvi merkkijonoj. Ehdon 3 nojll tämä osjono y löytyy snn s lkuosst, jonk pituus on p. Kielen pumpputuvuus trkoitt, että jokinen trpeeksi pitkä kieleen kuuluv merkkijono on pumpputuv jollin ehdot täyttävällä osjonolln y. 66

69 Pumppuslemmn soveltminen Kiinnostv vin äärettömille kielille (äärelliset kielet ovt in säännöllisiä). Pumppuslemmn mukn millä thns säännöllisellä kielellä A on pumppusominisuus, toisin snoen jollkin p N mille thns selliselle s A jok on riittävän pitkä eli s p on olemss jko s = xyz joll pumppusehdot 1 3 toteutuvt. Pumppuslemmll ei voi osoitt kielen säännöllisyyttä, vin ei-säännöllisyyden. (Eikä in sitäkään, kosk on olemss ei-säännöllisiä kieliä, joill on äärellinen pumppuspituus... ) Iden todistus kontrpositioll, eli lemm käytetään käänteisesti ; A on säännöllinen A on pumpttviss A ei ole pumpttviss A ei ole säännöllinen Toisin snoen, on osoitettv, että mille thns p N on olemss sellinen s A, että s p j mille thns sen jolle s = xyz jokin pumppusehdoist 1 3 jää toteutumtt. Siis luksi voimme itse vlit snn s sopivsti helpottmn todistust, mutt sitten meidän pitää käydä läpi kikki mhdolliset tvt jk se osiin x, y j z j osoitt, että mikään jko ei toteut pumppusehtoj. Toisin snoen, kun hlutn todist kieli ei-säännölliseksi, tehdään vstoletus että se olisikin säännöllinen, j osoitetn että tästä seur ristiriit jonk voi osoitt käyttämällä pumppuslemm mutt jonk voi osoitt muutenkin: Esimerkiksi sulkeumominisuuksien vull ( plutetn ongelm tunnettuun kieleen). Esimerkki 26. Kieli C = {0 n 1 n n N} ei ole säännöllinen. Todistus: Tehdään vstoletus että C olisikin säännöllinen. Silloin sillä olisi äärellinen pumppusominisuus, eli jokin vkio p siten, että jokinen inkin niin pitkä merkkijono s C (eli s p) jkutuu jotenkin osiin s = xyz jotk täyttävät ominisuuden 3 ehto. Me emme tiedä vkion p rvo, mutt me smme vlit sellisen merkkijonon s kuin hlumme (kunhn vlitsemme trpeeksi pitkän). Kun olemme vlinneet merkkijonomme s, niin me emme tiedä sen jost s = xyz muut kuin nämä 3 ominisuutt. Kosk tvoittelemme ristiriit, niin useimmiten knntt vlit s siten, että ehdot 2 j 3 ovt voimss, j osoitt että silloin ehto 1 ei enää sdkn voimn. 67

70 Tässä todistuksess knntt vlit s = 0 p 1 p (ti jokin vielä pidempi) kosk silloin ehdot 2 j 3 kertovt meille pljon osien xy rkenteest: joss k > 0 mutt j + k p. x = 0 j y = 0 k z = 0 p (j+k) 1 p Kosk tämä järkeilymme ei olet näistä rvoist j j k mitään muut, niin olemme tulleet käyneeksi läpi smll kert kikki mhdolliset jot. Nyt ehdon 3 mukn (vikkp) i = 0 kert pumpttu merkkijono 0 j 0 p (j+k) 1 p = 0 p k 1 p C. Mutt toislt kielen C määritelmän mukn pitäisi oll kosk k > 0. smll merkkijonoll 0 p k 1 p C Tässä on etsimämme ristiriit jok todist, että vstväite olikin väärin, eli että lkuperäinen väite olikin oikein. Pumppuslemmn ohell käytössämme ovt myös säännöllisten kielten sulkeumominisuudet (luse 5) j muut säännöllisiksi j ei-säännöllisiksi tunnetut kielet. Esimerkki 27. Osoit, että ei ole säännöllinen. D = {w {0, 1} w sisältää yhtä mont noll j ykköstä} Todistus: Tehdään ts vstoletus: D on säännöllinen. Kieli 0 1 on selvästi säännöllinen (joko kuvvn lusekkeens ti tunnistvn utomttins kutt). Siten kieli (0 1 ) D on säännöllinen (tunnettu sulkeumominisuus). Tämä on ristiriit, kosk (0 1 ) D on sm kuin C = {0 n 1 n iemmin todistettu ei-säännölliseksi esimerkissä 26. Esimerkki 28. Osoit (toistmiseen), että kieli ei ole säännöllinen. D = {w {0, 1} w sisältää yhtä mont noll j ykköstä} n N}, jok on Todistus: Tehdään jälleen se vstoletus että D on säännöllinen. Edetään tällä kert pumppuslemmll: Vlitn s = 0 p 1 p. Olkoon s = xyz D, missä y ε j xy p. Nyt y koostuu yhdestä ti usemmst nollst. Kosk xyz D, niin xyyz sisältää nolli enemmän kuin ykkösiä, joten xyyz D. Ristiriit. Miten vlitn sopiv s? Jos olisi vlittu s = (01) p, ei olisi stu ristiriit, kosk tätä voidn pumpt (esim. x = ε, y = 01, z = (01) p 1 ). Pitäisi siis keksiä (sille tuntemttomlle) utomtille hnkli tpuksi. 68

71 Heuristisi ohjeit ei-säännöllisyystodistuksiin Mikä ominisuus tekee kielen ei-säännölliseksi?. Usein ominisuus koskee kht snn os, joiden välillä vllitsee jokin ehto. Tämä ominisuus voi koske esim. tiettyjen merkkien lukumäärien keskinäistä suhdett, esim. L 1 = { k b m c m k, m = 0, 1, 2,...} L 2 = { m b 2m m = 0, 1, 2,...} snn eri osi, esim. snn lku- j loppuos riippuvt jotenkin toisistn: L 3 = {ww R w Σ } L 4 = {ww w Σ }. Mikä on yksinkertisin, mielivltisen pituinen merkkijono, joss tämä ominisuus esiintyy? Joskus kielessä on todistuksen knnlt täysin turhi (säännöllisiä) osi, esim. kielessä L 1 merkin lukumäärällä ei ole mitään väliä voidn vlit merkkijono b m c m. Mutt jos ehdon ospuolten välissä on tuollinen säännöllinen os, se stt oll trpeen ospuolien erottmiseen toisistn, esim. kielessä L 5 = { m b k m m, k = 0, 1, 2,...} trvitn inkin yksi b erottmn lkuosn j loppuos merkit. Vlitn esim. m b m. Jos kielen lku- j loppuos riippuvt jotenkin toisistn, mutt muuten ne svt oll mitä thns, riittää erott lku- j loppuos toisistn. Esim. kielen L 4 kohdll voidn vlit m b m b ti b m b m. Vlitse sn s siten, että pumpttv osjono y kuuluu sen ensimmäiseen p merkkiin. Test kikki pumppuslemmn mukiset jot s = xyz, xy p j y ε. Jokisell joll kokeile pumppust kierroslskurin i rvoill 0, 2, 3,... kunnes löytyy sellinen rvo i, että xy i z ei kuulu kieleen yleensä i = 0 ti i = 2 riittää. Tutkittvien tpusten vähentämiseksi knntt vlit sn s siten, että sen erilisi jkoj osiin xyz olisi mhdollisimmn vähän. Tätä käytimme esimerkin 26 todistessmme, että kieli C = {0 n 1 n n N} ei ole säännöllinen: vlitsimme merkkijonon s niin pitkäksi, että lkuos x j pumpputuv os y olivt molemmt 0-jonoj. Säännöllisten kielten luokk on suljettu (erityisesti) leikkuksen j komplementin suhteen. On nnettu kieli A, jok pitäisi osoitt ei-säännölliseksi. 69

72 Vlitn jokin säännöllinen kieli B, Jos nyt A B ei ole säännöllinen, niin myöskään A ei ole säännöllinen. (On kuitenkin oltv trkkn, esim. khden ei-säännöllisen kielen leikkus voi oll säännöllinen.) Jos A (komplementti) on ei-säännöllinen, niin myös A on ei-säännöllinen. Voidn siis sovelt pumppuslemm kieliin C = A B ti D = A mutt jos C ti D on jokin tunnetusti ei-säännöllinen kieli, erillistä pumppuslemmtodistust ei trvit. Pikkertus: tähän mennessä... Deterministinen äärellinen utomtti (DFA): yksinkertinen lskentlite, muisti vin vkiomäärä, syötteen pituudest riippumtt. Säännölliset kielet: niiden kielten luokk, jok voidn tunnist DFA:ll. Epädeterministinen äärellinen utomtti (NFA): kieli voidn tunnist DFA:ll jos j vin jos se voidn tunnist NFA:ll. NFA on hyödyllinen kuvusformlismi. DFA voi vti eksponentilisesti enemmän tiloj kuin NFA. Kieli voidn tunnist DFA:ll jos j vin jos se voidn kuvt lusekkeell. säännöllisellä Kikki kielet eivät ole säännöllisiä. Pumppuslemm voidn käyttää kielen epäsäännöllisyyden osoittmiseen. Eräs esimerkki ei-säännöllisestä kielestä on {w {, b} w = w R } Tähän mennessä: säännölliset kielet, tunnistus äärellisellä utomtill Seurvksi: kontekstittomt kielet, tunnistus pinoutomtill Myöhemmin (LAT-kurssill): kontekstilliset j rekursiiviset kielet: tunnistus Turingin koneell ( tietokoneell ) Kikki muut kielet: vin osittin rtkevi ( kyllä -tpuksess) ti täysin rtkemttomi. Koetehtäviä? Yleisesti, smntyylisiä kuin luentojen esimerkit j kotitehtävät. Perustehtäväprototyyppi: Tehtävä 26. Ldi DFA / NFA jok tunnist kielen X. Determinisoi utomtti käyttäen luennoill nnettu menetelmää. Mikä on utomtti / kieltä vstv säännöllinen luseke? Muunn säännöllinen luseke utomtiksi ti utomtti lusekkeeksi käyttäen luennoill nnettu menetelmää. Jne... Soveltvmp: 70

73 Tehtävä 27. Säännöllinen kieli A voidn tunnist deterministisellä äärellisellä utomtill M A. Kielen A komplementtikieli A voidn tunnist utomtill M A, jok sdn utomtist M A vihtmll hyväksyvät tilt ei-hyväksyviksi, j ei-hyväksyvät hyväksyviksi. Toisin snoen säännöllisten kielten luokk on suljettu komplementin suhteen. Edelleen, olkoon M A epädeterministinen utomtti, jok tunnist kielen A. Voidnko utomtist M A viht hyväksyvien j ei-hyväksyvien tilojen roolit edellä kuvtull tvll, j sd tulokseksi epädeterministinen äärellinen utomtti jok tunnist kielen A? Onko epädeterminististen utomttien tunnistmien kielten luokk suljettu komplementoinnin suhteen? Tehtävä 28. Miten mielivltisest NFA:st sdn NFA joss on vin yksi hyväksyvä til? Tehtävä 29. Voiko säännöllistä kieltä 0 1 tunnist deterministisellä äärellisellä utomtill, joss on vin yksi hyväksyvä til? Perustele. Tehtävä 30. Osoit, että säännöllisten kielten luokk on suljettu leikkuksen suhteen. Tehtävä 31. Olkoon A säännöllinen kieli. Osoit, että myös A R = {w R säännöllinen. w A} on Tehtävä 32. Olkoot kielet A j B säännöllisiä. Onko kieli C = A B = (A B) (B A) säännöllinen? (Siis w C, jos w kuuluu joko kieleen A ti B, mutt ei molempiin.) Perustele. Tehtävä 33. Mitkä seurvt kkoston Σ = {, b} kielistä ovt säännöllisiä? 1. E = { n n n N} 2. F = {wuw R w, u Σ + } 3. G = {ww w Σ } 4. H = { i b j i j} 71

74 5 Kontekstittomt kielet j pinoutomtit Kontekstittomt kielet (context-free lnguges, yhteydettömät kielet) voidn kuvt kontekstittomill kieliopeill (context-free grmmr) j tunnist epädeterministisillä pinoutomteill (pushdown utomton). Verrttun edelliseen lukuun, korvmme säännölliset lusekkeet näillä kieliopeill, j epädeterministiset äärelliset utomtit näillä pinoutomteill. Pinoutomtti on kuten äärellinen utomtti, johon on lisätty rjoittmttomn suuri muisti. Tämä muisti on TRA-kurssilt tuttu pino (stck). Tämä rjoittmttomn suuri muisti trkoitt, että pino-opertiot eivät koskn jumiudu virheilmoitukseen Out Of Memory Error. Tvoitteet: Opitn mitä ovt kontekstittomt kielet j pinoutomtit, j mikä on niiden välinen suhde. Opitn muodostmn kielioppi yksinkertisille kontekstittomille kielille. Opitn jäsentämisen perusidet. Johdttelev esimerkki: Miten kuvisit seurvt kielet? Sisäkkäisten sulkulusekkeiden kieli: if else-prien muodostm kieli: L ( ) = { ( k ) k k 0 } L if-else = { if k else l l k } Ne eivät ole säännöllisiä, joten säännöllisillä lusekkeill se ei onnistu. Rtkisuyritys: Annetn kielelle L ( ) rekursiivinen kuvus: Merkitään S = mielivltinen sisäkkäinen sulkuluseke. Tällöin S on sisäkkäinen sulkuluseke, jos 1. S = ε ti 2. S on muoto (S ), missä myös S on sisäkkäinen sulkumerkkijono. Toinen kuvustp (ensimmäinen kontekstiton kielioppimme): 1. S ε 2. S (S) Esimerkiksi merkkijonon ((())) tuottminen: S (S) ((S)) (((S))) (((ε))) = ((())) Vstv jäsennyspuu (tähän pltn vielä): 72

75 S S S ( ( ( ε ) ) ) Kontekstittomn kieliopin ide Joukko muuttujsymboleit j muunnossääntöjä tämän muuttujn esiintymän s korvt tuoll merkkijonoll jok voi vuorostn sisältää uusi muuttujsymbolien esiintymiä. Yksi näistä muuttujsymboleist on erityinen loitussymboli. Muunnetn merkkijono näillä säännöillä, kunnes siinä ei enää esiinny muuttujsymboleit. Näin on tuotettu lopullinen merkkijono. Esimerkki 29. Yksinkertinen kielioppi ritmeettisille lusekkeille: E T E + T T F T F F (E). Esimerkiksi ensimmäinen rivi luetn muuttujsymboli E voidn korvt merkkijonoll T ti merkkijonoll E + T joss T on toinen muuttujsymboli j + merkki. Se tuott vikkp ritmeettisen lusekkeen ( + ) seurvsti: E T T F F F (E) F (E + T ) F (T + T ) F (F + T ) F ( + T ) F ( + F ) F ( + ) F ( + ) Kusskin viheess on korvttu lleviivttu muuttujsymbolin esiintymä. Kontekstittomn kieliopin formli määritelmä Määritelmä 6. Kontekstiton kielioppi on nelikko joss G = (V, Σ, P, S) äärellinen joukko V on kieliopin kkosto; Σ V on kieliopin päätemerkkien joukko; sen komplementti N = V \ Σ on kieliopin välikemerkkien eli -symbolien joukko (joit edellä kutsuimme muuttujsymboleiksi); 73

76 äärellinen joukko P N V on kieliopin sääntöjen eli produktioiden joukko; j S N on kieliopin lähtösymboli. Sääntöä (A, ω) P merkitään A ω. Sen voi luke välike A voi tuott/joht merkkijonon ω. Intuitiivisesti kontekstiton kielioppi G = (V, Σ, P, S) tuott merkkijonoj Σ seurvll epädeterministisellä lgoritmill: 1 r S 2 while r sisältää välikesymbolej 3 do vlitse jokin A N (siis vikk ensimmäinen ti viimeinen) jonost r = αaβ, missä α V on sitä ennen tulev os, j β V on sen jälkeen tulev os 4 vlitse jokin välikkeen A sääntö A ω P 5 r αωβ 6 tulost näin stu r Silloin kieliopin G tuottm formli kieli L(G) muodostuu merkkijonoist r, jotk tämä lgoritmi voi tulost vlitsemll säännöt sopivsti rivillään 4. Kontekstittomn kielen formli määritelmä Merkkijono αaβ V, joss A N, voi tuott ti joht suorn merkkijonon αωβ V, jos kieliopiss G on sääntö A ω P. Tätä merkitään Esimerkiksi sekä että αaβ G αωβ T F G F F T F G T esimerkin 29 kieliopiss G ritmeettisille lusekkeille. Merkkijono γ 0 V, voi tuott ti joht merkkijonon γ n V, jos on olemss jono merkkijonoj V siten, että γ 0 γ 1 γ 2 G G G G γ n eli jos merkkijono γ 0 voi tuott suorn merkkijonon γ 1 jok voi tuott suorn merkkijonon γ 2 jok voi tuott suorn merkkijonon... jok voi tuott suorn merkkijonon γ n. 74

77 Tätä merkitään γ 0 γ n G Esimerkiksi ritmeettisten lusekkeiden kieliopill G pätee kosk siinä voidn joht T F (E) G T F G F F G (E) F G (E). Erikoistpuksen jokinen merkkijono γ V voi tuott itsensä eli γ γ G tyhjällä jonoll (joss n = 0). Esimerkiksi T F T F. G Merkkijono γ V on kieliopin G lusejohdos, jos γ voidn joht sen lähtösymbolist S: S γ. G Esimerkiksi (E) j ( + ) ovt lusejohdoksi esimerkin 29 kieliopiss ritmeettisille lusekkeille. Kieliopin G luse on sen pelkistä päätemerkeistä koostuv lusejohdos: S γ j γ Σ. G Esimerkiksi ( + ) on luse esimerkin 29 kieliopiss ritmeettisille lusekkeille. Kieliopin G tuottm ti kuvm kieli koostuu sen luseist: { } L(G) = γ Σ S γ. G L(G) on siis kikkien niiden luseiden (merkkijonojen) joukko, jotk voidn tuott kieliopill G loittmll sen lähtösymbolist S. Määritelmä 7. Formli kieli L Σ on kontekstiton, jos se voidn tuott jollkin kontekstittomll kieliopill. 75

78 Kontekstist Sn konteksti (englnniksi context ) on suomeksi luseyhteys. Siten snn kontekstiton tilll käytetäänkin joskus snoj yhteydetön ti yhteysvp. Kontekstiton viitt siihen, että kieliopin säännöt ovt muoto A ω, mikä voidn tulkit siten, että muuttuj A voi tuott merkkijonon ω, olip sen ympärillä mitä thns. Kontekstittomn kieliopin yleistys on konteksti(lli)nen kielioppi (context-sensitive grmmr). Tällisen kieliopin säännöt ovt muoto αaβ αωβ joss α, β V j ω V +. Tällinen sääntö tulkitn siten, että muuttuj A voidn korvt (epätyhjällä) merkkijonoll ω jos sen edessä on α j perässä β eli jos A on luseyhteydessä jotkinαaβmuut niin silloin siitä voidn joht jotkinαωβmuut. Lisäksi voidn slli produktio S ε, jott kielioppi voi hyväksyä myös tyhjän merkkijonon. Esimerkiksi kieli { n b n c n n N} ei ole kontekstiton, mutt se voidn esittää käyttämällä kontekstisi sääntöjä. Kontekstisi kielioppej ei käsitellä tällä kurssill. Nekin ovt silti kiintoisi... utomttien teoriss: Kuten jo vihjttiin, kontekstittomt kielet voidn tunnist utomteill joill on tvllinen pino. Kontekstiset ts utomteill joill on vopino. lskennn vtivuusteoriss: Kontekstiset kielet ovt ne, jotk voidn tunnist käyttämällä relistinen eli polynominen määrä muisti. Jos sllitn rjoittmttomt produktiot α β, missä α V + j β V, niin sdn rjoittmttomt kieliopit, joill voidn kuvt kikki lgoritmisesti generoitviss olevt kielet. Vkiintuneit merkintätpoj Välikesymboleit merkitään isoill kirjimill: A, B, C,..., S, T Päätemerkkeinä käytetään pieniä kirjimi, b, c,..., s, t; numeromerkkejä 0, 1,..., 9; erikoismerkkejä; vrttuj snoj kuten if,for,end,... lihvoituin ti lleviivttuin. 76

79 Mielivltisin merkkeinä (kun välikkeitä j päätemerkkejä ei erotell) käytetään X, Y, Z. Päätemerkkijonoin käytetään u, v, w, x, y, z. Sekmerkkijonoin käytetään α, β, γ,..., ω. Kielioppi esitetään usein pelkkänä sääntöjoukkon: Tällöin A 1 ω ω 1k1 A 2 ω ω 2k2. A m ω m1... ω mkm välikesymbolit päätellään joko edellisten merkintäsopimusten mukn ti siitä, että ne esiintyvät sääntöjen vsempin puolin lähtösymboli on ensimmäisen säännön vsempn puolen esiintyvä välike; tässä siis A 1. Esimerkki 30. Sisäkkäisten sulkujonojen muodostmn kielen L ( ) = {( k ) k k 0} tuott kielioppi G ( ) = ({S, (, )}, {(, )}, {S ε, S (S)}, S) Esimerkki 31. Tspinoisten sulkujonojen muodostmn kielen tuott kielioppi G ( ) = ({S, (, )}, {(, )}, {S ε, S (S), S SS}, S) Esimerkiksi ()(()) on tspinoinen muttei sisäkkäinen sulkujono. Tämän mhdollist uuden säännön lisäämisen edellisen esimerkin 30 kielioppiin. Esimerkki 32. Kielen { i b k c k i, k = 0, 1,...} voi tuott kieliopill G = (V, Σ, P, S), joss V = {S, A, B,, b, c} Σ = {, b, c} P = {S AB, A A, A ε, B bbc, B ε}. Esimerkki 33. Yksinkertisten ritmeettisten lusekkeiden muodostmn kielen L expr tuott kielioppi G expr = (V, Σ, P, E) (6) joss V = {E, T, F,, +,, (, )}, Σ = {, +,, (, )}, P = {E T, E E + T, T F, T T F, F, F (E)}. 77

80 Kieliopill G expr voidn joht esim. seurvt lusejohdokset: E G E + T G T + T G T F + T G F F + T G F + T G (E) + T G (T ) + T G (F ) + T G () + T G () + F G () + Toinen kielioppi kielen L expr tuottmiseen on joss V = {E,, +,, (, )}, Σ = {, +,, (, )}, G expr = (V, Σ, P, E), (7) P = {E E + E, E E E, E, E (E)} Esimerkki 34. XML-dokumenttien kvioformlismit kuten DTD (Document Type Definition) muistuttvt kontekstittomi kielioppej. Dokumenttikvio kuv dokumentin elementtirkennett, jok näkyy sen XML-kooduksess käytettävistä elementtitunnisteist (eli tägeistä ) kuten <lsku> j </lsku> ll: <lsku><siks><etunimi>klle</etunimi> <sukunimi>könönen</sukunimi> </siks> <tuote><nimi>suksi</nimi><hint>99</hint><lkm>2</lkm></tuote> <tuote><nimi>pitoteippi</nimi><hint>5</hint><lkm>1</lkm></tuote> </lsku> Dokumenttikvioiden välikesymbolein käytetään elementtien nimiä kuten ll: <!ELEMENT lsku (siks, tuote+)> <!ELEMENT siks (etunimi, sukunimi, osoite?)> <!ELEMENT tuote (nimi, hint, lkm)> Vlidi elementti on tällöin sitä vstvn välikesymbolin tuottm luse. Elementtisisällölle tyypillinen vlinnisuus j toisto kuvtn säännöllisillä lusekkeill. Sikäli dokumenttikviot muistuttvt ns. ljennettuj kontekstittomi kielioppej (ECFG), joiden produktiot voivt smoin sisältää säännöllisiä lusekkeit. 78

81 Oleellisin ero kontekstittomiin kielioppeihin: Kontekstittomt kieliopit kuvvt merkkijonoj. Dokumenttikviot sitä vstoin kuvvt konkreettisen tekstiesityksen sijst hierrkkist elementtirkennett. Siten dokumenttikviot vstvt pikemmin ns. säännöllisiä puukielioppej, joit vstvt lskentmllit ovt ns. puuutomttej. Esimerkki 35. Trkstelln suomen kielen virkettä, jok koostuu yksinkertisest pääluseest sekä nollst ti usemmst sisäkkäisestä reltiiviluseest: L rel = {subj (jok pred ttr obj) pred ttr obj} Tällisi virkkeitä voidn tuott esim. seurvill kontekstittomn kieliopin G rel säännöillä: VIRKE SUBJ SL PRED ATTR OBJ SL jok PRED ATTR OBJ SL ε SUBJ poik tyttö jänis susi peikko PRED pelkäsi metsästi ATTR suurt pientä vihist hirmuist rk OBJ poik tyttöä jänistä sutt peikko Mitä virkkeitä voit joht lähtösymbolist VIRKE? Kontekstittomt kieliopit ovt luontisi positionlisille kielille, joss kuk teki mitä kenelle ilmistn niiden pikoill luseess. Esimerkiksi englnnin kielessä on snjärjestys on vltosin subjekti-verbiobjekti (SVO) kuten yllä. Mutt suomen kielessä snjärjestys onkin vp j kuk teki mitä kenelle ilmistnkin sijmuodoill. Esimerkki 36. Ohjelmointikielten syntksin kuvus. Psclin osjoukko: luse ehtoluse koottu-luse sijoitus kutsu ehtoluse if ehto then luse else luse ehto x=0 koottu-luse begin lusejono end lusejono luse luse ; lusejono sijoitus x:=0 kutsu b c Tästä on hyötyä ohjelmoijlle (syntksi pitää ost, jos ikoo ohjelmoid), mutt myös kääntäjä (ti yksi sen os, jäsennin (englnniksi prser )) voidn lti suorviivisesti perustuen kielioppiin. Jäsennystä edeltää yleensä selusvihe, joss ohjelmn lähdekoodi pilkotn yllä kuvttuihin osiin (vrtut snt, muuttujt, liohjelmien nimet, vkiot, jne) käyttäen äärelliseen utomttiin perustuv trnsduktori. (Ks. sivu 109.) Tehtävä 34. Ldi kontekstiton kielioppi, jok tuott rjttomn monist sisäkkäisistä for-silmukoist, lkeisopertioist j kokonislukuvkioist N koostuvt ohjelmointikielen luseet, kuten for (i=n; i<n; i++) { for (j=n; j<n; j++) { } } 79

82 Muit sovelluksi ovt esimerkiksi pseudotiedettä suoltv puppugenerttori http: //pdos.csil.mit.edu/scigen/ sekä ksvikieliopit (nimeltään L- eli Lindenmyer-systeemit): Niiden iden on mllint sitä biologist kontrollimeknismi, jok määrää, että tähän kohtn ksv uusi oks, tuohon kohtn ts uusi lehti. Vstvntpisi, hyödyllisempiä, sovelluksi on muitkin, kuten neuroverkkojen rkenteen generointi kieliopill (jok on voitu generoid vikkp geneettisillä lgoritmeill), yms. Induktiivisist nottion määritelmistä Usein määritellään jokin nottio induktiivisesti eli itseensä viittvsti kuvilemll se luonnollisell kielellä. Itse siss silloin määritelläänkin usein nottiolle kontekstiton kielioppi, sitä vin ei lusut ääneen. Esimerkiksi edellä määriteltiin kkoston Σ säännölliset lusekkeet: Vkiot j ε ovt jokisen kkoston säännöllisiä lusekkeit siis kieliopiss on säännöt S j S ε. kkoston jokinen merkki Σ on sen säännöllinen luseke siis kieliopiss on om sääntönsä S jokiselle Σ jos r j s ovt kkoston Σ säännöllisiä lusekkeit, niin myös (r s), (rs) j r ovt sen säännöllisiä lusekkeit siis kieliopiss on säännöt S (S S) S (SS) S S 80