11. Merkkijonot Merkkijonojen abstrakti tietotyyppi

Transkriptio

1 11.1. Merkkijonojen strkti tietotyyppi 11. Merkkijonot Dokumenttien käsittey tietokoneiss on ksvnut vtvsti viimeisen prinkymmenen vuoden ikn. Tietokoneit käytetään dokumenttien kirjoittmiseen, muuttmiseen, etsimiseen j siirtämiseen tietoverkoiss. Moneninen tietojenkäsittey tietoverkoiss on isääntynyt suorstn räjähdysmäisesti vuosikymmenessä. Kikess tässä ovt tietojenkäsitteyn knnt merkkijonot vinsemss; merkkijonoiksi voidn tietysti mietää kikki tietojenkäsitteyn tieto mentäessä in ittijonoihin sti, mutt tässä yhteydessä trksten merkkijonoj nimenomn jonkinist tekstiä, merkkejä ti symoej, sisätävänä tieton eikä mennä isymoiseen ittiesitykseeen. 11. uku 560 Astrktisti jteen merkkijono (string) on pekästään jono merkkejä jostkin kkostost (phet), jok on merkkien (chrcter) joukko. Merkkijonot toteutetn ähes tukoon in tuukkoin, joten yksittäinen merkki sdn niistä vkiojss indeksinsä mukn tuukost. Jokisess tietokoneess on sisäänrkennettu merkkijärjestemä, jok on tyypiisesti nykyään esim. ASCII- ti Unicode-koodi. Akkosto voi toki o mikä thns soveuksess määritety; siksi trksten sitä yeisesti j merkitään symoi. Okoon P = P[0]P[1]P[2] P[m-1] m merkin merkkijono. P voisi o esim. uonnoist kietä, kuten kissn viikset, jonk pituus on 14 merkkiä. Se voisi o myös CGTAATAGTTAATCCG, jok on 16 merkkiä pitkä j oisi DNA-sekvenssi. Edeisessä tpuksess koodi oisi esim. Unicode j jäkimmäisessä {A, C, G, T}. 11. uku 561 Monet tyyppiiset merkkijonokäsitteyt pitävät sisäään merkkijonojen pikkomist osiin. Näistä käytetään nimitystä osjono (sustring), jooin P:n tpuksess osjono on muoto P[i]P[i+1]P[i+2] P[j], kunon0 i j m-1. Merkkijono voi o näin oen itsensä osjono, kun i = 0 j j = m-1. Jos tämä ääritinne jätetään pois, kysymys on idost (proper) osjonost, jooin i > 0 ti j < m-1. Lyhennysmerkintänä eo. merkkijonost voidn käyttää merkintää P[i..j]. Voidn käyttää myös tyhjää merkkijono (i > j edeä), jonk pituus on 0. Etuiite (prefix) on osjono P[0..i],kun0 i m-1. Loppuiite (suffix) on muoto P[i..m-1], kun 0 i m-1. Vstkohtn merkkijonon pikkomisee on yhdistäminen, ktentio (conctention), jooin merkkijonoist P = P[0]P[1]P[2] P[m-1] j Q = Q[0]Q[1]Q[2] Q[m-1] yhdistetään uudeksi merkkijonoksi P + Q ei P[0]P[1]P[2] P[m-1]Q[0]Q[1]Q[2] Q[m-1] (toisinn käytetään muitkin symoeit kuin + ti vin kirjoitetn ne peräkkäin ktention osoittmiseksi). 11. uku 562 Merkkijono-opertiot joten khteen tyyppiin, muuttviin (mute) j muuttmttomiin (immute), sen mukn, voidnko opertio muutt merkkijono. Esim. Jvss tämä määriteään täsmäisesti uoki String jäkimmäisee j StringBuffer edeisee. Muuttmttomi opertioit ovt mm. merkkijonon pituuden määrittäminen, ktentio j osjonon määrääminen. Muuttvi opertioit ovt eriiset päivitystoiminnt, kuten merkin isääminen merkkijonon johonkin kohtn, merkin vihtminen toiseen ti merkkijonon kääntäminen. Opertiost riippuen näiden suoritusjt vihteevt jst O(1) ikn O(n), O(m) ti O(n+m), missä n j m ovt opertioiss esiintyvien merkkijonojen pituudet. 11. uku 563

2 11.2. Hhmontäsmäämisgoritmej Merkkijonojen kssisess hhmontäsmäämisongemss (pttern mtching) on merkkijono T pituudetn n, j hutn sevittää, onko P merkkijonon T osjono. Tämä käsite trkoitt kysymystä, onko oemss T:n osjono jostkin indeksistä i ken, jok on merkki merkitä sm kuin P. Lskennn tuos on imoitus siitä, onko näin vi ei. Jos hhmo esiintyy merkkijonoss T, nnetn kukoht i. Okoot P j T kkoston merkeistä muodostettuj. Vikk kkosto ymmärretään yeisenä, oetetn sen koon oevn ääreinen j vkio. Trksten seurvss suppesti hhmontäsmäämisgoritmej. R n voimn hhmontäsmäämisgoritmi R n voimn hhmontäsmäämisgoritmi (rute-force pttern mtching) on todennäköisesti ensimmäinen, jok tuisi mieeen, jos ongem pitäisi ähteä rtkisemn uuten. Siinä tutkitn yksinkertisesti kikki mhdoiset P:n sijinnit T:ssä. Agoritmi (koodi 11.1.) on yksinkertinen j toimii jop rjoittmttome kkostoe. Esim Okoot merkkijonon T teksti cccc j hhmon P merkkijono c. Kuvss esitetään goritmin suoritus esimerkin tpuksess. 11. uku uku 565 Agorithm BruteForceMtch(T,P): Input: merkkijonot T j P j näissä n j m merkkiä Output: öydetyn osjonon ensimmäisen merkin indeksi T:ssä ti imoitus, ettei P:tä esiinny T:ssä for i 0 to n-m {jokisee mhdoisee indeksie T:ssä} do j 0 whie (j<m nd T[i+j] = P[j]) do j = j+1 if j=m then return i return osjono P ei esiinny T:ssä Koodi R n voimn hhmontäsmäämisgoritmi. 11. uku 566 c c c isää 12 vertiu täsmäys indeksiä 10 Kuv Esimerkkisuoritus r n voimn goritmist, missä joudutn tekemään 28 vertiu. 11. uku 567

3 R n voimn goritmi on yksinkertisin mhdoinen. Se käsittää kksi sisäkkäistä simukk, joi tehtävä sevästi rtke. Kyseessä on täydeinen hku merkkijonoss T. Agoritmin suorituskyky ei oe kuitenkn hyvä, kosk phimmin joudutn tekemään m vertiu sen totemiseksi, ettei hhmo täsmää käsitetävän osjonon knss. Agoritmin uomp simukk suoritetn enintään n - m + 1 kert j sisempää enintään m kert. Näistä tuee menetemän suoritusjksi O((n-m+1)m), jok on muunnettviss muotoon O(nm). Boyer-Moore-goritmi Ain ei oe trpeen käydä äpi kikki T:n merkkejä osjonon P öytämiseksi. Isohko os T:n merkkien j P:n väisistä vertiuist on mhdoist vättää käytettäessä Boyer-Moore-goritmi (BM), jost tässä esitetään yksinkertistettu versio. BM-goritmi hyödyntää tieto, että kkoston koko ei merkkien määrä on kiinnitetty. Tämä on myös menetemän rjoitus, kun ts r n voimn goritmi toimii rjoittmttom kkosto. BM-goritmi toimii prhiten suppe kkosto. Näin se on usein hyvä snojen etsimiseksi (uonnoisen kieen) tekstistä. R n voimn menetteyä tehostetn khde (mhdoisesti) ik säästävää heuristiik: Peii-heuristiikk: Vertitess mhdoist P:n täsmäämistä josskin koht T:ssä vertminen oitetn P:n opust tämän kuun päin edeten. 11. uku uku 569 Merkki-hyppy-heuristiikk: Jos vertiuss esiintyy merkin T[i]=c epätäsmääminen vertitvn P[j] knss, tinne hoidetn seurvsti. Jos c ei esiinny oenkn P:ssä, P siirretään kokonn merkin T[i] ohi, siä sehän ei voi täsmätä minkään P:n merkin knss. Muuten P:tä siirretään eteenpäin, kunnes P:n merkki c täsmää jonkin merkin T[i] knss. Edeinen heuristiikk on hyödyinen, kun kohdtn P:n oppupäästä oevn merkin kohdss epätäsmääminen, jooin ei trvitse verrt enää P:n kupään merkkejä. Sen sijn hypätään näiden merkkien yi T:ssä jäkimmäisen heuristiikn mukisesti. Näin voidn säästää runssti vertiuj. Määriteään funktio st(c). Tämä käsittää kkoston merkin c j määrää, kuink kus hhmo P voidn siirtää, kun öydetään tekstistä merkki c, jok ei täsmää hhmon knss: Jos c on mukn hhmoss P, st(c) on yhtä kuin c:n viimeisen ei oikenpuoimmisen esiintymän indeksi. Muuten määriteään, että st(c)=-1. Kun käytetetään merkkejä vstvi indeksejä tetettuin tuukkoon, st-funktio on heposti toteutettviss hkutuun. Tämä voisi o hrjoitustehtävä. Hkutuu on skettviss suoritusjss O(m+ ) tunnettess P (monp:n pituus j kkoston merkkien määrä). 11. uku uku 571

4 Agorithm BM(T,P): Input: Teksti ei merkkijono T (n merkkiä) j hhmo P (m merkkiä). Output: Akuindeksi ensimmäisestä osmerkkijonost, jok täsmää T:ssä P:n knss, ti imoitus, ettei täsmäystä esiinny. Lske funktio st. i m-1 j m-1 repet if P[j]=T[i] then if j=0 then return i {täsmäys!} ese i i-1 j j-1 Koodi Boyer-Moore-hhmontäsmäysgoritmin kuos. 11. uku 572 ese i i+m-min(j,1+st(t[i])) {hyppy} j m-1 unti i>n-1 return T:ssä ei oe P:n knss täsmäävää osmerkkijono. Koodi Boyer-Moore-hhmontäsmäysgoritmin oppuos. Hyppyvihett hvinnoistetn seurv kuv. 11. uku 573 () () i i j m-(1+) 1+ j m-j j Kuv Hypyn esitys Koodin mukn, kun =st(t[i]). Erotetn kksi tpust: () 1+ j, joss siirretään hhmo j- yksikköä, j () j<1+, joss siirretään hhmo yhdeä yksiköä kuvn tinteess. 11. uku 574 c d c c c 5 c c ch c d st(ch) Kuv Tämä vst Kuvn tinnett yhden merkin ero, joss on merkki d yhden c:n esiintymän sijst. BM-goritmi suoritt 13 merkkivertiu. c uku 575

5 p t t e r n m t c h i n g g o r i t h m BM-goritmin phimmn tpuksen suoritusik on O(nm+ ). Täöin O(m+ ) on st-funktion skent-ik j hhmon etsintä vie enimmiään O(nm), smn kuin r n voimn goritmi. Phin tpus esiintyy esim. seurvss tinteess: n T =. m-1 P = Täinen on kuitenkin sngen hrvininen tinne, erityisesti uonnoisen kieen tekstissä seurvn kuvn tpn. r i t h 1 m r i t h 2 r i t h m r i t h 3 m r i t h Kuv Hettess hhmo uonnoisen kieen tekstistä keskimääräinen vertiujen määrä on yeensä meko pieni. Kokeeisten testien mukn engnninkieisestä se on keskimäärin 0.24 vertiu merkkiä kohti viisimerkkiseä hhmo. 4 5 m m r i t h r i t h 6 m m 11. uku uku 577 Knuth-Morris-Prtt-goritmi R n voimn goritmiss oi muun heikkous. Kun esimerkissä hvittiin josskin koht, ettei osjono täsmää hhmon knss, hyättiin kikki sitä koht kerätty informtio (osittinen täsmäys tvn) j oitettiin vertminen uudestn yhden indeksin verrn eteenpäin iikkuen. Tätä menetteyä on mhdoist tehost, kun hyödynnetään vertiujen tuottm informtiot. 11. uku 578 Knuth-Morris-Prtt-goritmiss (KMP) esikäsiteään hhmo P niin, että voidn hyödyntää mhdoisimmn jsti iemmin suoritettuj vertiuj. Muodostetn epäonnistumisfunktio (fiure function) f, jok osoitt P:n sopivn siirron hyödyntäen iempi vertiuj. Epäonnistumisfunktio määriteään P:n pisimpänä etuiitteenä, jok on osjonon P[1..j] oppuiite (ei siis P[0..j]). Myöhemmin esitetään, miten f sketn. Epäonnistumisfunktio kood toistetut osjonot hhmon sisää. Tätä tieto käytetään trpeettomien vertiujen vättämiseksi. Hypätään niiden yi, kosk tiedetään täöin osjonon kupään täsmäävän, kun oi öydetty sie täsmäävää toisto (hhmon mitn sisätä) myöhemmin merkkijonost. Esim Trksten hhmo P = c esimerkistä KMPgoritmin epäonnistumisfunktio f(j) on (toistoin khdesti j kerrn ): j P[j] 11. uku 579 f(j)

6 KMP-goritmi (koodi 11.2.) käy peräkkäin merkkijono T äpi verrten sitä hhmon P knss. Löydettäessä täsmäävät merkit isätään moempien indeksien rvoj yhdeä. Jos vstinmerkit T:stä j P:stä eivät täsmää j edeisessä merkkien vertiuss oi täsmäys, ktsotn epäonnistumisfunktiost uusi indeksi P:ssä, mistä pitää jtk vertiu. Muuten (oi epätäsmäys j käsittey on hhmon uss) isätään yksinkertisesti T:n indeksiä (P:n indeksi pysyy muuttumttomn ei hhmon uss). Tätä toistetn, kunnes täsmäys tphtuu ti svutetn merkkijonon T oppu. Kuvss on esitetty esimerkki KMP-goritmin toiminnst. Huomtn sen tekevän vähemmän vertiuj kuin r n voimn goritmi. Agorithm KMPMtch(T,P): Input: merkkijonot T j P, joiden pituudet ovt n j m Output: öydetyn osjonon kukohdn indeksi T:stä ti imoitus, ettei hhmo öydetty f KMPfiureFunction(P) {muodostetn epäonnistumisfunktio f} i 0 j 0 whie i < n do if P[j] = T[i] then if j = m - 1 then return i - m + 1 {täsmäys tphtui} i i + 1 j j + 1 Koodi (ku) Knuth-Morris-Prtt-goritmi. 11. uku uku 581 c c c ese if j > 0 {iittyy ens. if:iin; ei täsmäystä, mutt on edetty P:ssä} then j f(j -1) {muutetn indeksiä epäonnistumisfunktion mukn} ese i i + 1 return osjono P ei oe merkkijonoss T Koodi (oppu) Knuth-Morris-Prtt-goritmi. KMP-goritmin pääos on whie-simukk, jok suoritt T:n j P:n merkkien vertiun. Tämän tuoksest riippuen goritmi joko siirtyy niiden seurviin merkkeihin, käyttää epäonnistumisfunktiot uutt merkkiehdokst vrten P:stä ti oitt uudestn seurvst merkistä T:ssä. Trpeettomt vertiut ohitetn käsitteyssä, siä epäonnistumisfunktio tk niiden oevn redundnttej. 11. uku vertiu ei tässä oe trpeen Kuv Esimerkkisuoritus KMP-goritmist, missä sevitään 19 vertiu, kun pun on esimerkin epäonnistumisfunktio f. 11. uku 583

7 Yksityiskohtiin kjomtt j epäonnistumisfunktion muodostmist huomioon ottmtt todetn KMP-goritmin suoritusjn muit osin oevn uokk O(n). Epäonnistumisfunktio muodostetn vyörytysmenetemää (oot-strpping), jok muistutt itse KMP-goritmi. Verrtn hhmo itseensä. Jok kert, kun on täsmäävät merkit (smn merkin kksi eri esiintymää hhmoss), setetn f(i) =j+ 1. Kosk on i > j koko goritmin suorituksen jn, f(j-1) on in määritety sitä trvittess. Epäonnistumisfunktion skent on suoritusjtn O(m) ei uonnoisesti hhmon pituudest riippuv. Täten KMP-goritmin suoritusik on kokonisuudessn O(n+m). 11. uku 584 Agorithm KMPFiureFunction(P): Input: merkkijono P (hhmo) m merkkeineen Output: merkkijonon P epäonnistumisfunktio f, jok kuv j:n P:n pisimmän etuiitteen pituudeksi, kun etuiite on P[1..j]:n oppuiite i 1 j 0 f(0) 0 whie i m - 1 do if P[j] = P[i] then {on täsmätty j + 1 merkkiä} f(i) j + 1 i i + 1 j j + 1 Koodi (ku) KMP-goritmin epäonnistumisfunktion skeminen. Agoritmi hyödyntää funktion edetäviä rvoj uusi skiessn. 11. uku 585 ese if j > 0 then {j indeksoi P:n etuiitteen jäkeen, jot on täsmättävä} j f(j-1) ese {täsmäystä ei tässä oe} f(i) 0 i i + 1 Koodi (oppu) KMP-goritmin epäonnistumisfunktion skeminen. Agoritmi hyödyntää funktion edetäviä rvoj uusi skiessn. Voisi kuvite, että merkkijonon T jokinen merkki on pkko käydä äpi vertiuiss. Näin ei kuitenkn in oe, vn siitä voidn usein hypätä yi osi. Täinen on Boyer-Moore-goritmi edetä Trie Nimi trie tuee snst retriev, siä rkenne on tärkeä tiedonhuss (informtion retriev). Kyseessä on puu, jonk somut sisätävät merkkitieto. Pääsiiset kyseyopertiot, joit triee soveetn, ovt hhmon täsmääminen j etuiitteen täsmääminen. Jäkimmäinen trkoitt merkkijonon X etsimistä joukon S merkkijonoist näiden kuosn. Trksten inostn stndrdi-trietä, jok on ähtökoht useimmiten käytännössä soveettvie monimutkisemmie, mutt tehokkmmin merkkejä tettvie trie-rkenteie. 11. uku uku 587

8 Okoon S kkoston merkkijonojen joukko. Äköön isäksi mikään merkkijono näistä oe jonkin toisen etuiite (prefix). Stndrdi-trie on täöin puu T, jo on ominisuudet: Juurt ukuun ottmtt jokinen T:n somu merkitään kkoston merkiä. Sisäsomun psisomut järjestetään kkostoss määriteyä järjestykseä. Puun T jokiseen ehteen v iittyy S:n merkkijono. Poku juurest ehteen v määrittää tähän iittyvän merkkijonon. Kun edeytettiin, ettei mikään S:n merkkijono oe toisen etuiite, jokinen S:n merkkijono iittyy yksikäsitteisesti T:n ehteen. Trvittess tämä voidn vrmist iittämää erikoismerkki, jok ei kuuu joukkoon. Trien sisäsomu voi o mikä thns määrä psisomuj väitä 1 j d, kun d on kkoston koko. Ehton on, että somuss esiintyvä merkki on myös josskin S:n merkkijonoss niin monenten, kuin se on myös kyseiseä pou juurest ehteen. Täöin poku juurest sisäsomun v syvyydeä i vst S:n merkkijonon Xi-merkkistä etuiitettä X[0..i-1]. Jokist merkkiä c kohti, jok voi seurt etuiitettä X[0..i-1] josskin S:n merkkijonoss, on oemss c:ä merkitty v:n psi. Kuvn 13.6 mukisesti sisäsomu voi o vin yksi psi, mutt enimmiään d st. Täten trie on monitiehkupuu. Kuvn puuss on useit yksipsisi somuj. Näitä perättäisiä yksisomuisi voitisiin yhdistää merkitsemää somuun useit merkkejä. Näin stisiin tiivistetty trie, jok on tehokkmpi kuin stndrdi-trie. Tiivistettyä muoto ei kuitenkn tässä esitetä. 11. uku uku 589 e i u e s t Stndrdi-trieä, joss on d merkin kkostost kokoemn S s merkkijono kokonispituudetn n, on ominisuudet: d r y c o p T:n jokise sisäsomu on enintään d st. T:ä on s ehteä. T:n korkeus on yhtä kuin S:n pisimmän merkkijonon pituus T:n somujen ukumäärä on O(n). Kuv Merkkijonojen {er, e, id, u, uy, se, stock, stop} stndrdi-trie. 11. uku 590 k Somujen suhteen phin tpus esiintyy, kun ei miään khde merkkijono oe yhteistä (ei-tyhjää) etuiitettä, ts. jokise sisäsomu on inostn yksi psi. 11. uku 591

9 Trietä voidn käyttää snkirjn toteutukseen vinten oess S:n merkkijonot. Hettess merkkijono X triestä T ähdetään juurest j edetään s merkkien viitoittm poku. Jos täinen poku on oemss triessä j päädytään oput ehteen, X on snkirjss. Jos täist kokonist poku ei oe koko merkkijonoe ei se oppuu kesken merkkijono tutess (ennenikisesti) ehteen ti poun päättyessä sisäsomuun, kyseinen merkkijono ei oe snkirjss. Esim. u päättyy ehteen, joten se on Kuvn trien sn. Sen sijn e, ee, et, etween, ig ti uoy eivät oe tässä triessä. Merkkijonon hku triestä vtii ikkompeksisuuden O(dm), joss m on merkkijonon pituus, siä enintään d merkin vertmist trvitn kusskin somuss. Joiekin kkostoie vertmisten määrää voidn pudott rvoon O(og d) ti jop O(1) käyttämää merkkien tetukseen hjutustuu. Kun yeensä d voidn jte vkion, voidn pitäytyä jtukseen, että kusskin somuss trvitn ik O(d). 11. uku 592 Trie sopii erityisen hyvin snojen täsmäämiseen, joss sevitetään, vstko nnettu hhmo täsmäisesti jotkin tekstin sn. Tämä on rjoitetumpi tinne kuin tvinen hhmon täsmääminen, kosk hhmo ei voi o mieivtisesti yhdistetty merkkijono, vn jokin tekstin sn tekstin oess esim. uonnoist kietä. Yeisesti oi ikvtimus O(dm) hettess sn triestä. Kun sn on esim. uonnoist kietä ti DNAmerkkijono, joiden kkoston koko on kiinnitetty ei vkio, kysey vtii vin O(m). Kuvss on esimerkki. Tehtäessä trie kukin S:n merkkijono isätään kerrn. Mikään niistä ei oe toisten etuiite. Lisättäessä X triehen jäjitetään sitä vstv poku. Jäjitys päättyy sisäsomuun v, jok on ennen merkkijonon X viimeistä merkkiä j jonk mikään psi ei täsmää uuden merkkijonon seurvn merkin knss. Luodn täöin uusi hr vstmn merkkijonon oppuj merkkejä. Yhden merkkijonon isäys vti jn O(dm) j S:n koko trien muodostminen jn O(dn), joss n on S:n merkkijonojen kokonispituus. 11. uku 593 s e e e r? s e s t o c k! s e e u? u y s t o c k! e i u h e e s t i d s t o c k! i d s t o c k! h e r t h e e? s t o p! () Kuv Stndrdi-trien snn täsmääminen j etuiitteen täsmääminen: () käsitetävä teksti. 11. uku 594 d r 47, () k 17, 40 51, 62 Kuv (jtko) () Trie muodostettu (poistosnt, kuten rtikkeit j the on sujettu pois epäsemnttisin ), kun ehtiin on isätty snojen kukohtien indeksit. y 36 r e 0, uku 595 c o p

10 11.4. Hhmontäsmäys säännöisten imuksien vu Edeä esitetyt hhmontäsmäysgoritmit oivt kikki trkoitetut rtkisemn ongemi, joiss etsitään tekstistä määrättyä osjono, hhmo. Monesti on trvett merkkijonojen etsimiseen, missä hutn yeistä muoto oevi hhmoj, ei inostn yhtä määrättyä. Säännöiset imukset (regur expressions) kuvvt täisi yeisiä hhmoj. 1. Tyhjä on säännöinen imus, jok viitt joukkon { }. Tämä sisätää inostn tyhjän merkkijonon, jonk pituus on no. 2. Jokise symoi joukost on säännöinen imus, jok on joukko {}. Seurvi kome säännöä yhdistetään edetävien perussääntöjen ntmi imuksi uusien säännöisten imusten uomiseksi: Säännöiset imukset Säännöiset imukset ovt yksinkertisi, mutt tehokkit käsitteitä kuvttess merkkijonojen mhdoisesti äärettömiä joukkoj, joit kutsutn myös formeiksi kieiksi (form nguge) yi nnetun kkoston. Säännöisiä perusimuksi määriteään khde säännöä: 11. uku Jos j ovt säännöisiä imuksi kuvten joukot A j B, ( + ) on säännöinen imus määrittäen joukon A B. 2. Jos j ovt säännöisiä imuksi kuvten joukot A j B, ( ) on säännöinen imus määrittäen kikkien seisten merkkijonojen joukon, missä merkkijonot on muodostettu ottm merkkijono joukost A j ktenoim se merkkijonoon joukost B. 11. uku Jos on säännöinen imus kuvten joukon A, niin ( *) on säännöinen imus, jok kuv kikkien seisten merkkijonojen joukon, joss merkkijonot on muodostettu ktenoim i merkkijono joukost A (toistot sim), kun i 0 (tpus i = 0 trkoitt tyhjää merkkijono ). Tämä opertio on joukon A Keenen sukeum (Keene cosure). Kun hutn käyttää tätä imn tyhjää merkkijono, merkitään ( + ), missä on siis i 1. Esim Säännöiset imukset kykenevät esittämään yksinkertisesti merkkijonojen joukkoj oheisten esimerkkien tpn kkoston oess {, } on joukon {, } säännöinen imus. 2.( + ) on joukon {, } säännöinen imus. Aritmeettisten usekkeiden tvoin säännöisie imuksie voidn määriteä presedenssi, jooin sukeet ovt poistettviss, jos ne noudttvt presedenssiä. Keenen sukeum on suurin presedenssi. Sitä seur ktentio, j opuksi opertio + on mtin. Täten imus (() +(*)) on sm kuin + * j imus ((() +)*) sm kuin( + )*. 11. uku * on joukon {,,,,, } säännöinen imus. 4.(+)* on kkoston ={,} kikkien merkkijonojen joukko on kikkien seisten merkkijonojen joukon säännöinen imus, josss ktentio on yhdistetty merkkien j muodostmt merkkijonot. 11. uku 599

11 6. *(*)** on kikkien seisten merkkijonojen joukon säännöinen imus, joss merkkejä on priinen määrä ti ei yhtään. Säännöiset imukset j ääreiset utomtit Hutn määrätä, onko jokin merkkijono x säännöisen imuksen kuvmss merkkijonojen joukoss. Jott säännöinen imus voitisiin esittää tehokk tv, siitä muodostetn strkti kone, jo on heppo suoritt merkkijonojen käsitteyä j vstt uss esitettyyn tehtävään. Muodostetn ääreinen ti-utomtti ei yhyemmin ääreinen utomtti (finite stte utomton, FSA). Se on erääninen yksinkertinen skentmi säännöisten formien kieten merkkijonojen täsmäämiseksi. 11. uku 600 Säännöisen kieen (regur nguge) snt vstvt säännöisten imuksien merkkijonoj. Ääreinen utomtti sisätää viisi os: 1. Tiojen (sttes) ääreinen joukko S (tit numeroidn uvust 1 ukuun k). 2. Akkosto. Tämä määritteee merkit, joi merkkijonot muodostetn. 3. Akuti (strting, initi stte) q 1 S, jok määritteee ääreisen utomtin kukonfigurtion. 4. Lopputi (fin stte) q f S, jok on hyväksyvä konfigurtio, kun ääreinen utomtti on tunnistnut merkkijonon täsmäävän määriteyn hhmon knss. 11. uku Trnsitiofunktio (trnsition function), jok määritteee ääreisen utomtin tit. Näihin tioihin siirrytään nykyisestä tist riippuen seurvst merkistä merkkijonoss. Seurv merkki voi o myös tyhjä. Trnsitiofunktio kuv prin (q,), joss q S on ti j { }, joukon S osjoukkoon. Tämä sisätää muut mhdoiset tit, joihin voidn siirtyä otess tiss q j uettess seurvn merkkinä merkkijonost (jos on =, voidn siirtyä johonkin mhdoiseen tin ukemtt yhtään merkkiä tekstistä). Ääreinen utomtti esitetään suunnttun grfin, jonk somut ovt tioj j joukon { } symoein ei merkein eimtut ei merkityt kret ovt trnsitioit. Jos on siis (q,) = r, niin grfiss on suunnttu kri tist q tin r (jokisee r S) j kri on merkitty merkiä. Ääreinen utomtti hyväksyy (ccepts) merkkijonon x, jos utomtti kutist ähdettyään päätyy opputin sm, kun merkkijono x on prosessoitu merkeittäin vsemmt oikee siirtyen kuoinkin merkin määräämään tin prosessin ikn. Tisiirtymät on täöin tehty trnsitiofunktion mukn j myös -trnsitio on sittu. Niinpä ääreinen utomtti hyväksyy merkkijonon x, jos utomtin grfist sdn suunnttu poku kusomust oppusomuun prosessoitess x ust oppuun. Täöin x sdn ktenoim poun krien merkit. Kuvttu ääreisen utomtin toimintp on epädeterministinen (nondeterministic), kosk on useit iisi pokuj, joit utomtti voi vit nnetue merkkijonoe x. Kun prosessi voi seurt vin määritetyjä trnsitioit, epädeterministinen hyväksymissääntö merkitsee myös, että jos jokin poku joht tin q, jost ei oe määritety trnsitiot merkkijonon x seurve merkie, niin poku päätetään kesken - se ei voi joht opputin. Jos ei oe iist poku opputin (niitä voi o useit), merkkijono x ei oe hyväksytty. Kuvss on muutmi esimerkkejä ääreisistä utomteist. 11. uku uku 603

12 0 1 () (c) 6, () Kuv Esimerkkejä ääreisistä utomteist: () hyväksyy merkkijonot, joiss on priinen määrä (ti ei yhtään) merkkejä j () hyväksyy merkkijonon. Lopputi on merkitty kksoisympyränä. Kuv (oppu) Esimerkkejä ääreisistä utomteist: (c) hyväksyy merkkijonot, jotk sisätävät osnn merkkijonon ti. 11. uku uku 605 Säännöisiä imuksi ääreisinä utomttein toteutettuin käytetään tunnistmn ei hyväksymään säännöisiä (formej) kieiä. Automtie, jok toteutt säännöisen imuksen ohe tätä vstv säännöistä (formist) kieioppi, syötetään merkkijono. Jos merkkijono on säännöisen imuksen mukinen ei sm säännöisen kieiopin generoimn kieen sn (ti use), utomtti hyväksyy merkkijonon. Trkemmitt perusteuitt minitn opuksi seurvt useet. Luse Okoot säännöisen imuksen pituus m merkkiä j merkkijonon x pituus n merkkiä. Se, onko x säännöisen imuksen määrittämän säännöisen kieen mukinen, on skettviss jss O(nm). Luse Okoot merkkijono (teksti) Tnmerkkiä pitkä j säännöinen imus m merkkiä pitkä. Säännöisen imuksen määrittämän kieen mukinen osjono öydetään ti todetn, ettei seist oe, jss O(nm). 11. uku 606