jäsentämisestä TIEA241 Automaatit ja kieliopit, syksy 2015 Antti-Juhani Kaijanaho 27. marraskuuta 2015 TIETOTEKNIIKAN LAITOS

Transkriptio

1 TIEA241 Automaatit ja kieliopit, syksy 2015 Antti-Juhani Kaijanaho TIETOTEKNIIKAN LAITOS 27. marraskuuta 2015

2 Sisällys

3 Rekursiivisesti etenevä engl. recursive descent parsing Tehdään kustakin välikesymbolista aliohjelma, joka kokeilee kutakin produktiota vuorollaan. Päätesymbolin kohdalla katsotaan onko se seuraavana merkkijonossa. Välikesymbolin kohdalla kutsutaan sitä vastaavaa aliohjelmaa. Jos ei onnistu, peruutetaan (backtrack) lähimpään tehtyyn valintaan, jossa ei ole vielä kaikki vaihtoehdot käyty läpi.

4 Usein on mahdollista päättää heti, onko jokin produktio mahdollinen. Esim. E + TE ei tule kyseeseen, jos seuraava merkki ei ole +. Tällöin kokeile-ja-peruuta on täysin älytön idea. Ideaalitilanne on, jossa peruutusta ei tarvita lainkaan. Tällöin kyse on ennustavasta jäsennyksestä (engl. predictive parsing). Onnistuu vain osalle kieliopeista. Seuraavilla kalvoilla oletetaan annetuksi jokin kielioppi G = (V, Σ, P, S) ja rakennetaan sille (jos mahdollista) ennustava jäsennin.

5 NULLABLE NULLABLE on taulukko, joka kertoo kullekin välikesymbolille, voidaanko siitä johtaa tyhjä merkkijono. Aluksi kaikki välikemerkit ovat taulukossa merkitsemättömiä. Toista kunnes taulukko ei enää muutu: Toista kaikille produktioille A ω, jolle pätee, että A:ta ei ole merkitty: Jos ω ei sisällä yhtään päätemerkkiä ja sen kaikki välikemerkit on merkitty, merkitse A.

6 Yleistetty NULLABLE NULLABLE-taulukko voidaan yleistää pääte- ja välikemerkkien jonojen funktioksi seuraavalla rekursiivisella määritelmällä: NULLABLE(ε) = tosi NULLABLE(cω) = epätosi { NULLABLE(ω) NULLABLE(Aω) = epätosi jos NULLABLE[A] pätee muuten

7 FIRST FIRST on taulukko, joka kertoo kullekin välikesymbolille niiden päätemerkkien joukon, joilla kyseisestä välikesymbolista johdettavissa olevat merkkijonot voivat alkaa. Alusta kaikki muut taulukon paikat tyhjiksi. Toista kunnes taulukko ei enää muutu: Toista kaikille produktioille A s 1 s n, missä n 1 ja i {1,..., n} : s i Σ V 1. Olkoon k suurin joukossa {0,..., n}, jolle pätee, NULLABLE(s 1 s k ). 2. A:n kohdalle taulukkoon kaikki merkit FIRST[s 1 ] FIRST[s k ]. 3. Jos k < n ja s k+1 on päätemerkki, lisää A:n kohdalle taulukkoon lisäksi s k Jos k < n ja s k+1 on välikemerkki, lisää A:n kohdalle taulukkoon lisäksi FIRST[s k+1 ].

8 Yleistetty FIRST FIRST-taulukko voidaan yleistää pääte- ja välikemerkkien jonojen funktioksi seuraavalla rekursiivisella määritelmällä: FIRST(ε) = FIRST(cω) = {c} { FIRST[A] FIRST(ω) FIRST(Aω) = FIRST[A] jos NULLABLE[A] pätee muuten

9 FOLLOW Myös FOLLOW on välikemerkeillä indeksoitu taulukko: FOLLOW[A] = { c Σ ω 1, ω 2 (V Σ) : S G ω 1 Acω 2 } { ω (V Σ) : S G ωa } missä V Σ merkitsee merkkijonon loppua. Alusta kaikki taulukon paikat tyhjiksi paitsi aloitussymbolin, jonka paikalle laita. Toista kunnes taulukko ei enää muutu: Toista kaikilla produktioilla A ω 1 Bω 2, missä A, B V ja ω 1, ω 2 (V Σ) : B:n kohdalle taulukkoon merkit FIRST(ω 2 ). Jos NULLABLE(ω 2 ) pätee, lisää B:n kohdalle taulukkoon myös kaikki A:n kohdalla olevat merkit.

10 taulukko rivi jokaiselle välikesymbolille sarake jokaiselle päätesymbolille (ynnä syötteen loppu) Merkitse produktio X ω riville X ja sarakkeeseen t jokaiselle t FIRST(ω), ja jos NULLABLE(ω), myös jokaiselle t FOLLOW(X).

11 Taulukon tulkinta Tee jokaiselle välikesymbolille aliohjelma. Aliohjelman alussa tee switch case kaikille päätesymboleille (ynnä syötteen päättymiselle). Jos välikesymbolin X ja päätesymbolin t risteyskohta sisältää yhden produktion, niin koodaa ko. produktio X:n aliohjelmaan t:n caseen. sisältää useamman kuin yhden produktion 1, koodaa produktiot X:n aliohjelmaan t:n caseen ja käytä peruutusta valinnan tekemiseen produktioiden välissä. on tyhjä, niin koodaa X:n aliohjelmaan t:n caseen kielioppivirheen diagnosointi. Jos taulukossa ei ole yhtään konfliktia, jäsennin on ennustava. 1 Tällöin taulukossa on konflikti.

12 LL(1) left-to-right parse, leftmost derivation, 1-token lookahead. Jos kieliopista johdettu ennustava taulukko on konfliktiton, ko. kielioppi on LL(1). Jos kielioppi ei ole LL(1), kannattaa kokeilla vasemman rekursion poistoa ja vasenta tekijöintiä (engl. left factoring). Monet hyödylliset kieliopit eivät ole LL(1). Moniselitteinen kielioppi ei ole koskaan LL(1). On mahdollista yleistää LL(n):ään, jolloin FIRST ja FOLLOW sisältävät n:n mittaisia sanasjonoja. Tämä laajentaa jäsennettävien joukkoa.

13 : pro ja contra + Helppo koodata kieliopin perusteella käsin. + Tehokas ei peruutusta. Vaadittu LL(1)-kielioppi on usein varsin vaikeaselkoinen. Kieliopin muuttaminen voi johtaa vaikeaselkoisiin virheisiin, kun FIRST- ja FOLLOW-joukkojen muuttumista ei muisteta ottaa kaikkialla huomioon. Tämän poistaa LL-generaattorin käyttäminen (esim. ANTLR). Käsin kirjoitetun prediktiivisen jäsentimen muokkaaminen voi johtaa epäselvyyteen siitä, mitä kieltä se oikeasti jäsentää. Tämänkin poistaa LL-generaattorin käyttäminen (esim. ANTLR).