TIEA241 Automaatit ja kieliopit, syksy 2016 Antti-Juhani Kaijanaho TIETOTEKNIIKAN LAITOS 3. lokakuuta 2016
Sisällys
n tunnistin Jay : An Efficient Context-Free Parsing Algorithm. Communications of the ACM, 13 (2), pp. 94 102, 1970. Syötteenä CFG G ja merkkijono w, tulosteena tieto, päteekö w L(G).
Asetelmat Algoritmi pitää kirjaa kolmesta asiasta: produktio, jota ollaan soveltamassa kuinka pitkälle produktion oikealla puolella ollaan päästy mistä kohtaa syötemerkkijonoa produktion käsittely alkoi Tällaisia kirjauksia kutsutaan asetelmiksi (engl. item) Asetelma, jossa sovelletaan produktiota A α 1... α n, jossa on jo käsitelty k ensimmäistä oikean puolen merkkiä ja jonka produktion käsittely alkoi syötemerkistä numero l, esitetään muodossa 1 A α 1... α k α k+1... α n, l 1 Huomaa piste!
Lähtökohdat Algoritmi olettaa: kieliopin alkusymbolilla on täsmälleen yksi produktio alkusymboli ei esiinny minkään produktion oikealla puolella Merkitään syötemerkkijonoa w = c 0... c n 1. Tarvitaan apujoukkoja yksi enemmän kuin syötemerkkijonossa on merkkejä. Merkitään niitä S 0,..., S n. Kukin apujoukko sisältää asetelmia.
Algoritmi 1. Alustetaan: 2 S 0 = {(S ω S, 0)} i {1,..., n} : S i = 2. Kaikilla i = 0,..., n (tässä järjestyksessä) ja jokaisella s S i tehdään yksi seuraavista: Ennustus Jos s on muotoa A ω Bω, f : Jokaiselle produktiolle B ω B P S i :hin B ω B, i. Täydennys Jos s on muotoa A ω, f : Jokaiselle (B ω B Aω B, f ) S f S i :hin B ω B A ω B, f. Selaus Jos s on muotoa A ω cω, f ja c = c i : Lisää S i+1 :een A ωc ω, f. 3. Palauta, päteekö (S ω S, 0) S n. 2 Olkoon S ω S kieliopin alkusymbolin ainoa produktio.
Kieliopilla yksin ei pitkälle pötki Kontekstiton kielioppi tuottaa merkkijonoja ja sen avulla voidaan selvittää, kuuluuko merkkijono sen kieleen. Entä jos merkkijonoon pitäisi liittää jotain tulkintaa? Voidaan toki rakentaa jäsennyspuu ja sitten määritellä tulkinta sen mukaan. Vähän tähän tapaan käytännössä toimitaankin! Yksi samankaltainen idea on attribuuttikieliopit. Donald E. Knuth: Semantics of Context-Free Languages. Mathematical systems theory, 2 (2), 1968.
Lähtökohtana kontekstiton kielioppi. Kullekin välike- ja päätesymboleille voidaan määritellä attribuutteja kuin olioluokille. Kukin attribuutti on joko synteettinen taikka periytyvä. Jokaiseen produktioon liitetään laskentasääntöjä: Laskentasääntö voi lukea produktion vasemman puolen symbolin periytyviä attribuutteja oikean puolen symbolien synteettisiä attribuutteja Laskentasääntöjen tulee kirjoittaa kuhunkin produktion vasemman puolen symbolin synteettiseen attribuuttiin oikean puolen symbolin periytyvään attribuuttiihin Laskentasäännöllä ei saa olla sivuvaikutuksia. Laskentasäännön käyttäytyminen saa riippua vain produktion symboleiden kenttien arvoista.
Huomioita Laskentasäännöt kirjoitetaan produktion oikealle puolelle. Jos sama symboli esiintyy useamman kerran produktiossa, tulee esiintymät erottaa toisistaan alaindeksein. Tarkka syntaksi vaihtelee lähteen mukaan. Nämä pätevät tällä kurssilla.
Laskentaperiaate 1. Selvitä ensiksi syötemerkkijonon jäsennyspuu. Jokainen puun solmu on oma olionsa attribuuttien näkökulmasta. 2. Alusta puun kaikkien solmujen kaikki attribuutit. Välikesymbolien attribuutit alustetaan määrittelemättömiksi. Päätesymbolien attribuutit johdetaan syötteestä. 3. Kunnes kaikkien solmujen kaikki attribuutit on määritelty, toista: 3.1 Valitse jokin solmu X, jolla on lapset α 1,..., α n, sekä produktion X α 1 α n laskentasääntö r, joille pätee solmun X ja sen lapsien kontekstissa: Attribuutti, jonka r laskee, on määrittelemätön Attribuutit, jotka r lukee, on määritelty. 3.2 Suorita laskentasääntö r solmun X ja sen lapsien kontekstissa.
Attribuutit ennustavassa jäsennyksessä Synteettiset attribuutit on luonnollisinta käsitellä jäsennysaliohjelman paluuarvona. Periytyvät attribuutit ovat luonnollisimmin jäsennysaliohjelman parametreja. Tämä ei tokikaan tue kaikkia mahdollisia attribuuttikielioppeja!
Rajoitettuja versioita S-attributoitu kielioppi on sellainen, jossa ei lainkaan esiinny periytyviä attribuutteja. L-attributoitu kielioppi on sellainen, jossa attribuutit voidaan laskea yhdellä puun läpikäynnillä vasemmalta oikealle.
3 engl. parser generators ohjelmia, jotka tuottavat (attribuutti)kieliopin perusteella jäsenninohjelman yksi vanhimmista edelleen käytössä olevista on Yacc, joka tuottaa C-kieltä moderneja versioita ovat Byacc ja GNU Bison Javaa tuottavat mm. Antlr, CUP, SableCC useimmille kielille on omansa, jotkin (kuten Antlr) tukevat useita ks. esim. https://en.wikipedia.org/wiki/ Comparison_of_parser_generators 3 Meinasin otsikoida tämän jäsenninloimet mutta tulin järkiini.
Yacc Yacc-tiedosto jakaantuu kolmeen osaan, joiden välissä on symboli %%. Ensimmäisessä osassa on erilaisia määrittelyjä. Toisessa osassa on varsinainen kielioppi. Kolmas osa on vapaata C-koodia. Kielioppi on kontekstiton. jäsennysalgoritmina LALR jäsennys etenee jäsennyspuun lehdistä kohti juurta Yacc ei tosin konstruoi puuta tietorakenteeksi asti Yacc tykkää vasenrekursiosta, joten sitä ei ole syytä poistaa Produktion perään voidaan kirjoittaa aaltosulkeisiin C-koodia, joka suoritetaan, kun produktiota vastaava solmu lisätään puuhun. muistuttaa S-attributoitua kielioppia $n tarkoittaa oikean puolen n:nnen symbolin arvoa $$ tarkoittaa vasemman puolen symbolin arvoa
Yacc vs attribuuttikieliopit Yaccissa ei ole attribuutteja, mutta symboleilla on kokonaislukuarvo. Symbolien yhteisen tyypin vaihtaminen onnistuu määrittelemällä YYSTYPE Kullekin symbolille voidaan myös (hankalammin) määritellä oma tyyppinsä. Symbolin tyyppi voi olla tietue, jolloin symbolilla voi ajatella olevan attribuutteja. Yacc ei tue periytyviä attribuutteja. On tosin olemassa yksi überhaxxor-keino, jota ei oikein uskalla suositella... Yacc ei rajoita produktioon liitetyn koodinpätkän tekemisiä. Sivuvaikutukset ovat sallittuja ja yleisesti käytettyjä.
Yacc ja syötteen luku Yaccin mielestä symbolit ovat kokonaislukuja. Päätesymboleita ovat kaikki syötemerkistön merkit (kokonaisluvuksi muutettuna), joihin viitataan C-tyylisellä syntaksilla, esim. + erikseen %token-määrittelyllä luetellut symboliset päätesymbolit (joille Yacc määrittelee automaattisesti kokonaislukutunnuksen) Kun Yacc haluaa tietää syötteen seuraavan merkin, se kutsuu (ohjelmoijan laatimaa) aliohjelmaa yylex ilman parametreja. 4 Sen tulee palauttaa seuraava päätemerkki taikka 0 (syöte päättyi). 4 Sen voi laatia käsin tai käyttämällä esimerkiksi Flex-ohjelmaa.
Konfliktit Yaccissa Yacc käyttää LALR-jäsennystä Laajempi kuin LL(1): vasenrekursio on sallittua, jopa toivottavaa. LALR on useimpiin tietokonekielten käsittelytilanteisiin riittävä. LALR ei kuitenkaan tue kaikkia kontekstittomia kielioppeja. Jos kielioppi ei ole LALR-kielioppi, Yacc antaa virheilmoituksen. Virheitä on kahta tyyppiä: shift/reduce ja reduce/reduce.
shift/reduce Yaccilla on päätettävänään, kumpaa seuraavista produktioista sovelletaan (pistettä seuraava merkki on tarkastelun kohteena): A ω 1 A ω 1 ω 2 Reduce tarkoittaa ensimmäisen valintaa, shift jälkimmäisen. Yacc valitsee oletuksena shiftin mutta valittaa siitä huolimatta. Tämä on usein se, mitä haluttiin, mutta parempi olisi kirjoittaa kielioppi sellaiseksi, että konflikti katoaa.
reduce/reduce Yaccilla on päätettävänään, kumpaa seuraavista produktioista sovelletaan: A ω 1 A ω 2 Tämä tarkoittaa useimmiten, että kielioppi ei tee sitä, mitä tekijä haluaa.