CLT131: Tekstityökalut 2012, kymmenes luento

Transkriptio

1 CLT131: Tekstityökalut 2012, kymmenes luento Tommi A Pirinen tommi.pirinen+clt131@helsinki.fi Helsingin yliopisto Kieliteknologian oppiaine, Nykykielten laitos 1. helmikuuta 2012 tommi.pirinen+clt131@helsinki.fi (HY) CLT131: 10. luento 1. helmikuuta / 18

2 Asialista 1 Tehtävät 2 Teoriaa 3 Menetelmät ja työkalut 4 Esitelmät tommi.pirinen+clt131@helsinki.fi (HY) CLT131: 10. luento 1. helmikuuta / 18

3 1. taulukkohaut Kahden hakuehdon yhdistys joko &&-merkinnällä tai kahdella awk-komennolla suht lyhyt sed-poiminta vielä mahdollinen, mutta teoriassa vaatii hieman tarkkaavaisuutta (rivin alku, ainakin 1 etuvokaali saneessa, toinen kenttä jne.) tietysti on niin, että etuvokaalit foneettisest on [eiyäö], kävi ratkaisuksi siinä missä esimerkkejä vastaava sointuvokaalijoukko [äöy] tommi.pirinen+clt131@helsinki.fi (HY) CLT131: 10. luento 1. helmikuuta / 18

4 2. frekvenssien muunnos todennäköisyyksiksi valmiiksi lasketulla korpuskoolla helppo; laskut muiden työkalujen avulla aiemmissa tehtävissä awkilla frkevenssien summaus onnistuu esim. laskemalla {saneet = saneet + $1} awkinkin kanssa on järkevintä käydä tiedosto kahdesti läpi kahdella eri komennolla jos sanat laskee ja käyttää laskun tulosta; tämä johtuu siitä että tuloksen tietää vasta kun tiedosto on käyty läpi mutta sitä kuitenkin tarvitaan jo ensimmäisen frekvenssin aikana tommi.pirinen+clt131@helsinki.fi (HY) CLT131: 10. luento 1. helmikuuta / 18

5 3. Gutenbergin rivien rajat Gutenbergin lisenssin poisto onnistui joko jollain jo aiemmin todetulla tavalla tai hakulausekevälillä /BEGIN OF.../, /END OF.../ rivin viimeinen sane on awkissa mahdollista poimia hyödyntämällä sanelaskuri-muuttujaa NF: {print $NF}. (HY) CLT131: 10. luento 1. helmikuuta / 18

6 4. CSV2TSV käytännössä melko haastava tehtävä millä tahansa lähestymistavalla peruslähtököhta on helppo: muunnetaan, \t väärien pilkkujen suojaaminen lainausmerkkiparien välistä vaatii melko paljon prosessointia väärien lainausmerkkien suojaaminen ehkä vähän lisää (mutta ne esiintyvät myös pareina) hakulauseke joka löytää vain oikeat pilkut on mutkikas mutta melko suoraviivainen (HY) CLT131: 10. luento 1. helmikuuta / 18

7 5. Vierasperäiset sanat tässä esimerkissä on ehkä enemmän työtä ymmärtää annettuja sääntöjä kuin toteuttaa lopputulos voi olla aika suoraviivainen joukko korvauksia sedillä tai awkilla (HY) CLT131: 10. luento 1. helmikuuta / 18

8 8.4 Harjoitustyöesittelyt käänteisessä ilmoittaumisjärjestyksessä; siirretään seuraaviin kertoihin tarpeen mukaan tänään: Mika, Hege, Juha, Georgios 8.2.: Helena, Leo, Heli, Harry 15.2.: Teemu, Jukka, Meliina, Sini, Erkki-Ilmari uudelleenjärjestellään tarpeen mukaan, käytännössä tämä kerta on luentojen osalta lyhyempi ja seuraavilla ei ole varsinaisia täysimittaisia valmisteltuja luentoja (HY) CLT131: 10. luento 1. helmikuuta / 18

9 Asialista 1 Tehtävät 2 Teoriaa 3 Menetelmät ja työkalut 4 Esitelmät tommi.pirinen+clt131@helsinki.fi (HY) CLT131: 10. luento 1. helmikuuta / 18

10 Make Make on käytännössä projektinhallintatyökalu Olennaisin hyöty siitä on projekteissa, joissa on paljon tiedostoja, jotka tavalla tai toisella vaikuttavat toisiinsa Make-määrittelyt ovat käytännössä shelli-skriptien erikoistapauksia, joissa syötetiedostoista saadaan tulostiedostoja Make ymmärtää myös tiedostojen aikaleimoja, joten sillä voi hallita tapauksia joissa paitsi tuodaan uusia tiedostoja projektiin, vanhat päivittyvät tämä mm. varmistaa että tiedostonimet noudattavat järjestelmää eikä vanhoja versioita suotta loju ympäriinsä (HY) CLT131: 10. luento 1. helmikuuta / 18

11 Make-tiedoston rakennuspalikat Make-säännöt kirjoitetaan aina omaan tiedostoon joka on yleensä nimeltään Makefile Make-määrittely muodostuu kahdesta osasta: Tiedostonimien välisistä suhteista tulostiedosto: lähdetiedostot... ja shell-skriptistä, joka on sisennetty yhdellä sarkaimella tiedostonimimäärittelyt voivat sisältää muuttujaosan %, joka toimii kuten säännöllinen lauseke.*: %.frekvenssit: %.txt Näiden määrittelyjen avuilla make osaa tehdä puuttuvat tiedostot tai päivittää tulostiedostot jos lähdetiedostoissa on uudempi aikaleima skripti-osassa ei ole muuta erikoista, kuin että se ajetaan /bin/sh-tulkilla, eikä bashillä, joten siitä puuttuu jotain ominaisuuksia nämä puutteet voi kiertää käyttämällä skriptinä erillistä bash-skriptiä ja komentoa bash skripti.sh (HY) CLT131: 10. luento 1. helmikuuta / 18

12 Asialista 1 Tehtävät 2 Teoriaa 3 Menetelmät ja työkalut 4 Esitelmät tommi.pirinen+clt131@helsinki.fi (HY) CLT131: 10. luento 1. helmikuuta / 18

13 Rakennetaan esimerkkejä tutuilla skripteillä Tiedostoon Makefile rautatien saneistus: rautatie.saneet: rautatie.txt tr < rautatie.txt > rautatie.saneet tiedostonimissä voi käyttää erikoismuuttujia ja $< tulos- ja lähdetiedostolle, eritoten muuttujallisissa säännöissä: %.saneet: %.txt tr < $< > nyt, minkä tahansa tekstiedston jonka nimi loppuu.txt voi saneistaa komennolla make tiedosto.saneet (HY) CLT131: 10. luento 1. helmikuuta / 18

14 Asialista 1 Tehtävät 2 Teoriaa 3 Menetelmät ja työkalut 4 Esitelmät tommi.pirinen+clt131@helsinki.fi (HY) CLT131: 10. luento 1. helmikuuta / 18

15 Mika Pohto: Wikipedia (HY) CLT131: 10. luento 1. helmikuuta / 18

16 Hege Roivainen: Runomitta-analyysi (HY) CLT131: 10. luento 1. helmikuuta / 18

17 Juha Häkkänen: Wikipedia (HY) CLT131: 10. luento 1. helmikuuta / 18

18 Georgios Tsambikakis: Kanojen translitterointi (HY) CLT131: 10. luento 1. helmikuuta / 18