Sanaluokkajäsennystä rinnakkaisilla transduktoreilla
|
|
- Sinikka Manninen
- 6 vuotta sitten
- Katselukertoja:
Transkriptio
1 Sanaluokkajäsennystä rinnakkaisilla transduktoreilla Nykykielten laitos FIN-CLARIN-seminaarissa 4. marraskuuta 2010
2 Sanaluokkajäsennys Mr. Gelbert also has fun with language. NNP NNP RB VBZ NN IN NN. Sanaluokkajäsennin määrittää jokaiselle tekstin sanalle sanaluokan ja taivutusmuodon. Sanaluokkajäsentimestä on hyötyä: lauseenjäsennyksessä. oikeinkirjoituksen ja kieliopin tarkistuksessa. puhesynteesissä. tiedonhaussa.
3 Sanaluokkajäsennys Sanaluokkajäsentimet ovat usein joko sääntöpohjaisia tai tilastollisia. Sääntöpohjainen sanaluokkajäsennin on usein nopea ja vaatii vähän muistia. Sen kehittäminen voi kuitenkin olla hidasta. Tilastollisen sanaluokkajäsentimen kehittäminen on nopeaa kunhan saatavilla on riittävästi opetusaineistoa. Tilastolliset jäsentimet vievät kuitenkin paljon muistia ja saattavat olla hitaita.
4 Sanaluokkajäsennys Päämääränä hybridijäsennin Hybridijäsennin yhdistää tilastollisen ja sääntöpohjaisen sanaluokkajäsentämisen. Onnistuneessa hybridijäsentimessä opetusaineistoa tarvitaan vähemmän kuin puhtaasti tilastollisessa sanaluokkajäsentimessä Hybridijäsentimen puutteita korjataan kirjoittamalla sääntöjä joita tarvitaan vähemmän kuin sääntöpohjaisessa jäsentimessä, koska suurin osa työstä hoidetaan tilastollisella mekanismilla. Miten tilastollinen ja lingvistinen tieto yhdistetään?
5 Markovin piilomalli perustana on Markovin piilomalli. Markovin piilomalli luokittelee jonomaisen datan alkiota (esim. virkkeen sanoja). Mr. Gelbert also has fun with language. NNP NNP RB VBZ NN IN NN. Usein käytetty toisen asteen Markovin piilomalli päättelee sanaluokkatulkinnan (VBZ) sanamuodon (has) ja kahden edeltävän sanan sanaluokkatulkinnan (NNP ja RB) perusteella.
6 Markovin piilomalli Kolmen sanaluokkatunnuksen mittaiset jonot ovat harvinaisia. Tästä syystä Markovin piilomalli sisältää tietoa myös yhden ja kahden tunnuksen mittaisista jonoista. Mikäli tunnusjono NNP RB VBZ ei esiintynyt mallin opetusaineistossa, malli arvioi jonon todennäköisyyttä kahden mittaisten tunnusjonojen NNP RB ja RB VBZ avulla. Tällainen varmistusmalli voidaan toteuttaa joko tukeutuen lyhyempiin jonoihin vain mikäli pidempiä ei ollut opetusaineistossa tai laskemalla tunnuksen todennäköisyys aina yhdistelmänä pitkistä ja lyhyistä tunnusjonoista.
7 Transduktorit Sanaluokkajäsennin on toteutettu käyttämällä transduktoreita. Transduktorit ovat tapa esittää malleja, jotka kuvaavat jonomaista dataa. Niillä voi vaikkapa toteuttaa mallin joka kuvaa kaikkia kielen virkkeitä. 0 <fail>:<fail> 1 NNP:NNP <fail>:<fail>/1 NNP:NNP <empty>:<empty> RB:RB <fail>:<fail>/1 NNP:NNP <fail>:<fail> <fail>:<fail>/ <fail>:<fail> <fail>:<fail> <fail>:<fail> Painollisilla transduktoreilla voi esittää tilastollisia malleja kuten Markovin piilomalleja mutta myös kielioppisääntöjä
8 Mr. Gelbert also has fun with language. Tilastollinen malli Leksikko Arvain 3 gram malli 2 gram malli 1 gram malli Mr. Gelbert also has fun with language. NNP NNP RB VBZ NN IN NN.
9 Leksikko Leksikko sisältää tiedon siitä mitkä sanaluokkatunnukset todennäköisesti ovat oikeita sanoille. Todennäköisyyslaskentaan liittyvistä syistä leksikko ei anna sanoille sanaluokkatunnusten jakaumaa P(tunnus sana). Sen sijaan se kertoo sanaluokkatunnuksille sanojen jakauman P(sana tunnus). Leksikko on toteutettu hfst-kirjaston optimized lookup -muodossa, joten sen käyttäminen on hyvin nopeaa.
10 Arvain Osa sanaluokkatunnusten jakaumista varataan tuntemattomille sanoille. Arvaaminen: 1 Sana detection ei esiintynyt opetusaineistossa. 2 Opetusaineistossa esiintyi kumminkin sana protection, joka sai aina analyysin NN. 3 Sanoilla on pitkä yhteinen pääte -tection, joten on järkevää olettaa että sanat esiintyvät suurin piirtein yhtä usein tunnuksen NN kanssa. 4 Arvaaminen on epätarkkaa, joten muutkin tunnukset kuin NN ovat mahdollisia vaikka epätodennäköisiä. Lopullinen arvaus kullekin sanaluokkatunnukselle on yhdistelmä päätejakaumista päätteille -n, -on,..., -tection.
11 Yleinen n-gram -malli Mr. Gelbert also has fun with language. NNP NNP RB VBZ NN IN NN. N-gram-malli arvioi sanaluokkatunnuksen (esim. VBZ) esiintymistodennäköisyyttä aiempien tunnusten (esim. RB ja NNP) perusteella. Tällä hetkellä käytetään rinnakkain malleja, jotka arvioivat todennäköisyyttä edellisen ja kahden edellisen tunnuksen perusteella. Lisäksi käytetään tietoa tunnusten jakaumista ilman kontekstia. N-gram-mallin antama lopullinen arvio todennäköisyydelle on lineaarinen yhdistelmä osamallien antamista todennäköisyyksistä.
12 Tarkkuus ja suoritusaika Tarkkuus on tällä hetkellä 96.12% kun jäsennetään Penn Treebank -korpusta. Vertailuna perinteisesti toteutettu Markovin malli TNT-jäsennin pääsee tarkkuuteen 96.46%. Ero 0.34 %-yksikköä tarkoittaa että 300 sanaa kohti tehdään noin yksi virhe enemmän. Jäsentimen nopeus on tällä hetkellä noin 2000 sanaa sekunnissa (eli Seitsemän veljestä 45 sekunnissa). Tätä voi kuitenkin parantaa.
13 Sanaluokkajäsenninkirjasto Piakkoin julkaistaan hfst-rajapinnan avulla toteutettu kirjasto, jolla voi rakentaa muunkinlaisia tilastollisia malleja kuin toisen asteen Markovin malleja. n avulla voi esimerkiksi tehdä n-gram-mallin joka käyttää perusmuotoja ja sanamuotoja n-grammeissa tai n-grammeja joissa on aukkoja. Mitään erityistä tietoa tilastollisista menetelmistä tai transduktoreista ei tarvita jäsentimien rakentamisessa, koska tämä tieto on sisäänttuna kirjastoon.
14 Selvittämättömiä kysymyksiä liittyen tilastolliseen malliin: Kannattaako ta hyödyntää myös harvinaisten sanojen kanssa, joita esiintyi opetusaineistossa? Montako arvausta arvaimelta kannattaa pyytää? Miten eri mallit painotetaan automaattisesti?
15 Kielioppisääntöjen yhdistäminen tilastolliseen malliin. Mielenkiintoinen kysymys on miten tilastollinen tieto saadaan käytettyä jäsentämisen nopeuttamiseen. Lauseopillinen jäsentäminen.
16 Kiitos!
FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. Luentokuulustelujen esimerkkivastauksia. Pertti Palo. 30.
FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa Luentokuulustelujen esimerkkivastauksia Pertti Palo 30. marraskuuta 2012 Saatteeksi Näiden vastausten ei ole tarkoitus olla malleja vaan esimerkkejä.
Lisätiedot1 + b t (i, j). Olkoon b t (i, j) todennäköisyys, että B t (i, j) = 1. Siis operaation access(j) odotusarvoinen kustannus ajanhetkellä t olisi.
Algoritmien DP ja MF vertaileminen tapahtuu suoraviivaisesti kirjoittamalla kummankin leskimääräinen kustannus eksplisiittisesti todennäköisyyksien avulla. Lause T MF ave = 1 + 2 1 i
LisätiedotT Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1
T-61.281 Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti 10.2.2004, 8:30-10:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:
LisätiedotT Luonnollisen kielen tilastollinen käsittely Vastaukset 5, ti , 8:30-10:00 N-grammikielimallit, Versio 1.1
T-6.28 Luonnollisen kielen tilastollinen käsittely Vastaukset 5, ti 24.2.2004, 8:30-0:00 N-grammikielimallit, Versio.. Alla on erään henkilön ja tilaston estimaatit sille, miten todennäköistä on, että
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Bayesläiset piste- ja väliestimaatit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
Lisätiedot1 Bayesin teoreeman käyttö luokittelijana
1 Bayesin teoreeman käyttö luokittelijana Bayesin kaavan mukaan merkityksen kontekstille c ehdollistettu todennäkköisyys voidaan määrittää alla olevan yhtälön perusteella: P ( c) = P (c )P ( ) P (c) (1)
LisätiedotKielellisen datan käsittely ja analyysi tutkimuksessa
Kielellisen datan käsittely ja analyysi tutkimuksessa Kimmo Koskenniemi 4.4.2007 Yleisen kielitieteen laitos Humanistinen tiedekunta Kielidataa on monenlaista Tekstiä erilaisista lähteistä kirjoista, lehdistä,
LisätiedotT Luonnollisten kielten tilastollinen käsittely
T-61.281 Luonnollisten kielten tilastollinen käsittely Vastaukset 3, ti 11.2.2003, 16:15-18:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:
LisätiedotJOHDATUS TEKOÄLYYN TEEMU ROOS
JOHDATUS TEKOÄLYYN TEEMU ROOS LUONNOLLISEN KIELEN KÄSITTELY (NATURAL LANGUAGE PROCESSING, NLP) TEKOÄLYSOVELLUKSET, JOTKA LIITTYVÄT IHMISTEN KANSSA (TAI IHMISTEN VÄLISEEN) KOMMUNIKAATIOON, OVAT TEKEMISISSÄ
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Frekventistiset vs. bayeslaiset menetelmät Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotLaskut käyvät hermoille
Laskut käyvät hermoille - Miten ja miksi aivoissa lasketaan todennäköisyyksiä Aapo Hyvärinen Matematiikan ja tilastotieteen laitos & Tietojenkäsittelytieteen laitos Helsingin Yliopisto Tieteen päivät 13.1.2011
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotTilastotiede ottaa aivoon
Tilastotiede ottaa aivoon kuinka aivoja voidaan mallintaa todennäköisyyslaskennalla, ja mitä yllättävää hyötyä siitä voi olla Aapo Hyvärinen Laskennallisen data-analyysin professori Matematiikan ja tilastotieteen
LisätiedotT Luonnollisten kielten tilastollinen käsittely Vastaukset 5, ti , 16:15-18:00 N-grammikielimallit, Versio 1.0
T-61.281 Luonnollisten kielten tilastollinen käsittely Vastaukset 5, ti 25.2.2003, 16:15-18:00 N-grammikielimallit, Versio 1.0 1. Alla on erään henkilön ja tilaston estimaatit sille, miten todennäköistä
Lisätiedothttps://www10.uta.fi/opas/opintojakso.htm?rid=6909&i dx=5&uilang=fi&lang=fi&lvv=2014
1 MTTTP3 Tilastollisen päättelyn perusteet 2 Luennot 8.1.2015 ja 13.1.2015 1 Kokonaisuudet johon opintojakso kuuluu https://www10.uta.fi/opas/opintojakso.htm?rid=6909&i dx=5&uilang=fi&lang=fi&lvv=2014
LisätiedotJohdatus todennäköisyyslaskentaan Kokonaistodennäköisyys ja Bayesin kaava. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Kokonaistodennäköisyys ja Bayesin kaava TKK (c) Ilkka Mellin (2005) 1 Kokonaistodennäköisyys ja Bayesin kaava Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Kokonaistodennäköisyyden
LisätiedotEsimerkki: Tietoliikennekytkin
Esimerkki: Tietoliikennekytkin Tämä Mathematica - notebook sisältää luennolla 2A (2..26) käsitellyn esimerkin laskut. Esimerkin kuvailu Tarkastellaan yksinkertaista mallia tietoliikennekytkimelle. Kytkimeen
LisätiedotTehtäväsarja I Seuraavat tehtävät liittyvät kurssimateriaalin lukuun 7 eli vapauden käsitteeseen ja homogeenisiin
HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta I, kesä 2014 Harjoitus 4 Ratkaisujen viimeinen palautuspäivä: pe 662014 klo 1930 Tehtäväsarja I Seuraavat tehtävät liittyvät kurssimateriaalin lukuun
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Bayesläinen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotOngelma(t): Miten jollakin korkeamman tason ohjelmointikielellä esitetty algoritmi saadaan suoritettua mikro-ohjelmoitavalla tietokoneella ja siinä
Ongelma(t): Miten jollakin korkeamman tason ohjelmointikielellä esitetty algoritmi saadaan suoritettua mikro-ohjelmoitavalla tietokoneella ja siinä olevilla komponenteilla? Voisiko jollakin ohjelmointikielellä
LisätiedotOsa 1: Todennäköisyys ja sen laskusäännöt. Kokonaistodennäköisyyden ja Bayesin kaavat
Ilkka Mellin Todennäköisyyslaskenta Osa 1: Todennäköisyys ja sen laskusäännöt Kokonaistodennäköisyyden ja Bayesin kaavat TKK (c) Ilkka Mellin (2007) 1 Kokonaistodennäköisyys ja Bayesin kaava >> Kokonaistodennäköisyys
LisätiedotTodennäköisyyslaskenta I, kesä 2017 Helsingin yliopisto/avoin Yliopisto Harjoitus 1, ratkaisuehdotukset
Todennäköisyyslaskenta I, kesä 207 Helsingin yliopisto/avoin Yliopisto Harjoitus, ratkaisuehdotukset. Kokeet ja Ω:n hahmottaminen. Mitä tarkoittaa todennäköisyys on? Olkoon satunnaiskokeena yhden nopan
LisätiedotCLT131: Tekstityökalut 2011, viides luento
CLT131: Tekstityökalut 2011, viides luento Tommi A Pirinen tommi.pirinen+clt131@helsinki.fi Helsingin yliopisto Kieliteknologian oppiaine, Nykykielten laitos 30. marraskuuta 2011 tommi.pirinen+clt131@helsinki.fi
LisätiedotAvainsanojen poimiminen Eeva Ahonen
Avainsanojen poimiminen 5.10.2004 Eeva Ahonen Sisältö Avainsanat Menetelmät C4.5 päätöspuut GenEx algoritmi Bayes malli Testit Tulokset Avainsanat Tiivistä tietoa dokumentin sisällöstä ihmislukijalle hakukoneelle
Lisätiedot1. Esitä rekursiivinen määritelmä lukujonolle
Matematiikan laitos Johdatus Diskrettiin Matematiikkaan Harjoitus 4 24.11.2011 Ratkaisuehdotuksia Aleksandr Pasharin 1. Esitä rekursiivinen määritelmä lukujonolle (a) f(n) = (2 0, 2 1, 2 2, 2 3, 2 4,...)
LisätiedotTilastotiede ottaa aivoon
Tilastotiede ottaa aivoon kuinka aivoja voidaan mallintaa todennäköisyyslaskennalla, ja mitä yllättävää hyötyä siitä voi olla Aapo Hyvärinen Laskennallisen data-analyysin professori Matematiikan ja tilastotieteen
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotTodennäköisyyslaskenta IIa, syyslokakuu 2019 / Hytönen 2. laskuharjoitus, ratkaisuehdotukset
Todennäköisyyslaskenta IIa, syyslokakuu 019 / Hytönen. laskuharjoitus, ratkaisuehdotukset 1. Kurssilla on 0 opiskelijaa, näiden joukossa Jutta, Jyrki, Ilkka ja Alex. Opettaja aikoo valita umpimähkään opiskelijan
LisätiedotPoikkeavuuksien havainnointi (palvelinlokeista)
Poikkeavuuksien havainnointi (palvelinlokeista) TIES326 Tietoturva 2.11.2011 Antti Juvonen Sisältö IDS-järjestelmistä Datan kerääminen ja esiprosessointi Analysointi Esimerkki Lokidatan rakenne Esikäsittely,
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Todennäköisyyslaskennan käsitteitä Satunnaisuus ja deterministisyys Deterministisessä ilmiössä alkutila määrää lopputilan yksikäsitteisesti. Satunnaisilmiö puolestaan arpoo - yhdestä alkutilasta voi päätyä
LisätiedotAvoimen lähdekoodin kaksitasokielioppikääntäjä
Avoimen lähdekoodin kaksitasokielioppikääntäjä Miikka Silfverberg miikka piste silfverberg at helsinki piste fi Kieliteknologia Helsingin yliopisto Avoimen lähdekoodin kaksitasokielioppikääntäjä p.1/23
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotJärvitesti Ympäristöteknologia T571SA 7.5.2013
Hans Laihia Mika Tuukkanen 1 LASKENNALLISET JA TILASTOLLISET MENETELMÄT Järvitesti Ympäristöteknologia T571SA 7.5.2013 Sarkola Eino JÄRVITESTI Johdanto Järvien kuntoa tutkitaan monenlaisilla eri menetelmillä.
LisätiedotMAT Todennäköisyyslaskenta Tentti / Kimmo Vattulainen
MAT-5 Todennäköisyyslaskenta Tentti.. / Kimmo Vattulainen Vastaa jokainen tehtävä eri paperille. Funktiolaskin sallittu.. a) P A). ja P A B).6. Mitä on P A B), kun A ja B ovat riippumattomia b) Satunnaismuuttujan
Lisätiedotjäsentämisestä TIEA241 Automaatit ja kieliopit, syksy 2015 Antti-Juhani Kaijanaho 27. marraskuuta 2015 TIETOTEKNIIKAN LAITOS
TIEA241 Automaatit ja kieliopit, syksy 2015 Antti-Juhani Kaijanaho TIETOTEKNIIKAN LAITOS 27. marraskuuta 2015 Sisällys Rekursiivisesti etenevä engl. recursive descent parsing Tehdään kustakin välikesymbolista
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotLiikenneteorian tehtävä
J. Virtamo 38.3141Teleliikenneteoria / Johdanto 1 Liikenneteorian tehtävä Määrää kolmen eri tekijän väliset riippuvuudet palvelun laatu järjestelmä liikenne Millainen käyttäjän kokema palvelun laatu on
LisätiedotJOHDATUS TEKOÄLYYN TEEMU ROOS
JOHDATUS TEKOÄLYYN TEEMU ROOS KUINKA RIKASTUA NAIVI BAYES FROM: "MARGARETTA NITA" SUBJECT: SPECIAL OFFER : VIAGRA ON SALE AT $1.38!!! X-BOGOSITY: YES, TESTS=BOGOFILTER, SPAMICITY=0.99993752,
LisätiedotLuottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.
6.10.2015/1 MTTTP1, luento 6.10.2015 KERTAUSTA JA TÄYDENNYSTÄ Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria. Muodostetaan väli, joka peittää parametrin etukäteen valitulla
LisätiedotT Luonnollisen kielen tilastollinen käsittely Vastaukset 8, ti , 8:30-10:00 Tilastolliset yhteydettömät kieliopit, Versio 1.
T-61.281 Luonnollisen kielen tilastollinen käsittely astaukset 8, ti 16.3.2004, 8:30-10:00 Tilastolliset yhteydettömät kielioit, ersio 1.0 1. Jäsennysuun todennäköisyys lasketaan aloittelemalla se säännöstön
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf
Lisätiedotjens 1 matti Etäisyydet 1: 1.1 2: 1.4 3: 1.8 4: 2.0 5: 3.0 6: 3.6 7: 4.0 zetor
T-1.81 Luonnollisten kielten tilastollinen käsittely Vastaukset 11, ti 8.4., 1:1-18: Klusterointi, Konekääntäminen. Versio 1. 1. Kuvaan 1 on piirretty klusteroinnit käyttäen annettuja algoritmeja. Sanojen
Lisätiedot811312A Tietorakenteet ja algoritmit 2015-2016. I Johdanto
811312A Tietorakenteet ja algoritmit 2015-2016 I Johdanto Sisältö 1. Algoritmeista ja tietorakenteista 2. Algoritmien analyysistä 811312A TRA, Johdanto 2 I.1. Algoritmeista ja tietorakenteista I.1.1. Algoritmien
LisätiedotLuottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.
6.10.2016/1 MTTTP1, luento 6.10.2016 KERTAUSTA JA TÄYDENNYSTÄ Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria. Muodostetaan väli, joka peittää parametrin etukäteen valitulla
LisätiedotMatemaatikot ja tilastotieteilijät
Matemaatikot ja tilastotieteilijät Matematiikka/tilastotiede ammattina Tilastotiede on matematiikan osa-alue, lähinnä todennäköisyyslaskentaa, mutta se on myös itsenäinen tieteenala. Tilastotieteen tutkijat
LisätiedotHY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät 2017 Harjoitus 1 Ratkaisuehdotuksia Tehtäväsarja I
HY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät 2017 Harjoitus 1 Ratkaisuehdotuksia Tehtäväsarja I Tehtävä 1 on klassikko. 1. Tässä tehtävässä tapahtumat A ja B eivät välttämättä
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 14. syyskuuta 2007 Antti Rasila () TodB 14. syyskuuta 2007 1 / 21 1 Kokonaistodennäköisyys ja Bayesin kaava Otosavaruuden ositus Kokonaistodennäköisyyden
LisätiedotTehtäväsarja I Seuraavat tehtävät liittyvät kurssimateriaalin lukuun 7 eli vapauden käsitteeseen ja homogeenisiin
HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta I, kesä 2015 Harjoitus 4 Ratkaisut palautettava viimeistään maanantaina 862015 klo 1615 Tehtäväsarja I Seuraavat tehtävät liittyvät kurssimateriaalin
LisätiedotEsimerkkejä vaativuusluokista
Esimerkkejä vaativuusluokista Seuraaville kalvoille on poimittu joitain esimerkkejä havainnollistamaan algoritmien aikavaativuusluokkia. Esimerkit on valittu melko mielivaltaisesti laitoksella tehtävään
LisätiedotTilastollinen päättely II, kevät 2017 Harjoitus 1A
Tilastollinen päättely II, kevät 207 Harjoitus A Heikki Korpela 23. tammikuuta 207 Tehtävä. Kertausta todennäköisyyslaskennasta. Ilmoita satunnaismuuttujan Y jakauman nimi ja pistetodennäköisyys- tai tiheysfunktio
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon
LisätiedotSeuraavassa taulukossa on annettu mittojen määritelmät ja sijoitettu luvut. = 40% = 67% 6 = 0.06% = 99.92% 6+2 = 0.
T-6.28 Luonnollisen kielen tilastollinen käsittely Vastaukset, ti 7.2.200, 8:30-0:00 Tiedon haku, Versio.0. Muutetaan tehtävässä annettu taulukko sellaiseen muotoon, joka paremmin sopii ensimmäisten mittojen
LisätiedotLuottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.
5.10.2017/1 MTTTP1, luento 5.10.2017 KERTAUSTA Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria. Muodostetaan väli, joka peittää parametrin etukäteen valitulla todennäköisyydellä,
LisätiedotLukumummit ja -vaarit Sanavaraston kartuttamista kaunokirjallisuuden avulla
Kuka lukisi minut seminaari, Tampere 10.11.2017 Hanna Pöyliö, Niilo Mäki Instituutti Lukumummit ja -vaarit Sanavaraston kartuttamista kaunokirjallisuuden avulla @lukumummit 1 Hyvä sanastoharjoitus Sanasto
LisätiedotJOHDATUS TEKOÄLYYN TEEMU ROOS
JOHDATUS TEKOÄLYYN TEEMU ROOS KUINKA RIKASTUA NAIVI BAYES FROM: "MARGARETTA NITA" SUBJECT: SPECIAL OFFER : VIAGRA ON SALE AT $1.38!!! X-BOGOSITY: YES, TESTS=BOGOFILTER, SPAMICITY=0.99993752,
LisätiedotGeoGebra tutkivan oppimisen välineenä: havainto-hypoteesi-testaus
GeoGebra tutkivan oppimisen välineenä: havainto-hypoteesi-testaus Mitä jäi mieleen viime viikosta? Mitä mieltä olet tehtävistä, joissa GeoGebralla työskentely yhdistetään paperilla jaettaviin ohjeisiin
LisätiedotJatkuvat satunnaismuuttujat
Jatkuvat satunnaismuuttujat Satunnaismuuttuja on jatkuva jos se voi ainakin periaatteessa saada kaikkia mahdollisia reaalilukuarvoja ainakin tietyltä väliltä. Täytyy ymmärtää, että tällä ei ole mitään
LisätiedotLukemisvaikeuden arvioinnista kuntoutukseen. HYVÄ ALKU- messut Jyväskylä, Elisa Poskiparta, Turun yliopisto, Oppimistutkimuksen keskus
Lukemisvaikeuden arvioinnista kuntoutukseen HYVÄ ALKU- messut Jyväskylä, 2.- 3.9. 2004 Elisa Poskiparta, Turun yliopisto, Oppimistutkimuksen keskus Tapa tunnistaa sanoja vaihtelee lukutaidon kehittymisen
LisätiedotTODENNÄKÖISYYS JA TILASTOT MAA6 KERTAUS
TODENNÄKÖISYYS JA TILASTOT MAA6 KERTAUS Klassinen todennäköisyys P suotuisten alkeistapausten lkm kaikkien alkeistapausten lkm P( mahdoton tapahtuma ) = 0 P( varma tapahtuma ) = 1 0 P(A) 1 Todennäköisyys
LisätiedotNÄYTÖN ARVIOINTI: SYSTEMAATTINEN KIRJALLISUUSKATSAUS JA META-ANALYYSI. EHL Starck Susanna & EHL Palo Katri Vaasan kaupunki 22.9.
NÄYTÖN ARVIOINTI: SYSTEMAATTINEN KIRJALLISUUSKATSAUS JA META-ANALYYSI EHL Starck Susanna & EHL Palo Katri Vaasan kaupunki 22.9.2016 Näytön arvioinnista Monissa yksittäisissä tieteellisissä tutkimuksissa
LisätiedotTutkimusongelmia ja tilastollisia hypoteeseja: Perunalastupussien keskimääräinen paino? Nollahypoteesi Vaihtoehtoinen hypoteesi (yksisuuntainen)
1 MTTTP3 Luento 29.1.2015 Luku 6 Hypoteesien testaus Tutkimusongelmia ja tilastollisia hypoteeseja: Perunalastupussien keskimääräinen paino? H 0 : µ = µ 0 H 1 : µ < µ 0 Nollahypoteesi Vaihtoehtoinen hypoteesi
Lisätiedotb) Määritä myös seuraavat joukot ja anna kussakin tapauksessa lyhyt sanallinen perustelu.
Johdatus yliopistomatematiikkaan Helsingin yliopisto, matematiikan ja tilastotieteen laitos Kurssikoe 23.10.2017 Ohjeita: Vastaa kaikkiin tehtäviin. Ratkaisut voi kirjoittaa samalle konseptiarkille, jos
LisätiedotMat Sovellettu todennäköisyyslasku A
Mat-2.090 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Klassinen todennäköisyys ja kombinatoriikka Todennäköisyyden aksioomat Kokonaistodennäköisyys ja Bayesin kaava Bayesin kaava,
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotIntegrointi muihin järjestelmiin case AMKE
Integrointi muihin järjestelmiin case AMKE Eteneminen tähän mennessä Lähti liikkeelle Salpauksen DW-hankkeesta Yksisuuntainen rajapinta, jonka Salpaus tilasi Tavoitteena viedä Sopron opiskelijatiedot DW:lle,
LisätiedotDigitalisoitu harjoitustehtävien ratkaisujen palautus sekä arviointi matematiikan ja tilastotieteen yliopisto-opinnoissa
Digitalisoitu harjoitustehtävien ratkaisujen palautus sekä arviointi matematiikan ja tilastotieteen yliopisto-opinnoissa Peda-forum -päivät, Vaasan yliopisto, 16. 17.8.2017 Joonas Nuutinen, Nea Rantanen
Lisätiedot9 Yhteenlaskusääntö ja komplementtitapahtuma
9 Yhteenlaskusääntö ja komplementtitapahtuma Kahta joukkoa sanotaan erillisiksi, jos niillä ei ole yhtään yhteistä alkiota. Jos pysytellään edelleen korttipakassa, niin voidaan ilman muuta sanoa, että
LisätiedotYhteistyötä sisältämätön peliteoria jatkuu
Yhteistyötä sisältämätön peliteoria jatkuu Tommi Lehtonen Optimointiopin seminaari - Syksy 2000 / 1 Bayesilainen tasapaino Täysi informaatio Vajaa informaatio Staattinen Nash Bayes Dynaaminen Täydellinen
LisätiedotBayesin pelit. Kalle Siukola. MS-E2142 Optimointiopin seminaari: Peliteoria ja tekoäly
Bayesin pelit Kalle Siukola MS-E2142 Optimointiopin seminaari: Peliteoria ja tekoäly 12.10.2016 Toistetun pelin esittäminen automaatin avulla Ekstensiivisen muodon puu on tehoton esitystapa, jos peliä
LisätiedotSay it again, kid! - peli ja puheteknologia lasten vieraan kielen oppimisessa
Say it again, kid! - peli ja puheteknologia lasten vieraan kielen oppimisessa Sari Ylinen, Kognitiivisen aivotutkimuksen yksikkö, käyttäytymistieteiden laitos, Helsingin yliopisto & Mikko Kurimo, signaalinkäsittelyn
LisätiedotTilastollisen tutkimuksen vaiheet
Tilastollisen tutkimuksen vaiheet Jari Päkkilä Johdatus tilastotieteeseen Matemaattisten tieteiden laitos TILASTOLLISEN TUTKIMUKSEN TARKOITUS Muodostaa mahdollisimman hyvä mielikuva havaintoaineistosta,
LisätiedotTeema 8: Parametrien estimointi ja luottamusvälit
Teema 8: Parametrien estimointi ja luottamusvälit Todennäköisyyslaskennan perusteet (Teemat 6 ja 7) antavat hyvän pohjan siirtyä kurssin viimeiseen laajempaan kokonaisuuteen, nimittäin tilastolliseen päättelyyn.
LisätiedotTULOSPALVELUN OTTELUSEURANTA
TULOSPALVELUN OTTELUSEURANTA TULOSPALVELU https://taso.palloliitto.fi/taso/login.php YLEISTÄ - Tilastointi tapahtuu TASO-järjestelmässä - Kirjautuminen TASO-järjestelmään tapahtuu kotijoukkueen omilla
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotAineistoista. Laadulliset menetelmät: miksi tarpeen? Haastattelut, fokusryhmät, havainnointi, historiantutkimus, miksei videointikin
Aineistoista 11.2.09 IK Laadulliset menetelmät: miksi tarpeen? Haastattelut, fokusryhmät, havainnointi, historiantutkimus, miksei videointikin Muotoilussa kehittyneet menetelmät, lähinnä luotaimet Havainnointi:
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 3.3 Lineaarisen koodin dekoodaus Oletetaan, että lähetettäessä kanavaan sana c saadaan sana r = c + e, missä e on häiriön aiheuttama
LisätiedotTässä luvussa käsitellään optimaalisten piirteiden valintaa, luokittelijan optimointia ja luokittelijan suorituskyvyn arviointia.
1 Luokittelijan suorituskyvyn optimointi Tässä luvussa käsitellään optimaalisten piirteiden valintaa, luokittelijan optimointia ja luokittelijan suorituskyvyn arviointia. A. Piirteen valinnan menetelmiä
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Tilastollisen merkitsevyyden testaus Osa II Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotOPS-MUUTOSINFO
1 OPS-MUUTOSINFO 3.9.201 Matemaattisten tieteiden tutkinto-ohjelma MUUTOKSEN TAUSTALLA 2 Oulun yliopiston strategia- ja rakennemuutokset Oulun yliopiston opetussuunnitelmatyön periaatteet o Opintojaksojen
LisätiedotCUDA. Moniydinohjelmointi 17.4.2012 Mikko Honkonen
CUDA Moniydinohjelmointi 17.4.2012 Mikko Honkonen Yleisesti Compute Unified Device Architecture Ideana GPGPU eli grafiikkaprosessorin käyttö yleiseen laskentaan. Nvidian täysin suljetusti kehittämä. Vuoden
LisätiedotP (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.
Yhteenveto: Satunnaisvektorit ovat kuvauksia tn-avaruudelta seillaiselle avaruudelle, johon sisältyy satunnaisvektorin kaikki mahdolliset reaalisaatiot. Satunnaisvektorin realisaatio eli otos on jokin
LisätiedotMATEMATIIKKA 5 VIIKKOTUNTIA. PÄIVÄMÄÄRÄ: 8. kesäkuuta 2009
EB-TUTKINTO 2009 MATEMATIIKKA 5 VIIKKOTUNTIA PÄIVÄMÄÄRÄ: 8. kesäkuuta 2009 KOKEEN KESTO: 4 tuntia (240 minuuttia) SALLITUT APUVÄLINEET: Eurooppa-koulun antama taulukkovihkonen Funktiolaskin, joka ei saa
LisätiedotMAT Todennäköisyyslaskenta Tentti / Kimmo Vattulainen
MAT-25 Todennäköisyyslaskenta Tentti 12.4.216 / Kimmo Vattulainen Funktiolaskin sallittu. Palauta kaavakokoelma 1. a) Pelaajat A ja B heittävät noppaa vuorotellen ja pelin voittaa se, joka saa ensimmäiseksi
LisätiedotJOHDATUS TEKOÄLYYN TEEMU ROOS
JOHDATUS TEKOÄLYYN TEEMU ROOS NAIVI BAYES SPAM/HAM SANA 1 SANA 2 SANA 3 SANA 4 SANA 6 SANA 7 NAIVI BAYES SPAM/HAM SANA 1 P(SANA i =VIAGRA HAM) = 0.0001 P(SANA i =VIAGRA SPAM) = 0.002 TN, ETTÄ YKSITTÄINEN
LisätiedotORMS2020 Päätöksenteko epävarmuuden vallitessa Syksy 2010 Harjoitus Mitkä todennäköisyystulkinnat sopivat seuraaviin väitteisiin?
ORMS2020 Päätöksenteko epävarmuuden vallitessa Syksy 200 Harjoitus Ratkaisuehdotuksia. Mitkä todennäköisyystulkinnat sopivat seuraaviin väitteisiin? (a) Todennäköisyys että kolikonheitossa saadaan lopulta
Lisätiedotx 4 e 2x dx Γ(r) = x r 1 e x dx (1)
HY / Matematiikan ja tilastotieteen laitos Todennäköisyyslaskenta IIA, syksy 217 217 Harjoitus 6 Ratkaisuehdotuksia Tehtäväsarja I 1. Laske numeeriset arvot seuraaville integraaleille: x 4 e 2x dx ja 1
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotEdistyksen päivät, Helsinki. Voiko tutkija muuttaa maailmaa? Humanistista meta-analyysiä merkitysneuvottelevien koneiden avulla.
Edistyksen päivät, Helsinki Voiko tutkija muuttaa maailmaa? Humanistista meta-analyysiä merkitysneuvottelevien koneiden avulla Timo Honkela timo.honkela@helsinki.fi 5.10.2017 Taustaa: Rauhankone-konsepti
LisätiedotTekstinlouhinnan mahdollisuudet Digin historiallisessa sanomalehtiaineistossa. Kimmo Kettunen Dimiko (Digra-projekti)
Tekstinlouhinnan mahdollisuudet Digin historiallisessa sanomalehtiaineistossa Kimmo Kettunen Dimiko (Digra-projekti) Tekstinlouhinta Tekstinlouhinnassa pyritään saamaan tekstimassoista automaattisesti
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 6A Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
Lisätiedot811120P Diskreetit rakenteet
811120P Diskreetit rakenteet 2018-2019 7. Kombinatoriikka 7.1 Johdanto Kombinatoriikka tutkii seuraavan kaltaisia kysymyksiä: Kuinka monella tavalla jokin toiminto voidaan suorittaa? Kuinka monta tietynlaista
LisätiedotTässä lehdessä pääset kertaamaan Lohdutus-jakson asioita.
Tässä lehdessä pääset kertaamaan Lohdutus-jakson asioita. Turun kaupunginteatteri ja Hämeenlinnan teatteri. LOHDUTUS 2 KIELIOPIT ja TEATTERIT (virke, päälause, sivulause, päälauseiden yhdistäminen, päälauseen
LisätiedotTieverkon kunnon stokastinen ennustemalli ja sen soveltaminen riskienhallintaan
Mat 2.4177Operaatiotutkimuksenprojektityöseminaari Tieverkonkunnonstokastinenennustemallija sensoveltaminenriskienhallintaan Väliraportti 3/4/2009 Toimeksiantajat: PöyryInfraOy(PekkaMild) Tiehallinto(VesaMännistö)
Lisätiedot4. Funktion arvioimisesta eli approksimoimisesta
4. Funktion arvioimisesta eli approksimoimisesta Vaikka nykyaikaiset laskimet osaavatkin melkein kaiken muun välttämättömän paitsi kahvinkeiton, niin joskus, milloin mistäkin syystä, löytää itsensä tilanteessa,
LisätiedotMatematiikka ja teknologia, kevät 2011
Matematiikka ja teknologia, kevät 2011 Peter Hästö 13. tammikuuta 2011 Matemaattisten tieteiden laitos Tarkoitus Kurssin tarkoituksena on tutustuttaa ja käydä läpi eräisiin teknologisiin sovelluksiin liittyvää
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 1: Todennäköisyys ja sen laskusäännöt Verkot ja todennäköisyyslaskenta
Ilkka Mellin Todennäköisyyslaskenta Osa 1: Todennäköisyys ja sen laskusäännöt Verkot ja todennäköisyyslaskenta TKK (c) Ilkka Mellin (2005) 1 Verkot ja todennäköisyyslaskenta >> Puudiagrammit todennäköisyyslaskennassa:
LisätiedotPuhesynteesin perusteet: Lingvistinen esikäsittely
Puhesynteesin perusteet: Lingvistinen esikäsittely Nicholas Volk 24.1.2008 Käyttäytymistieteellinen tiedekunta Tekstin esikäsittely Jaetaan syöteen luettaviin saneisiin ja äännevastineettomiin välimerkkeihin
Lisätiedot