klusteroi data haluttuun määrään klustereita tee n-gram -mallit klustereista (tasoitus) estimoi sekoitteiden painokertoimet λ k

Transkriptio

1 /DXU6HWVRH /DXU6HWVRH#KXWI 5XP0,\HUDG0DU2VWHGRUI0RGHJ/RJ'VWDH'HHGHH /DJXDJH7R0[WXUHV9HUVXV'\DP&DKH0RGHV,7UDV VHHKDGDXGRURHVVJ-DXDU\

2 $KHVHRWHPDGHD.l\WlW l.rhhvdwxrvd <KWHHYHWR /DXU6HWVRH

3 JUDPPDWKXDDYDWGHPPlHXXRWWXYDW UXYXXGHW,GHDl\WHWll\KGHPDVDVWDXVHDDPDD DKHPDD RWDHGXVWDYDWWDUHPPWHWW\l GRXPHWWW\\lDHWVWllVRYDWDRHUWRPHW HUPDHH /DXU6HWVRH

4 PDKHHVHRWHPDHUXVDDYD P, K, 7 λ HUXVURVHGXXU klusteroi data haluttuun määrään klustereita tee n-gram -mallit klustereista tasoitus estimoi sekoitteiden painokertoimet λ k DUDXVD aiheen tasoitus dynaamiset mallit 7 + /DXU6HWVRH

5 .XVWHURWDJRUWP ähtötilassa C* klusteria, tavoite C Yhdistetään ne kaksi klusteria A i ja A j, joilla suurin samankaltaisuusmitta ij Toistetaan kunnes jäljellä C klusteria 6DPDDWDVXXVPWWD $ 6 $ $ $ $ $ $ sanojen luokkien lkm klusterissa sanan sisältävien klusterien lkm + artikkelien lkm klusterissa /DXU6HWVRH

6 /DVHWDDDXVJUDPDKHPDWXVWHUR HUXVWHHD 9UWHWllPDW0DJRUWPD E-askel: lasketaan todennäköisyydet millä opetuslauseet kuuluvat m aiheeseen -askel: lasketaan uudelleen n-gram -todennäköisyydet, mukana back-off /DXU6HWVRH

7 /DXU6HWVRH E E 0/ E E φ φ + DVH 0DVH P \ \ λ λ + T T T ET E E 0/ E E T T ET T E ET ET ET ET opetuslauseiden lkm lkm lauseessa unigrammin lkm lauseessa, bigrammin φ

8 2JHPD alioppiminen interpoloidaan aihemallit yleisen koko datalla opetetun n- gram -mallin kanssa aiheisiin kuulumattomat lauseet lisätään aihemalleihin yleinen malli P,* λ [ α + * 7 +, K, α 7 VWPRGDDα Dλ /DXU6HWVRH

9 /DXU6HWVRH RVVDGHW\GDWDRXRDXVHHWXVWHURGDD WRGHl VPPlDKHHPXDD $XVVDDRWWDVDHVWPRGDDHVα DVWWHλ lauseiden lkm datajoukossa,,,, sanojen lkm lauseessa lauseiden lkm klusterissa,,, 7 7 P * 7 RG 7 RG H 7 * RG RG RG H + λ λ λ α α α α

10 2WDDXXVVWDKDYDWXVWDDXVHVWDGHWll GRXPHWVVllYlPXVWDKDYDWXVWD JUDPPHVWD 9lPXVWWDHDKHHP\ V\HVHHPDH sanojen frekvenssejä lisätään aihemalleihin sen mukaan miten todennäköisesti havaittu lause kuuluu kyseiseen aiheeseen eli lisätään osia frekvenssistä aiheen välimuistimalli estimoidaan kertyneiden lukumäärien mukaan P,* tasoitettu staattinen [ V µ, K, 7 λ + µ V 7 + malli välimuistimalli /DXU6HWVRH

11 2HWXVDHVWRRUWK$PHUD%XVHVV$% HVPRRDDVDDD miljoona sanaa sivuun lausetason ja n-gram -tason painojen estimoimiseen 6DDVWR. 7HVWDHVWR$5$HKW\VD HYDXRWWHVWRXRW.l\W VVlRKDWWXDGDWRWXPHRHDURWXVDVX DHWWX /DXU6HWVRH

12 7HVWRXRHUHVWHHWW Test Adaptation Trigram model 5-component mixture model Dev o 2 65 Dev Yes 7 4 Eval o Eval Yes HVWRXR:5 Test Adaptation Trigram model 5-component mixture model Dev o 0,5 % 0,2 % Dev Yes 0, % 0,2 % Eval o,5 %,0 % Eval Yes, % 0,8 % /DXU6HWVRH

13 2HWXVDHVWR6WKERDUGRUXV HVXVWHXDPRRDDVDDD sanaa kymmenestä keskustelusta sivuun sekoitepainojen estimoimiseksi 6DDVWR. 7HVWDHVWR%%VVlHVHWVHPlVWl HVXVWHXVWDRRVWXYD.l\W VVlVWDDWWHPD 7XRVHWWHVWRXRH Perplexity WER WBD baseline 8 4, % 6-mixture 2 40,6 % /DXU6HWVRH

14 /DXVHWDVRJUDPVHRWHPDDVDDYXWHWWDYVVD DUHPDWXRVDXHllJUDPPDD staattinen malli lauseiden sisällä oleville riippuvuuksille dynaaminen malli myös artikkelin sisällä oleville riippuvuuksille 6DDWWDDXWHlUVlKHRVWGDWDYlK\\GHVWl /DXU6HWVRH