Helsinki University of Technology Laboratory of Telecommunications Technology S-38.11 Signaalinkäsittely tietoliikenteessä I Signal Processing in Communications ( ov) Syksy 1997 6. Luento: Adaptiiviset korjaimet I prof. Timo Laakso Vastaanotto torstaisin klo 1-11 Huone G1, puh. 451 473 Sähköposti: timo.laakso@hut.fi Adaptiivinen FIR-korjain (LM 11) Viimeksi tarkasteltiin ideaalisen korjaimen z-siirtofunktiota. Z-siirtofunktion kompleksisuutta ei rajoitettu, ja se oli yleensä paitsi rekursiivista muotoa myös ääretön asteluvultaan. Seuraavassa rajoitutaan äärellisen pituiseen FIR-korjaimeen. Tälle johdetaan ensin matriisinotaation avulla ideaalinen MMSE-ratkaisu. Tämän pohjalta johdetaan gradienttityyppinen iteratiivinen ratkaisumenetelmä matriisiyhtälölle joka yksinkertaistuu aikanaan käyttökelpoiseksi LMS(least mean square)-adaptointialgoritmiksi. LMS-algoritmi on pohjana useimmille käytännön lineaarisille ja takaisinkytketyille (DFE-)korjaimille. 11/4/97 Teletekniikan laboratorio Sivu
Adaptiivisen lin. korjaimen rakenne Received signal Receive filter Adaptive FIR equalizer Decisions Error - Σ + e k Training signal generator Adaptiivisen suotimen perusrakenne on Kuvassa 11-1. 11/4/97 Teletekniikan laboratorio Sivu 3...Adaptiivisen lin. korjaimen rakenne alkupään vastaanottosuodatin on yleensä alipäästösuodatin, joka poistaa kohinaa adaptiivinen (lineaarinen) korjain toteutetaan yleensä FIRrakenteella adapt. korjaimen kertoimia ohjataan virhesignaalilla Virhesignaali muodostetaan alustusvaiheessa (training mode) lähettämällä tunnettu testisignaali seurantavaiheessa (tracking mode) käyttämällä hyväksi menneitä päätöksiä. Virheelliset päätökset (alle 1%) eivät juuri haittaa 11/4/97 Teletekniikan laboratorio Sivu 4
Adaptiivisen DFE-korjaimen rakenne n k D(z) a k P(z) Σ r k C(z) u k Σ q k a k Σ e k Päätöstakaisinkytkennnän sisältävä kantataajuisen DFEkorjaimen diskreettiaikainen malli on perusrakenne on Kuvassa 11-. 11/4/97 Teletekniikan laboratorio Sivu 5...Adaptiivisen DFE-korjaimen rakenne Adaptointi perustuu virhesignaaliin missä on alustusvaiheessa tunnettu symbolisekvenssi ja seurantavaiheessa vastaanottimen päätössekvenssi. Prekursorin N-tappinen siirtofunktio on muotoa (Huom! Kanava on nyt P(z) ja korjain C(z) ) m Cz ( ) = cz ( 113. ) m m= ( N 1) (käytännössä kausalisoitava N viiveellä). Postkursori on M m Dz () = dz ( 114.) m= 1 Tämä toteutetaan M-tappisella FIR-rakenteella. m 11/4/97 Teletekniikan laboratorio Sivu 6
FIR-korjaimen MSE-ratkaisu (LM 11.1.) r k+l-... r k+l-1 r k-l r k+l T T T T c -L c -L+1 c -L+ c L Σ Johdetaan N-tappisen FIR korjaimen (11.) MSE. Määritellään ensin kerroinvektori c = [ c c c ] L ( 115. ) missä ovat FIR-suotimen kertoimet, L = (N-1)/ ja N oletetaan parittomaksi. 11/4/97 Teletekniikan laboratorio Sivu 7 L T... FIR-korjaimen MSE-ratkaisu Vastaavat suodatettavat korjaimen input-näytteet hetkellä k kootaan samanmittaiseksi vektoriksi: [ r r r ] r k = k + L k k L Virhesignaali saadaan muotoon e = a q = a cr T ( 117. ) k k k k k T ( 116. ) Yleisesti kaikki suureet ovat kompleksiarvoisia. Oletetaan lisäksi että kaikki signaalit ovat nollakeskiarvoisia ja (laajassa mielessä) stationäärisiä eli niiden stokastiset ominaisuudet eivät muutu ajan funktiona. 11/4/97 Teletekniikan laboratorio Sivu 8
... FIR-korjaimen MSE-ratkaisu Neliövirhe voidaan työstää muotoon (Harjoituksissa!) H H T E e = E a Re c E a r + c E r r c [ ] [ ] [ ] H = E[ ak ] { } + { } [ ] k k k k k k Re c a c H Φc ( 118. ) missä H merkitsee hermitointia eli transponointia ja konjugointia. Lisäksi määritellään ristikorrelaatiovektori a [ r ] = E a k k * ja autokorrelaatiomatriisi Φ Φ Φ Φ Φ Φ = E[ rr H 1 k k ] = ΦN Φ 1 ( N 1) 1 ( 119. ) 11/4/97 Teletekniikan laboratorio Sivu 9 ( 111. ) Autokorrelaatiomatriisi Autokorrelaatiomatriisilla on tärkeitä ominaisuuksia: 1) on Hermiten (hermiittinen) matriisi, eli Φ H = Φ T* = Φ (Jos Φ on reaalinen, se on symmetrinen). ) on Töplitz-matriisi eli diagonaalin suuntaisilla alidiagonaaleilla on sama elementti. Autokorrelaatiofunktion arvo riippuu siis vain korreloitavien viive-erosta: Φ j = E[r k+j r k* ] 3) on positiivi-semidefiniitti eli mille tahansa vektorille x x H Φx on positiivinen ja siten se on tulkittavissa neliölliseksi pituusmitaksi. 11/4/97 Teletekniikan laboratorio Sivu 1
Optimaalinen MMSE-ratkaisu Tarkastellaan kaavan (11.8) neliövirhelauseketta kun FIRsuotimen pituus on 1 ja signaalit ovat reaaliarvoisia. Saadaan [ k ] [ k ] E e = E a ac+ Φ c [ k k] Φ [ k] a = E a r, = E r ( 1114. ) Tämä voidaan helposti täydentää muotoon [ k ] = [ k ] / Φ + Φ( / Φ / Φ + ) = E[ ak ] a / Φ + Φ( c a/ Φ) E e E a a a ac c josta nähdään että MSE:n minimoiva ratkaisu on c=a/φ. 11/4/97 Teletekniikan laboratorio Sivu 11...Optimaalinen MMSE-ratkaisu Tämä yksinkertainen tulos on voidaan yleistää kompleksiseen vektoritapaukseen: LM Harj. 11-4 Johda kertomalla auki, että [ k ] E[ ak ] E e H 1 1 H 1 = a Φ a+ ( Φ a c) Φ( Φ a c) ( 1115. ) on yhtäpitävä (11.8:n kanssa). Koska on positiivi-semidefiniitti, kaavan (11.15) viimeinen termi on aina ei-negatiivinen eli pienimmillään nolla. Optimiratkaisu saadaan siis valitsemalla 1 1 x = Φ a c = copt = Φ a ( 1116. ) Ratkaisu (jos se on olemassa) on aina yksikäsitteinen. 11/4/97 Teletekniikan laboratorio Sivu 1
...Optimaalinen MMSE-ratkaisu Edelläsaatu ratkaisu (11.16) minimoi lausekkeen (11.15) MSE:n, sillä muut termit eivät riipu kerroinvektorista c. Minimi-MSE:ksi saadaan [ H ] Φ E[ a ] 1 H ξ min = E a a a = a c ( 1117. ) k k opt MSE:n yleinen kaava saadaan siis muotoon [ ] 1 H 1 E e k = ξ min + ( Φ a c) Φ( Φ a c) ( 1118. ) MSE riippuu suoraan siitä, kuinka lähellä c on optimia. MSE:n kuvaaja on (hyper)paraboloidi N-ulotteisessa avaruudessa. Optimiratkaisu (11.16) voidaan johtaa myös derivoimalla MSE:n lauseke vektorin c suhteen ja asettamalla derivaatta nollaksi (ks. kirjan Harj. 11-5). Tulos on tietysti sama. 11/4/97 Teletekniikan laboratorio Sivu 13 MSE-gradienttialgoritmi (LM 11.1.3) Kaavan (11.16) optimikerroinvektori löydetään matriisinkäännöllä eli ratkaisemalla lineaarinen yhtälöryhmä joka riippuu autokorrelaatiomatriisin Φ termeistä (autokorrelaatiofunktion Φ j arvoista) ja ristikorrelaatiovektorista a. Jos kerroinvektoria joudutaan päivittämään usein (niinkuin oletetaan), se on työläs tapa, ja lisäksi siinä voi tulla numeerisia (laskentatarkkuus-)ongelmia. Lisäksi autokorrelaatio- ja ristikorrelaatiotermit täytyy tuntea (tai estimoida). 11/4/97 Teletekniikan laboratorio Sivu 14
...MSE-gradienttialgoritmi Suoran ratkaisun sijasta etsimme iteratiivista algoritmia, joka vähitellen lähestyy optimiratkaisua. Ratkaisu perustuu siihen perustulokseen että optimikerroinvektori on yksikäsitteinen ja virhepinta (MSE:n kuvaaja kerroinvektoriavaruudessa) on unimodaalinen, eli sillä on vain yksi globaali minimi (ei lokaaleja ääriarvoja!). Tällöin voidaan MSE-käyrää pitkin edetä aina negatiivisen gradientin suuntaan eli alamäkeen optimiratkaisua kohti. 11/4/97 Teletekniikan laboratorio Sivu 15...MSE-gradienttialgoritmi c 1 To large step size c opt c Negative of gradient for small step size c Kuva 11-3 havainnollistaa gradienttialgoritmin periaatteellista toimintaa (kaksiulotteinen tapaus). 11/4/97 Teletekniikan laboratorio Sivu 16
...MSE-gradienttialgoritmi MSE-gradienttialgoritmi (MSEG) voidaan esittää muodossa [ ] c = j c β E e + 1 j c j k ( 117. ) missä c j+1 ja c j ovat uusi ja vanha kerroinvektori, β on askelparametri (1/ on mukana jotta seuraavat kaavat sievenevät) ja nablalauske on MSE-virhepinnan gradientti. Derivoimalla MSE:n lauseke saadaan (ks. kirjan Harj. 11-5) [ ] E e = c c a j k Φ ( 115. ) jolloin algoritmi (11.7) saadaan muotoon c = c + a + c = I c + 1 β( Φ ) ( βφ) βa ( 118. ) j j j j 11/4/97 Teletekniikan laboratorio Sivu 17...MSE-gradienttialgoritmi Esimerkki 11-: tutkitaan taas reaalista skalaaritapausta (Esim. 11-1), jolloin MSEG-algoritmi saadaan muotoon c + = ( 1 βφ ) c + βa ( 119. ) j 1 j Vähennetäänpä kummaltakin puolelta optimiratkaisu c opt ja käytetään kaavaa a=φ c opt : c c = c j opt j c + + 1 ( 1 βφ) opt βφcopt = ( 1 βφ )( c c ) ( 113. a) Kun oletetaan kertoimen alkuarvoksi, voidaan (j+1):s ratkaisu lausua myös muodossa c c = j j+ opt c 1 ( 1 βφ) ( copt ) ( 113. b) 11/4/97 Teletekniikan laboratorio Sivu 18 j opt
...MSE-gradienttialgoritmi Tästä kaavasta nähdään, että Ratkaisu suppenee aina kohti optimia (alkuarvosta riippumatta) jos 1 βφ < 1 Tästä seuraa askelparametrille vaatimus 1< βφ 1< 1 < βφ < < β < Nopeimmin algoritmi suppenee jos β=1/φ : tällöin tarvitaan vain yksi iteraatio! Φ 11/4/97 Teletekniikan laboratorio Sivu 19 MSEG-algoritmin suppeneminen Edellisen esimerkin tulos voidaan yleistää kompleksiarvoiseen vektoritapaukseen. Esitetään kaava (11.8) muodossa c c = I c j opt j c + + 1 ( βφ) opt βφcopt = ( I βφ)( c j copt) Merkitsemällä q j =c j -c opt ja käyttämällä alkuarvoa q saadaan ratkaisu muotoon q = j j+ I 1 ( βφ) q ( 113. ) Mutta milloin algoritmi suppenee? Nyt sen selvittäminen on hieman työläämpää kuin skalaaritapauksessa ja matriisin ominaisarvoja ja -vektoreita tarvitaan. 11/4/97 Teletekniikan laboratorio Sivu
...MSEG-algoritmin suppeneminen Kaavan (11.3) kerroinmatriisi voidaan esittää modaalihajotelmana ( I βφ) j N = ( 1 j H βλ) v v ( 1138. ) i= 1 i missä λ i on matriisin Φ ominaisarvo (aina reaalinen ja ei-neg.!) ja v i vastaava ominaisvektori (v i H v i =1). Termi (1- βλ i ) j on lausekkeen (11.38) i:s suppenemismoodi. Jotta jokainen moodi suppenisi, on vaadittava että suurinta ominaisarvoa vastaava moodi suppenee, mistä seuraa askelparametrin suppenemisehto i i < β < ( 1139. ) λ max 11/4/97 Teletekniikan laboratorio Sivu 1...MSEG-algoritmin suppeneminen Voidaan lisäksi osoittaa, että suppeneminen on hidasta kun ns. ominaisarvohaje λ max / λ min (suurimman ja pienimmän ominaisarvon suhde) on suuri. Käytännössä suuri ominaisarvohaje ilmenee siten, että MSEpinnan (hyper)paraboloidin poikkipinta on litistynyt (hyper)ellipsi. Tällöin gradienttisuunta kääntyy voimakkaasti edettäessä kohti maljan pohjaa, jolloin on pakko käyttää pienehköä askelparametria ettei ajeta ohi. Kuva 11-6: c 1 c 1 v 1 v Direction of negative gradient c Direction of negative gradient c 11/4/97 Teletekniikan laboratorio Sivu v 1 v
Ominaisarvot ja tehospektri Vieläkin havainnollisempi on spektritulkinta. Voidaan osoittaa, että signaalin tehospektri asettaa rajat ominaisarvohajeelle: jω jω [ Se ] λ [ Se ] min ( ) < < max ( ) ( 1145. ) ω ω ja tehospektrihän on autokorrelaatiofunktion Fourier-muunnos: jω jωk Se ( ) = Φke ( 1146. ) k= Ominaisarvot riippuvat matriisin dimensioista. Voidaan osoittaa, että ominaisarvojen minimi ja maksimi lähestyvät (11.45):n raja-arvoja kun matriisin kokoa (eli adaptoitavan suotimen pituutta) kasvatetaan. 11/4/97 Teletekniikan laboratorio Sivu 3...Ominaisarvot ja tehospektri Suppenemisen kannalta on siten parasta, että korjaimen inputsignaalin spektri on mahdollisimman tasainen (lähellä valkoista kohinaa). Jos spektrissä on yksikin nollakohta, suppeneminen hidastuu periaatteessa nollaan kun suotimen pituutta kasvatetaan. Käytännön pohjakohinan takia tämä on lähinnä teoreettinen ongelma. Silti pitkien suotimien adaptointi on hidasta varsinkin kun signaalin spektri on vaihteleva. 11/4/97 Teletekniikan laboratorio Sivu 4
Yhteenveto 6. luennosta Tällä luennolla käsiteltiin FIR-korjaimen adaptointia. Tutustuttiin mm. seuraaviin käsitteisiin MSE-virheen lauseke matriisimuodossa N-pituiselle FIRsuotimelle MSE-gradienttialgoritmi (MSEG) MSEG-algoritmin suppeneminen Askelparametrin määrittäminen Ominaisarvohaje, tehospektri ja suppeneminen 11/4/97 Teletekniikan laboratorio Sivu 5