LIIKENNETILANTEEN LYHYEN AIKAVÄLIN ENNUSTAMINEN MLP-NEUROVERKOLLA Satu Innamaa Teknillinen korkeakoulu, Liikennelaboratorio TUTKIMUKSEN TARKOITUS Dynaamiset liikenneinformaatio- tai ohjausjärjestelmät eivät saisi toimia reaktiivisesti, vaan niiden pitäisi ennakoida liikennetilanteet ja sopeuttaa strategiansa ajoissa liikennetilanteen muutoksiin. Myös nykytilanne on ennuste. Toistaiseksi Suomen pääteillä käytössä olevat järjestelmät eivät ole tehneet ennusteita liikennetilanteen kehityksestä. Erityisesti liikennetilanteeseen perustuvassa ohjauksessa tai ajantasaista liikenneinformaatiota antavissa järjestelmissä tämä olisi kuitenkin tärkeää ja tästä syystä on tarpeen kehittää tähän tarkoitukseen sopivia yksinkertaisia ennustamismenetelmiä. Tämän tutkimuksen tarkoituksena oli selvittää eri tekijöiden vaikutuksia lyhyen aikavälin liikennetilanne-ennusteisiin. Ennusteet on tehty monikerrosperseptroniverkkojen (MLP-neuroverkko) avulla. Optimaalisen ennustemallin tekemiseksi täytyy etsiä paras neuroverkko ja optimaalinen tapa kerätä liikennedataa. Malliin liittyviä selvitettäviä asioita ovat mm. aineiston esikäsittelymenetelmä, neuroverkon aktivaatiofunktiot ja mallin rakenne (yksittäinen malli vs. hajautettu malli). Lisäksi selvitetään lisäinformaation, ennustejakson pituuden sekä mittauspoikkileikkausten määrän ja sijainnin vaikutusta ennusteiden hyvyyteen. Tutkimuksesta on tulossa yksityiskohtainen raportti Tielaitoksen selvityksiä -sarjassa. TUTKIMUKSEN LÄHTÖKOHDAT Ennustemallit on tehty Länsiväylälle, jonka Uudenmaan tiepiiri on varustanut automaattisella liikenteenohjausjärjestelmällä. Tutkimusalueella on seitsemän mittauspoikkileikkausta (ennustepoikkileikkaus, neljä poikkileikkausta ennen sitä ja kaksi sen jälkeen). Tutkimusalueen pituus on noin kolme kilometriä. Raakadatana käytetty ajoneuvokohtainen aineisto oli peräisin liikenteenohjausjärjestelmän induktiosilmukkailmaisimista. Ennustemalleina käytettiin MLP-neuroverkkoja (kuva 1) niiden aikaisemmissa tutkimuksissa (1, 2, 3) saamien hyvien tulosten perusteella. Syötekerroksen neuronien määrä oli yhtä suuri kuin syöteparametrien määrä ja vastekerroksen neuronien määrä vastaavasti yhtä suuri kuin vasteparametrien määrä. Piilokerrosten määräksi valittiin yksi ja piiloneuronien määrä määriteltiin Widrow n nyrkkisäännön avulla: opetusjoukon koon (T) pitäisi olla vähintään kymmenen kertaa estimoitavien parametrien (paino- ja harhakertoimet, W) lukumäärä. N i on syöteneuronien lukumäärä, N h piiloneuronien lukumäärä ja N o syöteneuronien lukumäärä. T min = 10 W; N h max W = ( N 0,10 T No = N + N + 1 i o i + 1) N h + ( N h + 1) N MLP-verkko opetettiin Levenberg-Marquardt-algoritmilla, joka on yhdistelmä perusgradienttimenetelmästä ja Newtonin menetelmästä (4). Levenberg-Marquardt-algoritmin ideana on, että opetus liukuu gradienttimenetelmästä kohti Newtonin menetelmää hyödyntäen molempien menetelmien edut. o
Piilokerros Syötekerros Vastekerros Syöteparametrit Vasteparametrit x 1 y 1 x 2 y 2 x 3 y 3 x n y m Aktivaatiofunktio Kuva 1. Monikerrosperseptroniverkko. Syötedatana käytettiin viiden minuutin liikennehavaintoja. Perusdata koostui keskinopeus- ja liikennemäärätiedoista viimeisimmältä 15 minuutilta (kolme keskinopeus- ja kolme liikennemäärähavaintoa kustakin poikkileikkauksesta). Vasteparametrit koostuivat samasta informaatiosta ennustepoikkileikkaukselle 15 minuutille tarkasteluhetkestä eteenpäin. Syöteparametrejä oli siis 42 (kuusi parametriä seitsemästä poikkileikkauksesta) ja vasteparametrejä kuusi. Opetusjoukon koko oli 3 254 havaintoa. Jos neuroverkko oppii opetusaineiston liian hyvin, se muistaa sen ulkoa eikä kykene yleistämään. Eräs tapa ehkäistä ulkoa oppimista on varmistaa, että opetusjoukon koko on riittävän suuri (piiloneuronien maksimimäärä perustui opetusjoukon kokoon). Toinen tapa välttää ylioppiminen on asettaa opetusprosessille lopetuskriteerejä. Nyt tehdyssä tutkimuksessa näitä kriteerejä asetettiin useita. Opettaminen piti lopettaa, kun saavutettiin opetuskierrosten maksimimäärä tai gradientin arvo tai keskimääräinen neliövirhe laskivat riittävän pieniksi tai validointiaineiston keskimääräinen neliövirhe lakkasi pienenemästä. Tätä validointiaineistokriteeriä varten alkuperäinen opetusaineisto jaettiin kolmeen osaan: opetus-, validointi- ja testiaineistoon. Käytännössä opetus lopetettiin aina viimeisen lopetuskriteerin perusteella. TUTKIMUSASETELMA Nyt tehdyssä tutkimuksessa selvitettiin ensin aineiston esikäsittelymenetelmiä, neuroverkkojen aktivaatiofunktioita, syöteparametrien vähentämistä ja mallin jakamisella saavutettavia etuja. Optimaalisen neuroverkon löydyttyä tutkittiin, voisiko tulosta parantaa antamalla mallille lisäsyötteitä ja kuinka syötetietoja keräävät poikkileikkaukset tulisi sijoittaa silloin, kun niiden määrä on rajallinen. Lisäksi selvitettiin, kuinka ennustejakson pituus vaikuttaa tuloksiin. Kun neuroverkkoa opetetaan parametreillä, joiden lukuarvot ovat eri suuruusluokkaa kuten liikennemäärä (tuhansia ajoneuvoja tunnissa) ja keskinopeus (kymmeniä kilometrejä tunnissa) on hyödyllistä esikäsitellä aineisto ennen kuin se syötetään neuroverkkoon. Kaksi yleistä esikäsittelymenetelmää ovat skaalaus ja normeeraus. Näitä kahta menetelmää vertailtiin, ja vertailua varten aineisto skaalattiin vaihtelemaan välillä [-1,1] tai normeerattiin nollakeskiarvoiseksi siten, että keskihajonnaksi tuli yksi. Koska syöteparametrit korreloivat vahvasti, normeerattu aineisto jatkokäsiteltiin pääkomponenttianalyysin avulla.
Pääkomponenttianalyysin avulla voidaan vähentää syöteavaruuden dimensioita (4). Syöteparametrien määrää vähentämällä saavutetaan se etu, että samalla opetusjoukolla piiloneuronien määrää voidaan kasvattaa, jolloin mallin avulla voidaan kuvata monimutkaisempia ilmiöitä. Pääkomponenttianalyysissä syötevektorit muokataan kohtisuoriksi siten, etteivät ne korreloi keskenään. Kohtisuorat komponentit (pääkomponentit) järjestetään varianssiensa mukaan suuruusjärjestykseen ja lopuksi eliminoidaan ne komponentit, jotka selittävät aineiston vaihtelusta vähiten (5). Tutkimuksessa testatut aktivaatiofunktioyhdistelmät olivat piilokerroksen logistinen funktio ja hyperbolinen tangentti sekä vastekerroksen hyperbolinen tangentti ja lineaarinen funktio. Syöteparametrien lukumäärän pienentämisen vaikutuksia selvitettiin vähentämällä poikkileikkausten määrää (seitsemästä viiteen, poistamalla äärimmäiset poikkileikkaukset) ja lyhentämällä aikasarjan pituutta (15:sta 10:een minuuttiin). Tässä kysymys kuului, oliko lisäpiiloneuronien avulla saavutettava hyöty suurempi kuin syöteinformaation vähenemisen aiheuttama haitta. Tulosten parantamista lisäsyötetietojen avulla kokeiltiin kahdella eri mallilla. Mallin ajateltiin voivan hyödyntää ennusteissaan liikenteen vaihteluiden säännönmukaisuutta. Malleista ensimmäinen sai viikonpäivätyyppi- ja kellonaikatiedot ja toisessa versiossa mallille annettiin syötetietoina keskimääräiset kyseisenä päivätyyppinä kysytyllä hetkellä havaitut liikennemäärä- ja nopeusestimaatit. Ennustejakson pituuden vaikutusta ennusteen laatuun selvitettiin vertailemalla malleja, joista toinen teki ennusteen 15 minuuttia ja toinen 30 minuuttia tarkasteluhetkestä eteenpäin. Mallit olivat muuten rakenteeltaan samanlaisia ja perustuivat samaan opetusjoukkoon. Lopuksi selvitettiin, kuinka poikkileikkaukset tulisi sijoittaa silloin, kun niiden määrä on rajallinen. Käytettävissä olleen aineiston avulla päästiin kokeilemaan lisätietopoikkileikkauksia, jotka sijaitsivat 420-1 878 metriä ennen ennustepoikkileikkausta ja 392 tai 1 080 metriä sen jälkeen. Tutkimuksessa optimoitiin poikkileikkausten sijainteja tilanteessa, jossa poikkileikkauksia oli käytettävissä kaksi tai kolme. OPTIMAALINEN ENNUSTEMALLI Ensimmäinen tehtävä perusennustemallin määrittämisessä oli tutkia neuroverkkojen eri aktivaatiofunktioita. Kummallekin aineistolle parhaaksi funktioyhdistelmäksi osoittautui piilokerroksen hyperbolinen tangentti ja vastekerroksen lineaarinen funktio. Toisena tehtävänä oli tutkia, kannattaako syöteinformaation vähentäminen. Normeerattuun aineistoon perustuvalla mallilla vähentäminen ei vaikuttanut hyödylliseltä. Paras tulos saatiin aineistolla, joka oli kaikilta poikkileikkauksilta viimeiseltä 15 minuutilta. Skaalattuun aineistoon perustuvalla mallilla piiloneuronien määrän kasvattamisesta saatava etu oli sitä vastoin suurempi kuin syöteinformaation vähentämisestä aiheutunut haitta. Paras tulos saatiin aineistolla, joka oli viidestä poikkileikkauksesta viimeiseltä 15 minuutilta. Yleisesti ottaen havaittiin, että syöteparametrien vähentäminen oli parempi tehdä pienentämällä poikkileikkauksien lukumäärää kuin lyhentämällä aikasarjaa. Eräs ratkaistavista ongelmista oli, voidaanko ennustetuloksia parantaa jakamalla malli osamalleihin. Ennustemalli jaettiin kahdella eri tavalla. Ensimmäisessä tapauksessa nopeus ja liikennemäärä ennustettiin erikseen ja jälkimmäisessä oli oma osamalli kullekin viiden minuutin ennustejaksolle. Näitä osamalleihin jaettuja malleja verrattiin jakamattomiin perusmalleihin usean eri virhetermin avulla. Mallit osoittivat, että vaikkakin tulokset olivat saman-
kaltaisia, kolmeen osamalliin jaetut mallit antoivat huonoimmat ennusteet ja kahteen osamalliin jaetut mallit olivat parhaita. Parhaan kahteen osamalliin jaetun mallin liikennemäärä- ja nopeusennusteiden suhteellisten virheiden itseisarvojen kumulatiiviset summakäyrät on esitetty kuvassa 2. Liikennemääräennusteista 90 prosentissa suhteellinen virhe oli korkeintaan 20 prosenttia ja 64 prosentissa ennusteista virhe oli korkeintaan kymmenen prosenttia. Nopeusennusteista 90 prosentissa suhteellinen virhe oli neljä prosenttia ja virhe oli korkeintaan kymmenen prosenttia 99 prosentissa ennusteista. 180 % 160 % Suhteellinen virhe 140 % 120 % 100 % 80 % 60 % 40 % 20 % 0 % 0 % 20 % 40 % 60 % 80 % 100 % Osuus havainnoista Liikennemäärä Keskinopeus Kuva 2. Liikennemäärän (ylempi käyrä) ja keskinopeuden (alempi käyrä) suhteellisten virheiden itseisarvojen kumulatiiviset summakäyrät kahteen osamalliin jaetulle ennustemallille. MUIDEN TEKIJÖIDEN OPTIMOIMINEN Ennustemallin tuloksia yritettiin parantaa sillä, että syötetietoihin lisättiin päivätyyppi (arkipäivä, lauantai ja sunnuntai/pyhä) ja kellonaika. Tiedot annettiin mallille kahdella eri tavalla. Ensimmäisessä mallissa päivätyyppi annettiin dummy-muuttujina ja kellonaika desimaalilukuna. Toiselle mallille annettiin syötteeksi keskimääräiset kyseisenä päivätyyppinä kysytyllä hetkellä havaitut liikennemäärä- ja nopeusestimaatit. Vertailumalleiksi rakennettiin mallit, jotka oli opetettu samalla opetusjoukolla ja jotka olivat rakenteeltaan muuten samanlaisia kuin edellä kuvatut mallit, mutta ne saivat syötetiedoikseen ainoastaan liikennemäärä- ja nopeustiedot. Näin erot neuroverkon rakenteessa tai opetusaineistossa eivät päässeet vaikuttamaan vertailun tuloksiin. Opetusaineistossa painottuivat ruuhkattoman ajan havainnot, koska ylikysynnän ja ruuhkatilanteiden kestot olivat suhteellisen lyhyitä. Jotta malli pääsisi harjoittelemaan "vaikeita" ylikysyntätilanteiden havaintoja useammin kuin ruuhkattomia havaintoja, joita muutenkin oli enemmän, liikenteen aamuhuipun havainnot otettiin opetusaineistoon kahteen kertaan. Kun neuroverkko kävi opetusaineiston havaintoja satunnaisessa järjestyksessä läpi, näillä havainnoilla oli siis kaksinkertainen mahdollisuus tulla läpikäydyiksi.
Molempien lisätietoja hyödyntävien mallien tekemät virheet olivat samaa suuruusluokkaa. Lisätiedot näyttivät parantavan liikennemääräennusteita jonkin verran, mutta keskinopeusennusteisiin ne eivät ole tuoneet lisää tarkkuutta. Lisätieto- ja vertailumallien väliset erot olivat kuitenkin yleensä pieniä. Ennustejakson pituuden vaikutusta ennustetuloksiin tutkittiin opettamalla neuroverkko ennustamaan liikennemäärä ja keskinopeus 30 minuuttia tarkasteluhetkestä eteenpäin. Myös 30 minuutin ennustemallille tehtiin vertailumalli, joka oli muuten aivan samanlainen kuin 30 minuutin malli, mutta se teki ennusteen ainoastaan 15 minuuttia tarkasteluhetkestä eteenpäin. Keskimäärin tarkasteltuna 30 minuutin ennuste oli hieman epätarkempi kuin 15 minuutin vertailuennuste, mutta ero oli pieni. On kuitenkin huomattava, että kokonaisennustejakson pituuden kasvattaminen huononsi kaikkia ennusteita - eivätkä ainoastaan uudet ennusteviisiminuuttiset olleet huonompia kuin lyhyemmän ennusteen antamat tulokset. Ennustemalleja tehtäessä aineistoa ei aina ole käytettävissä yhtä monelta poikkileikkaukselta kuin tässä tutkimuksessa. Poikkileikkausten keskinäisen sijainnin vaikutusta ennusteen laatuun tutkittiin olettamalla, että käytössä oli aineistoa ainoastaan kahdelta poikkileikkaukselta (ennuste- ja lisätietopoikkileikkaus). Lisätietopoikkileikkaukset sijaitsivat 420-1 878 metriä ennen ennustepoikkileikkausta ja 392 tai 1 080 metriä sen jälkeen. Ennustejaksona oli 15 minuuttia ja ennuste perustui edellisen 15 minuutin liikennemäärä- ja keskinopeustietoihin kyseisiltä poikkileikkauksilta. Ennen ennustepoikkileikkausta sijaitsevia lisätietopoikkileikkauksia käyttävien mallien suoritus huononi sitä mukaa kuin lisätietopoikkileikkaus lähestyi ennustepoikkileikkausta. Ennustepoikkileikkauksen jälkeen sijaitsevia poikkileikkauksia käyttävillä malleilla tilanne oli päinvastainen. Saatujen tulosten perusteella vaikuttaa siltä, että lisätietopoikkileikkaus kannattaa sijoittaa vähintään 800 metriä ennen ennustepoikkileikkausta. Jos lisätietopoikkileikkaus on sijoitettava ennustepoikkileikkauksen jälkeen, niiden välisen etäisyyden kannattaa olla pienempi, tässä tapauksessa noin 400 metriä. Toisena asiana selvitettiin sitä, mihin kolmas poikkileikkaus kannattaa sijoittaa. Lähtökohtana pidettiin mallia, joka sai tiedot ennustepoikkileikkauksen lisäksi poikkileikkaukselta, joka sijaitsi 1 878 metriä ennen ennustepoikkileikkausta (ensimmäinen lisätietopoikkileikkaus). Tulokseksi saatiin, että toinen lisätietopoikkileikkaus kannatti sijoittaa noin 400 metriä ennustepoikkileikkauksen jälkeen. Toiseksi paras valinta oli poikkileikkaus, joka sijaitsi noin 800 metriä ennen ennustepoikkileikkausta. JOHTOPÄÄTÖKSET JA POHDINTAA Normeerattuun aineistoon perustuvalla ennustemallilla syöteparametrien vähentäminen ei vaikuttanut kannattavalta. Skaalattuun aineistoon perustuvalla mallilla tilanne oli kuitenkin päinvastainen. Tämä johtuu todennäköisesti siitä, että normeerattuun aineistoon perustuvassa mallissa piiloneuronien määrä kasvoi suhteessa vähemmän (yhdeksästä kymmeneen) kuin skaalattuun aineostoon perustuvassa mallissa (kahdesta neljään). Kun piiloneuronien määrä on erittäin pieni, jokainen lisäneuroni saattaa parantaa tuloksia huomattavasti. Syöteparametrien vähentäminen kannatti tehdä mieluummin pienentämällä poikkileikkauksien lukumäärää kuin lyhentämällä aikasarjaa. Tämä johtuu todennäköisesti siitä, että lähekkäin sijaitsevien poikkileikkausten saman viisiminuuttisen liikennettä kuvaava aineisto korreloi voimakkaammin kuin yksittäisen poikkileikkauksen peräkkäisten viisiminuuttisten aineisto. Tämän takia poikkileikkausten lukumäärän pienentäminen vähentää informaation määrää vähemmän kuin aikasarjan lyhentäminen.
Piiloneuronien määrää voidaan kasvattaa (hieman) myös jakamalla malli osamalleihin. Kahteen osamalliin jaettu malli vaikutti tosiaan antavan parempia ennusteita kuin yksittäinen malli. Kolmeen osamalliin jaettu malli antoi kuitenkin huonommat ennusteet kuin perusmalli. Tulos on yllättävä, koska kaikkien osamalleihin jaettujen mallien olisi voinut olettaa tekevän vähintään yhtä hyvät ennusteet kuin jakamaton malli. Tulosten huonous saattaa johtua sattumasta. Ennusteen parantamista lisäsyötetietojen avulla kokeiltiin. Oletuksena oli, että malli kykenisi tekemään tarkempia ennusteita liikenteen säännönmukaisuutta hyödyntämällä. Viikonpäivätyyppi- ja kellonaikatiedot tai kyseisen ajankohdan keskiarvotiedot syötteinä saaneet mallit tekivätkin hieman parempia liikennemääräennusteita kuin vertailumalli, mutta nopeusennusteita lisätiedot eivät parantaneet. Syöteneuronien lisäys johti pienempään piiloneuronien määrään, joten suhteellisen pienillä opetusjoukoilla lisätietojen tuoma parannus liikennemääräennusteisiin ei riittänyt kattamaan piiloneuronien määrän pienenemisen aiheuttamaa tuloksen huononemista. Vertaamalla 30 minuutin ennustejaksolle tehtyä mallia 15 minuutin ennustejaksolle tehtyyn malliin voitiin tehdä johtopäätös, että kokonaisennustejakson pituuden kasvattaminen huononsi kaikkia ennusteita - eivätkä ainoastaan uudet ennusteviisiminuuttiset olleet huonompia kuin lyhyemmän ennusteen antamat tulokset. Tämä on luonnollista, koska lisäennusteiden tekeminen vie resursseja perusennusteen tekemiseltä ja tulos huononee myös niiden osalta. Liikennemääräennusteet onnistuivat tasaisemmin kuin keskinopeusennusteet. Vaikka summakäyriä tarkastellen nopeusennusteet olivatkin tarkempia, niissä oli systemaattisia virheitä. Nopeusennusteissa tulokset ovat epäluotettavia alimpien nopeuksien osalta ja malleilla on taipumus yliarvioida näitä nopeuksia. Liikennemääräennusteissa esim. virhemarginaali, jonka sisään 90 prosenttia ennusteista mahtuu, oli laajempi kuin nopeusennusteissa, mutta mallit eivät tehneet systemaattisia virheitä. Saatuja tuloksia voidaan kuitenkin pitää lupaavina ja alueella kannattaa tehdä jatkotutkimusta. Kiinnostavaa on selvittää mm. parantaako tieto nopeuden keskihajonnasta nopeusennusteita. Neuroverkkojen tekeminen ja opettaminen osoittautui helpoksi ja nopeaksi. Suurin työ on hyvän ja riittävän laajan opetusjoukon kerääminen. Kun sopiva aineisto on käytettävissä, ennustemallin tekeminen ei ole ongelma. Ainoa vaatimus on riittävän tehokkaan tietokoneen löytäminen opetusta varten (nyt käytössä olivat CSC - Tieteellinen Laskenta Oy:n koneet). Opetetun neuroverkon käyttäminen ei enää vaadi suurta laskentatehoa, vaan on mahdollista reaaliajassa tavallisessa mikrotietokoneessa. KIRJALLISUUSVIITTEET (1) Lee S, Kim D, Kim J, Cho B (1998). Comparison of Models for Predicting Short-Term Travel Speeds. Conference CD-ROM, 5 th World Congress on Intelligent Transport Systems, 12 16 October 1998, Seoul, Korea. 9 s. (2) Smith B, Demetsky M (1994). Short-Term Traffic Flow Prediction: Neural Network Approach. Transportation Research Record 1453. S. 98-104. (3) Smith B, Demetsky M (1997). Traffic Flow Forecasting: Comparison of Modeling Approaches. Journal of Transportation Engineering, Vol. 123, No. 4, July / August 1997. S. 261-266. (4) Demuth H, Beale M (1998). Neural Network Toolbox For Use with MATLAB. User s Guide, Version 3. The Math Works Inc. S. 5-1 5-58. (5) Haykin S (1999). Neural Networks. A Comprehensive Foundation. International Edition, Second Edition. Prentice Hall International, Inc, USA. 842 s.