TEKNILLINEN KORKEAKOULU Sähkö- ja tietoliikennetekniikan osasto Jan Wagner REAALIAIKA-PITKÄKANTAINTERFEROMETRIAN KEHITTÄMINEN METSÄHOVIN RADIOTUTKIMUSASEMALLA
Sisältö Lyhenteet ja symbolit iii 1 Johdanto 1 2 Reaaliaikainen e-vlbi 3 2.1 Siirtyminen reaaliaikaiseen e-vlbi -havainnointiin 3 2.2 Metsähovin PC-EVN -järjestelmä 4 3 Reaaliaikaisen e-vlbi:n kehitystyöt Metsähovissa 5 3.1 VSIB-ajurin lähdekoodin päivitys 5 3.2 10 Gbit/s verkkoyhteyden käyttöönotto 5 3.3 Tsunami UDP -protokolla 6 3.3.1 Lähetysten uudelleenaloitus 6 3.3.2 Reaaliaikainen Tsunami e-vlbi 7 3.3.3 Skannien siirto reaaliaikaisella Tsunami-palvelimella 7 3.3.4 Aikarajoitetut uudelleenlähetykset reaaliaikasiirrossa 8 3.3.5 Reaaliaikaisen e-vlbi -havainnoinnin automatisointi 8 4 Kolmen aseman e-vlbi Month7 EU-demonstraatio 10 5 Yhteenveto 12 ii
Lyhenteet ja symbolit 1PPS 1 pulssi per sekunti, aikareferenssin antama signaali e-vlbi Electronic VLBI, tietoliikenneverkkoja hyödyntävä VLBI EVN European VLBI Network, Euroopan VLBI-asemien yhteistyöverkosto EXPReS Express Production Real-Time e-vlbi Service, kehityshanke JIVE Joint Institute for Very Long Baseline Interferometry in Europe Mbit/s Megabittiä sekunnissa MTU Maximum Transmission Unit, Ethernetkehyksen kokorajoitus RAID Redundant Array of Independent Disks PC-EVN PC for the European VLBI Network, kuluttajatietokone VLBI-tiedonkeruuseen TCP/IP Transmission Control Protocol siirtoprotokolla Internet Protocol -joukosta UDP/IP User Datagram Protocol yhteydetön protokolla Internet Protocol -joukosta VLBI Very Long Baseline Interferometry, pitkäkantainterferometria VSI VLBI Standard Interface, kansainvälisesti standardoitu siirtoväylä näytteille VSIB VSI Board, Metsähovin I/O-kortti tietokoneille B Sekvenssinumero, tietolohkon numero L Pituus tavuina τ Aika R Bittinopeus, siirtonopeus ν Taajuus, havaintotaajuus ν Taajuuskaista, kaistanleveys iii
Luku 1 Johdanto Radioastronomissa käytetään optiseen astronomiaan verrattuna matalampia taajuuksia eli pitempiä aallonpituuksia. Käytännössä rakennustekniikka ja kustannukset rajoittavat toteutuskelpoisten reflektoriteleskooppien apertuurin noin 100 metriin ja radioteleskoopilla saavutettava resoluutio on yleensä vain kaariminuutin luokkaa. Huomattavasti suurempi erottelukyky saadaan interferometrialla. Useasta radioteleskoopeista syntetisoidaan apertuuri, jonka läpimitta vastaa kantaa eli asemien pisintä etäisyyttä toisistaan. Interferometrin erottelukyky on suoraan verrannollinen kannan pituuteen. Tavallisesti havainnoidulla mikroaaltoalueella käytetään tuhansien kilometrien kantoja ja havainnointia kutsutaan pitkäkantainterferometriaksi (Very Long Baseline Interferometry, VLBI). Interferoimalla eli korreloimalla keskenään asemien vastaanottamat signaalit saadaan jokaiselle asemaparille interferenssikuvio, jota jatkoprosessoimalla voidaan luoda tarkka kuva tähtitaivaan kohteen rakenteesta. Lopullisen kuvan tarkkuutta parantaa pidempien kantojen lisäksi asemien määrä, havaintoaika sekä interferoitujen signaalien kaistanleveys. Näistä käytännössä käyttökelpoisin vaihtoehto on kasvattaa kaistanleveyttä. Kaistanleveyden vaikutus VLBI:n herkkyyteen on esitetty kuvassa 1.1. VLBI:n historiassa on ollut jatkuvana tavoitteena käyttää yhä suurempia kaistanleveyksiä, mikäli tiedonkeruulaitteisto, tallennuskapasiteetti ja tiedonsiirtoreitin nopeus sen vain sallivat. Lisää tietoja USA:n ja sieltä myös Eurooppaan rantautuneen pitkäkantainterferometrian teknillisestä kehityksestä ja vanhojen Mark-tiedonkeruujärjestelmien ominaisuuksista löytyy lähteistä (Pre02; Whi99; Whi02). Maailmassa on joitakin harvoja korrelointipalveluja tarjoavia laitoksia, jotka prosessoivat VLBI-asemien tietoja. Euroopassa näistä sijaitsevat ainoastaan tähtitieteilijöihin keskittyvä hollantilainen Joint Institute for VLBI in Europe (JIVE) sekä geodeettisia VLBI-kokeita korreloiva Max-Planck-Institut für Radioastronomie. VLBI:ssä pitkien etäisyyksien takia eräs ongelma on asemien signaalien häiriötön ja häviötön siirto korrelaattorikeskukseen. Historialliesti tämä on tehty tallentamalla signaalit asemalla ja kuljettamalla tallennusmediat korrelaattorikeskukseen kuten kuvassa 1.2, koska tarpeeksi nopeita tietoverkkoja ei ollut käytettävissä järkevään hintaan. 1
Kuva 1.1. Esimerkki kaistanleveyden vaikutuksesta VLBI-kuvan RMS signaali-kohinasuhteeseen (µjy/keila) eri havainnointitaajuuksilla yhden kannan 12 tunnin kokeessa (Phi04). Kuva 1.2. VLBI-havainnoinnin toimintaperiaate, tiedonkeruu ja tallenteiden vanha fyysinen siirtotapa korrelaattoriasemalle (HHK03). Tietoverkkojen kehittyessä nopeammiksi näistä on tullut varteenotettava siirtotie myös VLBI-tiedoille. Tietoverkoilta vaadittu kapasiteetti on helposti laskettavissa. Jos tähtitaivaan kohteen RF-spektristä havainnoidaan kaistaa ν ja näytteistetään b bitillä, yleensä 1 4, on tiedonkeruujärjestelmän pystyttävä vähintään 2 ν b bittinopeuksiin. Jotta tiedot saadaan siirrettyä järjellisessä ajassa korrelaattoriasemalle, verkkoyhteyden nopeus tulee olla samaa luokkaa kuin tiedonkeruunopeus. Vielä vuonna 2006 tavallisimmin käytetyt tiedonkeruunopeudet olivat 128, 256 ja 512 Mbit/s. Nämä nopeudet ovat huomattavasti pienempiä kuin nykyisissä 1 Gbit/s lähiverkossa ja euroopanlaajuisessa GÉANT2 10 Gbit/s tutkimusverkossa saavutettavissa olevat tiedonsiirtonopeudet, joten tietojen siirto reaaliajassa asemalta korrelaattorille on verkkojen kannalta jo mahdollista. Express Production Real-Time e-vlbi Service EU-projektissa (EXPReS) näitä nopeita tietoverkkoja pyritään hyödyntämään VLBI-tietojen siirtoon (1; MRW07; MuR06). Alkutavoitteena on luopua kokonaan kuvan 1.2 asematietojen postituksesta ja siirtää tiedot ainoastaan Internetin yli. Pitkäkantainterferometriaa tällä siirtotavalla nimitetään Electronic VLBI:ksi (e-vlbi). Projektissa myöhempi tavoite on kasvattaa RF-kaistanleveyksiä ja siten siirtonopeuksia yli 512 Mbit/s. Näytteiden keruu ja siirto korrelaattoriasemalle nopeiden tutkimusverkkojen yli on seuraavien kappaleiden aiheena. Toimivat ja luotettavat siirrot vaativat Metsähovin tiedonkeruujärjestelmän ja muun muassa erään tiedonsiirtoprotokollan jatkokehitystöitä ja automatisointia. 2
Luku 2 Reaaliaikainen e-vlbi EXPReS -projektissa on tarkoitus luopua kovalevyistä ja kehittää reaaliaikainen kovalevytön e-vlbi. Täysin reaaliaikaisella e-vlbi:llä on useita teknisiä ja tieteellisiä etuja. Eduista ehkä tärkein on se, että korrelointiprosessi antaa väliaikaistuloksia reaaliajassa. Näistä pystytään havaitsemaan mahdolliset ongelmat jonkin aseman laitteistossa tai laitteiston asetuksissa, ja korjaustoimenpiteet voidaan aloittaa jo kokeen aikana. Näin ongelmista ja muuten mahdollisesti käyttökelvottomista asematiedoista koituvat tieteelliset harmit minimoituvat. Lisäksi korreloinnin lopputulos on saatavissa heti havainnoinnin jälkeen, joten tähtitieteilijät voivat ainakin periaatteessa aloittaa heti tuloksen jatkoprosessoinnin tarkaksi kuvaksi tai kartaksi kohteesta. Kolmanneksi reaaliaikaisen e-vlbi:n eduksi yleensä luvataan, että tähtitieteilijä voivat seurata aiempaa paremmin tähtitaivaan äkillisiä ja lyhytkestoisia ilmiöitä, esimerkiksi supernovia ja gammapurkauksia, ilman pitkään etukäteen tehtävää VLBI-aikataulusuunnittelua tai observatorioiden tiedonkeruujärjestelmien vaatimia esivalmisteluja. 2.1 Siirtyminen reaaliaikaiseen e-vlbi -havainnointiin Ensimmäinen vaihe on off-line e-vlbi. Tässä asemat tallentavat VLBI-kokeen aikana vanhaan tapaan tiedot kovalevyille. Heti kokeen jälkeen tiedot siirretään verkon yli korrelaattorille, mahdollisesti kokeen tiedonkeruunopeutta nopeammin. Seuraava vaihe on puoliksi reaaliaikainen e-vlbi. Asemat lähettävät näytteet reaaliajassa korrelaattoriasemalle, jossa ne kuitenkin tallennetaan ensin kovalevylle ja korreloidaan vasta joskus myöhemmin. Täysin reaaliaikaisessa e-vlbi:ssä tallennetaan vain korrelloinnin lopputulokset, ei asemien tietoja, joten se soveltuu lähinnä niihin VLBI-kokeisiin, joissa korrelointiprosessia ei haluta suorittaa useaan kertaan eri parametreilla. JIVE:n korrelaattoriaseman EXPReS-päivitystöiden päädyttyä täysin reaaliaikainen e-vlbi tulee mahdolliseksi myös EVN:ssä. 3
Vuoden 2006 ensimmäisellä puoliskolla EVN:ssä yleisin moodi oli off-line e-vlbi. Euroopassa paljon käytetyn amerikkalaisen Haystack-observatorion kehittämän Mark5-järjestelmän tapauksessa off-line e- VLBI on hankalaa, koska sen levypakalle tallennedut tiedot eivät näy tavallisina tiedostoina vaan vaativat erikoiskäsittelyä, ennen kuin ne voidaan siirtää korrelaattoriaseman Mark5-koneisiin tavallisilla tiedonsiirto-ohjelmilla (bbftp; EGAE). Eri tekijöistä johtuen jo pelkästään tiedonsiirto on erittäin hidasta, usein vain 10 100 Mbit/s. Metsähovin PC-EVN -järjestelmän tapauksessa off-line e-vlbi on yksinkertaisempaa ja nopeampaa, koska näytevirrat on tallennettu tavallisiin Linux-tiedostoihin. Nämä voidaan suoraan siirtää korrelaattoriaseman levyille esimerkiksi jatkokehittämälläni nopealla Tsunami UDP -protokollalla (Wag06-1). Myös puoliksi reaaliaikainen e-vlbi onnistuu PC-EVN -järjestelmän tapauksessa käyttämällä jatkokehittämääni Tsunami-protokollaa ja -ohjelmistoa. Seuraavaksi esitellään oleellisimmat tiedot Metsähovin PC-EVN -järjestelmän rakenteesta ja annetaan taustatiedot seuraavassa luvussa kuvatuille kehitystöille, joiden kautta sekä automatisoitu off-line- että luotettava reaaliaikainen e-vlbi -havainnointi ovat tulleet mahdolliseksi PC-EVN:llä. 2.2 Metsähovin PC-EVN -järjestelmä Metsähovin PC-EVN -järjestelmä perustuu kuluttajatietokoneisiin, jotka on rakennettu tavallisista kaupan hyllystä saatavista komponenteista. Tietokoneeseen lisätään erityinen Metsähovissa vuonna 2003 kehitetty digitaalinen I/O-kortti (VSI Board, VSI) (RiM04), jolla voidaan kerätä antennisignaalia näytteistävän järjestelmän antamat näytteet erilliseltä VLBI Standard Interface (VSI) tietoväylältä (Whi00). VSIB-kortti voidaan liittää kaikkiin VSI-väylää käyttäviin järjestelmiin. Näistä näytteenottojärjestelmiä ovat ainakin amerikkalainen Digital Backend ja italialainen Digital Baseband Converter. VSIB-kortti voi kerätä näiden antamia näytteitä VSI-väylältä 512 768 Mbit/s nopeudella. Suuremmat nopeudet ovat mahdollisia, jos VSI-väylää luetaan rinnakkain ja aikajakoisesti (RiM04). VSIB-kortilla on Linux-ajuri, joka alustaa kortin siirtämään DMA:lla näytteitä keskusmuistissa olevaan jatkuvaan BigPhysArea-rengaspuskuriin (Wel96). Ajuri myös toteuttaa Linux-merkkioheislaitteen rajapinnan, josta käyttäjäohjelmat voivat lukea näytteet kuin tavallisesta tiedostosta. Rengaspuskurin maksimikoko L V SIbuf on käyttäjän asetettavissa, yläraja on 740 MB. Vanhin tieto ylikirjoittuu ensimmäisenä, joten puskurin näytehistoria-aikaikkuna on τ V SIbuf = 8 L V SIbuf R V SI jollain VSI-väylän bittinopeudella R V SI. Esimerkiksi 512 Mbit/s nopeudella ja tavallisella 144 MB koolla puskurissa on viimeisten τ V SIbuf 2s näytteet. VSIB-kortilta luettujen näytteiden tallennuksessa levylle, esimerkiksi off-line e-vlbi:ssä, käytetään tason 0 ohjelmallista RAID:ia. Tekemiemme suorituskykytestien perusteella RAID0 vanhalla kesän 2006 kuluttajatietokoneella selviytyi helposti 1 2 Gbit/s nopeuksista (Mol06). Reaaliaikasiirroissa taas emolevyille integroidut 1 Gbit/s verkkopiirit ovat osoittautuneet tekemissämme siirtotesteissä enemmän kuin riittäviksi (MoW06). Tulosten perusteella kuluttajatietokone on täysin riittävä ainakin 16 512 Mbit/s e-vlbi -käyttöön. Reaaliaikasiirtoon liittyvä kehitystyö esitetään seuraavassa luvussa. 4
Luku 3 Reaaliaikaisen e-vlbi:n kehitystyöt Metsähovissa Tässä luvussa esitellään oleellisimmat osat Metsähovissa tekemistäni kehitystöistä, joita vaadittiin EU EXPReS -projektissa demonstroimaan PC-EVN e-vlbi:n toimivuus projektin Month7 Demo - testipäivänä ja joiden kautta PC-EVN e-vlbi tuotantokäyttö on tullut mahdolliseksi 2007 aikana. 3.1 VSIB-ajurin lähdekoodin päivitys Metsähovissa A. Mujusen kirjoittama VSIB-ajuri oli alkujaan 2.4-kerneleille, mutta tavallisimmat Linuxjakelut olivat siirtyneet jo 2.6-sarjan ytimeen. Jotta VSIB olisi käyttökelpoinen observatorioitten uusissa koneissa, ajuri oli siirrettävä 2.6 ytimeen. Ohjelmointityö oli varsin suoraviivainen. Ajuriin oli tehtävä myös joitakin yksinkertaisia toiminnallisia lisäyksiä, joita nyt käytetään pääasiassa Australian LBAobservatorion ohjelmissa (Phi06). Päivittämäni VSIB-ajurin toimivuus testattiin lopuksi rasituskokeessa, jossa kerättiin kahdella PC-EVN -koneella tietoja RAID-levyille 60 tunnin ajan. Ajuri selvisi kokeista ilman ongelmia ja voitiin antaa levitykseen muille observatorioille (Mol06). 3.2 10 Gbit/s verkkoyhteyden käyttöönotto Reaaliaikaista e-vlbi:tä varten Metsähoviin hankittiin EXPReS-rahoituksella kustannustehokas Extreme Networks Summit X450-24t -verkkokytkimen kuituoptiikkoineen sekä 10 Gbit/s kuituyhteys suoraan CSC:lle Funetin runkoverkkooon. Metsähovi oli näin maailman ensimmäinen radio-observatorio 10 Gbit/s yhteydellä, kun muilla oli samaan aikaan enintään 2.5 Gbit/s yhteys (RiM06). Yhdistimme kytkimen Ethernet-portteihin yhdistimme neljä uutta PC-EVN -testikonetta. Verkkoyhteyden nopeus Metsähovin ja ulkomaiden välillä testattiin lyhyesti iperf -ohjelmalla 1 Gbit/s nopeudella. Täyttä 10 Gbit/s ei kokeiltu; 1 Gbit/s toimi hyvin ja oli ensimmäisten e-vlbi -reaaliaikasiirtojen kannalta täysin riittävä. 5
Kuva 3.1. Tsunami UDP -protokollan asiakas- ja palvelinohjelmien rakenne (Mei02). 3.3 Tsunami UDP -protokolla Tsunami on Indianan Yliopiston Pervasive Technology Labs -tutkimuskeskuksessa kehitetty TCP:tä paljon nopeampi tiedonsiirtoprotokolla, josta 2002 julkaistiin beta-laatuinen lähdekoodi (Mei02). Ylläpitämäni huomattavasti parannettu versio löytyy SourceForge-projektista Tsunami UDP. Uutta Tsunamia voidaan e-vlbi:n lisäksi toki käyttää myös tavalliseen tiedostonsiirtoon (Wag06-1). Tsunamin yleisrakenne on esitetty kuvassa 3.1. Siirrettävä tiedosto jaetaan L block tavun kokoisiin numeroituihin lohkoihin B 0...N, jotka palvelin lähettää asiakkaalle peräkkäin UDP-paketeissa. Tiedonsiirron kulku ja häviöttömyys on lähes täysin asiakkaan hallinnassa. Jos asiakas huomaa lohkojen puuttuvan peräkkäisten lohkojen virrasta, se voi pyytää tai olla pyytämättä puuttuva lohko uudelleen lähetettäväksi. Asiakas kerää uudelleenlähetettävien lohkojen lohkonumerot ensin väliaikaiseen listaan, jonka maksimipituus L retxlist on oletusarvoisesti 2048 lohkoa. Kertynyt lista välitetään vähintään τ RP (τ RP = 350ms) väliajoin palvelimelle, joka lähettää nämä lohkot uudestaan. Mikäli L retxlist pituus ylittyy ajan τ RP sisällä, palvelimelle annetaan uudelleenaloituspyyntö, jolloin se peruuttaa peräkkäisessä lohkojen lähetyksessä takaisin asiakkaan antamaan lohkoon. Vastaanotettu tiedosto on näin aina tiettyyn lohkoon asti aukoton tämän ja juuri vastaanotetun lohkon välissä saa olla korkeintaan L retxlist aukkoa. Näin minimoidaan uudelleen lähetettävien lohkojen osuus UDP-kokonaisliikenteestä ja pidetään siirto tehokkaana. Tsunamiin tekemäni lukuisat korjaukset, uudelleenkirjoitetut osat ja toiminnalliset lisäykset on kuvattu tarkemmin diplomityössä, SourceForge-projektisivun ChangeLog-tiedostossa ja CVS:n historiatiedoissa. Alla kuvataan e-vlbi -käyttöön liittyvät tärkeimmät lisäykset. 3.3.1 Lähetysten uudelleenaloitus Eräs korjattava ongelma oli Tsunamin lähetyksen uudelleenaloitusmenetelmän periaatteellinen toimimattomuus. Koko tiedostonsiirto saattoi jo pienellä pakettihäviöllä satunnaiseen aikaan pysähtyä täysin. Ongelma ilmeni siirtokokeissa muun muassa Japanin Kashima-aseman kanssa. Syy oli suuri pakettihäviö ja pitkä TCP-kontrolliyhteyden kiertoviive τ RTT (round-trip time, RTT). Yli 6
L retxlist paketin puuttuessa asiakas lähettää uudelleenaloituspyynnön palvelimelle, mutta palvelin saa pyynnön ja voi reagoida siihen vasta TCP-kontrolliyhteyden τ RTT puolikkaan jälkeen. Linjalla vielä kulkevista aiemmista UDP-paketeista osa saapuu perille ja aiheuttaa jokainen oman uudelleenaloituspyynnön. Nämä jatkuvasti lähetetyt uudelleenaloituspyynnöt pysäyttivät tiedonsiirron kokonaan. Luotettavasti toimiva korjaus onnistui vain kirjoittamalla asiakaspuolella parempi toteutus uudelleenaloituspyynnölle. Nyt esimerkiksi linjalla vielä kulkevat lohkot jätetään huomioimatta. Korjausten jälkeen ongelmaa ei enää ilmaantunut ja Tsunami voitiin ottaa tuotantokäyttöön myös Euroopan ja Japanin välisiin siirtoihin. 3.3.2 Reaaliaikainen Tsunami e-vlbi Olennaisin ero versioiden välillä on, että reaaliaika-tsunami käyttää tiedoston sijaan VSIB-ajurin /dev/vsib merkkioheislaittetta. Toisin kuin tiedostoissa, vanhimmat tiedot häviävät aikaikkunan τ V SIbuf jälkeen. Koska itse protokolla on sama, tavallisia ja reaaliaikaisia Tsunami-ohjelmia voidaan käyttää ristikkäin. Eri käyttötavat on havainnollistettu taulukossa 3.1. Näistä yleisimmät ovat off-line e-vlbi ja realiaikainen e-vlbi tiedonkeruu, joita kehitin EXPReS-töissä. Taulukko 3.1. Tavallisen ja reaaliaikaisen Tsunamin yhteiskäyttö ja vastaavat VLBI-tiedonsiirtomoodit. Asiakas Palvelin: tavallinen reaaliaika tavallinen tiedostonsiirto, off-line e-vlbi reaaliaikainen e-vlbi tiedonkeruu reaaliaika reaaliaikainen e-vlbi tiedontoisto reaaliaikainen VSI-VSI siltaus Reaaliaikaisessa palvelimessa eräs lisäominaisuus tiedostopalvelimeen verrattuna on mahdollisuus tallentaa lähetetyt VSIB-tiedot palvelinkoneella olevaan tiedostoon, varmuuskopiointimielessä. Mikäli verkossa oli ongelmia siirron aikana, paikallinen kopio voidaan siirtää myöhemmin korrelaattorille Tsunamilla off-line e-vlbi -tiedostosiirtona. Lisäksi palvelimen on tiedettävä asiakkaan haluama tavumäärä, koska VSIB-merkkioheislaite kerää aina uusia näytteitä, eikä sillä siksi ole tiedostopituutta. Myös näytteenoton aloitusajankohta on kerrottava, jotta palvelin osaa käynnistää VSIB-kortin oikealla ajanhetkellä. Nämä toiminnot kuvataan seuraavassa kappaleessa. 3.3.3 Skannien siirto reaaliaikaisella Tsunami-palvelimella VLBI-kokeessa kaikki skannit tallennetaan kokeelle etukäteen laaditun VLBI-havainnointiaikataulun mukaan. Tästä luodaan asemakohtainen aikataulu, josta selviää skannien oikea UTC-aloitusajankohta ja haluttu tiedonkeruun kesto sekunneissa. Reaaliaikaisissa siirroissa yleensä korrelaattoriasemalla sijaitsevan asiakaskoneen on tunnettava asemien aikataulu ja pyydettävä sen mukaisesti skanneja observatorioiden reaaliaikaiselta Tsunami-palvelimelta. Palvelimelle oli jotenkin kerrottava skannin oikea UTC-aloitusajankohta ja siirrettävän tiedon määrä. Helpoin toteutustapa oli liittää nämä tiedot osaksi palvelimelta pyydetyn tiedoston tiedostonimeä, täten 7
protokollaa ja Tsunami-asiakasta ei tarvinnut muuttaa ja reaaliaikapalvelimeen oli vain lisättävä tiedostonimitulkki. EVN:ssä oli jo olemassa skannitiedostoille standardoitu nimeämiskäytäntö, joka esittää 10 mahdollista nimiformaattia (HKR04). Tiedostonimelle sallitaan käyttäjän määrittelemiä lisätietokenttiä, joita käytin hyväksi lisätietojen välittämiseen reaaliaikapalvelimelle. Tyypillinen skannin EVN-tiedostonimi on esimerkiksi euro84 mh 184-0150b 2006-10-17T12:25:30 dl=1536000000.vsi. Tästä selviää aloitusaika ja lisätietokentässä dl=1536000000 kerrotaan skannin kesto tavuina. EVN-tiedostonimitulkista oli sinänsä jo olemassa valmis versio, mutta siinä oli lukuisia ongelmia ja rajotuksia, minkä takia jouduin kirjoittamaan tulkin pitkälti uudelleen Tsunamille. Reaaliaikapalvelin aloittaa nyt tiedonsiirron vasta tarkasti annetulla ajanhetkellä käynnistämällä VSIBkortin tiedonkeruutilaan hieman ennen seuraavaa VSI-väylän sekuntipulssilla. Siirto päättyy kun asiakkaan mielestä kaikki tavut on vastaanotettu. 3.3.4 Aikarajoitetut uudelleenlähetykset reaaliaikasiirrossa Kaikentyyppisessä reaaliaikaisessa tiedonsiirrossa voi syntyä ongelmatilanteita, varsinkin jos vakio reaaliaikainen siirtonopeus yhdessä verkon muun tietoliikenteen kanssa on liian lähellä verkkoreitin pullonkaulan maksimikapasiteettia. Tällöin verkon muu liikenne voi aiheuttaa hetkellistä pakettihäviötä. Myös asiakaskoneen ylikuormittuminen voi aiheuttaa pakettihäviötä. Oletusarvoisesti asiakasohjelma pyytää kaikki siirrossa kadonneet lohkot uudestaan. Toki myös uudelleen lähetetyt lohkot saattavat kadota siirrossa. VSIB:in rajallisen näytehistorian τ V SIbuf takia vanhimmat tiedot ylikirjoittuvat ja tietyn ajan jälkeen asiakkaan uudelleenlähetyspyyntö palauttaakin ylikirjoitetut näytteet. Tilanne täytyy havaita Tsunamissa, koska vanhentuneiden lohkojen turha lähettäminen alentaa ruuhkautuneen siirron hyötynopeutta ennestään ja kasvattavat siirron kokonaishäviötä täysin aiheetta. Aikarajat uudelleenlähetyksille oli luonnollisinta toteutettaa Tsunami-asiakkaassa. Nyt asiakas pyytää vain tarpeeksi tuoreet puuttuvat lohkot uudelleen. Kriteerinä käytetään käyttäjän antamaa a priori - tietojen pohjalta estimoitua aikarajaa. Tällä toteutustavalla palvelin ei kuormita verkkoa turhaan ja protokollakin säilyy versioyhteensopivana. Paikallisesti Metsähovissa tehdyissä kuormituskokeissa aikarajoitukset osoittautuivat toimivan erittäin hyvin. Lähitulevaisuudessa erityisesti pitkän etäisyyden kansainvälisissä siirroissa huonohkojen runkoverkkojen yli aikarajoitukset voivat olla hyödyllisiä. 3.3.5 Reaaliaikaisen e-vlbi -havainnoinnin automatisointi Tsunami-asiakasohjelmaan tekemieni lisäysten ansiosta VLBI-kokeen tiedostonsiirrot voi käynnistää helposti skripteistä eikä pelkästään asiakasohjelman omalta komentoriviltä. VLBI-kokeen kaikkien skannien siirto peräjälkeen asiakaskoneelle onnistuu siten helposti yhdellä skriptillä, joka sisältää VLBI-kokeen asemakohtaisen aikataulun tiedot. Tämä havainnointiskripti ajetaan esimerkiksi korrelaattoriasemalla. 8
Skripti aloittaa aikataulun mukaisesti VLBI-kokeen skannien reaaliaikasiirrot tietyn observatorion PC- EVN -koneelta asiakaskoneelle. Havainnointiskripti sisältää myös joitakin muiden observatorioitten toivomia lisätoiminnallisuuksia, joiden avulla siirrot sietävät verkko-ongelmia huomattavasti paremmin. Jotta uuden VLBI-kokeen havainnointi olisi mahdollisimman helppoa, kirjoitin apuskriptit, jotka muuntavat asemakohtaisen aikataulutiedoston mainituksi havainnointiskriptiksi. Ajan tasalla olevat apuskriptit löytyvät muun muassa asemille laatimastani Metsähovi PC-EVN Linux-jakelusta ja asennusdokumentaatiosta (Wag06-2). 9
Luku 4 Kolmen aseman e-vlbi Month7 EU-demonstraatio EXPReS-projektissa oli tarkistuspiste, jossa oli esitettävä Metsähovissa tehty e-vlbi -kehitystyö ja demonstroitava PC-EVN -järjestelmän toiminta. Demonstraation tavoitteena oli siirtää Ruotsin Onsalan (On) ja Englannin Jodrell Bankin (Jb) asemien 256 ja 512 Mbit/s nopeuksilla kerättyjä tietoja JIVE:n korrelaattoriasemalle Hollantiin korreloitavaksi. Metsähovissa meillä ei ollut toimivaa vastaanotinta kokeen 22 GHz taajuusalueelle, joten emme osallistuneet teleskoopilla. Koska JIVE:n kapasiteetti ei riittänyt kahden reaaliaikaisen 512 Mbit/s virran vastaanottoon, nämä otettiin vastaan Metsähovissa ja siirrettiin myöhemmin korreloitavaksi JIVE:en. Yhteensä neljä tuntia kestävässä kokeessa oli neljä osioita, joissa jokaisessa tarkoitus oli tallentaa 18 usean minuutin pituista skannia. Ensimmäinen osio (A) sisälsi off-line e-vlbi siirtoa, kolmessa seuraavaassa (B1,B2,C) käytettiin siirtoa reaaliajassa. Kaikki siirrot tehtiin Tsunamilla ja kappaleen 3.3.5 automatisointiskriptien avulla. Lisäksi reaaliaikasiirroissa käytettiin Tsunamin paikallista varmuuskopioominaisuutta. Tyypilliseen e-vlbi -henkeen kaikki osallistuneet asemat seurasivat kokeen etenemistä Skypekonferenssissa. Tämä auttoi huomattavasti nopeassa päätöksenteossa, joka oli tarpeen, kun JIVE huomasi VLBI-kokeen A-osion lopussa ongelmia omassa vastaanottavassa Mark5-koneessaan. VLBI-kokeen muiden osioiden suoritustapaa mikä asema lähettää tiedot minne jouduttiin näiden takia muuttamaan lennosta. Demonstraation kaikki osiot onnistuivat menestyksekkäästi. Osassa A Jb ja On asemilla paikallisesti tallennetut 512 Mbit/s skannit voitiin siirtää havainnoinnin jälkeen off-line e-vlbi:nä JIVE:n Mark5- koneelle jopa yli 600 Mbit/s nopeudella. Osassa B1 256 Mbit/s reaaliaikasiirrot Metsähoviin toimivat täysin ongelmitta ja tasaisella nopeudella. Osan B2 512 Mbit/s siirrot sujuivat myös erittäin hyvin, tosin Jb:n kuudesta skannista yksi kadotettiin konfiguraatiovirheen takia. Osassa C oli suunniteltu että Jb siirtää tietoja reaaliajassa JIVE:en, On Metsähoviin. JIVE:n yritykset korjata osan A jälkeen ilmenneet Mark5-ongelmat olivat vain pahentaneet tilannetta, eikä Jb:n siirtojen vastaanotto onnistunut. Koska B2-osassa 512 Mbit/s siirrot oli jo osoitettu toimivaksi, C-osasta luovuttiin parin JIVE:n lisäyrityksen jälkeen. 10
Kuva 4.1. Koko Suomen Internet-ulkomaanyhteyden tuleva ja lähtevä verkkoliikenne Month7- demonstraation ajalta. Jb ja On observatorioista tulleet 256 ja 512 Mbit/s e-vlbi -siirrot erottuvat muusta taustaliikenteestä piikkeinä ylemmässä käyrässä. Kuva on CSC:ltä (CSC; CWK06). Lopullinen siirtojen aito onnistuminen todettiin vasta sen jälkeen, kun JIVE oli saanut osien A, B1 ja B2 skannitiedostot siirrettyä Metsähovista ja korreloitua. Korrelointituloksista löytyivät odotetut interferenssikuviot, jotka osoittivat siirtojen toimineen ilman häviötä ja tuottaneen käyttökelpoisia skannitiedostoja. Tarkemmat tulokset löytyvät alkuperäisestä Month7 EU-raportista (CWK06). Demonstraatio oli lopuksi täysi menestys. Month7 verkkoliikennetilastoja katsottiin myöhemmin, ja osoittautui, että Metsähoviin tehdyt siirrot kaksinkertaistivat koko Suomen ulkomaanliikenteen, mikä näkyy Funetin verkkotilastoissa kuvassa 4.1. Esimerkki Tsunami-asiakkaan siirtotilastoista eräälle B2-osan 512 Mbit/s skannille on esitetty tekstin lopussa kuvassa 5.1. Tässä Onsalan siirrot kulkevat tasaisesti. Jb:n siirrossa näkyy lieviä purskeita, jotka todennäköisesti aiheutuvat Jb:n käyttämästä vanhasta nforce2-palvelinkoneesta. 11
Luku 5 Yhteenveto Edellä esitettiin pääpirteet Metsähovissa tekemästäni e-vlbi -kehitystyöstä EU EXPReS-projektissa. Näitä olivat Metsähovin PC-EVN -järjestelmän VSIB-ajurin päivittäminen uuteen 2.6-kerneliin ja e- VLBI-siirtoihin käytetyn Tsunami-tiedostonsiirtoprotokollaan liittyvät useat kehitystyöt. Helpompaa ja automaattisempaa reaaliaikaista VLBI-havainnointia varten loin apuskriptit, jotka muuntavat observatorion VLBI-aikataulu Tsunami-asiakaskriptiksi, jolla korrelaattoriasema voi hakea observatorion skannit. Suoritettujen kehitystöiden jälkeen Tsunamia on voitu käyttää erittäin hyvin esimerkiksi reaaliaikaisissa 512 Mbit/s siirroissa. PC-EVN -järjestelmän reaaliaikasiirtojen toimivuus todistettiin ensimmäistä kertaa EXPReS-projektin Month7-demonstraatiossa, jonka tuloksia kuvattiin tässä lyhyesti. Demonstraation jälkeen reaaliaikasiirrot ovat hitaasti yleistyneet EVN:ssä. Reaaliaikainen Tsunami ja VLBI-havainnointiskriptit ovat jo viikottaisessa tuotantokäytössä muun muassa Ruotsin Onsalassa, Saksassa Bonnin MPIfR:ssä ja Wettzellissä sekä koekäytössä Japanissa. Myös muut asemat harkitsevat näiden käyttöä. Bonnissa oleva geodeettinen korrelaattoriryhmä ylläpitää lisäksi omaa e-vlbi -sivustoa, jolle julkaistaan silloin tällöin automatisoitujen Tsunami-siirtojen raportteja ja lokitiedostoja (MPI07). Käyttökokemuksia löytyy myös julkaisusta (HMW07). 12
700 Phase B2 512 Mbps Jb to Mh, Last Scan : Mbps 600 Throughput [Mbit/s] 500 400 300 200 100 0 0 50 100 150 200 250 Time in scan [s] 2 Phase B2 512 Mbps Jb to Mh, Last Scan : Retransmit % Retransmission Rate [%] 1.5 1 0.5 0 0 50 100 150 200 250 Time in scan [s] 700 Phase B2 512 Mbps On to Mh, Last Scan : Mbps Throughput [Mbit/s] 600 500 400 300 200 100 0 50 100 150 200 250 Time in scan [s] 2 Phase B2 512 Mbps On to Mh, Last Scan : Retransmit % Retransmission Rate [%] 1.5 1 0.5 0 0 50 100 150 200 250 Time in scan [s] Kuva 5.1. Siirtonopeuden ja uudelleenlähetettyjen UDP-pakettien prosenttimäärien kuvaajat eräälle neljän minuutin reaaliaikaiselle 512 Mbit/s skannille, joita siirrettiin Month7-demonstraation osassa B2. Siirto Jodrell Bankista Metsähoviin on yllä, Onsalasta alla. 13
Kirjallisuutta [1] EU6, A Production Astronomy e-vlbi Infrastructure, Annex I - Description of Work, EU Sixth Framework Programme, Integrated Infrastructure Initiative, Contract 026642 EXPReS, http://www.expres-eu.org/docs/dowannexi.pdf, 02/2007 [bbftp] G. Farrache, bbftp tiedostonsiirto-ohjelma, http://doc.in2p3.fr/bbftp, 10/2006 [CSC] Tieteen tietotekniikan keskus CSC, Tietoa Funet-verkon tilasta, http://www.csc.fi/funet/ status/, 10/2006 [EGAE] MIT Haystack Observatory, Experiment Guided Adaptive Endpoint, http://evlbi. haystack.mit.edu/twiki/bin/view/evlbi/egae, 10/2006 [HMW07] R. Haas (OSO), A. Müskens (MPIfR), J. Wagner (MRO) ja muut, e-vlbi Data Transfer from Onsala and Metsähovi to the Bonn Correlator, Proceedings of the 18th Working Meeting on European VLBI for Geodesy and Astrometry, 2007 (in print) [HHK03] Teruyuki Hasegawa, Toru Hasegawa, N. Kawaguchi ja muut, 2.488 Gbps Optical-connected Realtime VLBI Observation Testbed - A Multi-gigabit-rate Distributed Application in Astronomy, Global Telecommunications Conference 2003, Vol. 7, sivut 3752-3757, 2003 [HKR04] E. Himwich, Y. Koyama, C. Reynolds, A. Whitney, e-vlbi File-Naming Conventions, 2004, http://haystack.mit.edu/tech/vlbi/evlbi/evlbi_memos/filenaming_ conventions.pdf, 02/2007 [Mei02] M. R. Meiss, Tsunami: A High-Speed Rate-Controlled Protocol for File Transfer, Indiana University, 2002, http://steinbeck.ucs.indiana.edu/~mmeiss/papers/tsunami.pdf, 02/2007 [MPI07] Max-Planck-Institut für Radioastronomie, Bonn, Geodetic VLBI at the Bonn Correlator, http://www.mpifr-bonn.mpg.de/div/vlbicor/geodesy/evlbi/index.html, 06/2007 [Mol06] G. Molera, Computer tests in Metsähovi computers, 2006, http://kurp.hut.fi/~gofrito/ vsib-tests/tests.html, 04/2007 [MoW06] G. Molera, J. Wagner, Tsunami data transfer tests, 2006, http://kurp.hut.fi/~jwagner/ tsunamitests/, 06/2006 14
[RiM06] J. Ritakari, A. Mujunen, The first 10 Gbps customer link of Funet installed, CSCnews 3, sivut 20-23, 2006 [MuR06] A. Mujunen, J. Ritakari, Metsähovi Radio Observatory, Helsinki University of Technology TKK, EXPReS JRA1 FABRIC: Data Acquisition Requirements, EU FABRIC Reports 2006, http://www.jive.nl/dokuwiki/lib/exe/fetch.php/expres:management:data_ acquisition_design.pdf, 12/2006 [MRW07] G. Molera, A. Mujunen, J. Ritakari, J. Wagner, Metsähovi Radio Observatory, Helsinki University of Technology TKK, B. Anderson, Jodrell Bank Observatory, University of Manchester, EXPReS JRA1 FABRIC Data Acquisition Design Report, EU FABRIC Reports 2007, http://www.jive.nl/dokuwiki/lib/exe/fetch.php/expres:management:data_ acquisition_design.pdf, 12/2006 [Phi04] C. Phillips, evlbi scientific benefits, LBA evlbi Memos, ATNF CSIRO, http://www.atnf. csiro.au/vlbi/evlbi/memos.html, 12/2006 [Phi06] C. Phillips, LBA evlbi Download Page, ohjelmistojulkaisu, http://www.atnf.csiro.au/ vlbi/evlbi/software/download.html, 12/2006 [Pre02] E. Preuss, The beginnings of VLBI at the 100-m radio telescope, Proceedings of the 6th European VLBI Network Symposium, Bonn, Saksa, kesäkuu 2002 [RiM04] J. Ritakari, A. Mujunen, Gbit/s VLBI and evlbi with Off-The-Shelf Components, International VLBI Symposium 2004 General Meeting Proceedings, sivut 182-185, 2004 [TKN06] H. Takeuchi, M. Kimura, J.-I. Nakajima ja muut, Development of a 4 Gbps Multifunctional Very Long Baseline Interferometry Data Acquisition System, Publications of the Astronomical Society of the Pacific, sivut 1739-1748, joulukuu 2006 [Tho91] A. R. Thompson, Interferometry and Synthesis in Radioastronomy, ISBN-13: 978-0894648595, Krieger Publishing, 1991 [CWK06] J. Conway, J. Wagner, N. Kruithof ja muut, EXPReS FABRIC Month 7 Demonstration Report, EU FABRIC Reports 2006, http://www.jive.nl/dokuwiki/lib/exe/fetch.php/ fabric:fabric1_2_3_month7jec3.pdf, 12/2006 [Wag06-1] J. Wagner, Tsunami UDP Protocol, SourceForge-ohjelmistoprojekti, http://tsunami-udp. sourceforge.net, 10/2006 [Wag06-2] J. Wagner, Quick Install Guide And Cheatsheet For Setting Up A VSIB PC, http://www.metsahovi.fi/vlbi/instr/mro-vsib-pc, 11/2006 [Wel96] M. Welch, Big physical area kernel patch, http://www.feise.com/~jfeise/downloads/ zr36120/, 10/2006 15
[Whi99] A. Whitney, Concept for an Affordable High-Data-Rate VLBI Recording and Playback System, Mark 5 Memo #1, MIT Haystack Observatory, Mark 5 Memo Series, 1999 [Whi00] A. R. Whitney ja muut, VLBI Standard Hardware Interface Specification Rev 1.0, MIT Haystack Observatory, 2000, http://www.haystack.mit.edu/tech/vlbi/vsi/docs/2000_ 08_07_vsi-h_final_rev_1.pdf, 10/2006 [Whi02] A. R. Whitney, Mark 5 Disk-Based Gbps VLBI Data System, MIT Haystack Observatory, 2002, http://www.haystack.mit.edu/tech/vlbi/mark5/docs/mark5_overview.pdf, 02/2007 16