Testiraportti Android virtuaalikone vs. natiivikoodi Ville Laine, Delta 23

Transkriptio

1 Testiraportti Android virtuaalikone vs. natiivikoodi Ville Laine, Delta 23 1

2 Sisällys 1. Johdanto Testiohjelma Testi 1: Raaka funktiokutsu Testi 2: Yhteenlaskutesti Testi 3: Kertolaskutesti Testi 4: Jakolaskutesti Testi 5: Todellisen maailman matematiikka Testi 6: Muistinvaraus Testi 7: Luokkatesti Tulokset Huomioitavaa tuloksista Testi Testi Testi Lopputulokset Lähteet...8 2

3 1. Johdanto Android käyttöjärjestelmä suorittaa sovellukset ensisijaisesti käyttäen Dalvik virtuaalikonetta (Bornstein). Koska Dalvik on Javapohjainen, ja Javan suorituskyvystä voidaan olla montaa mieltä, herää väistämättä kysymys: valuvatko nykyisten mobiililaitteiden tehot hukkaan jos niitä käytetään virtuaalikoneen läpi. Omakohtaiset epäilykseni Dalvik -koneen suorituskyvystä heräsivät viimeistään siinä vaiheessa, kun ohjelman nopeus oli katastrofaalisen hidas vielä senkin jälkeen kun kaikki hyvän olio-ohjelmoinnin periaatteet oli hylätty paremman suorituskyvyn toivossa. Tämän seurauksena ainoa vaihtoehto on virtuaalikoneen hylkääminen ja ohjelman tekeminen suoraan natiivikoodilla (C/C++). Android tarjoaa työkalut myös natiiviohjelmien tekemiseen, mutta nämä työkalut ei kuulu perus SDK:iin vaan käyttäjän täytyy ladata Native Develpoment Kit (NDK). 2. Testiohjelma Jotta voitiin selvittää tarkalleen missä ohjelman nopeuden pullonkaula on, luotiin yksinkertainen testiohjelma, joka mittaa eri toimintoihin kuluvan ajan kun ne suoritetaan virtuaalikoneella ja natiiviohjelmalla. Testiohjelma mittaa ajat millisekunteina sekä Javan nanotime metodilla. Nanotimen antamaa tulosta ei kuitenkaan voida muuttaa mihinkään järkevään aikayksikköön johtuen sen riippuvuudesta prosessorin kellotaajuudesta, joten testituloksissa ei ole yksikköä. Tällä ei ole merkitystä testin kannalta, sillä ainoastaan aikaero on oleellinen. Kuten jo mainittu, suoritusajat mitattiin javaohjelmalla, joten natiivin ohjelman suoritukseen kuluu aina jonkin verran ylimääräistä aikaa. Tämä voidaan tarvittaessa kompensoida käyttämällä testin 1 tuloksia, mutta erot eivät kuitenkaan ole niin merkittäviä, että tässä tutkimuksessa kompensointia olisi tehty. Testiohjelma koostuu 7 eri testistä joiden toiminta on kuvattu alla. Kukin testi toistettiin 100 kertaa poikkeuksena muistinvaraus- ja luokkatestit, jotka ovat niin raskaita, että niiden toistamiseen olisi kulunut liikaa aikaa. Nämä testit toistettiin vain 10 kertaa. Tuloksissa on esitetty kaikkiin toistoihin kulunut yhteisaika. Testien kuvauksissa n on Testi 1: Raaka funktiokutsu Raaka funktiokutsutesti mittaa ajan joka kuluu funktion kutsumiseen, ja tuloksen palauttamiseen. Funktiossa ei tehdä mitään Testi 2: Yhteenlaskutesti Yhteenlaskutestin ensimmäisessä osassa lasketaan kahden vakion summa n kertaa. Toisessa osassa tulos lisätään itseensä n kertaa Testi 3: Kertolaskutesti Kertolaskutestin ensimmäisessä osassa lasketaan liukuluvun tulo itsensä kanssa n kertaa. Toisessa osassa tulos lisätään itseensä n kertaa. 3

4 2.4. Testi 4: Jakolaskutesti Jakolaskutestissä lasketaan ensin kahden vakion osamäärä n kertaa ja seuraavaksi jaetaan tulosta vakiolla n kertaa Testi 5: Todellisen maailman matematiikka Tässä testissä käytetään kunkin ympäristön tarjoamia matematiikkakirjastoja. Javalla käytettiin Androidille optimoitua FloatMath luokkaa ja C++:lla standardikirjaston math kirjastoa. Testin ensimmäisessä osassa laskettiin monimutkainen trigonometrinen lauseke n kertaa ja toisessa osassa kolmekomponenttisen vektorin pituus n kertaa. Lausekkeet olivat: cos(n) sin( 1.52 n+1 ) (n 3.0) (n 3.0)+( n 1.87 ) ( n 1.87 )+n n 2.6. Testi 6: Muistinvaraus Muistinvaraustestissä varattiin b tavua muistia, kirjoitettiin se täyteen, ja sen jälkeen luettiin kaikki tavut. b:n arvo riippuu testilaitteen muistikapasiteetista Testi 7: Luokkatesti Luokkatestissä kutsutaan n:n luokkainstanssin metodia joka lisää kentän 1 arvoa annetulla parametrilla. Parametrin arvo haetaan saman instanssin toisella metodilla, joka palauttaa kentän 2 arvon. 3. Tulokset Testiohjelma suoritettiin kahdella testilaitteella; Samsung Galaxy S ja Denver Tac Tulokset on esitetty taulukoissa

5 Taulukko 1 SGS tulokset millisekunteina VM Native code Difference Raw function call Addition Multiplication Division Real world math Memory allocation Class Taulukko 2 SGS nanotime tulokset VM Native code Difference Raw function call Addition Multiplication Division Real world math Memory allocation Class Taulukko 3 Tac-7028 tulokset millisekunteina VM Native code Difference Raw function call Addition Multiplication Division Real world math Memory allocation Class Taulukko 4 Tac-7028 nanotime tulokset VM Native code Difference Raw function call Addition Multiplication Division Real world math Memory allocation Class Testien nanotime tuloksista lasketut suhteelliset nopeuserot on esitetty taulukossa 5. 5

6 Taulukko 5 Testien suhteelliset nopeuserot Testi Tac-7028 Galaxy S Keskiarvo Huomioitavaa tuloksista Tuloksia tarkastellessa täytyy huomioida jo edellä mainittu ylimääräinen viive natiivikoodin suorituksessa Testi 1 Testin 1 tulokset vaihtelivat hämmästyttävän paljon testiohjelman eri versioiden välillä. Debug-versiolla virtuaalikone oli aina noin kolme kertaa niin nopea kuin natiivikoodi, mutta releaseversiolla erot tasoittuivat tai Galaxy S:n tapauksessa jopa kääntyivät päinvastaisiksi. Tästä päätellen release-käännökseen tehdään optimointeja, jotka nopeuttavat normaaleja funktiokutsuja Testi 6 Muistinvaraustestissä oli alunperin tarkoitus myös mitata muistin vapauttamiseen kuluva aika, mutta Dalvikin roskankerääjää ei kuitenkaan pystytty pakottamaan vapauttamaan muistia tietyllä hetkellä eikä efektiivisesti, mikä johti muistin loppumiseen testin aikana. Ongelma toistui luokkatestin aikana, jolloin varaustestissä käytetty muisti oli mahdollisesti edelleen varattuna ja ainoa keino estää ohjelmaa kaatumasta, oli vähentää varattavan muistin määrää huomattavasti. Tässä tutkimuksessa ei siis lopulta mitattu muistin vapautusnopeutta, mutta testiohjelman kehitysversiolla saadut tulokset olivat samassa nopeusluokassa varauksen kanssa. Jos virtuaalikoneella yritetään varata enemmän muistia kuin se sallii, ohjelma pakotetaan sulkeutumaan. Näin ei kuitenkaan tapahdu natiiviohjelmalla, jonka muistinkäyttö on linux-ytimen vastuulla. Natiiviohjelmalla ei ole asetettua muistinkäyttörajoitusta, virtuaalikone sammuttaa taustalla olevia sovelluksia niin kauan, että natiiviohjelmalle on saatavilla tarpeeksi muistia. Mikäli natiiviohjelma yrittää varata enemmän muistia, kuin laitteessa on, sovellus kaatuu ilman näkyvää virheilmoitusta Testi 7 Muistiongelmat ilmenivät myös luokkatestissä, jossa luodaan oliota. Kuitenkin ani harvassa 6

7 todellisessa sovelluksessa on tarvetta näin suurelle objektimäärälle, joten nämä muistiongelmat tuskin ilmenevät käytännössä. 5. Lopputulokset Vaikka nopeuserot virtuaalikoneen ja natiivikoodin välillä näyttävät todella hurjilta, tulee muistaa, että tämä testiohjelma oli tarkoitettu nimenomaan esittämään erot mahdollisimman selvästi. Testitapaukset eivät ole järin kuvaavia mobiililaitteen peruskäytöstä. Vielä tärkeämpi huomio on, että esimerkiksi yksi yhteenlaskutesti vei keskimäärin 6 millisekuntia aikaa Tac-7028 testilaitteella ja Galaxy S:llä vielä vähemmän. Kuten Android NDK:in dokumentaatiossa todetaan, natiivikoodista ei ole hyötyä useimmille sovelluksille, mutta se monimutkaistaa kehitysprosessia huomattavasti. Mikäli sovellus aiotaan kääntää alustalta toiselle (ja muutkin alustat tukevat natiiveja ohjelmia) on perusteltua käyttää NDK:iä. Toinen mahdollinen käyttökohde on äärimmäisen raskaat pelit, joka on itselläni syy natiivikoodin käyttöön. Tämä testi suoritettiin ns. low end-laitteilla, mutta näilläkin kävi ilmi laitekohtaiset suorituskykyerot sekä virtuaalikoneella, että natiiviohjelmilla. Tac-7028:n 1GHz:n prosessori hävisi useimmissa testeissä Galaxy S:n vain 800MHz prosessorille. Mikäli testissä olisi ollut mukana tehokkaampia moniytimisiä laitteita, olisi nopeuserot varmasti kaventuneet huomattavasti. 7

8 6. Lähteet Dan Bornstein, Dalvik VM internals, 2008 viitattu Android NDK documentation, viitattu