CUDA. Moniydinohjelmointi Mikko Honkonen

Transkriptio

1 CUDA Moniydinohjelmointi Mikko Honkonen

2 Yleisesti Compute Unified Device Architecture Ideana GPGPU eli grafiikkaprosessorin käyttö yleiseen laskentaan. Nvidian täysin suljetusti kehittämä. Vuoden 2012 alusta avoin, kehittäjät voivat hakea Nvidialta pääsyä lähdekoodiin. Versio 1.0 julkisesti saatavilla helmikuussa 2007, viimeisin versio 4.1 tammikuussa 2012.

3 Yleisesti Vaatii Nvidian näytönohjaimen, vähintään Geforce 8-sarjaa. Käyttöjärjestelminä Windows, OS X ja Linux. Pääasiallisena kehityskielenä C tai C++, lisäksi bindingit mm. Javalle,.NETille, Pythonille. Runsaasti valmiita kirjastoja erityisesti tieteelliseen laskentaan. Kilpailijoita OpenCL ja DirectCompute. Toimivat myös muilla näytönohjaimilla, OpenCL:ssä myös CPU-fallback

4 Miksi? CUDA is NVIDIA s parallel computing architecture. It enables dramatic increases in computing performance by harnessing the power of the GPU.

5 Miksi? Intel i5 2500: 200, 25 GFLOPs Nvidia Geforce GTX 560: 200, 1075 GFLOPs Toki prosessori löytyy jokaisesta koneesta, CUDA-kykenevää näytönohjainta ei. Useita näytönohjaimia helppo käyttää rinnakkain. CUDAn käyttöönotto melko nopeaa ja vaivatonta.

6 Mihin? Optimaalinen tehtävä sisältää suuren joukon liukulukuja, jonka jokaiselle alkiolle suoritetaan jokin tietty operaatio. Erityisesti neliöjuuri, trigonometriset operaatiot yms. ovat nopeita. Koska laskenta tapahtuu prosessorin ulkopuolella, voi prosessori samaan aikaan tehdä jotain muuta.

7 Missä?

8 Termit Kernel: Näytönohjaimella suoritettava funktio. Thread/säie: Yksi kernelin instanssi. Warp: 32 säiettä, SIMD-tyylisesti suoritettava joukko samanlaisia säikeitä. Block/lohko: säiettä, joukko samanlaisia säikeitä jotka ajetaan samanaikaisesti. Grid: Joukko samanlaisia lohkoja, jotka ajetaan toisistaan riippumatta. Kun ajetaan useampia lohkoja, CUDA suorittaa samanaikaisesti niin monta lohkoa kuin kortille mahtuu.

9 Termit kuvana

10 Sovellusten kehittäminen CUDA toolkit (kääntäjä + muut työkalut) Ajurit (sovellusten ajaminen) GPU Computing SDK (sampleja yms.) Näytönohjaimella ajettava koodi (kernelit) C- pohjaista, myös C++:n ominaisuuksia. Sovellus käyttää CUDAa joko runtime- tai driverkutsujen avulla (ei molempia). CUDAa käyttävät tiedostot käännetään CUDAkääntäjällä. Mikäli käyttää C:tä tai C++:aa, voi koko sovelluksen halutessaan kääntää tällä.

11 Rajapinnat

12 Kernelit Avainsanalla global sovelluksesta kutsuttava kernel. vrt. device vain toisesta kernelistä Ei paluuarvoa. Kernelin sisällä käytössä tiettyjä säikeen yksilöiviä arvoja.

13 Runtimen käyttäminen

14 Datan siirto Tehtävästä riippuen datan siirto keskusmuistin ja näytönohjaimen välillä voi viedä moninkertaisesti aikaa verrattuna itse laskentaan. Tämän vuoksi hyvin yksinkertaisia tehtäviä ei kannata kortille siirtää. Kaikki kortit kykenevät samanaikaisesti suorittamaan kerneliä ja kopioimaan dataa kortin ja keskusmuistin välillä yhteen suuntaan. Lisäksi kehittyneemmät kortit kykenevät molemminsuuntaiseen kopiointiin.

15 Liukuhihnoittaminen MEM - GPU GPU CPU GPU - MEM Tyhmä sovellus: Optimaalinen sovellus:

16 Nopeus C = A + B Q6600 GTX 460 T M Ajat millisekunteja

17 Nopeus C = sqrt(sin(a) + cos(b)) Q6600 GTX 460 T M Ajat millisekunteja

18 Suoritusaika alkiolla suoritusaika jakautui 8600Mnäytönohjaimella seuraavasti: A ja B kopiointi Laskenta C kopiointi C = A + B 72 ms 0 ms 64 ms C = sqrt(sin(a)+cos(b)) 72 ms 1 ms 64 ms Lisäksi sovelluksen ensimmäinen CUDA-kutsu alustaa laitteen käyttöön, johon kului aikaa n. 90 ms. Tätä ei otettu huomioon mittauksissa.

19 Yhteenveto GPGPU noin yleisesti varteenotettava teknologia. CUDAlla kehittämisen aloittaminen helppoa hyvän dokumentaation, esimerkkien ja kirjastojen vuoksi. OpenCL saattaa kuitenkin olla varmempi valinta yhteensopivuutensa vuoksi. Nvidian OpenCL-tuki melko heikkoa, joten jos aikoo käyttää Nvidiaa, on CUDA parempi (nopeampi).

20 Lähteet/linkkejä Kuvat: Lataa CUDA 4.1: