GPU Memory Architecture
Makalah
diajukan untuk memenuhi tugas pada Mata
Kuliah GPU Computing
disusun
oleh :
Caroline Dessiana S. 118100002
Daniar Pratiwi 118101093
Ellisa Ratna Dewi 118101083
Karina Priscilia 118100014
M. Abdurrobbi Azam 118100061
FAKULTAS SAINS
PROGRAM STUDI S1 ILMU KOMPUTASI
INSTITUT
TEKNOLOGI TELKOM
BANDUNG
2013
1 Pengertian GPU
Graphics Processing Unit (GPU),
atau yang biasa disebut Visual Processing
Unit (VPU) adalah sebuah circuit
elektronik khusus yang dirancang untuk dapat memanipulasi dengan cepat dan
menjadikan memori lebih cepat dalam penciptaan gambar-gambar pada sebuah frame buffer yang dimaksudkan sebagai
output ke layar. GPU digunakan dalam sistem embedded, ponsel, komputer pribadi,
workstation, dan konsol game. GPU
modern sangat efisien dalam memanipulasi grafis komputer dan struktur paralel
yang digunakannya membuat GPU lebih efektif dibandingkan dengan CPU untuk
algoritma. Pada komputer pribadi, GPU dapat berupa video card, atau bisa terdapat dalam motherboard.
GPU
dipopulerkan oleh Nvidia pada tahun 1999, yang memasarkan GeForce 256 sebagai
“GPU pertama di dunia” dan rivalnya yaitu ATI Technologies memasarkan Visual Processing Unit (VPU) “Radeon
9700” pada tahun 2002.
1.1Fungsi Komputasional
GPU
modern menggunakan transistor-transistornya untuk melakukan perhitungan yang
terkait dengan grafik komputer 3D. GPU awalnya
digunakan untuk mempercepat kerja memori-intensif pada pemetaan tekstur dan
rendering polygons, kemudian ditambahkan unit untuk mempercepat perhitungan
geometris seperti rotasi dan translasi dari simpul ke dalam sistem koordinat
yang berbeda. Perkembangan GPU saat ini yaitu dapat memanipulasi simpul dan
tekstur dengan operasi yang sama pada CPU dan menjadikan warna-warna dengan
presisi yang tinggi. Karena sebagian besar perhitungan melibatkan matriks dan
operasi vektor, insinyur dan ilmuwan telah mempelajari penggunaan GPU untuk
perhitungan non-grafis, contohnya yaitu gererasi Bitcoins dimana GPU digunakan
untuk menyelesaikan “fungsi hash”.Saat ini GPU memiliki dasar akselerasi 2D dan
kemampuan framebuffer (biasanya dengan kesesuaian mode VGA).
1.2Keunggulan GPU
Beberapa keunggulan yang dimiliki GPU antara lain :
a. Memiliki ribuan core
b. Dapat diprogram
c. Dapat dengam mudah di install pada hampir semua dekstop
d. Harganya sama dengan harga CPU
e. GPU memanfaatkan hukum Moore’s dengan lebih baik dibandingkan
dengan CPU.
f. Hardware mendukung multi
threading skala besar.
Multithreading adalah cara pengeksekusian yang mengizinkan beberapa thread terjadi dalam sebuah proses, saling
berbagi sumber daya tetapi dapat dijalankan secara independen. Keuntungan adanya multithreading
antara lain :
·
Responsif
: Aplikasi interaktif menjadi tetap
responsif meskipun sebagian dari program sedang diblok atau melakukan operasi
lain yang panjang. Misalnya, sebuah thread dari web
browser dapat melayani
permintaan pengguna sementara thread yang lain berusaha menampilkan gambar.
·
Berbagi
sumber daya : Beberapa thread yang melakukan proses yang sama akan berbagi
sumber daya. Keuntungannya adalah mengizinkan sebuah aplikasi untuk mempunyai
beberapa thread yang berbeda dalam lokasi memori yang
sama.
·
Ekonomis : Pembuatan sebuah
proses memerlukan pengalokasian memori dan sumber daya. Alternatifnya adalah
dengan menggunakan thread,
karena thread membagi memori dan sumber daya yang
dimilikinya sehingga lebih ekonomis untuk membuat thread dan context
switching thread
·
Utilisasi arsitektur multiprosesor : Keuntungan dari multithreading dapat sangat meningkat pada arsitektur
multiprosesor, dimana setiap thread dapat berjalan secara paralel di atas
procesor yang berbeda.
2 Sekilas Mengenai CPU
2.1 CPU Style Core
Penjelasan masing-masing bagian :
1. OOO exection
logic : merupakan kepanjangan dari
out of order execution yang berarti paradigma
instruksi yang dijalankan oleh prosesor data dengan data yang masuk.
2. Branch predictor : lintasan digital yg mencari
jalan dipercabangan sebelum diketahui.Tujuannya meningktkan aliran dalam jalur
instruksi (instruction pipeline)
3. Fetch / decode : untuk
mengambil data dan instruksi dari memori utama kemudian menyimpan ke dalam
memori temporal internal, sedangkan untuk membuat instruksi data yang telah diambil yaitu
mengunakan decode.
4. ALU (Arithmetic
Logic Unit) berfungsi untuk melakukan operasi hitungan aritmatika dan logika. Contoh operasi
matematika adalah penjumlahan dan pengurangan, operasi logika AND dan OR.
5. Execution Context dalam core berfungsi untuk :
a. membaca nilai dari register
b. meneruskan ke ALU ke dalam fungsi matematika dan
logika
c. menuliskan hasilnya kembali ke register
d. mengirimkan sinyal kembali ke control unit (CU)
2.2Hierarki Memory “ CPU Style ”
Penjelasan
:
Cache : mekanisme penyimpaan data sekunder berkecepatan
tinggi, yang digunakan untuk menyimpan data/instruksi yang sering diakses.
a.
L1
Cache : cache memory yang terletak dalam prosesor (cache internal). Berfungsi untuk penampungan semenara
operasi-operasi pengisian register dan untuk meningkatkan efisiensi dari
operasi pengisian dan penyimpanan
b.
L2
Cache : kapasitas L2 lebih
besar, tetapi memiliki kecepatan yang lebih rendah
dari L1 dan letaknya terpisah dari prosesor (cache eksternal). L2
berfungsi untuk memback-up data dari L1 cache.
c. L3 Cache : hanya dimiliki oleh prosesor yang memiliki core lebih dari satu, misalnya dual core atau quad core, berfungsi untuk mengontrol data yang masuk dari cache L2
dari masing-masing inti prosesor. Berfungsi untuk membawa data dari L2 cache ke
RAM.
Sehingga,
secara sederhana, aliran informasi di dalam core yaitu L1 cache > L2 cache
> L3 cache > RAM
3 Tampilan Core Pada GPU
3.1 Tampilan core GPU secara keseluruhan
Penjelasan
:
Dari gambar
diatas dapat dikatakan bahwa 1 core
GPU memiliki beberapa shader processor
dan texture. Masing-masing shader prosessor memiliki arsitektur
memory seperti yang tampak pada gambar kiri atas, yaitu terdiri dari Fetch/decode, sejumlah ALU, Execution contexts dan L1 cache yang telah dijelaskan pada gambar
sebelumnya.
1. Texture Filtering Logic : disebut juga texture smoothing merupakan sebuah metode yang berfungsi
untuk menentukan tekstur warna untuk sebuah pemetaan tekstur pixel. Texture Filtering Logic ini termasuk
salah satu tipe anti-aliasing.
2. L1 Texture Cache : merupakan komponen yang penting dalam GPU modern
yang berperan dalam mencapai performansi yang real-time saat mengolah gambar
yang realistis.
3.2 Tampilan Tiap Komponen 1 Core Processor GPU
(data dari NVIDIA
GF100: “Fermi”)
Di dalam GPU modern
tidak terdapat L3 cache yang
berfungsi untuk meneruskan data dari L2 cache
menuju RAM. Hal itu dikarenakan fungsi L3 cache
sudah digantikan oleh L2 cache.
3.3 Struktur Multiprosesor CPU dan GPU
Gambar
diatas merupakan gambar core CPU dan
GPU. Dimana CPU hanya terdiri dari 1 core
dengan beberapa komponen seperti control, ALU, cache dan DRAM. Sedangkan pada gambar GPU diatas, tiap baris itu
merupakan sebuah core yang memiliki
banyak ALU, sebuah control dan cache.
Seluruh proses yang dilakukan pada cache
kemudian dibawa ke RAM atau DRAM.
4 Contoh Arsitektur Memori NVIDIA GF100
Dari
gambar diatas merupakan tampilan arsitektural GF100. Dapat dilihat bahwa
arsitektur memori NVIDIA GF100 terdiri dari :
1.
6 memori
controller
2.
4 GPC (Graphic
Processor Cluster)
3.
1 Giga Thread
Engine
4.
1 Host Interface
5.
On chip Level
2(L2) Cache
6.
4 mesin raster (
1 mesin raster di setiap GPC)
7.
16 Streaming
Multiprosessor (SM) ( 4 disetiap GPC)
8.
16 mesin
PolyMorph ( 1 disetiap SM)
Gambar diatas merupakan bagian dari SM. Satu streaming multiprocessor (SM) terdiri dari 32 CUDA core. Setiap SM berisi cache atau local
memory untuk total shared memory 48 Kb dengan 16 Kb L1 cache. Memori ini dapat dikonfigurasi ulang untuk penggunaan shared memory 16 Kb dan L1 cache 48 Kb.
Tiap CUDA core memiliki operasi floating-point dan integer logic dan melakukan eksekusi secara paralel menggunakan
instruksi dari shared instruction dan
register file.
5 Contoh Arsitektur Memori NVIDIA Kepler GK110
NVIDIA Kepler GK110 merupakan graphic processor dari NVIDIA GeForce
GTX 780 (salah satu produk NVIDIA GeForce notebook
platform terbaru).
5.1
NVIDIA GeForce GTX 780
NVIDIA GeForce GTX 780
menggunakan GK 110 dan memiliki 15 streaming
multiprocessor (SM) yang memiliki 2.304 cuda core. Memiliki texture memory unit sebanyak 192 (50%
lebih banyak dibanding versi sebelumnya yang hanya memiliki 128 texture memory unit).
5.2 Kepler GK 110
Kepler GK 110 mempunyai 15 SMX
atau SM dan 62 bit memory controllers.
Pada Kepler 110 streaming multiprocessor disebut SMX.
Dalam satu SMX terdapat 192 single-precision cuda cores, 64 unit double-precision, 32 SFU (Special Function Units) dan 32 load/store units (LD/ST). 32 thread paralel pada SMX schedules threads disebut warp.
Thread
Thread block level schedulling dikelola oleh GigaThread engine (terlihat pada gambar
kepler GK 110 full chip block diagram
pada halaman sebelumnya). Setiap thread
dapat mengakses 255 register.
Untuk
memungkinkan thread melakukan sharing data dengan thread lainnya didalam warp
maka dilakukan shuffle instruction,
seperti gambar dibawah ini :
Shuffle memberikan
keuntungan untuk kinerja shared memory
karena operasi store-and-load dapat
dilakukan dalam satu langkah, hal ini mengurangi shared memory yang dibutuhkan masing-masing thread block.
Sebuah
thread block adalah satu set thread yang dapat bekerja sama satu sama
lain dan dapat melalui hambatan saat sinkronisasi sehingga mampu melakukan data sharing. Setiap thread memiliki sebuah thread block , grid, dan sebuah program counter.
Hierarki thread, block dan grid dapat digambarkan seperti berikut :
Hierarki
CUDA mengenai pemetaan thread ke processor GPU : GPU mengeksekusi satu
atau lebih grid kernel. Streaming multiprocessor (SM pada
Fermi/SMX pada Kepler) mengeksekusi satu atau lebih thread block dan CUDA core
serta unit eksekusi lainnya pada SMX mengeksekusi instruksi thread. SMX mengeksekusi 32 thread atau yang disebut Warp.
Warp
Gambar diatas merupakan single warp scheduler unit.
SMX
menjadwalkan thread kedalam grup yang
berisi 32 parallel threads yang
disebut warps. Setiap SMX pada Kepler
memiliki 4 warp schedulers unit dan 8
instruction dispatch unit yang memungkinkan
4 warps dapat dieksekusi.
Kepler quad warp scheduler memiliki 4 warps dan 2 instruksi independen per warp dan dapat dieksekusi pada setiap
siklus.
Arsitektur Memori Kepler
-
Setiap SMX mempunyai 16 KB shared memory dan 48 KB L1 cache
atau 48 KB shared memory dan 16 KB L1
cache.
-
-
Kepler mempunyai 48 KB read-only data cache.
-
-
Kepler GK 110 mempunyai 1536 KB L2 cache memory.
Grid Management Unit Pada Kepler GK 110
Grid adalah array
dari thread block yang mengeksekusi
kernel yang sama, membaca masukan dari global
memory, menulis hasil ke global
memory dan melakukan sinkronisasi antar kernel. Grid dari thread block
membagi hasil pada global memory
setelah melakukan sinkronisasi kernel-wide
global.
Pada
Fermi grid pada thread block dikeluarkan oleh CPU dan selalu berjalan sampai proses
selesai dan membuat simple undirectional flow dari host ke SM melalui CUDA Work Distributor (CDW) unit.
Pada Kepler, grid
dapat diluncurkan/dikeluarkan oleh CPU sama seperti Fermi, tetapi grid yang baru dapat dibuat oleh program
CUDA secara otomatis didalam unit SMX atau SM. Untuk mengatur grid yang dibuat oleh program CUDA dan grid yang asli berasal dari host
maka pada kepler terdapat Grid Management Unit (GMU) yang baru.
Kontrol unit ini dapat mengatur dan memprioritaskan grid yang masuk ke CDW dan mengirimkannya ke unit SMX untuk
dieksekusi.
CWD pada Kepler dapat melakukan pengiriman 32 grid aktif, dua
kali lebih banyak dibandingkan dengan kapasitas CWD pada Fermi.
Kepler CWD melakukan komunikasi dengan Grid Management Unit (GMU) untuk pemberhentian sementara pengiriman
grid yang baru, GMU juga melakukan
komunikasi ke SMX unit untuk pengiriman grid.
6 Kesimpulan
-
GPU
memiliki lebih banyak core, ALU, dan
tidak menggunakan cache hirarki yang
tradisional, akan tetapi menggunakan thread untuk mengantisipasi latensi.
-
GPU
tidak berperan untuk menggantikan CPU, akan tetapi menjadi CPU co-processor yang membantu kerja CPU.
-
GPU
baik digunakan untuk pemrosesan data paralel.
Daftar
Pustaka
Fatahalian, Kayvon.
(2011).The GPU Memory Hierarchy.
Lippert, Anthony.
(2009). NVIDIA GPU Architecture for
General Purpose Computing.
NVIDIA Corporation.
(2012). Kepler GK 110. NVIDIA
Corporation
Wittenbrink, Craig
M, dkk. (2011). Fermi GF100 GPU Architecture.
IEEE Computer Society.
W1zzard. (2013). NVIDIA GeForce GTX 780 3 GB. Tersedia : http://www.techpowerup.com/reviews/NVIDIA/GeForce_GTX_780/1.html
[diakses pada 1 Oktober 2013].
Tidak ada komentar:
Posting Komentar