Nvidia, şirketi trilyon dolarlık bir şirket haline getiren H100 çipi sayesinde yapay zeka çip yarışını uzun süredir önde götürüyor. Ancak görünen o ki şirket, uzun süre daha liderlik koltuğunda kalmaya devam edecek. Zira yeni Blackwell B200 GPU ve GB200 "süper çip" ile konumunu daha da güçlendirmek üzere.
:format(webp)/cdn.vox-cdn.com/uploads/chorus_asset/file/25343088/SCR_20240318_mbxt.jpeg)
Nvidia, yeni B200 GPU'sunun 208 milyar transistörüyle 20 petaflop'a kadar FP4 işlem gücü sunduğunu açıkladı. Aynı zamanda, bu GPU'lardan ikisini tek bir Grace CPU ile birleştiren bir GB200'ün, LLM çıkarım iş yükleri için 30 kat daha fazla performans sunabileceğini ve önemli ölçüde daha verimli olabileceğini iddia ediyor.
Nvidia, 1,8 trilyon parametreli bir modelin eğitilmesinin daha önce 8.000 Hopper GPU ve 15 megawatt güç gerektirdiğini ifade ediyor. Bugün ise Nvidia'nın CEO'su 2.000 Blackwell GPU'sunun sadece 4 megawatt harcayarak bunu yapabileceğini iddia ediyor. Şirket ayrıca, 175 milyar parametreli bir GPT-3 LLM kıyaslamasında, GB200'ün H100'den 7 kat daha fazla performansa sahip olduğunu ve eğitim hızının 4 kat daha fazla olduğunu belirtiyor.
:format(webp)/cdn.vox-cdn.com/uploads/chorus_asset/file/25343065/NVIDIA_GB200_Grace_Blackwell_Superchip_Image.jpg)
Nvidia, en önemli gelişmelerden birinin, her nöron için 8 yerine 4 bit kullanarak hesaplama, bant genişliği ve model boyutunu 2 katına çıkaran ikinci nesil bir dönüştürücü motor olduğunu açıkladı. İkinci önemli fark ise çok sayıda GPU'yu birbirine bağladığınızda ortaya çıkıyor: 576 GPU'nun saniyede 1,8 terabayt çift yönlü bant genişliğiyle birbiriyle konuşmasını sağlayan yeni nesil bir NVLink anahtarı. Bunun için Nvidia, 50 milyar transistörlü ve kendi yerleşik işlemcisine sahip yeni bir ağ anahtarı yongası üretmiş durumda.
:format(webp)/cdn.vox-cdn.com/uploads/chorus_asset/file/25343112/SCR_20240318_mflh.png)
Şirket, daha önce yalnızca 16 GPU'dan oluşan bir veri kümesinin zamanının yüzde 60'ını birbirleriyle iletişim kurarak ve sadece yüzde 40'ını gerçekten hesaplama yaparak geçirdiğini söylüyor.
Nvidia elbette şirketlerin bu GPU'lardan büyük miktarlarda satın almasına bel bağlıyor ve bunları, toplam 720 petaflop AI eğitim performansı veya 1.440 petaflop çıkarım için 36 CPU ve 72 GPU'yu tek bir sıvı soğutmalı kabine sığdıran GB200 NVL72 gibi daha büyük tasarımlarda paketliyor.
:format(webp)/cdn.vox-cdn.com/uploads/chorus_asset/file/25343064/NVIDIA_GB200_NVL72_Image.jpg)
Kabindeki her bir tepsi ya 2 GB200 yongası ya da 2 NVLink anahtarı barındırıyor ve her bir rafta ilkinden 18, ikincisinden ise 9 adet bulunuyor. Nvidia, bu kabinlerden birinin toplamda 27 trilyon parametreli bir modeli destekleyebileceğini ifade ediyor.
Şirket, Amazon, Google, Microsoft ve Oracle'ın bulut hizmeti kapsamında NVL72 kabinlerini sunmayı planladıklarını, ancak kaç tane satın alacaklarının belli olmadığını belirtti. Ek olarak yine şirketlere toplam 288 CPU, 576 GPU, 240 TB bellek ve 11,5 exaflop FP4 hesaplama için 8sistemi bir araya getiren DGX Superpod for DGX GB200 çözümü sağlanacak.
:format(webp)/cdn.vox-cdn.com/uploads/chorus_asset/file/25343069/DGX_SuperPOD_with_DGX_GB200_systems_Image.png)
Nvidia, sistemlerinin yeni Quantum-X800 InfiniBand veya Spectrum-X800 ethernet ile 800Gbps ağ ile birbirine bağlı on binlerce GB200 süper çipe ölçeklenebileceğini belirtiyor.
Henüz oyun GPU'ları hakkında yeni bir şey yok. Zira bu haber Nvidia'nın GPU Teknoloji Konferansı'ndan geliyor ve genellikle burada tamamen GPU hesaplama ve yapay zekaya odaklanılıyor. Ancak Blackwell GPU mimarisinin gelecekteki RTX 50 serisi masaüstü grafik kartı serisine de güç vermesi muhtemel.