Guo Mingqi: Nvidia menghidupkan kembali proyek chip optimisasi prefill inferensi Rubin CPX

Nvidia diam-diam menghidupkan kembali sebuah proyek chip yang sebelumnya dianggap telah ditinggalkan oleh pasar, dengan target langsung ke tahap prefill AI inference yang biayanya tinggi.

Survei industri terbaru dari analis ternama Ming-Chi Kuo menunjukkan, Nvidia telah mengaktifkan kembali proyek GPU akselerasi prefill AI inference “Rubin CPX”, dan melakukan penyesuaian besar-besaran pada desain produknya. Sesuai rencana saat ini, Rubin CPX versi terbaru diperkirakan mulai diproduksi pada kuartal pertama 2027.

Kebangkitan kembali proyek ini memberikan sinyal yang jelas: Nvidia semakin berfokus pada penyelesaian hambatan performa dan biaya di tahap prefill AI inference. Seiring bertambahnya panjang konteks model besar, tahap prefill perlu memproses sejumlah besar informasi input dan menghasilkan KV Cache, di mana efisiensinya akan berpengaruh langsung pada biaya keseluruhan dan efisiensi implementasi AI inference.

Menurut Ming-Chi Kuo, saat ini lebih dari 50% beban kerja AI inference berasal dari pemrosesan konteks input dan pembangunan KV Cache.

Spesifikasi Chip Mengalami Penyesuaian Besar, Performa Mendekati Rubin Standar

Spesifikasi inti Rubin CPX versi terbaru menunjukkan perubahan yang jelas dibandingkan rencana sebelumnya.

Dari segi kemampuan dan konsumsi daya, performa CPX terbaru sudah mendekati Rubin GPU standar, dengan konsumsi daya maksimum per kartu juga mencapai 2300 watt. Untuk memori, CPX terbaru kini menggunakan HBM4 168GB, sebuah peningkatan jelas dari GDDR7 128GB pada rencana sebelumnya, meskipun masih di bawah HBM4 288GB milik Rubin GPU standar.

Menurut Ming-Chi Kuo, kapasitas total HBM4 pada tray komputasi 8 kartu CPX mencapai sekitar 1,34TB, mampu mendukung mayoritas workload prefill konteks panjang dan kebutuhan KV Cache terkait. Ini berarti, Rubin CPX tidak semata-mata mengejar peningkatan performa secara umum, tetapi didesain ulang untuk efisiensi memori dan prefill pada skenario konteks panjang.

Beralih dari Rack Berbagi Menjadi Deploy Mandiri, Konfigurasi Lebih Fleksibel

Arsitektur rack juga menjadi fokus utama dalam penyesuaian kali ini.

Pada rencana sebelumnya, CPX berencana berbagi rack dengan Rubin GPU; versi terbaru kini menggunakan rack MGX ETL mandiri, sehingga pelanggan dapat memperluas performa CPX secara independen sesuai kebutuhan.

Secara detail, pelanggan bisa memilih deployment 64, 128, 192, atau 256 CPX GPU. Setiap 64 CPX GPU membentuk satu modul rack, yang terdiri dari 8 tray komputasi, masing-masing tray dilengkapi 8 CPX GPU, serta satu tray switch.

Desain modular ini berarti pelanggan tidak perlu membeli dalam skala besar seperti rack Rubin, dan dapat menambah performa CPX secara fleksibel tergantung kebutuhan prefill workload yang sesungguhnya.

Desain Interkoneksi Berlapis, Menurunkan Biaya Deploy Prefill

Pada arsitektur jaringan, Rubin CPX menggunakan desain bertingkat untuk menyeimbangkan antara performa dan biaya.

Di dalam satu tray komputasi, 8 CPX GPU terkoneksi lewat NVLink untuk ekspansi Scale-up. Bandwidth NVLink setiap kartu CPX GPU adalah 1 hingga 1,5TB/s, lebih rendah dari Rubin GPU standar yang 3,6TB/s.

Untuk interkoneksi antar tray dan di dalam modul rack (Scale-out), CPX memakai Spectrum-6 Ethernet full copper L1 link; untuk koneksi antar modul rack digunakan Spectrum-6 switch pada tiap modul, dan koneksi antar modul dilakukan melalui link serat optik OSFP.

Dibandingkan solusi yang mengandalkan sepenuhnya pada GPU high bandwidth, arsitektur berlapis ini lebih mengutamakan optimalisasi biaya untuk skenario prefill.

Berkolaborasi dengan Rubin GPU, Mengejar Inference Konteks Panjang

Rubin CPX bukan GPU umum yang berjalan sendiri, melainkan akselerator prefill yang digunakan bersama dengan Vera Rubin NVL72.

Menurut Ming-Chi Kuo, Nvidia menyarankan deployment CPX dan Rubin GPU dengan rasio 1:1: CPX bertanggung jawab untuk perhitungan tahap prefill dan membangun KV Cache, lalu mengirim KV Cache ke Rubin GPU melalui Ethernet RDMA, yang kemudian melanjutkan proses decoding berikutnya.

Dari positioning produk, inti Rubin CPX bukan untuk menggantikan Rubin GPU standar, melainkan memisahkan proses AI inference sehingga GPU berbeda menangani tahap prefill dan decoding secara terpisah.

Ming-Chi Kuo menyebutnya sebagai “solusi terbaik dari segi biaya dan performa untuk prefill konteks panjang”. Seiring bertambahnya ukuran window konteks pada model AI, volume perhitungan dan skala KV Cache pada tahap prefill terus meningkat; kebangkitan kembali proyek CPX oleh Nvidia kemungkinan bertujuan menekan biaya inference konteks panjang melalui hardware khusus dan strategi deployment heterogen.