OpenAI Jalapeño Chip menantang Nvidia dengan inferensi yang lebih cepat

• Jalapeño memimpin Nvidia GB300 dalam kecepatan respons dan pekerjaan AI per watt selama pengujian publik.
• Prosesor 700 watt ini ditargetkan untuk inferensi AI, bukan pelatihan model.
• OpenAI berencana melakukan penerapan tahun ini sambil mengembangkan generasi kedua dan ketiga.

OpenAI berencana untuk menerapkan chip OpenAI Jalapeño di seluruh infrastruktur AI mereka pada akhir tahun 2026. Dalam pengujian publik, prosesor inferensi ini memimpin dibandingkan GB300 milik Nvidia dalam hal pekerjaan per watt dan kecepatan respons. Richard Ho, kepala chip OpenAI, mengatakan desainnya menggabungkan throughput tinggi dengan latensi rendah. Hasil ini berlaku untuk inferensi, bukan pelatihan model.

Chip OpenAI Jalapeño Unggul GB300 dalam Dua Uji Inferensi

Chip OpenAI Jalapeño beroperasi pada 700 watt. Tingkat daya tersebut dapat menurunkan biaya listrik, pendinginan, dan distribusi di pusat data. Ho mengatakan prosesor ini dapat melayani lebih banyak pengguna dengan biaya lebih rendah sekaligus memberikan respons lebih cepat untuk beban kerja yang sensitif terhadap latensi.

OpenAI menguji perangkat keras ini dengan model open-source yang lebih kecil dan model pihak ketiga dari DeepSeek dan Moonshot AI. Kimi dari Moonshot, beban kerja publik terbesar yang diuji, menunjukkan peningkatan paling luas. Uji internal juga mencakup model OpenAI yang belum dirilis, menurut perusahaan.

Namun, Jalapeño belum menghadapi platform Vera Rubin baru dari Nvidia, yang sudah mulai dikirimkan. SemiAnalysis menyebutkan perbandingan dengan GB300 belum lengkap karena Jalapeño menggunakan memori HBM4. Rubin milik Nvidia juga memakai HBM4, sehingga menjadi perbandingan teknis yang lebih relevan.

OpenAI akan menentukan model mana yang dijalankan pada prosesor ini. Pelanggan kemudian dapat memilih opsi yang ditujukan untuk biaya lebih rendah atau performa lebih cepat. Ho mengatakan pendekatan ini seharusnya memperbaiki waktu respons dan ketersediaan layanan saat permintaan model tumbuh seiring waktu.

Kemitraan Broadcom Dorong Pengembangan Chip Inferensi AI Kustom

Chip OpenAI Jalapeño dikembangkan bersama Broadcom, pemasok silikon kustom untuk perusahaan teknologi besar. OpenAI menyatakan model AI mereka membantu mempercepat proses desain. Generasi kedua hampir memasuki tahap tape-out, sedangkan para insinyur sudah memulai konsep untuk generasi ketiga.

Ho mengatakan Jalapeño dapat menangani model yang lebih besar daripada beberapa sistem khusus low-latency. Namun, OpenAI masih akan terus memakai Cerebras dan penyedia komputasi lainnya. Permintaan di seluruh layanan mereka masih terlalu besar untuk satu program chip saja.

Chip OpenAI Jalapeño ini bisa menurunkan biaya per unit inferensi, namun tidak dapat melatih model frontier. Nvidia tetap penting untuk proses pelatihan, pemrograman yang luas, dan dukungan CUDA. Ho menggambarkan Nvidia sebagai mitra utama dan mengatakan OpenAI akan terus membeli perangkat keras mereka.