OpenAI Jalapeño Chip thách thức Nvidia với tốc độ suy luận nhanh hơn

• Jalapeño vượt trội Nvidia GB300 về tốc độ phản hồi và hiệu suất AI trên mỗi watt trong các bài kiểm tra công khai.
• Bộ xử lý 700 watt này hướng tới suy luận AI thay vì huấn luyện mô hình.
• OpenAI dự kiến triển khai trong năm nay đồng thời phát triển thế hệ thứ hai và thứ ba.

OpenAI dự kiến triển khai chip OpenAI Jalapeño trên toàn bộ hạ tầng AI của mình trước cuối năm 2026. Trong các bài kiểm tra công khai, bộ xử lý suy luận này vượt qua GB300 của Nvidia về hiệu suất trên mỗi watt và tốc độ phản hồi. Richard Ho, giám đốc bộ phận chip của OpenAI, cho biết thiết kế này kết hợp thông lượng cao với độ trễ thấp. Những kết quả này áp dụng cho suy luận, không phải huấn luyện mô hình.

Chip OpenAI Jalapeño dẫn đầu GB300 trong hai bài kiểm tra suy luận

Chip OpenAI Jalapeño hoạt động ở mức 700 watt. Mức tiêu thụ điện năng này có thể giảm chi phí điện, làm mát và phân phối trong các trung tâm dữ liệu. Ho cho biết bộ xử lý này có thể phục vụ nhiều người dùng với chi phí thấp hơn, đồng thời cung cấp phản hồi nhanh hơn cho các tác vụ đòi hỏi độ trễ thấp.

OpenAI đã thử nghiệm phần cứng này với một mô hình mã nguồn mở nhỏ hơn và các mô hình bên thứ ba từ DeepSeek và Moonshot AI. Kimi của Moonshot, khối lượng công việc công khai lớn nhất đã được thử nghiệm, cho thấy mức tăng lớn nhất. Theo công ty, các thử nghiệm nội bộ cũng được thực hiện với các mô hình OpenAI chưa phát hành.

Tuy nhiên, Jalapeño chưa đối mặt với nền tảng Vera Rubin mới của Nvidia, hiện đã bắt đầu được giao hàng. SemiAnalysis cho rằng so sánh với GB300 là chưa đầy đủ vì Jalapeño sử dụng bộ nhớ HBM4. Rubin của Nvidia cũng dùng HBM4, làm cho so sánh kỹ thuật trở nên sát thực tế hơn.

OpenAI sẽ quyết định những mô hình nào sẽ chạy trên bộ xử lý này. Khách hàng sau đó có thể lựa chọn giữa các phương án ưu tiên chi phí thấp hoặc hiệu suất cao. Ho cho rằng cách tiếp cận này sẽ cải thiện thời gian phản hồi và độ sẵn sàng dịch vụ khi nhu cầu về mô hình ngày càng tăng.

Hợp tác với Broadcom thúc đẩy phát triển chip AI suy luận tùy chỉnh

Chip OpenAI Jalapeño được phát triển cùng với Broadcom, nhà cung cấp chip silicon tùy chỉnh cho các công ty công nghệ lớn. OpenAI cho biết các mô hình AI của mình đã giúp đẩy nhanh quá trình thiết kế. Thế hệ thứ hai sắp được sản xuất thử, trong khi các kỹ sư đã bắt đầu xây dựng ý tưởng cho thế hệ thứ ba.

Ho cho biết Jalapeño có thể xử lý các mô hình lớn hơn một số hệ thống chuyên biệt cho độ trễ thấp. Tuy nhiên, OpenAI vẫn dự kiến sử dụng Cerebras và các đơn vị cung cấp năng lực tính toán khác, vì nhu cầu trên toàn bộ dịch vụ của họ quá lớn để một chương trình chip có thể đáp ứng hết.

Chip OpenAI Jalapeño có thể giúp giảm chi phí cho mỗi đơn vị suy luận, nhưng không thể huấn luyện các mô hình tiên phong. Nvidia vẫn giữ vai trò quan trọng trong việc huấn luyện, tính lập trình rộng và hỗ trợ CUDA. Ho mô tả Nvidia như một đối tác then chốt và cho biết OpenAI sẽ tiếp tục mua phần cứng của họ.