OpenAI Jalapeño Chip défie Nvidia avec une inférence plus rapide

• Jalapeño a surpassé Nvidia GB300 en vitesse de réponse et en travail d’IA par watt lors des tests publics.
• Le processeur de 700 watts vise l’inférence IA plutôt que l’entraînement de modèles.
• OpenAI prévoit un déploiement cette année tout en développant les deuxième et troisième générations.

OpenAI prévoit de déployer la puce OpenAI Jalapeño dans toute son infrastructure d’IA d’ici la fin 2026. Lors des tests publics, le processeur d’inférence a surpassé le GB300 de Nvidia en termes de travail par watt et de rapidité de réponse. Richard Ho, directeur des puces chez OpenAI, a indiqué que la conception allie un débit élevé à une faible latence. Ces résultats concernent l’inférence, pas l’entraînement de modèles.

La puce OpenAI Jalapeño surpasse le GB300 dans deux tests d’inférence

La puce OpenAI Jalapeño fonctionne à 700 watts. Ce niveau de puissance peut réduire les coûts d’électricité, de refroidissement et de distribution des centres de données. Ho a déclaré que le processeur peut desservir davantage d’utilisateurs à faible coût tout en fournissant des réponses plus rapides pour les tâches sensibles à la latence.

OpenAI a testé le matériel avec un petit modèle open source et des modèles tiers de DeepSeek et Moonshot AI. Kimi de Moonshot, la charge publique la plus importante parmi les tests, a affiché les plus grands gains. D’après OpenAI, des tests internes ont également concerné des modèles non publiés.

Cependant, Jalapeño n’a pas été confronté à la nouvelle plateforme Vera Rubin de Nvidia, qui a commencé à être expédiée. SemiAnalysis a estimé que la comparaison avec le GB300 était incomplète puisque Jalapeño utilise la mémoire HBM4. Rubin de Nvidia utilise également la HBM4, ce qui en fait une comparaison technique plus pertinente.

OpenAI décidera quels modèles seront exécutés sur le processeur. Les clients pourront alors choisir des options visant à réduire les coûts ou à augmenter les performances. Ho estime que cette approche améliorera les temps de réponse et la disponibilité du service à mesure que la demande pour les modèles augmentera.

Le partenariat avec Broadcom fait avancer les puces d’inférence IA sur mesure

La puce OpenAI Jalapeño a été développée avec Broadcom, un fournisseur de silicium sur mesure pour les grands groupes technologiques. OpenAI a indiqué que ses modèles d’IA ont accéléré le processus de conception. Une deuxième génération est sur le point d’être finalisée, tandis que les ingénieurs travaillent déjà sur le concept de la troisième génération.

Ho a précisé que Jalapeño peut traiter des modèles plus volumineux que certains systèmes spécialisés à faible latence. OpenAI s’attend néanmoins à continuer d’utiliser Cerebras et d’autres fournisseurs de calcul. La demande pour ses services reste trop importante pour un seul programme de puces.

La puce OpenAI Jalapeño pourrait réduire le coût unitaire de l’inférence, mais elle ne peut pas entraîner des modèles de pointe. Nvidia reste important pour l’entraînement, la programmabilité étendue et la prise en charge CUDA. Ho a décrit Nvidia comme un partenaire clé et précisé qu’OpenAI continuera d’acheter son matériel.