OpenAI Jalapeño Chip tritt mit schnellerer Inferenz in Konkurrenz zu Nvidia

• Jalapeño übertraf Nvidia GB300 in den öffentlichen Tests bei der Reaktionsgeschwindigkeit und der KI-Arbeit pro Watt.
• Der 700-Watt-Prozessor zielt auf KI-Inferenz und nicht auf Modelltraining ab.
• OpenAI plant die Einführung noch in diesem Jahr und entwickelt bereits die zweite und dritte Generation.

OpenAI plant, den OpenAI Jalapeño Chip bis Ende 2026 in seiner gesamten KI-Infrastruktur einzusetzen. In öffentlichen Tests übertraf der Inferenz-Prozessor Nvidias GB300 bei der Arbeit pro Watt und der Reaktionsgeschwindigkeit. Richard Ho, OpenAIs Chip-Chef, sagte, das Design kombiniere hohe Durchsatzraten mit niedriger Latenz. Die Ergebnisse gelten für Inferenz, nicht für Modelltraining.

OpenAI Jalapeño Chip führt GB300 in zwei Inferenz-Tests an

Der OpenAI Jalapeño Chip arbeitet mit 700 Watt. Diese Leistungsstufe kann den Stromverbrauch, die Kühlungs- und die Verteilungskosten in Rechenzentren senken. Ho erklärte, der Prozessor könne mehr Nutzer kostengünstig bedienen und für latenzkritische Anwendungen schnellere Antworten liefern.

OpenAI testete die Hardware mit einem kleineren Open-Source-Modell sowie mit Drittanbietermodellen von DeepSeek und Moonshot AI. Kimis Workload von Moonshot, die größte öffentliche Arbeitslast im Test, zeigte die größten Fortschritte. Interne Tests bezogen laut Unternehmen auch unveröffentlichte OpenAI-Modelle ein.

Allerdings trat Jalapeño nicht gegen Nvidias neue Vera Rubin Plattform an, die mittlerweile ausgeliefert wird. SemiAnalysis bezeichnete den GB300-Vergleich als unvollständig, da Jalapeño HBM4-Speicher verwendet. Auch Nvidias Rubin setzt auf HBM4, was einen technisch näherliegenden Vergleich erlaubt.

OpenAI entscheidet, welche Modelle auf dem Prozessor laufen. Kunden könnten dann Optionen mit niedrigen Kosten oder höherer Geschwindigkeit wählen. Ho sagte, dieser Ansatz solle die Antwortzeiten und die Verfügbarkeit der Dienste verbessern, wenn die Modellauslastung mit der Zeit wächst.

Broadcom-Partnerschaft treibt maßgeschneiderte KI-Inferenz-Chips voran

Der OpenAI Jalapeño Chip wurde gemeinsam mit Broadcom entwickelt, einem Zulieferer maßgeschneiderter Halbleiter für große Technologieunternehmen. OpenAI erklärte, dass seine KI-Modelle den Designprozess beschleunigt hätten. Die zweite Generation befindet sich kurz vor Tape-out, Ingenieure haben bereits Konzepte für eine dritte Generation begonnen.

Ho sagte, Jalapeño könne größere Modelle verarbeiten als manche spezialisierte Niedriglatenzsysteme. Dennoch erwartet OpenAI, weiterhin Cerebras und andere Rechenanbieter einzusetzen. Die Nachfrage über die eigenen Dienste ist zu groß für nur ein Chip-Programm.

Der OpenAI Jalapeño Chip könnte die Inferenzkosten pro Einheit senken, kann aber keine fortschrittlichen Modelle trainieren. Nvidia bleibt wichtig für Training, breite Programmierbarkeit und CUDA-Support. Ho bezeichnete Nvidia als wichtigen Partner und sagte, OpenAI werde weiterhin Hardware von Nvidia kaufen.