Gemini 4 Hydrogen, Claude Sonnet 5.5 oder GPT-6.1 Terra: Welches Modell passt zum Programmieralltag?
Hydrogen, Sonnet 5.5 und GPT-6.1 Terra im Vergleich: Googles Benchmarks, offizielle Preise, Standard-Effort, kostenloser Zugang und 30 wiederholbare Testaufrufe.
Für alltägliche Programmieraufgaben und kleine Agent-Aufgaben sind alle drei Modelle leistungsfähig genug. Den Ausschlag geben eher Preis, Latenz und Token-Verbrauch als die reine Leistungsfähigkeit. Beginnen Sie mit GPT-6.1 Terra, wenn Kosten und Antwortzeit im Vordergrund stehen, mit Claude Sonnet 5.5, wenn Sie kompakte, vorhersehbare Ausgaben wollen, und mit Gemini 4 Hydrogen, wenn Sie Googles kostenlose Stufe, native Video- und Audioeingaben oder die Agent- und Reasoning-Ergebnisse aus Googles Modellkarte brauchen. Prüfen Sie die Wahl danach an einer Stichprobe Ihrer eigenen Aufgaben.
Die Empfehlung stützt sich auf drei Arten von Belegen, die im ganzen Artikel getrennt gekennzeichnet sind:
- Herstellerdokumentation von Google, Anthropic und OpenAI, geprüft am 19. November 2026: Preise, Kontextfenster, Ausgabelimits und Standard-Effort.
- Veröffentlichte Messungen: die Benchmark-Tabelle aus Googles Modellkarte zu Gemini 4 Hydrogen (englisch) und die am selben Tag gelesenen Seiten von Artificial Analysis.
- Unser eigener kleiner Test: 30 Aufrufe (fünf Aufgaben × drei Modelle × zwei Durchläufe) über einen OpenAI-kompatiblen Endpunkt, wobei jede Prüfung vor dem ersten Aufruf geschrieben wurde. Alle 30 haben bestanden. Der Test unterscheidet die Modelle daher nach Latenz und Token-Verbrauch, nicht nach Korrektheit.
Dieser Artikel wird von Ofox veröffentlicht, und alle drei Modelle lassen sich über Ofox aufrufen. Für den Test haben wir den Ofox-Endpunkt verwendet, weil ein einziges Anfrageformat alle drei Modelle erreicht. Ofox-Preise nennen wir hier nicht; den aktuellen Tarif zeigt jede Modellseite.
Schnelle Entscheidung nach Aufgabe
Diese Tabelle kombiniert unsere Messungen mit der Dokumentation der Hersteller. „Unser Lauf“ bedeutet zwei Aufrufe pro Modell und Aufgabe; die Latenzwerte sind daher Anschauungsbeispiele, keine Service-Level.
| Wenn Ihre Hauptlast … ist | Beginnen Sie mit | Warum (und Art des Belegs) | Wechseln, wenn |
|---|---|---|---|
| kleine Bugfixes, SQL, kurze Funktionen nach Spezifikation | GPT-6.1 Terra | Hat hier jede Prüfung bestanden, mit den insgesamt wenigsten Ausgabetoken und der niedrigsten Median-Latenz; niedrigster Listenpreis der drei. Bei SQL und Code nach Spezifikation war Sonnet etwas schneller (unser Lauf + OpenAI-Preise) | Ihre eigenen Fehlschläge sich bei Änderungen über mehrere Dateien oder mit langem Kontext häufen |
| strukturierte Extraktion (JSON aus unordentlichem Text) | Terra oder Sonnet 5.5 | Beide antworteten mit etwa 80–85 Ausgabetoken; Hydrogen brauchte für dasselbe Ergebnis 416 und 1.145 Token (unser Lauf) | ein Schema Schlussfolgerungen über mehrere Dokumente erfordert |
| mehrstufige Planung ohne Werkzeuge | zuerst Terra, Sonnet 5.5 als Zweitmeinung | Alle drei fanden den optimalen Zeitplan; Terra war am schnellsten, Sonnets Ausgabe lag im Mittelfeld (unser Lauf) | Pläne Werkzeugaufrufe oder lange, noch nicht getestete Randbedingungen brauchen |
| Agent-Schleifen und Arbeit im Repository mit Standardeinstellungen | Hydrogen oder Sonnet 5.5, nach Ihrer eigenen Evaluierung | In Googles Tabelle liegt Hydrogen bei SWE-sweep und AutomationBench-AA vorn, Sonnet bei Terminal-Bench 4.1 und OSWorld-2.1 (Herstellerangaben) | Ihre eigenen Agent-Läufe den Herstellerzahlen widersprechen |
| Video-, Audio- oder gemischte Medieneingaben | Hydrogen | Akzeptiert Text, Bild, Audio und Video als Eingabe; Sonnet 5.5 und Terra nehmen Text und Bild entgegen (Googles Modellkarte, Anthropics Modellübersicht, OpenAIs Modellseite zu Terra) | Sie nur Text und Bilder senden |
| Prototypen ohne Budget | Hydrogen in Googles kostenloser Stufe | Als einziges der drei mit dauerhafter kostenloser API-Stufe; Anthropic bietet Neukunden einmalige Guthaben (Preisseiten von Google und Anthropic) | Sie planbaren Durchsatz brauchen; für die kostenlose Stufe gelten Limits |
Wenn Sie ein Standardmodell innerhalb von Googles eigener Familie statt herstellerübergreifend wählen, lesen Sie unseren Leitfaden zu Gemini 4 Carbon, Hydrogen und Argon. Die gesamte Modellreihe der drei Hersteller, vom kleinen bis zum Flaggschiffmodell, zeigt die Übersicht der Modellstufen von Gemini 4, Claude und GPT.
Womit Googles Hydrogen-Modellkarte vergleicht
Die Gegner hat Google selbst ausgewählt. Die am 12. November 2026 veröffentlichte Modellkarte stellt Gemini 4 Hydrogen neben Claude Sonnet 5.5 und GPT-6.1 Terra. Wir haben die Tabelle aus einem Snapshot vom 19. November 2026 nachgebaut und Googles „Notes“-Angaben beibehalten, weil sie die Bedeutung jeder Zahl verändern.
| Kategorie | Benchmark (Googles Angabe) | Gemini 4 Hydrogen | Claude Sonnet 5.5 | GPT-6.1 Terra |
|---|---|---|---|---|
| Agentisches Programmieren | SWE-sweep | 13,5 % | 3,1 % | 5,8 % |
| Agentisches Programmieren | Terminal-Bench 4.1 (cheating-adjusted) | 57,0 % | 63,9 % | nicht aufgeführt |
| Wissensarbeit | Agents’ Last Exam v1.1 (score) | 71,6 % | 60,4 % | 69,8 % |
| Wissensarbeit | AutomationBench-AA | 76,1 % | 71,8 % | 60,2 % |
| Wissensarbeit | Vending-Bench 2 (bank balance) | 14.549 $ | 11.165 $ | 9.107 $ |
| Computerbedienung | OSWorld-2.1 (offline subset) | 77,6 % | 83,9 % | 74,2 % |
| Multimodales Verständnis | MKA (Climb WSR accuracy) | 53,4 % | 52,0 % | 43,8 % |
| Multimodales Verständnis | Chartography | 66,6 % | 61,6 % | 63,2 % |
| Naturwissenschaft und Mathematik | Terminal-Bench-Science 0.1 | 51,4 % | 59,9 % | 58,3 % |
| Reasoning | HLE-Diamond | 58,8 % | 53,3 % | 47,3 % |
Quelle: Google DeepMind, Modellkarte Gemini 4 Hydrogen, „Results as of November, 2026“. Es handelt sich um Herstellerangaben; Ofox hat sie nicht reproduziert.
Die Tabelle lässt sich in zwei Teilen lesen. Hydrogen führt in sieben der zehn Zeilen, mit dem größten relativen Abstand bei SWE-sweep. Sonnet 5.5 führt in drei: Terminal-Bench 4.1, OSWorld-2.1 und Terminal-Bench-Science. Terra führt in keiner Zeile und hat keinen Eintrag für Terminal-Bench 4.1. Bevor Sie das als Rangliste lesen, einige Einschränkungen:
- Die Zeilen, in denen Sonnet vorn liegt, betreffen Terminal- und Computerbedienung. Wenn Ihr Agent vor allem eine Shell oder einen Desktop steuert, sind diese Zeilen für Sie relevanter als eine Reasoning-Prüfung.
- Der Snapshot nennt nicht, mit welchen Effort- oder Thinking-Einstellungen jedes Modell lief, und auch nicht, ob die Werte der Konkurrenz aus Googles eigenen Läufen oder von den anderen Herstellern stammen. Google verweist für Details auf eine Methodikseite (englisch); wir haben sie nicht geprüft.
- Die SWE-sweep-Werte sind bei allen dreien niedrig. 13,5 % gegenüber 3,1 % ist relativ gesehen ein großer Abstand, beschreibt aber einen Benchmark, an dem jedes Modell überwiegend scheitert.
- „Cheating-adjusted“ und „offline subset“ sind bestimmte Bewertungsvarianten. Vergleichen Sie sie nur mit Zahlen, die dieselbe Variante verwenden.
Google positioniert Hydrogen als Modell für „everyday coding and agentic workflows“ (alltägliches Programmieren und agentische Workflows). Die Karte nennt auch bekannte Einschränkungen: Halluzinationen, gelegentliche Langsamkeit oder Timeouts und höheren Token-Verbrauch auf höheren Thinking-Stufen. Unsere Läufe passen zum Punkt mit den Token: Hydrogen erzeugte bei jeder Aufgabe die meisten Ausgabetoken, wobei wir nicht sehen konnten, welche Thinking-Stufe die Route anwendete.
Preise, Kontext, Ausgabelimits und Effort-Steuerung
Alle Angaben unten stammen aus der Dokumentation der jeweiligen Hersteller, geprüft am 19. November 2026. Die Preise sind Listenpreise der Standard-Stufe in US-Dollar pro einer Million Token.
| Gemini 4 Hydrogen | Claude Sonnet 5.5 | GPT-6.1 Terra | |
|---|---|---|---|
| Native Modell-ID | gemini-4-hydrogen | claude-sonnet-5-5 | gpt-6.1-terra |
| Eingabe | 1,50 $ | 2,00 $ | 1,00 $ (Kontext ≤272K) / 2,00 $ (>272K) |
| Ausgabe inkl. Reasoning | 7,50 $ | 10,00 $ | 5,00 $ (≤272K) / 7,50 $ (>272K) |
| Cache-Treffer | 0,075 $ (nur implizites Caching) | 0,10 $ | 0,05 $ (≤272K) / 0,10 $ (>272K) |
| Cache-Schreibvorgänge | nicht aufgeführt (implizit) | 2,50 $ (5 Minuten) / 4,00 $ (1 Stunde) | 1,25 $ (30 Minuten) / 2,50 $ (12 Stunden), ≤272K |
| Aufschlag für langen Kontext | keiner: einheitlich über 1M | keiner: volle 1M zum Standardpreis | ja, über 272K Token |
| Kontextfenster | 1.048.576, geteilt von Eingabe, Thinking und Ausgabe | 1M | 1.050.000 |
| Maximale Ausgabe | 65.536 pro synchroner Anfrage; lange Dekodierung bis 1M im Hintergrundmodus | 128K | 128.000 |
| Effort-/Thinking-Steuerung | thinking_level: low, medium, high (Standard), xhigh | effort: low, medium, high (Standard), xhigh, max | reasoning effort: none, low, medium (Standard), high, xhigh, max |
| Kostenlose API-Stufe | Ja, mit Ratenlimits | Nein; kostenloses Guthaben für Neukunden | keine kostenlose Stufe aufgeführt |
| Batch-Preis | 0,75 $ / 3,75 $ | 1,00 $ / 5,00 $ | 0,50 $ / 2,50 $ (≤272K) |
Quellen (alle englisch): Google-Preise und der Hydrogen-Entwicklerleitfaden; bei Anthropic Preise, Modellübersicht und Effort-Leitfaden; bei OpenAI Preise und die Modellseite zu GPT-6.1 Terra.
Aus dieser Tabelle folgen drei praktische Konsequenzen.
Die Standardwerte sind nicht gleich. Hydrogen und Sonnet 5.5 verwenden standardmäßig ihre Stufe „high“, Terra dagegen „medium“. Wer Modelle vergleicht, ohne Effort zu setzen – wie die meisten am ersten Tag –, vergleicht Terra eine Stufe tiefer. Anthropic empfiehlt für klar spezifiziertes agentisches Programmieren mit Sonnet 5.5 medium als Ausgangspunkt. Google empfiehlt, Evaluierungen auf allen vier Hydrogen-Stufen laufen zu lassen und die niedrigste zu wählen, die Ihre Qualitätsanforderung erfüllt. Unsere Leitfäden zu den Effort-Stufen von Sonnet 5.5 (englisch) und den Thinking-Stufen von Gemini 4 zeigen, wie solche Vergleichsreihen aussehen.
Listenpreis ist nicht gleich Aufgabenkosten. Hydrogens Ausgabepreis liegt 25 % unter dem von Sonnet, aber Ausgabetoken schließen das Thinking ein. In unseren Läufen erzeugte Hydrogen bei denselben, jeweils bestandenen Aufgaben etwa 2,7-mal so viele Ausgabetoken wie Sonnet, sodass die geschätzten Kosten höher lagen. Der Leitfaden zu den Aufgabenkosten von Sonnet 5.5 (englisch) zeigt, wie Sie Cache, Wiederholungen und Ausgabe über eine ganze Aufgabe hinweg erfassen.
Lange Prompts ändern Terras Preis. Ab mehr als 272K Token Kontext steigen Terras Eingabe- und Ausgabepreise auf 2,00 $ und 7,50 $. Hydrogen und Sonnet 5.5 berechnen über ihr gesamtes Fenster denselben Preis. Bei Prompts im Umfang eines Repositorys sollten Sie die Kosten mit Ihrer tatsächlichen Prompt-Länge berechnen statt mit dem ausgewiesenen Grundpreis.
Die kostenlose Stufe von Hydrogen
Google führt Hydrogen in der kostenlosen Stufe der Gemini API und von AI Studio als „free of charge“ (kostenlos), vorbehaltlich der Ratenlimits (englisch). Googles Preistabelle vermerkt außerdem, dass Daten aus der kostenlosen Stufe zur Verbesserung der Google-Produkte verwendet werden, was in der kostenpflichtigen Stufe nicht der Fall ist. Weder Anthropic noch OpenAI führen eine kostenlose API-Stufe für Sonnet 5.5 oder Terra. Laut Anthropics Preis-FAQ erhalten Neukunden kostenloses Guthaben, um die API zu testen; das ist eine einmalige Testmöglichkeit, keine dauerhafte kostenlose Stufe.
Diese kostenlose Stufe gilt nur für Googles eigene API. Anfragen über Ofox oder ein anderes Gateway deckt sie nicht ab; diese rechnet das Gateway ab. Unser Einrichtungsleitfaden für die Hydrogen-API beschreibt beide Wege, und die Erklärung zur kostenlosen API-Stufe von Gemini 4 behandelt Voraussetzungen und Limits.
Unabhängige Messungen: Artificial Analysis bei den Standardeinstellungen
Artificial Analysis veröffentlicht einen Intelligence Index sowie Daten zu Geschwindigkeit, Token-Verbrauch und Kosten für jede Effort-Einstellung. Die Hauptzahl verwendet die jeweils höchste Einstellung eines Modells – nicht das, womit die meisten Anwendungen laufen. Die Tabelle unten liest jedes Modell bei seinem dokumentierten API-Standard. Die Werte stammen aus den Daten, die am 19. November 2026 in die drei Modellseiten eingebettet waren; sie ändern sich, wenn Artificial Analysis seine Evaluierungen neu durchführt.
| Kennzahl von Artificial Analysis | Hydrogen bei high (Standard) | Sonnet 5.5 bei high (Standard) | Terra bei medium (Standard) |
|---|---|---|---|
| Intelligence Index | 50,8 | 41,5 | 38,2 |
| Ausgabegeschwindigkeit (Token/s) | 164,7 | 135,8 | 60,4 |
| Zeit bis zum ersten Antworttoken | 19,4 s | 9,4 s | 5,1 s |
| Ausgabetoken pro Index-Aufgabe | 84.978 | 58.421 | 10.875 |
| Zeit pro Index-Aufgabe | 8,6 min | 7,2 min | 3,0 min |
| Kosten pro Index-Aufgabe | 1,87 $ | 1,64 $ | 0,17 $ |
| Hauptindex (höchste Einstellung) | 53,9 bei xhigh | 54,5 bei max | 51,3 bei max |
Quelle: Seiten zu Hydrogen, Sonnet 5.5 und GPT-6.1 Terra bei Artificial Analysis (englisch), gelesen am 19. November 2026. Die Kosten pro Aufgabe sind eine eigene Berechnung von Artificial Analysis zu Listenpreisen.
Bei den Standardeinstellungen erzielt Hydrogen den höchsten Wert und erzeugt Token am schnellsten. Es produziert aber pro Aufgabe etwa das 1,5-Fache von Sonnets Ausgabetoken und fast das Achtfache von Terras, und es wartet am längsten bis zum ersten Antworttoken. Terra erzeugt Token am langsamsten, braucht aber so wenige, dass es eine durchschnittliche Aufgabe in weniger als der halben Zeit der beiden anderen erledigt, zu ungefähr einem Zehntel ihrer Kosten. Bei den höchsten Einstellungen liegt Sonnet 5.5 im Index knapp vor Hydrogen. Artificial Analysis hat für Sonnet bei max allerdings rund 264 Sekunden bis zum ersten Antworttoken gemessen; für interaktive Arbeit eignet sich diese Einstellung daher nicht.
Das sind aggregierte Evaluierungen. Unser kleiner Test im nächsten Abschnitt zeigt dasselbe Muster an konkreten Aufgaben.
Fünf Alltagsaufgaben über einen Endpunkt
Aufbau. Am 19. November 2026 haben wir jede Aufgabe als einzelne User-Nachricht an https://api.ofox.ai/v1/chat/completions gesendet, mit den Modell-IDs google/gemini-4-hydrogen, anthropic/claude-sonnet-5.5 und openai/gpt-6.1-terra. Jede Anfrage enthielt nur model, messages und max_tokens: 32000: kein System-Prompt, keine Sampling-Parameter und kein Reasoning- oder Effort-Feld. Welche Effort- oder Thinking-Stufe jede Ofox-Route anwendet, wenn keine gesendet wird, wissen wir nicht. Sie könnte dem dokumentierten API-Standard der Hersteller entsprechen (high, high und medium), aber die Antworten geben das nicht an, daher können wir es nicht bestätigen. Jede Aufgabe lief zweimal pro Modell, wobei die Reihenfolge der Modelle zwischen Aufgaben und Runden wechselte. Die Latenz ist die gemessene Gesamtzeit bis zur nicht gestreamten Antwort bei unserem Client und enthält daher die Netzwerkzeit. Die Token-Zahlen stammen aus dem usage-Objekt jeder Antwort.
Prüfungen. Jede Prüfung wurde vor dem ersten Modellaufruf geschrieben und an einer Referenzantwort validiert. Ein Lauf gilt nur als bestanden, wenn die programmatische Prüfung besteht; nach Augenmaß haben wir nicht bewertet.
| Aufgabe | Was das Modell tun musste | Objektive Prüfung |
|---|---|---|
| T1 Fehlschlagende Funktion reparieren | merge_intervals reparieren (unsortierte Eingabe, sich berührende Intervalle) | Die zurückgegebene Funktion mit dem gegebenen Test und vier zurückgehaltenen Fällen ausführen: leere Liste, berührend, verschachtelt, Punktintervalle |
| T2 SQL aus einem Schema | Kunden mit ≥2 bezahlten Bestellungen in 2026, Gesamtbetrag, feste Sortierung | Abfrage auf befüllter SQLite-Datenbank ausführen und Zeilen exakt vergleichen; die Daten enthalten eine Erstattung, eine Bestellung aus 2025 und einen Gleichstand |
| T3 JSON-Extraktion | Rechnungsfelder aus einer unordentlichen weitergeleiteten E-Mail mit Selbstkorrektur und europäischem Zahlenformat | JSON parsen; exakte Schlüssel; Werte müssen dem erwarteten Datensatz entsprechen (korrigierte Summe 1420.5, Fälligkeitsdatum aus den Zahlungsbedingungen berechnet, PO null) |
| T4 Planung ohne Werkzeuge | Release-Zeitplan für zwei Personen mit Abhängigkeiten und einer Regel für eine geteilte Ressource | Alle Regeln zu Abhängigkeiten, Personen und Überschneidungsfreiheit prüfen, dann die minimale Endzeit verlangen (68 Minuten) |
| T5 Code nach Spezifikation | retry_delay_seconds() für HTTP Retry-After, Sekunden oder HTTP-Datum | Neun zurückgehaltene Fälle, darunter Leerzeichen, negative, nicht parsebare und vergangene Daten |
Ergebnisse
| Aufgabe | Hydrogen: bestanden, Latenz, Ausgabetoken | Sonnet 5.5: bestanden, Latenz, Ausgabetoken | Terra: bestanden, Latenz, Ausgabetoken |
|---|---|---|---|
| T1 Funktion reparieren | 2/2 · 4,3 s, 4,5 s · 551, 603 | 2/2 · 4,2 s, 4,2 s · 270, 282 | 2/2 · 1,9 s, 2,9 s · 106, 144 |
| T2 SQL | 2/2 · 8,2 s, 7,0 s · 1.160, 901 | 2/2 · 3,4 s, 3,1 s · 190, 190 | 2/2 · 3,7 s, 4,7 s · 311, 333 |
| T3 JSON-Extraktion | 2/2 · 3,6 s, 8,5 s · 416, 1.145 | 2/2 · 3,1 s, 3,3 s · 85, 85 | 2/2 · 4,2 s, 2,1 s · 83, 79 |
| T4 Planung | 2/2 · 9,3 s, 10,3 s · 1.318, 1.373 | 2/2 · 9,1 s, 8,3 s · 755, 840 | 2/2 · 3,9 s, 3,6 s · 224, 265 |
| T5 Code nach Spezifikation | 2/2 · 14,9 s, 23,8 s · 2.154, 3.532 | 2/2 · 9,9 s, 9,1 s · 1.132, 1.013 | 2/2 · 10,7 s, 10,6 s · 941, 1.001 |
| Summen über je 10 Aufrufe | Hydrogen | Sonnet 5.5 | Terra |
|---|---|---|---|
| Bestanden | 10/10 | 10/10 | 10/10 |
| Median-Latenz | 8,4 s | 4,2 s | 3,8 s |
| Langsamster Aufruf | 23,8 s | 9,9 s | 10,7 s |
| Eingabetoken (gemeldet) | 2.372 | 2.874 | 1.916 |
| Ausgabetoken (gemeldet) | 13.153 | 4.842 | 3.487 |
| Geschätzte Kosten zu offiziellen Listenpreisen | 0,102 $ | 0,054 $ | 0,019 $ |
Gemessen am 19. November 2026, n = 2 pro Zelle. Die Kostenzeile ist unsere Berechnung aus den gemeldeten Token und den Standard-Listenpreisen der Hersteller, keine Rechnung; Ofox rechnet zu dem Tarif ab, der auf der jeweiligen Modellseite steht. Alle 30 Aufrufe zusammen kamen zu Listenpreisen auf etwa 0,18 $.
Was die Läufe zeigen:
- Korrektheit hat die Modelle bei diesen Aufgaben nicht unterschieden. Jedes Modell bestand in beiden Läufen alle zurückgehaltenen Fälle, einschließlich des europäischen Dezimalformats, der korrigierten Rechnungssumme und des C/D-Konflikts im Zeitplan. Für Alltagsaufgaben dieser Größe ist das ein nützlicher Befund, über schwierigere Arbeit sagt er aber nichts aus.
- Hydrogen verbrauchte über eine Route ohne gesetzte Thinking-Stufe bei jeder Aufgabe die meisten Token. Der Großteil seiner Ausgabe war Reasoning: zum Beispiel 3.361 von 3.532 Ausgabetoken im langsameren T5-Lauf. Es hatte auch die größte Streuung zwischen den Läufen (T3: 3,6 s und 8,5 s für denselben Prompt). Das passt zu Googles Hinweis, dass höhere Thinking-Stufen mehr Token verbrauchen.
- Sonnet 5.5 war am konstantesten. Seine beiden Läufe lagen bei jeder Aufgabe weniger als eine Sekunde auseinander, und seine JSON-Antwort umfasste beide Male 85 Token. Bei den drei kürzesten Aufgaben enthielt sein usage-Objekt keine Aufschlüsselung der Reasoning-Token, daher können wir nicht sagen, wie viel es dort gedacht hat.
- Terra war bei allen fünf Aufgaben am günstigsten und hatte die niedrigste Median-Latenz. Beim Bugfix und bei der Planung war es klar am schnellsten, bei der Extraktion ungefähr gleichauf mit Sonnet; bei SQL und Code nach Spezifikation war Sonnet schneller. Terras kurze Ausgabe gleicht aus, dass es laut den Daten von Artificial Analysis von den dreien Token am langsamsten erzeugt.
Der naheliegende nächste Schritt wäre, Hydrogen mit medium oder low und Sonnet mit medium erneut laufen zu lassen. Das haben wir hier nicht getan, weil die Zuordnung des Effort-Felds für jede Ofox-Route eine eigene Überprüfung braucht. Verstehen Sie die Hydrogen-Zahlen als Messung derjenigen Einstellung, die die Route ohne Angabe anwendete, nicht als Messung seiner besten Einstellung bei Kosten und Qualität.
Selbst nachstellen
Die Prompts unten sind genau der Text, den wir gesendet haben. Ersetzen Sie Endpunkt und Modell-IDs durch die Ihres Anbieters, lassen Sie max_tokens hoch und führen Sie dieselben Prüfungen aus. Speichern Sie die Rohantwort, damit Sie usage später prüfen können.
import json, os, time, urllib.request
def ask(model: str, prompt: str) -> tuple[str, dict, float]:
body = {"model": model, "messages": [{"role": "user", "content": prompt}], "max_tokens": 32000}
req = urllib.request.Request(
"https://api.ofox.ai/v1/chat/completions",
data=json.dumps(body).encode(),
headers={"Authorization": "Bearer " + os.environ["OFOX_API_KEY"],
"Content-Type": "application/json"},
)
t0 = time.monotonic()
resp = json.load(urllib.request.urlopen(req, timeout=600))
return resp["choices"][0]["message"]["content"], resp.get("usage", {}), time.monotonic() - t0
Basis-URL und Anfrageformat folgen der Chat-Completions-Referenz von Ofox. Führen Sie die Prüfungen mit Python 3.10 oder neuer aus: Zwei Modelle lieferten Typannotationen wie str | None, die Python 3.9 ohne __future__-Import nicht auswerten kann.
Die Prompts stehen hier auf Englisch, so wie sie gesendet wurden.
Prompt T1
This function fails its test. Fix the function. Return only the corrected function in one ```python block.
```python
def merge_intervals(intervals):
"""Merge overlapping or touching closed intervals [start, end].
Input may be unsorted. Return a new sorted list of [start, end] lists."""
merged = []
for start, end in intervals:
if merged and start < merged[-1][1]:
merged[-1][1] = end
else:
merged.append([start, end])
return merged
```
Failing test:
```python
def test_merge():
assert merge_intervals([[5, 7], [1, 3], [2, 4]]) == [[1, 4], [5, 7]]
```
Zurückgehaltene Fälle: [] → [], [[1,3],[3,5]] → [[1,5]], [[1,10],[2,3]] → [[1,10]], [[4,4],[1,2]] → [[1,2],[4,4]].
Prompt T2 (Testdaten für die Prüfung: fünf Kunden und zwölf Bestellungen, darunter eine erstattete Bestellung, eine Bestellung vom Dezember 2025 und drei Kunden mit jeweils 2.000 Cent gleichauf; erwartet werden die Zeilen ana@, cy@ und di@example.com, jeweils mit 2000)
SQLite schema:
```sql
CREATE TABLE customers (id INTEGER PRIMARY KEY, email TEXT NOT NULL);
CREATE TABLE orders (id INTEGER PRIMARY KEY, customer_id INTEGER NOT NULL REFERENCES customers(id),
status TEXT NOT NULL, -- 'paid', 'refunded' or 'pending'
created_at TEXT NOT NULL, -- ISO 8601 UTC, e.g. '2026-03-01T09:30:00Z'
amount_cents INTEGER NOT NULL);
```
Write one SQLite query that returns, for every customer with at least 2 orders whose status is 'paid' and whose created_at falls in calendar year 2026 (UTC), two columns: email and total_paid_cents (the sum of amount_cents over those same orders). Order by total_paid_cents descending, then email ascending. Return only the query in one ```sql block.
Prompt T3
Extract the invoice details from the message below. Reply with only a JSON object with exactly these keys:
"vendor" (string), "invoice_number" (string), "issue_date" (YYYY-MM-DD), "due_date" (YYYY-MM-DD or null), "currency" (ISO 4217 code), "total" (number), "po_number" (string or null).
Use the corrected values if the message corrects itself. Compute due_date if the payment terms make it determinable. Do not guess values that are missing.
---
fwd: pls process asap!!
> From: billing@northwind-supplies.example
> Hi team, attached is inv. NW-2026-0419 from Northwind Supplies Ltd, dated 3 Nov 2026.
> Amount due: EUR 1.240,50 (incl. VAT). Payment terms: 30 days from invoice date.
> Sorry, correction: the total should read EUR 1.420,50, the first figure had a typo.
> PO: we don't have one from you yet, please send it.
--
Sent from my phone
---
Erwartet: NW-2026-0419, Rechnungsdatum 2026-11-03, fällig 2026-12-03, EUR, Summe 1420.5, PO null.
Prompt T4
Plan a release. Steps and durations (minutes):
A build=10, B unit tests=15, C integration tests=20, D database migration=12, E deploy canary=8, F smoke test=5, G full rollout=10, H notify customers=3.
Rules:
1. B and C need A finished. D needs B finished.
2. E needs C and D finished. F needs E finished. G needs F finished.
3. H must start only after G finished.
4. Two workers are available; a worker does one step at a time and a step is never split.
5. D must not run at the same time as C (they share the staging database).
Find a schedule with the smallest possible finish time. Reply with only a JSON object {"steps": [{"id": "A", "start": 0}, ...]} listing all eight steps with integer start minutes.
Das Optimum liegt bei 68 Minuten: C läuft von Minute 10 bis 30, also muss D bis Minute 30 warten.
Prompt T5
Write a Python function `retry_delay_seconds(header: str | None, now: datetime.datetime) -> float | None` for an HTTP client.
- `header` is the raw Retry-After header value (may be None, may have surrounding whitespace).
- If it is a non-negative integer number of seconds, return it as a float.
- If it is an HTTP-date (IMF-fixdate, e.g. "Wed, 21 Oct 2026 07:28:00 GMT"), return the seconds from `now` (timezone-aware UTC) until that date; return 0.0 if the date is in the past.
- Return None for None, empty, negative or unparseable values.
Use only the standard library. Return only the code (imports plus the function) in one ```python block.
Mit now = 2026-10-21 07:00:00 UTC lauten die zurückgehaltenen Fälle: "120" → 120.0, " 7 " → 7.0, "0" → 0.0; None, "", "-5" und "soon" → None; "Wed, 21 Oct 2026 07:28:00 GMT" → 1680.0; ein Datum einen Tag früher → 0.0.
Grenzen dieses Vergleichs
- Kleine Stichprobe. Zwei Läufe pro Zelle zeigen eine Richtung, keine stabilen Quoten. Ein Modell, das 2/2 bestanden hat, kann beim dritten Lauf trotzdem scheitern.
- Leichte Aufgaben. Alle 30 Aufrufe haben bestanden, daher können diese Aufgaben die Modelle nicht nach Korrektheit ordnen. Testen Sie mit Ihren eigenen Problemfällen, vor allem Änderungen über mehrere Dateien und langen Kontexten, bevor Sie einer Rangliste vertrauen.
- Eine Route. Wir haben über den OpenAI-kompatiblen Endpunkt von Ofox von einem einzigen Client-Standort aus gemessen. Native APIs, andere Regionen, Streaming und die Tageszeit können die Latenz verändern. Der Ofox-Katalog vermerkt, dass Terras Tool Calling die Responses API verwendet; Agent-Tests mit Werkzeugen auf Terra brauchen daher diesen Endpunkt statt des obigen Chat-Completions-Aufrufs.
- Keine Werkzeuge, keine Bilder, kein langer Kontext. Keine der Aufgaben nutzte Function Calling, Computerbedienung, multimodale Eingaben oder Prompts über einige hundert Token. Genau in diesen Bereichen zeigt Googles Tabelle die größten Unterschiede.
- Unbekannter, nicht angeglichener Effort. Wir haben keinen Effort gesetzt, und welchen Effort jede Ofox-Route anwendete, ist in den Antworten nicht sichtbar. Falls die Routen den dokumentierten Standards der Hersteller folgen, lief Terra eine Stufe niedriger als die beiden anderen. So oder so messen unsere Ergebnisse, wie jedes Modell eine Anfrage ohne Effort-Feld beantwortet, nicht einen Vergleich bei gleichem Effort.
Wenn ein Aufruf fehlschlägt
Wenn ein Testaufruf einen Fehler statt einer Antwort liefert, liegt die Ursache meist bei der Route oder einem Parameter, nicht bei der Fähigkeit des Modells. Für Hydrogen hilft der Leitfaden zu API-Fehlern bei Gemini 4. Bei Werkzeugnutzung über mehrere Runden prüfen Sie auch die Lösung für eine fehlende Thought Signature (englisch). Für Sonnet 5.5 behandelt der Leitfaden zu 400-Fehlern nach der Migration auf Sonnet 5.5 (englisch) Anfragen, die nach einem Upgrade abgelehnt werden, etwa mit deaktiviertem Thinking oder erzwungener Werkzeugnutzung. Zu Tool Calls mit GPT-6.1 siehe die Lösung für Tool Calling über die Responses API (englisch); sie wurde für Sol geschrieben, deckt aber dasselbe Anfrageformat ab. Antworten mit 429 wiederholen Sie mit Backoff, wie in unserem Leitfaden zu 429-Wiederholungen (englisch) beschrieben. Die Ofox-Dokumentation zu Fehlerbehandlung und Ratenlimits listet die eigenen Codes und Standardlimits des Gateways.
Verwandte Vergleiche und Einrichtungsleitfäden
- Eine Stufe tiefer: Gemini 4 Hydrogen vs. Claude Haiku 5.5 vs. GPT-6 Luna.
- Eine Stufe höher: Gemini 4 Neon vs. Claude Opus 5.5 vs. GPT-6.2 Sol.
- Hydrogen in einem Coding-Agenten: Hydrogen in Cline und OpenCode verwenden; Umstieg von Flash: Migration von Gemini 3.8 Flash zu Hydrogen.
- Sonnet 5.5 gegen OpenAIs größeres Modell: GPT-6.1 Sol vs. Claude Sonnet 5.5 (englisch).
- Sonnet 5.5 in der Praxis: Einrichtung in Claude Code (englisch) und Sonnet 5.5 vs. Opus 5.5 beim Programmieren (englisch).
Weiterführende Dokumentation
- Ofox-Referenz zur Chat Completions API
- Fehlerbehandlung und Ratenlimits bei Ofox
- Ofox-Integrationen für Werkzeuge
- Modellseiten mit aktuellen Ofox-Preisen: Gemini 4 Hydrogen, Claude Sonnet 5.5, GPT-6.1 Terra


