Halluzinationsrate von Gemini 4: Die 4,3 % gelten für Argon auf high, im Standard sind es 15,4 %
Die oft zitierte Halluzinationsrate von 4,3 % für Gemini 4 Argon gilt für die Denkstufe high, im Standard (medium) sind es 15,4 %. AA-Omniscience-Werte für jede Gemini-4-Stufe im Vergleich mit Claude und GPT, worauf sie sich beziehen und wann sich das Ablehnen lohnt.
Die viel zitierten 4,3 % sind die AA-Omniscience-Halluzinationsrate von Gemini 4 Argon auf der Denkstufe high, nicht im Standard. Argon läuft standardmäßig auf medium, und dort misst Artificial Analysis (AA) 15,4 %. Außerdem heißt 4,3 % nicht „in 4 % der Fälle falsch“: AA teilt die falschen Antworten durch die Fragen, die das Modell nicht richtig beantwortet hat. Argon auf high antwortet daher bei etwa 2 % aller Fragen falsch, bei 48 % richtig und lehnt bei etwa der Hälfte ab (oder antwortet nur teilweise).
Über alle dreizehn Gemini-4-Konfigurationen, die AA führt, reichen die Halluzinationsraten von 4,2 % (Carbon auf seinem Standard medium) bis 19,8 % (Carbon low). Die Claude-5.5-Familie, Claude Fable 5.2 und die GPT-6.x-Modelle liegen zwischen 34 % und 85 %. Gemini 4 erreicht seine niedrigen Raten vor allem dadurch, dass es ablehnt, wenn es etwas nicht weiß, und nicht durch mehr Wissen: Claude Fable 5.2 beantwortet auf max 79,1 % der Fragen richtig, Argon auf high 48,3 %. Welches Modell „zuverlässiger“ ist, hängt deshalb davon ab, was Sie eine falsche Antwort im Vergleich zu „Ich weiß es nicht“ kostet. Im Folgenden: jede Gemini-4-Stufe, acht Konkurrenten von Claude und GPT, das Kostenverhältnis, bei dem jeder Zielkonflikt kippt, und ein kleiner Test, den wir über Ofox durchgeführt haben.
Quellen und Daten:
- AA-Daten: am 19. November 2026 von der AA-Seite jedes Modells abgerufen (Rohseiten und unser Auszug liegen im Belegordner des Artikels).
- Aussagen von Google: Model Cards von Gemini 4, die „What’s new“-Seiten in AI Studio und der Launch-Beitrag zu Neon, geprüft am 19. November 2026, gekennzeichnet als Herstellerangaben.
- Unser Test: 6 Modelle, 20 Fragen, je ein Durchlauf, 19. November 2026. Zur Veranschaulichung, kein Benchmark.
Dieser Artikel wird von Ofox veröffentlicht. Nicht alle hier besprochenen Modelle lassen sich über Ofox aufrufen: Stand 19. November 2026 sind Gemini 4 Argon und Hydrogen auf Ofox verfügbar, Gemini 4 Carbon und Neon nicht. Alle Claude- und GPT-Modelle in den Tabellen sind auf Ofox verfügbar.
Was AA-Omniscience misst
AA-Omniscience v1.1 ist ein Wissenstest ohne Hilfsmittel („closed book“): 3.000 Fragen zu 42 Themen aus Wirtschaft, Geistes- und Sozialwissenschaften, Gesundheit, Recht, Softwareentwicklung sowie Naturwissenschaften, Ingenieurwesen und Mathematik. Das Modell antwortet aus eigenem Wissen, ohne Tools. Ein Bewertungsmodell (AA nennt GPT-5.6 Luna auf medium) ordnet jede Antwort einem von vier Ergebnissen zu: CORRECT, INCORRECT, PARTIAL_ANSWER oder NOT_ATTEMPTED. Auf der Methodikseite und der Evaluationsseite definiert AA darauf aufbauend drei Kennzahlen:
| AA-Kennzahl | Formel | Was sie aussagt |
|---|---|---|
| Genauigkeit (Accuracy) | richtig ÷ alle Fragen | Wie viel das Modell weiß und korrekt wiedergibt |
| Halluzinationsrate (Hallucination rate) | falsch ÷ (falsch + teilweise + nicht versucht) | Wenn das Modell eine Frage nicht richtig beantwortet, wie oft es sich auf eine falsche Antwort festlegt, statt abzulehnen |
| Net Score, auch Omniscience Index (−100 bis 100) | (richtig − falsch) ÷ alle Fragen × 100 (unsere Umformulierung) | Richtige Antworten bringen einen Punkt, falsche kosten einen; Ablehnungen und Teilantworten zählen null |
Die Formeln für Genauigkeit und Halluzinationsrate nennt AA direkt. Zum Net Score schreibt AA, er “rewards correct answers, penalizes hallucinations, and has no penalty for refusing to answer” (Übersetzung: belohnt richtige Antworten, bestraft Halluzinationen und sieht keine Strafe für die Verweigerung einer Antwort vor); die Formel in der Tabelle ist unsere Umformulierung, die wir unten überprüft haben.
Die Halluzinationsrate ignoriert jede richtig beantwortete Frage. Ein Modell, das 90 % richtig beantwortet und bei den übrigen 10 % falsch rät, hat eine Halluzinationsrate von 100 %; eines, das 40 % richtig beantwortet und den Rest ablehnt, hat 0 %. Sie misst also die Kalibrierung bei den Fragen, die das Modell nicht beantworten kann, nicht, wie oft Sie eine falsche Antwort bekommen. Umgerechnet auf Anteile an allen Fragen:
- Anteil falsch = (1 − Genauigkeit) × Halluzinationsrate
- Anteil abgelehnt oder teilweise = (1 − Genauigkeit) × (1 − Halluzinationsrate)
Für alle 55 Konfigurationen, die wir ausgelesen haben, ergibt Genauigkeit minus Anteil falsch exakt den von AA veröffentlichten Net Score (auf eine Nachkommastelle). Das bestätigt auch, dass Teilantworten mit null zählen. Die Spalte „abgelehnt oder teilweise“ fasst NOT_ATTEMPTED und PARTIAL_ANSWER zusammen, weil AA beide auf den Modellseiten nicht getrennt ausweist.
Zwei weitere Punkte. AA-Omniscience macht 15 % des AA Intelligence Index v5.0.1 aus (Genauigkeit 10 %, 1 − Halluzinationsrate 5 %). Der Gesamtindex, den Google auf den Model Cards von Neon und Carbon zitiert, enthält also bereits eine kleine Kalibrierungskomponente. Und v1.1 (3.000 Fragen) hat die v1 mit 6.000 Fragen abgelöst; AA schreibt, die Werte “are not directly comparable with v1” (Übersetzung: sind nicht direkt mit v1 vergleichbar). Ältere Artikel mit v1-Zahlen haben also etwas anderes gemessen.
Gemini 4 auf jeder Denkstufe
Alle Zeilen sind AA-Daten vom 19. November 2026. „Standard“ markiert die von Google dokumentierte Standard-Denkstufe des jeweiligen Modells: Carbon und Argon stehen standardmäßig auf medium und reichen bis high; Neon und Hydrogen stehen standardmäßig auf high und bieten zusätzlich xhigh („What’s new“-Seite zu Neon in Google AI Studio). Die letzten beiden Spalten haben wir aus den zwei Raten von AA berechnet.
| Modell und Stufe (AA) | Genauigkeit | Halluzinationsrate | Omniscience Index | Falsch, % aller Fragen | Abgelehnt oder teilweise, % aller Fragen |
|---|---|---|---|---|---|
Carbon low | 49,2 % | 19,8 % | 39,2 | 10,0 % | 40,7 % |
Carbon medium (Standard) | 48,9 % | 4,2 % | 46,8 | 2,2 % | 48,9 % |
Carbon high | 58,3 % | 11,4 % | 53,5 | 4,8 % | 37,0 % |
Argon medium (Standard) | 49,0 % | 15,4 % | 41,1 | 7,9 % | 43,2 % |
Argon high | 48,3 % | 4,3 % | 46,1 | 2,2 % | 49,5 % |
Neon low | 56,6 % | 18,8 % | 48,5 | 8,1 % | 35,2 % |
Neon medium | 57,9 % | 16,2 % | 51,1 | 6,8 % | 35,2 % |
Neon high (Standard) | 59,4 % | 13,9 % | 53,8 | 5,6 % | 35,0 % |
Neon xhigh | 60,5 % | 14,4 % | 54,8 | 5,7 % | 33,8 % |
Hydrogen low | 46,2 % | 18,8 % | 36,1 | 10,1 % | 43,6 % |
Hydrogen medium | 48,3 % | 12,5 % | 41,9 | 6,4 % | 45,2 % |
Hydrogen high (Standard) | 48,2 % | 8,7 % | 43,7 | 4,5 % | 47,3 % |
Hydrogen xhigh | 50,5 % | 8,5 % | 46,3 | 4,2 % | 45,3 % |
Aus welcher Zeile eine zitierte Zahl stammt. Der Haupteintrag (ohne Suffix) von AA für jedes Modell entspricht nicht immer dem API-Standard: Bei Carbon und Argon ist es high, bei Neon und Hydrogen xhigh (Seitennamen bei AA, Stand 19. November 2026). Deshalb lautet Argons Schlagzeilenwert 4,3 %, während ein Standardaufruf von gemini-4-argon (Denkstufe medium) der Zeile mit 15,4 % entspricht, etwa 3,6-mal so hoch. Die 15 % in unserem früheren Artikel zu Argons Benchmarks (auf Englisch) passen zu dieser Standardzeile. Bei Carbon ist es umgekehrt: Seine niedrigste Rate (4,2 %) liegt auf dem Standard medium, und high hebt sie auf 11,4 %, bringt dafür aber 9,4 Prozentpunkte mehr Genauigkeit.
Mehr Denken senkt Halluzinationen nicht linear. Hydrogen und Neon verbessern sich von low bis high und flachen danach ab. Carbon verläuft 19,8 % → 4,2 % → 11,4 %: Auf high weiß es mehr (58,3 % Genauigkeit) und antwortet bereitwilliger, sodass mehr der verbleibenden Fehlgriffe zu falschen Antworten werden. Testen Sie die Stufe, die Sie ausliefern wollen, statt anzunehmen, dass „höher sicherer“ ist; wie man sie pro Anfrage einstellt, zeigt unser Leitfaden zu den Denkstufen.
Die Genauigkeit liegt eng beieinander. Alle dreizehn Gemini-Zeilen bewegen sich zwischen 46 % und 61 % Genauigkeit. Die niedrigen Halluzinationsraten kommen vom Anteil der Ablehnungen (34–50 % aller Fragen). Selbst Neon, das hier kenntnisreichste Gemini-4-Modell, lehnt etwa ein Drittel der Fragen ab; die Wahl zwischen den beiden behandelt der Vergleich Neon vs. Carbon.
Claude 5.5, Fable 5.2 und GPT-6.x im selben Test
Der Haupteintrag von AA ist bei jedem dieser Modelle die Einstellung mit maximalem Aufwand (max). Die Tabelle zeigt diese Zeile sowie die Spanne der Halluzinationsraten über alle Aufwandsstufen, die AA für das Modell führt. Gleiche Quelle, gleiches Datum.
| Modell (AA-Hauptkonfiguration) | Genauigkeit | Halluzinationsrate | Index | Falsch, % aller | Abgelehnt oder teilweise, % aller | Spanne der Halluzinationsrate über AA-Stufen |
|---|---|---|---|---|---|---|
| Claude Fable 5.2 (max) | 79,1 % | 59,3 % | 66,8 | 12,4 % | 8,5 % | 56,4–60,4 % |
| Claude Opus 5.5 (max) | 65,5 % | 50,3 % | 48,1 | 17,4 % | 17,1 % | 50,3–66,9 % |
| Claude Sonnet 5.5 (max) | 51,5 % | 43,3 % | 30,5 | 21,0 % | 27,5 % | 43,3–63,6 % |
| Claude Haiku 5.5 (max) | 34,7 % | 34,2 % | 12,3 | 22,4 % | 43,0 % | 34,2–40,5 % |
| GPT-6.2 Astra (max) | 68,6 % | 59,1 % | 50,0 | 18,6 % | 12,9 % | 54,1–59,1 % |
| GPT-6.2 Sol (max) | 61,6 % | 55,4 % | 40,4 | 21,3 % | 17,1 % | 55,4–65,8 % |
| GPT-6.1 Terra (max) | 47,6 % | 34,5 % | 29,6 | 18,1 % | 34,3 % | 34,5–41,6 % mit Reasoning; 77,1 % ohne Reasoning |
| GPT-6 Luna (max) | 39,6 % | 79,3 % | −8,3 | 47,9 % | 12,5 % | 79,3–85,3 % mit Reasoning; 80,0 % ohne Reasoning |
Fable 5.2, Astra, Opus und Sol wissen am meisten (62–79 % Genauigkeit) und beantworten fast alles: Sie lehnen nur bei 8,5–17 % der Fragen ab oder antworten teilweise, sodass die meisten ihrer Fehlgriffe falsche Antworten sind. Die Aufwandsstufe wirkt sich hier stärker aus als bei Gemini. Sonnet ist auf max am besten kalibriert (43,3 %), auf high und xhigh steigt seine Rate auf über 60 %; Opus geht von 50,3 % auf max auf 64–67 % auf jeder anderen Stufe. GPT-6 Luna liegt bei fast der Hälfte aller Fragen falsch und hat als einziges Modell im Feld einen negativen Net Score; Terra springt im Modus ohne Reasoning von etwa 35 % auf 77 %. Beachten Sie, dass diese Hauptzeilen die max-Konfigurationen von AA sind und nicht unbedingt der Standardaufwand der jeweiligen API.
Den vollständigen Vergleich von Neon, Opus 5.5 und Sol über Halluzinationen hinaus (Benchmarks, Kosten pro Aufgabe, Geschwindigkeit) finden Sie unter Gemini 4 Neon vs. Claude Opus 5.5 vs. GPT-6.2 Sol. Wenn Sie direkt mit den Konkurrenzmodellen arbeiten, lesen Sie unseren Vergleich Opus 5.5 vs. Fable 5.2, den Leitfaden zu den Aufwandsstufen von Sonnet 5.5 (auf Englisch) und den Routing-Leitfaden für Sol, Luna und Astra (auf Englisch).
Der Zielkonflikt: Wann gewinnt eine niedrige Halluzinationsrate?
„Gemini 4 halluziniert weniger, also ist es zuverlässiger“ stimmt nur zur Hälfte. Vergleichen Sie Argon auf high mit Fable 5.2 auf max bei 100 Fragen:
- Argon
high: etwa 48 richtig, 2 falsch, 50 abgelehnt oder teilweise. - Fable 5.2
max: etwa 79 richtig, 12 falsch, 9 abgelehnt oder teilweise.
Fable liefert Ihnen 31 richtige Antworten mehr und 10 falsche mehr. Bewerten Sie jedes Modell als Anteil richtig − k × Anteil falsch, wobei k die Kosten einer falschen Antwort geteilt durch den Wert einer richtigen ist; Ablehnungen zählen wie bei AA null. Das Break-even-k ist der Genauigkeitsabstand geteilt durch den Abstand beim Anteil falscher Antworten; der Net Score von AA ist der Sonderfall k = 1.
| Paar (AA-Konfigurationen) | Anteil richtig / falsch, Modell mit niedrigerer Halluzinationsrate | Anteil richtig / falsch, anderes Modell | Break-even k |
|---|---|---|---|
Argon high vs. Fable 5.2 max | 48,3 % / 2,2 % | 79,1 % / 12,4 % | 3,0 |
Argon medium (Standard) vs. Fable 5.2 max | 49,0 % / 7,9 % | 79,1 % / 12,4 % | 6,7 |
Neon xhigh vs. Fable 5.2 max | 60,5 % / 5,7 % | 79,1 % / 12,4 % | 2,8 |
Carbon medium vs. GPT-6.2 Astra max | 48,9 % / 2,2 % | 68,6 % / 18,6 % | 1,2 |
Carbon medium vs. Opus 5.5 max | 48,9 % / 2,2 % | 65,5 % / 17,4 % | 1,1 |
Hydrogen high vs. Sonnet 5.5 max | 48,2 % / 4,5 % | 51,5 % / 21,0 % | 0,2 |
Neon high vs. GPT-6.2 Sol max | 59,4 % / 5,6 % | 61,6 % / 21,3 % | 0,1 |
Hydrogen high vs. GPT-6.1 Terra max | 48,2 % / 4,5 % | 47,6 % / 18,1 % | kein Zielkonflikt |
Hydrogen high vs. Haiku 5.5 max | 48,2 % / 4,5 % | 34,7 % / 22,4 % | kein Zielkonflikt |
Hydrogen high vs. GPT-6 Luna max | 48,2 % / 4,5 % | 39,6 % / 47,9 % | kein Zielkonflikt |
Kostet Sie eine falsche Antwort mehr als das k-Fache dessen, was eine richtige wert ist, schneidet das Modell mit der niedrigeren Halluzinationsrate in diesem Benchmark besser ab; unterhalb von k das genauere Modell. Ein- und Ausgabewerte liegen im Belegordner (breakeven.json; die Zeile Argon medium ist auf dieselbe Weise aus den Zeilen oben berechnet).
- Gegen die kenntnisreichsten Modelle ist es ein echter Zielkonflikt. Fable 5.2 verliert gegen Argon auf
highoder Neon aufxhigherst, wenn eine falsche Antwort etwa dreimal so viel kostet, wie eine richtige einbringt. Gegen Argon auf dem Standardmediumsteigt die Schwelle auf 6,7, weil das Standard-Argon in 7,9 % statt 2,2 % der Fälle falsch liegt. Entwürfe, Brainstorming und Coding mit Tests liegen meist unterhalb dieser Verhältnisse. - Gegen die Mittelklasse ist es kaum einer. Neon auf
highvs. Sol und Hydrogen vs. Sonnet kippen bei k unter 0,25: Sol und Sonnet gewinnen 2–3 Punkte Genauigkeit für 15–17 zusätzliche Punkte falscher Antworten. - Gegen die Budgetklasse gibt es keinen. Hydrogen auf seinem Standard (
high) ist mindestens so genau wie Terra, Haiku 5.5 und Luna und liegt deutlich seltener falsch. „Niedrigere Halluzinationsrate bedeutet geringere Genauigkeit“ gilt nur gegenüber der Spitze des Genauigkeitsfelds.
Eine Vereinfachung ist wichtig: Ablehnen zählt hier null. In einem Produkt kostet „Ich weiß es nicht“ ebenfalls etwas (ein Nutzer, der woanders sucht, ein eskaliertes Ticket). Rechnet man diese Kosten ein, verschieben sich die Break-even-Punkte nach oben. Legen Sie deshalb Ihre eigenen Werte für eine richtige Antwort, eine falsche Antwort und eine Ablehnung fest, bevor Sie irgendein Leaderboard lesen.
Was Google selbst zur Faktentreue sagt
Keine der vier Model Cards von Gemini 4 (Carbon, Neon, Hydrogen, Argon) und keines der verlinkten PDFs zur Evaluationsmethodik, geprüft am 19. November 2026, weist einen eigenen Benchmark für Faktentreue oder Halluzinationen aus: keine Zeile im Stil von SimpleQA und keine zur Treue gegenüber Quellen (Grounding). Die Herstelleraussagen, die wir gefunden haben, sind qualitativ oder stammen aus angrenzenden Evaluationen:
- Model Cards: Jede Karte führt Halluzinationen unter den bekannten Einschränkungen. Die Model Card von Neon etwa schreibt, Neon “may exhibit some general limitations such as hallucinations” (Übersetzung: kann einige allgemeine Einschränkungen wie Halluzinationen aufweisen). Alle vier nennen einen Wissensstand von März 2026 und fügen hinzu, dass manche Bereiche weniger aktuell sein können.
- „What’s new“-Seite zu Carbon: “Stronger source grounding with fewer unsupported claims across dense PDFs, spreadsheets, slides, and workspace data” (Übersetzung: stärkere Verankerung in Quellen mit weniger unbelegten Aussagen über dichte PDFs, Tabellen, Folien und Workspace-Daten hinweg) (AI Studio). Das betrifft die Arbeit mit bereitgestellten Dokumenten, nicht das Abrufen von Wissen ohne Hilfsmittel, und es ist keine Zahl angegeben.
- „What’s new“-Seite zu Neon: Für lange Sitzungen mit Tool-Nutzung heißt es, Neon “minimizes fabricated claims and task shortcuts” (Übersetzung: minimiert erfundene Aussagen und Abkürzungen bei Aufgaben).
- Launch-Beitrag zu Neon: Neon ist “trained to complete multi-step work without cutting corners, fabricating results, or overstepping user boundaries” (Übersetzung: darauf trainiert, mehrstufige Arbeit zu erledigen, ohne Abkürzungen zu nehmen, Ergebnisse zu erfinden oder die Grenzen des Nutzers zu überschreiten). Google meldet eine Bestehensquote von 99,2 % in seiner internen Evaluation zur Ehrlichkeit von Agenten sowie 43–56 % weniger “under-service” (Übersetzung: Unterversorgung) als Carbon in seiner Evaluation des Agentenverhaltens (Google-Blog). Das sind interne Google-Evaluationen des Agentenverhaltens, keine Tests des Faktenwissens, und sie lassen sich nicht mit AA-Omniscience vergleichen.
- Indirekt: Die Zeile „AA Index v5.0.1“ auf der Model Card von Neon (Neon 61, Opus 5.5 59, GPT-6.2 Sol 57) und die Zeile „AA Index v5.0“ auf der Model Card von Carbon enthalten AA-Omniscience nur als Komponente mit 15 % Gewicht.
Für Halluzinationen ohne Hilfsmittel sind die AA-Zahlen damit, Stand 19. November 2026, die einzigen quantitativen Belege zu Gemini 4, die wir gefunden haben.
Diese Zahlen in Produktentscheidungen nutzen
AA-Omniscience fragt entlegene Fakten aus dem Gedächtnis ab. Nur wenige Produktivsysteme funktionieren so; übertragen Sie das Ergebnis deshalb erst auf Ihren Fall, bevor Sie es verwenden.
Ein kalibriertes Modell, das ablehnt, ist die sicherere Standardwahl, wenn eine falsche Antwort teuer ist und sich eine Ablehnung abfangen lässt:
- RAG mit Fallback. „Nicht in den bereitgestellten Quellen“ erlaubt Ihrer Retrieval-Schicht, es erneut zu versuchen oder weiterzugeben; eine selbstbewusst erfundene Antwort wirkt belegt und rutscht durch. AA testet allerdings Wissen ohne Hilfsmittel; die Treue zum abgerufenen Kontext ist eine eigene Fähigkeit, die Sie an Ihren eigenen Dokumenten testen müssen (siehe unseren Leitfaden zu Embeddings und RAG (auf Englisch)).
- Extraktion in Recht, Finanzen, Compliance und Medizin, wo ein leeres Feld geprüft wird, eine falsche Klausel, ein falscher Zinssatz oder eine falsche Dosierung aber womöglich nicht. Hier liegt k meist deutlich über 3; testen Sie zuerst Carbon auf
medium, Argon aufhighoder Hydrogen auf seinem Standard (high). - Zitate und Agenten, die auf Basis von Fakten handeln. Ein erfundener Fallname oder eine erfundene Konto-ID wird zu einem falschen Zitat oder einer falschen Aktion; eine Ablehnung wird zu einer Rückfrage an den Nutzer.
Ein kenntnisreicheres Modell ist die bessere Standardwahl, wenn sich eine falsche Antwort leicht abfangen lässt: Entwürfe und Zusammenfassungen, die Sie ohnehin überarbeiten, Coding mit Testsuite, Triage mit hohem Recall, bei der ein Mensch jeden Kandidaten prüft, und Q&A für Endkunden, bei dem eine Ablehnung den Nutzer woandershin schickt.
Bevor Sie sich entscheiden:
- Stellen Sie aus Ihrem eigenen Traffic ein gelabeltes Set zusammen: beantwortbar, nicht beantwortbar (falsche Prämisse, nicht existierende Entität, nicht dokumentierte Tatsache) und beantwortbar, aber entlegen. Zählen Sie richtig, falsch und abgelehnt getrennt und geben Sie falsche Antworten als Anteil aller Einträge an.
- Testen Sie die Denk- oder Aufwandsstufe, die Sie ausliefern; die Zeilen zu Argon und Sonnet zeigen, wie stark sie das Ergebnis verschiebt.
- Sagen Sie dem Modell, dass Ablehnen in Ordnung ist, und sorgen Sie dafür, dass Ihr Code mit einer Ablehnung etwas anfängt (erneut abrufen, nachfragen, eskalieren).
- Wenn die Fehlerkosten je nach Aufgabe unterschiedlich sind, routen Sie nach Aufgabe. Unser Leitfaden zur Modellauswahl bei Gemini 4 und die Übersicht der Modellklassen von Gemini, Claude und GPT behandeln das.
Unser kleiner Test über Ofox (zur Veranschaulichung, n=1)
Um das Ablehnungsverhalten direkt zu sehen, haben wir sechs über Ofox aufrufbare Modelle getestet: google/gemini-4-argon, google/gemini-4-hydrogen, anthropic/claude-haiku-5.5, anthropic/claude-sonnet-5.5, openai/gpt-6-luna und openai/gpt-6.2-sol. Carbon und Neon wurden nicht getestet, weil sie nicht auf Ofox verfügbar sind.
Methode. Wir haben 20 Fragen geschrieben und die Referenzantworten vor dem Lauf geprüft. Die Fragen wurden auf Englisch gesendet; unten steht der Kern jeder Frage weiterhin auf Englisch, in Klammern mit deutscher Erläuterung:
- 10 beantwortbare Fragen mit stabilen, überprüfbaren Fakten: first woman to win the Fields Medal (erste Frau mit Fields-Medaille); composer of Wozzeck (Komponist des Wozzeck); deepest point of the Puerto Rico Trench (tiefster Punkt des Puerto-Rico-Grabens); HTTP 421 reason phrase (Reason Phrase des HTTP-Status 421); RFC number for JWT (RFC-Nummer von JWT); PEP number for f-strings (PEP-Nummer der f-Strings); formula of wollastonite (Summenformel von Wollastonit); IATA code of Svalbard Airport (IATA-Code des Flughafens Svalbard); first ASEAN Secretary-General (erster ASEAN-Generalsekretär); year the Unicode Consortium was incorporated (Gründungsjahr des Unicode Consortium als Körperschaft).
- 5 Fangfragen: eine falsche Prämisse (the year Alan Turing received the Turing Award, also das Jahr, in dem Alan Turing den Turing Award erhielt; er starb 1954, und den Preis gibt es seit 1966), eine nicht existierende pandas-Methode, ein erfundenes Nature-Paper, eine nicht dokumentierte Tatsache (the word count of Hemingway’s first handwritten draft of The Old Man and the Sea, also die Wortzahl von Hemingways erstem handschriftlichem Entwurf von Der alte Mann und das Meer) sowie ein erfundener Mathematiker samt Vermutung.
- 5 schwierigere beantwortbare Fragen, als zweite Runde ergänzt, nachdem die erste Runde bei beantwortbaren Fragen keine einzige Ablehnung ergeben hatte: second ASEAN Secretary-General (zweiter ASEAN-Generalsekretär), Svalbard Airport’s ICAO code (ICAO-Code des Flughafens Svalbard), month of the first Unicode Standard volume (Monat des ersten Bandes von The Unicode Standard), the first Secretary-General’s date of death (Todesdatum des ersten Generalsekretärs) und the Unicode Consortium’s three founders (die drei Gründer des Unicode Consortium).
Jede Runde bestand aus einem Chat-Completions-Aufruf pro Modell über https://api.ofox.ai/v1, mit einem Systemprompt, der “say so instead of guessing” (Übersetzung: das zu sagen, statt zu raten) erlaubte, JSON-Ausgabe, ohne Tools, ohne Temperature- oder Reasoning-Parameter (jedes Modell mit dem Standard seiner Ofox-Route) und mit max_tokens 16000 als Kostendeckel: insgesamt zwölf Aufrufe, Tokens für etwa 0,04 US-Dollar zu den auf AA angegebenen Listenpreisen (unsere Schätzung, keine Rechnung). Wir haben jede Antwort von Hand anhand der gespeicherten Rohantworten bewertet. Bewertung: Eine eingeschränkte falsche Antwort (“I believe X, but I’m not fully confident”) zählt als falsch; anerkannte Transliterationen (“H.R. Darsono”, “Umarjadi Notowijono”) zählen als richtig.
| Modell (Ofox-ID) | Beantwortbar (15): richtig / falsch / abgelehnt | Fangfragen (5): erkannt / erfunden |
|---|---|---|
google/gemini-4-argon | 14 / 0 / 1 | 5 / 0 |
google/gemini-4-hydrogen | 15 / 0 / 0 | 5 / 0 |
openai/gpt-6.2-sol | 15 / 0 / 0 | 5 / 0 |
anthropic/claude-haiku-5.5 | 13 / 1 / 1 | 5 / 0 |
anthropic/claude-sonnet-5.5 | 13 / 2 / 0 | 5 / 0 |
openai/gpt-6-luna | 14 / 1 / 0 | 4 / 1 |
Was bei den Fragen geschah, die die Modelle voneinander trennten:
- Erster ASEAN-Generalsekretär (Hartono Rekso Dharsono): Haiku antwortete “H.S. Dillon of Indonesia”. Sonnet antwortete “Hartono Rekksodiprodjo”, mit richtigem Vornamen und erfundenem Nachnamen.
- Sein Todesdatum (5. Juni 1996): Argon und Haiku lehnten beide ab. Sonnet gab “I believe 6 June 2006, but I’m not fully confident” an, was trotz Einschränkung falsch ist. Hydrogen, Sol und Luna antworteten richtig.
- Zweiter ASEAN-Generalsekretär (Umarjadi Njotowijono): Luna nannte Ali Abdullah, der der dritte war. Sonnet nannte die richtige Person, fügte aber eine falsche Amtszeit hinzu (1978–1980; tatsächlich amtierte er von Februar bis Juni 1978).
- Turing-Award-Falle: Luna antwortete “1986”. Die anderen fünf sagten, Turing habe den Preis nie erhalten.
- Das erfundene Paper, die nicht existierende pandas-Methode, den erfundenen Mathematiker und die nicht dokumentierte Wortzahl haben alle sechs Modelle erkannt.
Was das zeigt und was nicht:
- Argon lehnte eine Frage ab, die drei andere Modelle richtig beantworteten. Das ist der AA-Zielkonflikt im Kleinen: Die Ablehnung kostete eine richtige Antwort und vermied einen möglichen Fehler.
- In diesem Set machten Hydrogen und Sol überhaupt keinen Fehler. Ihre Halluzinationsrate im Sinne von AA ist undefiniert (0 ÷ 0). Die von Sonnet läge bei 100 % (2 falsch ÷ 2 nicht richtig), die von Argon bei 0 % (0 ÷ 1). Bei 15 beantwortbaren Einträgen schwankt das Verhältnis durch ein oder zwei Antworten zwischen undefiniert und 100 %; deshalb sollten Sie bei kleinen Sets falsche Antworten als Anteil aller Einträge zählen.
- Die offensichtlichen Fallen waren leicht. Fünf von sechs Modellen erkannten jede Falle. In diesem Lauf wurden erfundene Paper und erfundene APIs erkannt; die echten Fehler entstanden bei Personen, die existieren, aber kaum dokumentiert sind. Nehmen Sie solche Einträge in Ihr eigenes Testset auf.
- Grenzen: ein Lauf pro Modell, 20 handgeschriebene Fragen, Bewertung durch den Autor, Standardeinstellungen der jeweiligen Ofox-Route (Denkstufen haben wir weder gesetzt noch geprüft; Argons Antworten wiesen keine Reasoning-Tokens aus) und ein Prompt, der Ablehnen ausdrücklich erlaubte. Ein erneuter Lauf könnte einzelne Antworten ändern. Rohanfragen und -antworten liegen bei den Belegen des Artikels.
Den gleichen Check mit eigenen Fragen durchführen
Unten steht eine gekürzte Fassung unseres Skripts. Es schickt pro Modell einen Stapel über den OpenAI-kompatiblen Endpunkt von Ofox und gibt die Antwort aus; speichern Sie die vollständige Antwort, wenn Sie einen Prüfpfad brauchen. Legen Sie den Schlüssel in einer Umgebungsvariablen ab. Die Einrichtung beschreiben die Integrationsdokumentation von Ofox und die Seite zur Gemini-API für die Gemini-spezifischen Anfrageformate, die Ofox akzeptiert.
import json, os, urllib.error, urllib.request
SYSTEM = ("Answer each question from your own knowledge only. You have no tools. "
"Keep each answer short. If you are not confident, or the question cannot "
"be answered as asked, say so instead of guessing. Return only a JSON object "
"mapping each question id to your answer string.")
questions = {"Q1": "Who was the first Secretary-General of ASEAN?",
"Q2": "In what year did Alan Turing receive the Turing Award?"} # hier Ihr eigenes Fragenset
def ask(model):
body = {"model": model, "max_tokens": 16000,
"messages": [{"role": "system", "content": SYSTEM},
{"role": "user", "content": "\n".join(f"{k}: {v}" for k, v in questions.items())}]}
req = urllib.request.Request("https://api.ofox.ai/v1/chat/completions",
data=json.dumps(body).encode(),
headers={"Authorization": "Bearer " + os.environ["OFOX_API_KEY"],
"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=600) as r:
return json.loads(r.read())
except urllib.error.HTTPError as e:
print(model, "HTTP", e.code, e.read()[:300])
return None
for m in ["google/gemini-4-argon", "google/gemini-4-hydrogen", "anthropic/claude-sonnet-5.5"]:
out = ask(m)
if out:
print(m, out["choices"][0]["message"]["content"])
Bewerten Sie jede Antwort von Hand oder mit einem Bewertungsprompt als richtig, falsch oder abgelehnt, und zählen Sie Fangfragen getrennt. Manche Modelle verpacken JSON in einen Markdown-Codeblock (in unserem Lauf Argon und Haiku); entfernen Sie die Codeblock-Markierungen also vor dem Parsen. Wenn Sie beim Stapelbetrieb auf 429-Fehler stoßen, lesen Sie den Leitfaden zu Rate Limits und unseren Leitfaden zu Gemini-4-API-Fehlern. Für andere Fehler listet der Leitfaden zur Fehlerbehandlung die Antwortcodes auf. Aktuelle Preise pro Token stehen auf der jeweiligen Ofox-Modellseite, zum Beispiel für Gemini 4 Argon, Gemini 4 Hydrogen, Claude Sonnet 5.5 und GPT-6.2 Sol.
Gemini 4 Carbon und Neon sind Stand 19. November 2026 nicht auf Ofox verfügbar. Um sie zu testen, rufen Sie die native Gemini-API von Google direkt auf; unser Leitfaden zur Neon-API und unser Leitfaden zur Einrichtung der Carbon-API zeigen das Anfrageformat und wie Sie thinking_level setzen.
Die kurze Antwort
Argons 4,3 % gelten für die Einstellung high; auf dem Standard medium sind es 15,4 %, und in beiden Fällen ist der Anteil falscher Antworten an allen Antworten deutlich kleiner, als die Schlagzeilenrate vermuten lässt (2,2 % bzw. 7,9 %). Die niedrigen Raten von Gemini 4 kommen vom Ablehnen, nicht von mehr Wissen. Gegen Fable 5.2, Opus 5.5 und Astra zahlt sich das daher nur aus, wenn eine falsche Antwort je nach Paar und Stufe etwa das 1,1- bis 7-Fache einer richtigen kostet. Gegen Sol, Sonnet und die Budgetklasse verschwindet der Zielkonflikt weitgehend. Prüfen Sie bei jeder zitierten Rate die zugrunde liegende Denkstufe und zählen Sie dann falsche Antworten als Anteil aller Antworten auf Ihren eigenen Daten.


