Gemini 4 Argon 환각률 4.3%는 무슨 뜻일까? 기본 설정의 15.4%와 Claude·GPT 비교
자주 인용되는 Gemini 4 Argon의 환각률 4.3%는 high 사고 수준의 값이고, 기본 medium에서는 15.4%입니다. Gemini 4 전체 단계와 Claude·GPT의 AA-Omniscience 수치, 그 분모, 답하지 않는 편이 유리해지는 조건을 정리합니다.
널리 인용되는 4.3%는 Gemini 4 Argon의 high 사고 수준에서 측정한 AA-Omniscience 환각률이며, 기본 설정의 값이 아닙니다. Argon의 기본값은 medium이고, Artificial Analysis(AA)는 이 단계에서 15.4%를 측정했습니다. 또 4.3%는 “4%의 확률로 틀린다”는 뜻도 아닙니다. AA는 오답 수를 모델이 맞히지 못한 문제 수로 나눕니다. 그래서 high 단계의 Argon은 전체 문제 중 약 2%에서 오답을 내고, 48%를 맞히며, 약 절반은 답하지 않거나 부분적으로만 답합니다.
AA가 제공하는 Gemini 4의 13개 구성 전체에서 환각률은 4.2%(기본 medium의 Carbon)부터 19.8%(Carbon low)까지입니다. Claude 5.5 제품군, Claude Fable 5.2, GPT-6.x 모델은 34%에서 85% 사이입니다. Gemini 4의 낮은 환각률은 더 많이 알아서가 아니라 모를 때 답하지 않는 데서 주로 나옵니다. Claude Fable 5.2는 max에서 79.1%를 맞히고, high 단계의 Argon은 48.3%를 맞힙니다. 따라서 어느 모델이 “더 믿을 만한지”는 오답 하나의 비용이 “모르겠습니다”라는 답에 비해 얼마나 큰지에 달려 있습니다. 아래에서는 Gemini 4의 모든 단계, Claude와 GPT 경쟁 모델 8개, 각 트레이드오프가 뒤집히는 비용 비율, 그리고 Ofox를 통해 진행한 작은 테스트를 차례로 살펴봅니다.
출처와 날짜:
- AA 데이터: 2026년 11월 19일 각 모델의 AA 페이지에서 수집(원본 페이지와 추출 데이터는 이 글의 증거 폴더에 보관).
- Google의 설명: Gemini 4 모델 카드, AI Studio의 “what’s new” 페이지, Neon 출시 글. 2026년 11월 19일에 확인했으며 벤더 제공 데이터로 표시합니다.
- 자체 테스트: 모델 6개, 문항 20개, 모델당 1회 실행, 2026년 11월 19일. 참고용 예시이며 벤치마크가 아닙니다.
이 글은 Ofox가 발행합니다. 여기서 다루는 모델이 모두 Ofox로 호출 가능한 것은 아닙니다. 2026년 11월 19일 기준으로 Gemini 4 Argon과 Hydrogen은 Ofox에서 사용할 수 있고, Gemini 4 Carbon과 Neon은 사용할 수 없습니다. 표에 나오는 Claude와 GPT 모델은 모두 Ofox에서 사용할 수 있습니다.
AA-Omniscience는 무엇을 측정하나
AA-Omniscience v1.1은 클로즈드북 방식의 지식 테스트입니다. 비즈니스, 인문·사회과학, 보건, 법률, 소프트웨어 엔지니어링, 과학·공학·수학 분야의 42개 주제에 걸친 3,000문항으로 구성됩니다. 모델은 도구 없이 자신의 지식만으로 답합니다. 채점 모델(AA는 medium 단계의 GPT-5.6 Luna라고 밝힘)이 모든 응답을 CORRECT, INCORRECT, PARTIAL_ANSWER, NOT_ATTEMPTED 네 가지 결과 중 하나로 분류합니다. AA의 방법론 페이지와 평가 페이지는 이 라벨을 바탕으로 세 가지 지표를 정의합니다.
| AA 지표 | 공식 | 알 수 있는 것 |
|---|---|---|
| 정확도(Accuracy) | 정답 ÷ 전체 문항 | 모델이 얼마나 알고, 그것을 정확하게 말하는지 |
| 환각률(Hallucination rate) | 오답 ÷ (오답 + 부분 답변 + 미응답) | 모델이 맞히지 못했을 때, 답을 보류하지 않고 틀린 답을 내놓는 비율 |
| Net Score, 다른 이름은 Omniscience Index(−100~100) | (정답 − 오답) ÷ 전체 문항 × 100(우리의 재서술) | 정답은 1점, 오답은 −1점, 미응답과 부분 답변은 0점 |
정확도와 환각률 공식은 AA가 직접 명시합니다. Net Score에 대해 AA는 “rewards correct answers, penalizes hallucinations, and has no penalty for refusing to answer”(번역: 정답에는 점수를 주고, 환각에는 감점하며, 답변 거부에는 불이익이 없다)라고 설명합니다. 표의 공식은 우리의 재서술이며, 아래에서 검증했습니다.
환각률은 정답을 맞힌 문항을 모두 무시합니다. 90%를 맞히고 나머지 10%를 틀리게 추측하는 모델의 환각률은 100%이고, 40%를 맞히고 나머지는 전부 답하지 않는 모델은 0%입니다. 즉 이 지표가 측정하는 것은 답할 수 없는 문제에서의 보정(calibration) 수준이지, 틀린 답을 받는 빈도가 아닙니다. 전체 문항 대비 비율로 바꾸려면 다음과 같이 계산합니다.
- 오답 비율 = (1 − 정확도) × 환각률
- 미응답·부분 답변 비율 = (1 − 정확도) × (1 − 환각률)
우리가 추출한 55개 구성 전부에서 정확도에서 오답 비율을 빼면 AA가 공개한 Net Score와 소수점 첫째 자리까지 정확히 일치했습니다. 부분 답변이 0점으로 처리된다는 점도 이것으로 확인됩니다. “미응답·부분 답변” 열은 NOT_ATTEMPTED와 PARTIAL_ANSWER를 합친 값입니다. AA의 모델 페이지가 이 둘을 따로 공개하지 않기 때문입니다.
두 가지를 덧붙입니다. AA-Omniscience는 AA Intelligence Index v5.0.1의 15%를 차지합니다(정확도 10%, 1 − 환각률 5%). 따라서 Google이 Neon과 Carbon 모델 카드에서 인용하는 종합 지수에는 이미 작은 보정 요소가 들어 있습니다. 또 v1.1(3,000문항)은 6,000문항짜리 v1을 대체했으며, AA는 점수가 “are not directly comparable with v1”(번역: v1과 직접 비교할 수 없다)라고 밝힙니다. v1 수치를 인용한 예전 글은 다른 것을 측정한 셈입니다.
사고 수준별 Gemini 4 수치
모든 행은 2026년 11월 19일에 수집한 AA 데이터입니다. “기본”은 Google 문서에 적힌 해당 모델의 기본 사고 수준을 뜻합니다. Carbon과 Argon은 기본값이 medium이고 최대 high까지이며, Neon과 Hydrogen은 기본값이 high이고 xhigh도 있습니다(Google AI Studio의 Neon “what’s new” 페이지). 마지막 두 열은 AA의 두 비율로 우리가 계산한 값입니다.
| 모델과 단계(AA) | 정확도 | 환각률 | Omniscience Index | 오답(전체 문항 대비 %) | 미응답·부분 답변(전체 대비 %) |
|---|---|---|---|---|---|
Carbon low | 49.2% | 19.8% | 39.2 | 10.0% | 40.7% |
Carbon medium(기본) | 48.9% | 4.2% | 46.8 | 2.2% | 48.9% |
Carbon high | 58.3% | 11.4% | 53.5 | 4.8% | 37.0% |
Argon medium(기본) | 49.0% | 15.4% | 41.1 | 7.9% | 43.2% |
Argon high | 48.3% | 4.3% | 46.1 | 2.2% | 49.5% |
Neon low | 56.6% | 18.8% | 48.5 | 8.1% | 35.2% |
Neon medium | 57.9% | 16.2% | 51.1 | 6.8% | 35.2% |
Neon high(기본) | 59.4% | 13.9% | 53.8 | 5.6% | 35.0% |
Neon xhigh | 60.5% | 14.4% | 54.8 | 5.7% | 33.8% |
Hydrogen low | 46.2% | 18.8% | 36.1 | 10.1% | 43.6% |
Hydrogen medium | 48.3% | 12.5% | 41.9 | 6.4% | 45.2% |
Hydrogen high(기본) | 48.2% | 8.7% | 43.7 | 4.5% | 47.3% |
Hydrogen xhigh | 50.5% | 8.5% | 46.3 | 4.2% | 45.3% |
인용되는 수치가 어느 행에서 왔는가. AA가 각 모델의 대표(접미사 없는) 항목에 쓰는 설정이 항상 API 기본값은 아닙니다. Carbon과 Argon은 high, Neon과 Hydrogen은 xhigh입니다(2026년 11월 19일 AA 페이지 이름 기준). 그래서 Argon의 대표 수치는 4.3%인데, gemini-4-argon을 기본값(사고 수준 medium)으로 호출하면 15.4% 행에 해당하며 약 3.6배 높습니다. 이전 Argon 벤치마크 글에 실린 15%는 이 기본값 행과 일치합니다. Carbon은 반대입니다. 가장 낮은 환각률(4.2%)이 기본 medium에서 나오고, high로 올리면 정확도가 9.4%p 오르는 대신 환각률은 11.4%로 올라갑니다.
사고 수준을 높인다고 환각이 직선적으로 줄지는 않습니다. Hydrogen과 Neon은 low에서 high까지 개선된 뒤 평탄해집니다. Carbon은 19.8% → 4.2% → 11.4%로 움직입니다. high에서는 아는 것이 더 많고(정확도 58.3%) 더 적극적으로 답하기 때문에, 남은 오답 후보 중 실제 오답이 되는 비율이 늘어납니다. “높을수록 안전하다”고 가정하지 말고 실제로 배포할 단계로 테스트하세요. 요청별로 사고 수준을 설정하는 방법은 사고 수준 가이드에서 다룹니다.
정확도는 좁은 범위에 모여 있습니다. Gemini 13개 행의 정확도는 모두 46%에서 61% 사이입니다. 낮은 환각률은 답하지 않은 비율(전체 문항의 34~50%)에서 나옵니다. 여기서 가장 지식이 많은 Gemini 4 모델인 Neon조차 약 3분의 1의 문항에서 답하지 않습니다. 두 모델 중 무엇을 고를지는 Neon과 Carbon 비교에서 다룹니다.
같은 테스트에서의 Claude 5.5, Fable 5.2, GPT-6.x
아래 각 모델에 대해 AA의 대표 항목은 최대 effort 설정(max)입니다. 표에는 그 행과 함께, AA가 해당 모델에 대해 제공하는 모든 effort 단계의 환각률 범위를 넣었습니다. 출처와 날짜는 같습니다.
| 모델(AA 대표 구성) | 정확도 | 환각률 | Index | 오답(전체 대비 %) | 미응답·부분 답변(전체 대비 %) | AA 단계별 환각률 범위 |
|---|---|---|---|---|---|---|
| Claude Fable 5.2(max) | 79.1% | 59.3% | 66.8 | 12.4% | 8.5% | 56.4~60.4% |
| Claude Opus 5.5(max) | 65.5% | 50.3% | 48.1 | 17.4% | 17.1% | 50.3~66.9% |
| Claude Sonnet 5.5(max) | 51.5% | 43.3% | 30.5 | 21.0% | 27.5% | 43.3~63.6% |
| Claude Haiku 5.5(max) | 34.7% | 34.2% | 12.3 | 22.4% | 43.0% | 34.2~40.5% |
| GPT-6.2 Astra(max) | 68.6% | 59.1% | 50.0 | 18.6% | 12.9% | 54.1~59.1% |
| GPT-6.2 Sol(max) | 61.6% | 55.4% | 40.4 | 21.3% | 17.1% | 55.4~65.8% |
| GPT-6.1 Terra(max) | 47.6% | 34.5% | 29.6 | 18.1% | 34.3% | 추론 모드 34.5~41.6%, 비추론 모드 77.1% |
| GPT-6 Luna(max) | 39.6% | 79.3% | −8.3 | 47.9% | 12.5% | 추론 모드 79.3~85.3%, 비추론 모드 80.0% |
Fable 5.2, Astra, Opus, Sol은 가장 많이 알고(정확도 6279%) 거의 모든 문항에 답합니다. 답하지 않거나 부분적으로만 답하는 비율이 8.517%에 불과해, 맞히지 못한 문항 대부분이 오답이 됩니다. 이 모델들에서는 effort 단계가 Gemini보다 더 큰 영향을 줍니다. Sonnet의 보정이 가장 좋은 단계는 max(43.3%)이고, high와 xhigh에서는 60%를 넘습니다. Opus는 max의 50.3%에서 다른 모든 단계의 64~67%로 바뀝니다. GPT-6 Luna는 전체 문항의 절반 가까이를 틀리며, 이 그룹에서 유일하게 Net Score가 음수입니다. Terra는 비추론 모드에서 약 35%에서 77%로 뛰어오릅니다. 이 대표 행들은 AA의 max 구성이며, 각 API의 기본 effort와 반드시 같지는 않다는 점에 유의하세요.
환각 외에 벤치마크, 작업당 비용, 속도까지 포함한 Neon, Opus 5.5, Sol의 전체 비교는 Gemini 4 Neon vs Claude Opus 5.5 vs GPT-6.2 Sol을 참고하세요. 경쟁 모델을 직접 사용한다면 Opus 5.5와 Fable 5.2 비교, Sonnet 5.5 effort 가이드, Sol·Luna·Astra 라우팅 가이드도 도움이 됩니다.
트레이드오프: 낮은 환각률이 유리한 때는 언제인가
“Gemini 4는 환각이 적으니 더 믿을 만하다”는 말은 절반만 맞습니다. high 단계의 Argon과 max 단계의 Fable 5.2를 100문항으로 비교해 보겠습니다.
- Argon
high: 정답 약 48개, 오답 2개, 미응답·부분 답변 50개. - Fable 5.2
max: 정답 약 79개, 오답 12개, 미응답·부분 답변 9개.
Fable은 정답을 31개 더 주지만 오답도 10개 더 줍니다. 각 모델의 점수를 정답 비율 − k × 오답 비율로 매겨 봅시다. 여기서 k는 오답 하나의 비용을 정답 하나의 가치로 나눈 값이고, 답하지 않으면 AA와 마찬가지로 0점입니다. 손익분기점 k는 정확도 차이를 오답 비율 차이로 나눈 값이며, AA의 Net Score는 k = 1인 특수한 경우입니다.
| 비교 쌍(AA 구성) | 환각률이 낮은 모델의 정답 / 오답 비율 | 다른 모델의 정답 / 오답 비율 | 손익분기점 k |
|---|---|---|---|
Argon high vs Fable 5.2 max | 48.3% / 2.2% | 79.1% / 12.4% | 3.0 |
Argon medium(기본) vs Fable 5.2 max | 49.0% / 7.9% | 79.1% / 12.4% | 6.7 |
Neon xhigh vs Fable 5.2 max | 60.5% / 5.7% | 79.1% / 12.4% | 2.8 |
Carbon medium vs GPT-6.2 Astra max | 48.9% / 2.2% | 68.6% / 18.6% | 1.2 |
Carbon medium vs Opus 5.5 max | 48.9% / 2.2% | 65.5% / 17.4% | 1.1 |
Hydrogen high vs Sonnet 5.5 max | 48.2% / 4.5% | 51.5% / 21.0% | 0.2 |
Neon high vs GPT-6.2 Sol max | 59.4% / 5.6% | 61.6% / 21.3% | 0.1 |
Hydrogen high vs GPT-6.1 Terra max | 48.2% / 4.5% | 47.6% / 18.1% | 트레이드오프 없음 |
Hydrogen high vs Haiku 5.5 max | 48.2% / 4.5% | 34.7% / 22.4% | 트레이드오프 없음 |
Hydrogen high vs GPT-6 Luna max | 48.2% / 4.5% | 39.6% / 47.9% | 트레이드오프 없음 |
오답 하나의 비용이 정답 하나의 가치의 k배를 넘으면 이 벤치마크에서는 환각률이 낮은 모델의 점수가 더 높고, k 미만이면 정확도가 높은 모델의 점수가 더 높습니다. 입력과 출력은 증거 폴더에 있습니다(breakeven.json. Argon medium 행은 위 표의 수치로 같은 방식으로 계산).
- 가장 지식이 많은 모델과 비교하면 실제 트레이드오프가 있습니다. Fable 5.2가
high단계의 Argon이나xhigh단계의 Neon에 지는 것은 오답 비용이 정답 가치의 약 3배에 이를 때부터입니다. 기본medium단계의 Argon과 비교하면 기준이 6.7로 올라갑니다. 기본 Argon의 오답 비율이 2.2%가 아니라 7.9%이기 때문입니다. 초안 작성, 브레인스토밍, 테스트가 있는 코딩은 보통 이 비율보다 낮습니다. - 중간 등급 모델과 비교하면 트레이드오프라고 하기 어렵습니다.
high단계 Neon 대 Sol, Hydrogen 대 Sonnet은 k가 0.25 미만에서 뒤집힙니다. Sol과 Sonnet은 정확도 23%p를 더 얻는 대가로 오답이 1517%p 늘어납니다. - 저가 등급 모델과 비교하면 트레이드오프가 없습니다. 기본값(
high)의 Hydrogen은 Terra, Haiku 5.5, Luna와 정확도가 같거나 더 높고 오답은 훨씬 적습니다. “환각률이 낮으면 정확도도 낮다”는 말은 정확도 상위권 모델과 비교할 때만 성립합니다.
한 가지 단순화가 중요합니다. 여기서는 답하지 않으면 0점입니다. 실제 제품에서는 “모르겠습니다”에도 비용이 있습니다(사용자가 다른 곳에서 검색하거나 티켓이 에스컬레이션되는 등). 이 비용을 더하면 손익분기점이 올라갑니다. 그러니 어떤 리더보드를 보기 전에 정답, 오답, 미응답 각각의 가치를 직접 적어 두세요.
Google은 사실성에 대해 무엇이라고 말하나
2026년 11월 19일에 확인한 시점에, Gemini 4의 모델 카드 4개(Carbon, Neon, Hydrogen, Argon)와 연결된 평가 방법론 PDF 어디에도 사실성이나 환각 전용 벤치마크는 없었습니다. SimpleQA 유형의 행도, 그라운딩 충실도 행도 없습니다. 우리가 찾은 벤더의 설명은 정성적이거나 인접한 평가에서 나온 것입니다.
- 모델 카드: 모든 카드가 알려진 한계로 환각을 꼽습니다. 예를 들어 Neon 모델 카드는 Neon이 “may exhibit some general limitations such as hallucinations”(번역: 환각 같은 일반적인 한계를 보일 수 있다)라고 적고 있습니다. 네 카드 모두 지식 컷오프를 2026년 3월로 밝히며, 일부 분야는 정보가 최신이 아닐 수 있다고 덧붙입니다.
- Carbon “what’s new” 페이지: “Stronger source grounding with fewer unsupported claims across dense PDFs, spreadsheets, slides, and workspace data”(번역: 정보가 밀집된 PDF, 스프레드시트, 슬라이드, 워크스페이스 데이터 전반에서 출처 그라운딩이 강화되고 근거 없는 주장이 줄었다)(AI Studio). 이는 제공된 문서를 다루는 작업에 관한 것으로, 클로즈드북 회상이 아니며 수치도 없습니다.
- Neon “what’s new” 페이지: 도구를 쓰는 긴 세션에서 Neon은 “minimizes fabricated claims and task shortcuts”(번역: 지어낸 주장과 작업 생략을 최소화한다).
- Neon 출시 글: Neon은 “trained to complete multi-step work without cutting corners, fabricating results, or overstepping user boundaries”(번역: 대충 넘기거나, 결과를 지어내거나, 사용자 경계를 넘지 않고 여러 단계의 작업을 완료하도록 훈련되었다). Google은 내부 에이전트 정직성 평가에서 통과율 99.2%, 에이전트 행동 평가에서 “under-service”(번역: 서비스 부족)가 Carbon보다 43~56% 적다고 보고합니다(Google 블로그). 이는 에이전트 행동에 대한 Google 내부 평가로, 사실 회상 테스트가 아니며 AA-Omniscience와 비교할 수 없습니다.
- 간접적인 것: Neon 모델 카드의 “AA Index v5.0.1” 행(Neon 61, Opus 5.5 59, GPT-6.2 Sol 57)과 Carbon 모델 카드의 “AA Index v5.0” 행은 AA-Omniscience를 15% 비중의 구성 요소로만 포함합니다.
따라서 클로즈드북 환각에 관해서는, 2026년 11월 19일 기준으로 우리가 찾은 Gemini 4의 정량적 근거는 AA 수치뿐입니다.
제품 결정에 이 수치를 쓰는 방법
AA-Omniscience는 잘 알려지지 않은 사실을 기억에서 꺼내 답하게 합니다. 실제 서비스가 그렇게 동작하는 경우는 드물기 때문에, 결과를 쓰기 전에 자신의 상황으로 옮겨 생각해야 합니다.
오답의 비용이 크고 미응답을 처리할 수 있다면, 보정이 잘 되어 답을 보류하는 모델이 더 안전한 기본값입니다.
- 폴백이 있는 RAG. “제공된 자료에 없습니다”라는 답은 검색 계층이 재시도하거나 사람에게 넘기게 해 줍니다. 자신 있게 지어낸 답은 근거가 있는 것처럼 보여 그대로 통과합니다. 다만 AA가 측정하는 것은 클로즈드북 회상이고, 검색한 컨텍스트에 충실한지는 별개의 능력이므로 자체 문서로 따로 테스트해야 합니다(임베딩과 RAG 가이드(영어) 참고).
- 법률, 금융, 컴플라이언스, 의료 정보 추출. 빈 필드는 검토를 받지만, 틀린 조항, 금리, 용량은 그냥 넘어갈 수 있습니다. 여기서는 k가 보통 3보다 훨씬 큽니다.
medium단계의 Carbon,high단계의 Argon, 기본값(high)의 Hydrogen부터 테스트하세요. - 인용, 그리고 사실을 근거로 행동하는 에이전트. 지어낸 판례 이름이나 계정 ID는 잘못된 인용이나 잘못된 조치가 됩니다. 답을 보류하면 사용자에게 묻는 질문이 됩니다.
오답을 쉽게 잡아낼 수 있다면, 지식이 많은 모델이 더 나은 기본값입니다. 어차피 고칠 초안 작성과 요약, 테스트 스위트가 있는 코딩, 사람이 모든 후보를 검토하는 높은 재현율의 분류, 거절당한 사용자가 다른 곳으로 가는 소비자용 Q&A가 여기에 해당합니다.
고르기 전에:
- 실제 트래픽으로 라벨이 붙은 세트를 만드세요. 답할 수 있는 문항, 답할 수 없는 문항(잘못된 전제, 존재하지 않는 대상, 기록되지 않은 사실), 답할 수 있지만 잘 알려지지 않은 문항을 넣습니다. 정답, 오답, 미응답을 따로 집계하고, 오답은 전체 항목 대비 비율로 보고합니다.
- 실제로 배포할 사고 수준이나 effort로 실행하세요. Argon과 Sonnet 행을 보면 결과가 얼마나 달라지는지 알 수 있습니다.
- 답하지 않아도 괜찮다고 모델에 알려 주고, 미응답일 때 코드가 무언가를 하도록(검색, 질문, 에스컬레이션) 만드세요.
- 작업마다 오답 비용이 다르다면 작업별로 라우팅하세요. Gemini 4 모델 선택 가이드와 Gemini·Claude·GPT 등급 대응표에서 다룹니다.
Ofox로 진행한 작은 테스트(참고용, n=1)
답을 보류하는 동작을 직접 보기 위해 Ofox로 호출할 수 있는 모델 6개를 실행했습니다. google/gemini-4-argon, google/gemini-4-hydrogen, anthropic/claude-haiku-5.5, anthropic/claude-sonnet-5.5, openai/gpt-6-luna, openai/gpt-6.2-sol입니다. Carbon과 Neon은 Ofox에 없어서 테스트하지 않았습니다.
방법. 20문항을 직접 작성하고 실행 전에 참고 답안을 확인했습니다. 질문은 영어로 보냈습니다. 아래에는 영어 문항의 요지를 그대로 두고 괄호 안에 한국어 설명을 붙였습니다.
- 답할 수 있는 문항 10개(안정적이고 확인 가능한 사실): first woman to win the Fields Medal(필즈상을 처음 받은 여성), composer of Wozzeck(〈보체크〉의 작곡가), deepest point of the Puerto Rico Trench(푸에르토리코 해구의 최심점), HTTP 421 reason phrase(HTTP 421의 사유 문구), RFC number for JWT(JWT의 RFC 번호), PEP number for f-strings(f-string의 PEP 번호), formula of wollastonite(규회석의 화학식), IATA code of Svalbard Airport(스발바르 공항의 IATA 코드), first ASEAN Secretary-General(초대 아세안 사무총장), year the Unicode Consortium was incorporated(유니코드 컨소시엄이 법인으로 설립된 해).
- 함정 문항 5개: 잘못된 전제(the year Alan Turing received the Turing Award, 즉 앨런 튜링이 튜링상을 받은 해. 튜링은 1954년에 사망했고 상은 1966년에 시작됨), 존재하지 않는 pandas 메서드, 지어낸 Nature 논문, 기록되지 않은 사실(the word count of Hemingway’s first handwritten draft of The Old Man and the Sea, 즉 헤밍웨이 《노인과 바다》 첫 손글씨 초고의 단어 수), 지어낸 수학자와 추측.
- 조금 더 어려운 답할 수 있는 문항 5개: 첫 라운드에서 답할 수 있는 문항에 대한 미응답이 하나도 나오지 않아 두 번째 라운드로 추가했습니다. second ASEAN Secretary-General(제2대 아세안 사무총장), Svalbard Airport’s ICAO code(스발바르 공항의 ICAO 코드), month of the first Unicode Standard volume(Unicode Standard 첫 권이 나온 달), the first Secretary-General’s date of death(초대 사무총장의 사망일), the Unicode Consortium’s three founders(유니코드 컨소시엄의 창립자 세 명).
각 라운드에서 모델마다 https://api.ofox.ai/v1을 통한 Chat Completions 호출을 한 번씩 보냈습니다. 시스템 프롬프트는 “say so instead of guessing”(번역: 추측하지 말고 그렇다고 말하라)을 허용했고, JSON 출력, 도구 없음, temperature나 추론 파라미터 미지정(각 모델은 Ofox 라우트의 기본값), 비용 상한으로 max_tokens 16000을 설정했습니다. 총 12회 호출로, AA에 표시된 정가 기준 약 0.04달러어치 토큰입니다(우리의 추정치이며 청구서가 아님). 저장한 원본 응답을 보고 모든 답을 직접 채점했습니다. 채점 기준: 단서를 단 오답(“I believe X, but I’m not fully confident”)은 오답으로, 널리 인정되는 음역 표기(“H.R. Darsono”, “Umarjadi Notowijono”)는 정답으로 처리했습니다.
| 모델(Ofox ID) | 답할 수 있는 문항(15): 정답 / 오답 / 미응답 | 함정(5): 간파 / 지어냄 |
|---|---|---|
google/gemini-4-argon | 14 / 0 / 1 | 5 / 0 |
google/gemini-4-hydrogen | 15 / 0 / 0 | 5 / 0 |
openai/gpt-6.2-sol | 15 / 0 / 0 | 5 / 0 |
anthropic/claude-haiku-5.5 | 13 / 1 / 1 | 5 / 0 |
anthropic/claude-sonnet-5.5 | 13 / 2 / 0 | 5 / 0 |
openai/gpt-6-luna | 14 / 1 / 0 | 4 / 1 |
모델 간 차이가 난 문항에서는 다음과 같은 일이 있었습니다.
- 초대 아세안 사무총장(Hartono Rekso Dharsono): Haiku는 “H.S. Dillon of Indonesia”라고 답했습니다. Sonnet은 “Hartono Rekksodiprodjo”라고 답해 이름은 맞았지만 성은 지어낸 것이었습니다.
- 그의 사망일(1996년 6월 5일): Argon과 Haiku는 둘 다 답하지 않았습니다. Sonnet은 “I believe 6 June 2006, but I’m not fully confident”라고 답했는데, 단서를 달았어도 오답입니다. Hydrogen, Sol, Luna는 맞혔습니다.
- 제2대 아세안 사무총장(Umarjadi Njotowijono): Luna는 3대 사무총장인 Ali Abdullah를 답했습니다. Sonnet은 인물은 맞혔지만 틀린 임기(1978~1980년. 실제로는 1978년 2월부터 6월까지 재임)를 덧붙였습니다.
- 튜링상 함정: Luna는 “1986”이라고 답했습니다. 나머지 다섯 모델은 튜링이 그 상을 받은 적이 없다고 답했습니다.
- 지어낸 논문, 존재하지 않는 pandas 메서드, 지어낸 수학자, 기록되지 않은 단어 수는 여섯 모델 모두 간파했습니다.
이 테스트가 보여 주는 것과 보여 주지 않는 것:
- Argon은 다른 세 모델이 맞힌 문항에서 답하지 않았습니다. 작은 규모로 본 AA의 트레이드오프입니다. 답을 보류해서 정답 하나를 잃었고, 생길 수 있었던 오류 하나를 피했습니다.
- 이 세트에서 Hydrogen과 Sol은 하나도 틀리지 않았습니다. 그래서 AA 방식의 환각률은 정의할 수 없습니다(0 ÷ 0). Sonnet은 100%(오답 2 ÷ 비정답 2), Argon은 0%(0 ÷ 1)가 됩니다. 답할 수 있는 문항이 15개뿐이면 이 비율은 답 한두 개로 ‘정의 불가’와 100% 사이를 오갑니다. 작은 세트에서는 오답을 전체 항목 대비로 세야 하는 이유입니다.
- 뻔한 함정은 쉬웠습니다. 여섯 모델 중 다섯이 모든 함정을 간파했습니다. 이번 실행에서 가짜 논문과 가짜 API는 걸러졌고, 실제 오류는 실존하지만 자료가 거의 없는 인물에서 나왔습니다. 자신의 테스트 세트에 이런 항목을 넣으세요.
- 한계: 모델당 1회 실행, 직접 작성한 20문항, 작성자 채점, 각 Ofox 라우트의 기본 설정(사고 수준은 설정하거나 확인하지 않았고, Argon의 응답에는 사고 토큰(reasoning tokens)이 보고되지 않음), 그리고 답 보류를 명시적으로 허용한 프롬프트입니다. 다시 실행하면 개별 답이 달라질 수 있습니다. 원본 요청과 응답은 글의 증거 자료와 함께 보관합니다.
자신의 질문으로 같은 검사 실행하기
아래는 우리 스크립트를 줄인 버전입니다. Ofox의 OpenAI 호환 엔드포인트를 통해 모델마다 한 묶음씩 보내고 답을 출력합니다. 감사 기록이 필요하면 전체 응답을 저장하세요. 키는 환경 변수에 넣어 둡니다. 설정 방법은 Ofox 연동 문서를, Ofox가 받는 Gemini 전용 요청 형식은 Gemini API 페이지를 참고하세요.
import json, os, urllib.error, urllib.request
SYSTEM = ("Answer each question from your own knowledge only. You have no tools. "
"Keep each answer short. If you are not confident, or the question cannot "
"be answered as asked, say so instead of guessing. Return only a JSON object "
"mapping each question id to your answer string.")
questions = {"Q1": "Who was the first Secretary-General of ASEAN?",
"Q2": "In what year did Alan Turing receive the Turing Award?"} # 여기에 자신의 문항 세트를 넣으세요
def ask(model):
body = {"model": model, "max_tokens": 16000,
"messages": [{"role": "system", "content": SYSTEM},
{"role": "user", "content": "\n".join(f"{k}: {v}" for k, v in questions.items())}]}
req = urllib.request.Request("https://api.ofox.ai/v1/chat/completions",
data=json.dumps(body).encode(),
headers={"Authorization": "Bearer " + os.environ["OFOX_API_KEY"],
"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=600) as r:
return json.loads(r.read())
except urllib.error.HTTPError as e:
print(model, "HTTP", e.code, e.read()[:300])
return None
for m in ["google/gemini-4-argon", "google/gemini-4-hydrogen", "anthropic/claude-sonnet-5.5"]:
out = ask(m)
if out:
print(m, out["choices"][0]["message"]["content"])
모든 답을 직접 또는 채점용 프롬프트로 정답, 오답, 미응답으로 분류하고, 함정 문항은 따로 집계하세요. JSON을 Markdown 코드 펜스로 감싸서 돌려주는 모델도 있으니(이번 실행에서는 Argon과 Haiku가 그랬습니다) 파싱 전에 펜스를 제거하세요. 묶음 요청 중 429가 나오면 속도 제한 가이드와 Gemini 4 API 오류 가이드를 보세요. 그 밖의 실패는 오류 처리 가이드에 응답 코드가 정리되어 있습니다. 각 모델의 현재 토큰당 가격은 Ofox 모델 페이지에서 확인할 수 있습니다. 예: Gemini 4 Argon, Gemini 4 Hydrogen, Claude Sonnet 5.5, GPT-6.2 Sol.
2026년 11월 19일 기준으로 Gemini 4 Carbon과 Neon은 Ofox에 없습니다. 이 둘을 테스트하려면 Google의 네이티브 Gemini API를 직접 호출하세요. 요청 형식과 thinking_level 설정 방법은 Neon API 가이드와 Carbon API 설정 가이드에서 설명합니다.
요약
Argon의 4.3%는 high 설정의 값이고, 기본 medium에서는 15.4%입니다. 어느 쪽이든 전체 답변 중 오답의 비율은 대표 수치에서 받는 인상보다 훨씬 작습니다(각각 2.2%와 7.9%). Gemini 4의 낮은 환각률은 더 많이 알아서가 아니라 답을 보류해서 나오므로, Fable 5.2, Opus 5.5, Astra와 비교하면 비교 쌍과 단계에 따라 오답 비용이 정답 가치의 대략 1.1~7배를 넘을 때만 이득입니다. Sol, Sonnet, 저가 등급과 비교하면 이 트레이드오프는 대부분 사라집니다. 인용된 환각률을 보면 먼저 어떤 사고 수준의 값인지 확인하고, 자신의 데이터로 오답을 전체 답변 대비 비율로 세어 보세요.


