일상 코딩에는 무엇을 쓸까? Gemini 4 Hydrogen, Claude Sonnet 5.5, GPT-6.1 Terra 비교
Hydrogen, Sonnet 5.5, GPT-6.1 Terra를 Google 벤치마크, 공식 요금, 기본 effort 설정, 무료 사용 범위, 직접 재현할 수 있는 30회 테스트 호출로 비교합니다.
일상적인 코딩과 작은 에이전트 작업에서는 세 모델 모두 충분한 능력을 갖추고 있어, 순수한 성능보다 가격, 지연 시간, 토큰 사용 습관이 선택을 좌우합니다. 비용과 응답 시간이 가장 중요하다면 GPT-6.1 Terra, 짧고 예측 가능한 출력이 필요하다면 Claude Sonnet 5.5부터 시작하십시오. Google의 무료 등급, 네이티브 동영상·오디오 입력이 필요하거나 Google 모델 카드에 나온 에이전트·추론 결과를 중시한다면 Gemini 4 Hydrogen을 고르십시오. 그런 다음 자신의 작업 샘플로 선택을 확인하십시오.
이 권장 사항은 세 종류의 근거에 기반하며, 본문 전체에서 각각을 구분해 표시합니다.
- 공급사 문서: 2026년 11월 19일에 확인한 Google, Anthropic, OpenAI의 문서입니다. 가격, 컨텍스트 윈도, 출력 한도, 기본 effort를 다룹니다.
- 공개된 측정 결과: Google의 Gemini 4 Hydrogen 모델 카드(영어)에 있는 벤치마크 표와, 같은 날 확인한 Artificial Analysis 페이지입니다.
- 자체 소규모 테스트: 하나의 OpenAI 호환 엔드포인트로 30회 호출했습니다(작업 5개 × 모델 3개 × 2회). 모든 검사는 첫 호출 전에 작성했습니다. 30회 모두 통과했습니다. 따라서 이 테스트로는 정확성이 아니라 지연 시간과 토큰 사용량에서만 모델 간 차이를 볼 수 있습니다.
이 글은 Ofox가 발행하며, 세 모델 모두 Ofox를 통해 호출할 수 있습니다. 테스트에 Ofox 엔드포인트를 쓴 이유는 하나의 요청 형식으로 세 모델 모두에 접근할 수 있기 때문입니다. 이 글에서는 Ofox 가격을 인용하지 않습니다. 현재 요금은 각 모델 페이지에서 확인하십시오.
작업별 빠른 선택
아래 표는 자체 측정과 각 공급사 문서를 함께 정리한 것입니다. ‘자체 측정’은 작업마다 모델당 두 번 호출한 결과이므로, 지연 시간 수치는 참고용이며 서비스 수준이 아닙니다.
| 주요 작업 | 먼저 써 볼 모델 | 이유(와 근거 유형) | 바꿀 시점 |
|---|---|---|---|
| 작은 버그 수정, SQL, 명세에 따른 짧은 함수 | GPT-6.1 Terra | 이번 검사를 모두 통과했고, 전체 출력 토큰이 가장 적었으며 지연 시간 중앙값이 가장 낮았습니다. 세 모델 중 정가도 가장 낮습니다. SQL과 명세 기반 코드 작성에서는 Sonnet이 조금 더 빨랐습니다(자체 측정 + OpenAI 요금) | 자신의 실패 사례가 여러 파일 수정이나 긴 컨텍스트 수정에 몰려 있을 때 |
| 구조화된 추출(지저분한 텍스트에서 JSON 추출) | Terra 또는 Sonnet 5.5 | 둘 다 약 80~85개의 출력 토큰으로 답했습니다. Hydrogen은 같은 결과에 416개와 1,145개를 썼습니다(자체 측정) | 스키마가 여러 문서에 걸친 추론을 요구할 때 |
| 도구 없이 하는 다단계 계획 | 먼저 Terra, 두 번째 의견으로 Sonnet 5.5 | 세 모델 모두 최적 일정을 찾았습니다. Terra가 가장 빨랐고 Sonnet의 출력량은 중간이었습니다(자체 측정) | 계획에 도구 호출이 필요하거나, 아직 테스트하지 않은 긴 제약 조건이 붙을 때 |
| 기본 설정에서의 에이전트 루프와 저장소 작업 | Hydrogen 또는 Sonnet 5.5, 자체 평가로 결정 | Google 표에서 Hydrogen은 SWE-sweep과 AutomationBench-AA에서, Sonnet은 Terminal-Bench 4.1과 OSWorld-2.1에서 앞섭니다(공급사 발표) | 자신의 에이전트 실행 결과가 공급사 수치와 다를 때 |
| 동영상, 오디오, 혼합 미디어 입력 | Hydrogen | 텍스트, 이미지, 오디오, 동영상 입력을 받습니다. Sonnet 5.5와 Terra는 텍스트와 이미지 입력을 받습니다(Google 모델 카드, Anthropic 모델 개요, OpenAI의 Terra 모델 페이지) | 텍스트와 이미지만 보낼 때 |
| 예산 없이 하는 프로토타이핑 | Google 무료 등급의 Hydrogen | 세 모델 중 상시 무료 API 등급이 있는 유일한 모델입니다. Anthropic은 신규 사용자에게 일회성 크레딧을 제공합니다(Google, Anthropic 요금 페이지) | 예측 가능한 처리량이 필요할 때. 무료 등급에는 한도가 있습니다 |
여러 공급사가 아니라 Google 모델군 안에서 기본 모델을 고르는 경우라면 Gemini 4 Carbon, Hydrogen, Argon 선택 가이드를 참고하십시오. 세 공급사의 소형부터 플래그십까지 전체 라인업은 Gemini 4, Claude, GPT 모델 등급 개요에서 정리했습니다.
Google의 Hydrogen 모델 카드는 무엇과 비교하는가
비교 상대는 Google이 직접 골랐습니다. 2026년 11월 12일에 공개된 Hydrogen 모델 카드는 Gemini 4 Hydrogen을 Claude Sonnet 5.5, GPT-6.1 Terra와 나란히 싣고 있습니다. 저희는 2026년 11월 19일에 저장한 스냅숏으로 표를 다시 만들었고, Google의 ‘Notes’ 표기를 그대로 두었습니다. 이 표기에 따라 각 수치의 의미가 달라지기 때문입니다.
| 범주 | 벤치마크(Google 표기) | Gemini 4 Hydrogen | Claude Sonnet 5.5 | GPT-6.1 Terra |
|---|---|---|---|---|
| 에이전트 코딩 | SWE-sweep | 13.5% | 3.1% | 5.8% |
| 에이전트 코딩 | Terminal-Bench 4.1 (cheating-adjusted) | 57.0% | 63.9% | 기재 없음 |
| 지식 작업 | Agents’ Last Exam v1.1 (score) | 71.6% | 60.4% | 69.8% |
| 지식 작업 | AutomationBench-AA | 76.1% | 71.8% | 60.2% |
| 지식 작업 | Vending-Bench 2 (bank balance) | $14,549 | $11,165 | $9,107 |
| 컴퓨터 사용 | OSWorld-2.1 (offline subset) | 77.6% | 83.9% | 74.2% |
| 멀티모달 이해 | MKA (Climb WSR accuracy) | 53.4% | 52.0% | 43.8% |
| 멀티모달 이해 | Chartography | 66.6% | 61.6% | 63.2% |
| 과학·수학 | Terminal-Bench-Science 0.1 | 51.4% | 59.9% | 58.3% |
| 추론 | HLE-Diamond | 58.8% | 53.3% | 47.3% |
출처: Google DeepMind, Gemini 4 Hydrogen 모델 카드, “Results as of November, 2026”. 공급사가 발표한 수치이며 Ofox가 재현하지 않았습니다.
이 표는 두 부분으로 나눠 읽어야 합니다. Hydrogen은 10개 행 중 7개에서 앞서며, 상대적 격차가 가장 큰 것은 SWE-sweep입니다. Sonnet 5.5는 Terminal-Bench 4.1, OSWorld-2.1, Terminal-Bench-Science의 3개 행에서 앞섭니다. Terra는 이 표에서 앞서는 행이 없고 Terminal-Bench 4.1 항목도 없습니다. 이를 순위로 받아들이기 전에 몇 가지를 주의해야 합니다.
- Sonnet이 앞서는 행은 터미널 작업과 컴퓨터 사용 작업입니다. 에이전트가 주로 셸이나 데스크톱을 조작한다면, 추론 시험보다 이 행들이 더 중요합니다.
- 스냅숏에는 각 모델이 어떤 effort나 사고 설정을 썼는지 나와 있지 않습니다. 경쟁 모델의 점수가 Google이 직접 실행한 결과인지 다른 공급사의 발표치인지도 알 수 없습니다. Google은 자세한 내용으로 방법론 페이지(영어)를 안내하지만, 저희는 이를 검증하지 않았습니다.
- SWE-sweep 점수는 세 모델 모두 낮습니다. 13.5% 대 3.1%는 상대적으로 큰 차이지만, 어느 모델이든 대부분 실패하는 벤치마크입니다.
- ‘cheating-adjusted’와 ‘offline subset’은 특정 채점 방식입니다. 같은 방식을 쓴 수치와만 비교하십시오.
Google은 Hydrogen을 “everyday coding and agentic workflows”(일상적인 코딩과 에이전트 워크플로)용 모델로 내세웁니다. 모델 카드에는 알려진 한계로 환각, 가끔 느려지거나 시간 초과가 나는 문제, 사고 수준이 높을수록 토큰 사용량이 늘어나는 점도 적혀 있습니다. 토큰에 관한 내용은 저희 측정과도 일치합니다. Hydrogen은 모든 작업에서 출력 토큰이 가장 많았습니다. 다만 경로가 어떤 사고 수준을 적용했는지는 확인할 수 없었습니다.
가격, 컨텍스트, 출력 한도, effort 설정
아래 수치는 모두 각 공급사 문서에서 가져왔으며 2026년 11월 19일에 확인했습니다. 가격은 Standard 등급 정가이며 단위는 100만 토큰당 미국 달러입니다.
| Gemini 4 Hydrogen | Claude Sonnet 5.5 | GPT-6.1 Terra | |
|---|---|---|---|
| 네이티브 모델 ID | gemini-4-hydrogen | claude-sonnet-5-5 | gpt-6.1-terra |
| 입력 | $1.50 | $2.00 | $1.00(컨텍스트 ≤272K) / $2.00(>272K) |
| 출력(사고 포함) | $7.50 | $10.00 | $5.00(≤272K) / $7.50(>272K) |
| 캐시 적중 | $0.075(암시적 캐싱만) | $0.10 | $0.05(≤272K) / $0.10(>272K) |
| 캐시 쓰기 | 기재 없음(암시적 캐싱) | $2.50(5분) / $4.00(1시간) | $1.25(30분) / $2.50(12시간), ≤272K |
| 긴 컨텍스트 할증 | 없음: 1M 전체 동일 요금 | 없음: 1M 전체를 표준 요금으로 | 있음, 272K 토큰 초과 시 |
| 컨텍스트 윈도 | 1,048,576(입력, 사고, 출력이 공유) | 1M | 1,050,000 |
| 최대 출력 | 동기 요청당 65,536. 백그라운드 모드의 긴 디코딩은 최대 1M | 128K | 128,000 |
| effort/사고 설정 | thinking_level: low, medium, high(기본값), xhigh | effort: low, medium, high(기본값), xhigh, max | reasoning effort: none, low, medium(기본값), high, xhigh, max |
| 무료 API 등급 | 있음, 속도 제한 적용 | 없음. 신규 사용자에게 무료 크레딧 | 무료 등급 기재 없음 |
| Batch 가격 | $0.75 / $3.75 | $1.00 / $5.00 | $0.50 / $2.50(≤272K) |
출처(모두 영어): Google 요금과 Hydrogen 개발자 가이드, Anthropic의 요금, 모델 개요, effort 가이드, OpenAI의 요금과 GPT-6.1 Terra 모델 페이지.
이 표에서 실무적으로 세 가지 결론이 나옵니다.
기본값이 같지 않습니다. Hydrogen과 Sonnet 5.5는 기본적으로 각자의 ‘high’를 쓰지만 Terra는 ‘medium’입니다. 첫날 대부분이 그러듯 effort를 지정하지 않고 비교하면 Terra만 한 단계 낮은 설정으로 비교하게 됩니다. Anthropic은 명세가 명확한 에이전트 코딩에서 Sonnet 5.5를 medium으로 시작하라고 권장합니다. Google은 Hydrogen의 네 가지 수준 모두에서 평가를 실행하고, 품질 기준을 충족하는 가장 낮은 수준을 고르라고 권장합니다. 이런 비교 방법은 Sonnet 5.5 effort 수준과 Gemini 4 사고 수준 가이드에서 다룹니다.
정가가 곧 작업 비용은 아닙니다. Hydrogen의 출력 단가는 Sonnet보다 25% 낮지만, 출력 토큰에는 사고가 포함됩니다. 저희 측정에서 똑같이 통과한 답변에 대해 Hydrogen의 출력 토큰은 Sonnet의 약 2.7배였고, 그래서 추정 비용은 오히려 더 높았습니다. Sonnet 5.5 작업 비용 가이드에서 캐시, 재시도, 출력을 작업 전체에 걸쳐 계산하는 방법을 설명합니다.
긴 프롬프트는 Terra의 가격을 바꿉니다. 컨텍스트가 272K 토큰을 넘으면 Terra의 입력·출력 단가가 $2.00와 $7.50로 오릅니다. Hydrogen과 Sonnet 5.5는 윈도 전체에서 같은 요금을 받습니다. 저장소 규모의 프롬프트라면 대표 단가가 아니라 실제 프롬프트 길이로 비용을 계산하십시오.
Hydrogen 무료 등급
Google은 Gemini API와 AI Studio의 무료 등급에서 Hydrogen을 “free of charge”(무료)로 표시하며, 속도 제한(영어)가 적용됩니다. Google 요금표에는 무료 등급 데이터가 자사 제품 개선에 사용되며, 유료 등급에서는 그렇지 않다는 점도 표시되어 있습니다. Anthropic과 OpenAI는 Sonnet 5.5나 Terra에 대해 무료 API 등급을 기재하지 않습니다. Anthropic 요금 FAQ에 따르면 신규 사용자는 API를 테스트할 무료 크레딧을 받지만, 이는 일회성 체험이지 상시 무료 등급이 아닙니다.
이 무료 등급은 Google 자체 API에만 해당합니다. Ofox나 다른 게이트웨이를 거친 요청에는 적용되지 않으며, 그런 요청은 게이트웨이가 과금합니다. Hydrogen API 설정 가이드에서 두 경로를 모두 설명하고, Gemini 4 무료 API 등급 설명에서 자격 조건과 한도를 다룹니다.
독립 측정: 각 모델 기본값에서의 Artificial Analysis
Artificial Analysis는 effort 설정별로 Intelligence Index와 속도, 토큰 사용량, 비용 데이터를 공개합니다. 대표 수치는 각 모델의 최상위 설정을 기준으로 하는데, 대부분의 애플리케이션은 그렇게 실행하지 않습니다. 아래 표는 각 모델 문서에 적힌 API 기본값 기준으로 읽은 값입니다. 2026년 11월 19일에 세 모델 페이지에 포함된 데이터에서 가져왔으며, Artificial Analysis가 평가를 다시 실행하면 바뀝니다.
| Artificial Analysis 지표 | Hydrogen, high(기본값) | Sonnet 5.5, high(기본값) | Terra, medium(기본값) |
|---|---|---|---|
| Intelligence Index | 50.8 | 41.5 | 38.2 |
| 출력 속도(토큰/초) | 164.7 | 135.8 | 60.4 |
| 첫 답변 토큰까지의 시간 | 19.4초 | 9.4초 | 5.1초 |
| 지수 작업당 출력 토큰 | 84,978 | 58,421 | 10,875 |
| 지수 작업당 시간 | 8.6분 | 7.2분 | 3.0분 |
| 지수 작업당 비용 | $1.87 | $1.64 | $0.17 |
| 대표 지수(최상위 설정) | 53.9(xhigh) | 54.5(max) | 51.3(max) |
출처: Artificial Analysis의 Hydrogen, Sonnet 5.5, GPT-6.1 Terra 페이지(영어), 2026년 11월 19일 확인. 작업당 비용은 Artificial Analysis가 정가로 자체 계산한 값입니다.
기본 설정에서는 Hydrogen이 점수가 가장 높고 토큰 생성도 가장 빠릅니다. 하지만 작업당 출력 토큰이 Sonnet의 약 1.5배, Terra의 8배 가까이 되며, 첫 답변 토큰까지 기다리는 시간도 가장 깁니다. Terra는 토큰 생성이 가장 느리지만 필요한 토큰이 아주 적어서, 평균적인 작업을 다른 두 모델의 절반도 안 되는 시간에, 약 10분의 1 비용으로 끝냅니다. 최상위 설정에서는 Sonnet 5.5가 지수에서 Hydrogen을 근소하게 앞섭니다. 그러나 Artificial Analysis가 측정한 Sonnet max의 첫 답변 토큰까지 시간은 약 264초여서, 이 설정은 대화형 작업에 맞지 않습니다.
이것은 집계된 평가입니다. 이어지는 소규모 테스트에서도 구체적인 작업에서 같은 경향이 나타났습니다.
하나의 엔드포인트로 일상 작업 5개를 실행했습니다
설정. 2026년 11월 19일, 각 작업을 하나의 user 메시지로 https://api.ofox.ai/v1/chat/completions에 보냈습니다. 모델 ID는 google/gemini-4-hydrogen, anthropic/claude-sonnet-5.5, openai/gpt-6.1-terra입니다. 각 요청에는 model, messages, max_tokens: 32000만 넣었습니다. 시스템 프롬프트, 샘플링 파라미터, reasoning이나 effort 필드는 없습니다. 아무것도 보내지 않았을 때 Ofox의 각 경로가 어떤 effort나 사고 수준을 적용했는지 저희는 알지 못합니다. 공급사가 문서화한 API 기본값(high, high, medium)과 같을 수도 있지만, 응답에 표시되지 않으므로 확인할 수 없습니다. 각 작업은 모델별로 두 번 실행했고, 모델 순서는 작업과 라운드마다 바꿨습니다. 지연 시간은 클라이언트가 비스트리밍 응답을 받기까지 걸린 실제 시간이며 네트워크 시간이 포함됩니다. 토큰 수는 각 응답의 usage 객체에서 가져왔습니다.
검사. 모든 검사는 첫 모델 호출 전에 작성했고 정답 예시로 검증했습니다. 프로그램 검사를 통과한 경우만 통과로 보았으며, 눈으로 채점하지 않았습니다.
| 작업 | 모델이 할 일 | 객관적 검사 |
|---|---|---|
| T1 실패하는 함수 수정 | merge_intervals 수정(정렬되지 않은 입력, 끝이 맞닿는 구간) | 반환된 함수를 주어진 테스트와 비공개 사례 4개(빈 리스트, 맞닿는 구간, 중첩 구간, 점 구간)로 실행 |
| T2 스키마로 SQL 작성 | 2026년 결제 완료 주문이 2건 이상인 고객, 결제 총액, 고정 정렬 | 시드 데이터가 들어 있는 SQLite에서 쿼리를 실행하고 행을 정확히 비교. 데이터에는 환불, 2025년 주문, 동점이 포함 |
| T3 JSON 추출 | 자기 정정과 유럽식 숫자 표기가 있는 지저분한 전달 메일에서 청구서 항목 추출 | JSON 파싱. 키가 정확히 일치하고 값이 기대 레코드와 같아야 함(정정된 총액 1420.5, 결제 조건으로 계산한 만기일, PO는 null) |
| T4 도구 없는 계획 | 의존 관계와 공유 자원 규칙이 있는 2인 작업자 릴리스 일정 | 의존 관계, 작업자, 겹침 금지 규칙을 모두 검증한 뒤 최소 완료 시간(68분)을 요구 |
| T5 명세로 코드 작성 | HTTP Retry-After용 retry_delay_seconds()(초 또는 HTTP 날짜) | 공백, 음수, 해석 불가, 지난 날짜를 포함한 비공개 사례 9개 |
결과
| 작업 | Hydrogen: 통과, 지연 시간, 출력 토큰 | Sonnet 5.5: 통과, 지연 시간, 출력 토큰 | Terra: 통과, 지연 시간, 출력 토큰 |
|---|---|---|---|
| T1 함수 수정 | 2/2 · 4.3초, 4.5초 · 551, 603 | 2/2 · 4.2초, 4.2초 · 270, 282 | 2/2 · 1.9초, 2.9초 · 106, 144 |
| T2 SQL | 2/2 · 8.2초, 7.0초 · 1,160, 901 | 2/2 · 3.4초, 3.1초 · 190, 190 | 2/2 · 3.7초, 4.7초 · 311, 333 |
| T3 JSON 추출 | 2/2 · 3.6초, 8.5초 · 416, 1,145 | 2/2 · 3.1초, 3.3초 · 85, 85 | 2/2 · 4.2초, 2.1초 · 83, 79 |
| T4 계획 | 2/2 · 9.3초, 10.3초 · 1,318, 1,373 | 2/2 · 9.1초, 8.3초 · 755, 840 | 2/2 · 3.9초, 3.6초 · 224, 265 |
| T5 명세로 코드 | 2/2 · 14.9초, 23.8초 · 2,154, 3,532 | 2/2 · 9.9초, 9.1초 · 1,132, 1,013 | 2/2 · 10.7초, 10.6초 · 941, 1,001 |
| 모델별 10회 호출 합계 | Hydrogen | Sonnet 5.5 | Terra |
|---|---|---|---|
| 통과 | 10/10 | 10/10 | 10/10 |
| 지연 시간 중앙값 | 8.4초 | 4.2초 | 3.8초 |
| 가장 느린 호출 | 23.8초 | 9.9초 | 10.7초 |
| 입력 토큰(보고값) | 2,372 | 2,874 | 1,916 |
| 출력 토큰(보고값) | 13,153 | 4,842 | 3,487 |
| 공식 정가 기준 추정 비용 | $0.102 | $0.054 | $0.019 |
2026년 11월 19일 측정, 셀당 n = 2. 비용 행은 보고된 토큰 수와 각 공급사의 Standard 정가로 저희가 계산한 값이며 청구서가 아닙니다. Ofox는 각 모델 페이지에 표시된 요금으로 과금합니다. 30회 호출 전체는 정가 기준 약 $0.18이었습니다.
측정 결과에서 알 수 있는 점은 다음과 같습니다.
- 이 작업들에서는 정확성으로 모델이 갈리지 않았습니다. 모든 모델이 두 번 모두 비공개 사례를 전부 통과했습니다. 유럽식 소수 표기, 정정된 청구 총액, C/D 일정 충돌도 포함됩니다. 이 정도 규모의 일상 작업에 대해서는 유용한 발견이지만, 더 어려운 작업에 대해서는 아무것도 말해 주지 않습니다.
- 사고 수준을 지정하지 않은 경로에서 Hydrogen은 모든 작업에서 토큰을 가장 많이 썼습니다. 출력의 대부분은 추론이었습니다. 예를 들어 T5의 느린 실행에서는 출력 토큰 3,532개 중 3,361개가 추론이었습니다. 실행 간 편차도 가장 컸습니다(T3에서 같은 프롬프트로 3.6초와 8.5초). 사고 수준이 높을수록 토큰을 더 쓴다는 Google의 경고와 일치합니다.
- Sonnet 5.5가 가장 일관적이었습니다. 모든 작업에서 두 실행의 차이가 1초 이내였고, JSON 답변은 두 번 모두 85토큰이었습니다. 가장 짧은 세 작업에서는 usage 객체에 추론 토큰 내역이 없어서, 그 작업들에서 얼마나 사고했는지는 알 수 없습니다.
- Terra는 다섯 작업 모두에서 가장 저렴했고 지연 시간 중앙값도 가장 낮았습니다. 버그 수정과 계획에서는 확실히 가장 빨랐고, 추출에서는 Sonnet과 거의 비슷했습니다. SQL과 명세 기반 코드 작성에서는 Sonnet이 더 빨랐습니다. Artificial Analysis 데이터에서 Terra의 토큰 생성 속도는 세 모델 중 가장 느리지만, 짧은 출력이 이를 상쇄합니다.
자연스러운 다음 단계는 Hydrogen을 medium이나 low로, Sonnet을 medium으로 다시 실행하는 것입니다. 이번에 그렇게 하지 않은 이유는 Ofox 각 경로에서 effort 필드가 어떻게 매핑되는지 별도로 검증해야 하기 때문입니다. Hydrogen의 수치는 비용 대비 품질이 가장 좋은 설정이 아니라, 아무 설정도 보내지 않았을 때 경로가 적용한 설정에서 측정한 값으로 보십시오.
직접 다시 실행하기
아래 프롬프트는 저희가 실제로 보낸 텍스트 그대로입니다. 엔드포인트와 모델 ID를 사용하는 제공업체의 것으로 바꾸고, max_tokens를 넉넉하게 유지한 채 같은 검사를 실행하십시오. 나중에 usage를 확인할 수 있도록 원본 응답을 저장해 두십시오.
import json, os, time, urllib.request
def ask(model: str, prompt: str) -> tuple[str, dict, float]:
body = {"model": model, "messages": [{"role": "user", "content": prompt}], "max_tokens": 32000}
req = urllib.request.Request(
"https://api.ofox.ai/v1/chat/completions",
data=json.dumps(body).encode(),
headers={"Authorization": "Bearer " + os.environ["OFOX_API_KEY"],
"Content-Type": "application/json"},
)
t0 = time.monotonic()
resp = json.load(urllib.request.urlopen(req, timeout=600))
return resp["choices"][0]["message"]["content"], resp.get("usage", {}), time.monotonic() - t0
기본 URL과 요청 형식은 Ofox Chat Completions 레퍼런스를 따릅니다. 검사는 Python 3.10 이상에서 실행하십시오. 두 모델이 str | None 같은 타입 힌트를 반환했는데, Python 3.9에서는 __future__ import 없이 이를 평가할 수 없습니다.
프롬프트는 실제로 보낸 영어 원문 그대로 싣습니다.
T1 프롬프트
This function fails its test. Fix the function. Return only the corrected function in one ```python block.
```python
def merge_intervals(intervals):
"""Merge overlapping or touching closed intervals [start, end].
Input may be unsorted. Return a new sorted list of [start, end] lists."""
merged = []
for start, end in intervals:
if merged and start < merged[-1][1]:
merged[-1][1] = end
else:
merged.append([start, end])
return merged
```
Failing test:
```python
def test_merge():
assert merge_intervals([[5, 7], [1, 3], [2, 4]]) == [[1, 4], [5, 7]]
```
비공개 사례: [] → [], [[1,3],[3,5]] → [[1,5]], [[1,10],[2,3]] → [[1,10]], [[4,4],[1,2]] → [[1,2],[4,4]].
T2 프롬프트(검사용 시드 데이터: 고객 5명과 주문 12건. 환불된 주문, 2025년 12월 주문, 2,000센트로 동점인 고객 3명이 포함됩니다. 기대 결과 행은 ana@, cy@, di@example.com이며 각각 2000입니다)
SQLite schema:
```sql
CREATE TABLE customers (id INTEGER PRIMARY KEY, email TEXT NOT NULL);
CREATE TABLE orders (id INTEGER PRIMARY KEY, customer_id INTEGER NOT NULL REFERENCES customers(id),
status TEXT NOT NULL, -- 'paid', 'refunded' or 'pending'
created_at TEXT NOT NULL, -- ISO 8601 UTC, e.g. '2026-03-01T09:30:00Z'
amount_cents INTEGER NOT NULL);
```
Write one SQLite query that returns, for every customer with at least 2 orders whose status is 'paid' and whose created_at falls in calendar year 2026 (UTC), two columns: email and total_paid_cents (the sum of amount_cents over those same orders). Order by total_paid_cents descending, then email ascending. Return only the query in one ```sql block.
T3 프롬프트
Extract the invoice details from the message below. Reply with only a JSON object with exactly these keys:
"vendor" (string), "invoice_number" (string), "issue_date" (YYYY-MM-DD), "due_date" (YYYY-MM-DD or null), "currency" (ISO 4217 code), "total" (number), "po_number" (string or null).
Use the corrected values if the message corrects itself. Compute due_date if the payment terms make it determinable. Do not guess values that are missing.
---
fwd: pls process asap!!
> From: billing@northwind-supplies.example
> Hi team, attached is inv. NW-2026-0419 from Northwind Supplies Ltd, dated 3 Nov 2026.
> Amount due: EUR 1.240,50 (incl. VAT). Payment terms: 30 days from invoice date.
> Sorry, correction: the total should read EUR 1.420,50, the first figure had a typo.
> PO: we don't have one from you yet, please send it.
--
Sent from my phone
---
기대값: NW-2026-0419, 발행일 2026-11-03, 만기일 2026-12-03, EUR, 총액 1420.5, PO null.
T4 프롬프트
Plan a release. Steps and durations (minutes):
A build=10, B unit tests=15, C integration tests=20, D database migration=12, E deploy canary=8, F smoke test=5, G full rollout=10, H notify customers=3.
Rules:
1. B and C need A finished. D needs B finished.
2. E needs C and D finished. F needs E finished. G needs F finished.
3. H must start only after G finished.
4. Two workers are available; a worker does one step at a time and a step is never split.
5. D must not run at the same time as C (they share the staging database).
Find a schedule with the smallest possible finish time. Reply with only a JSON object {"steps": [{"id": "A", "start": 0}, ...]} listing all eight steps with integer start minutes.
최적값은 68분입니다. C가 10분부터 30분까지 실행되므로 D는 30분까지 기다려야 합니다.
T5 프롬프트
Write a Python function `retry_delay_seconds(header: str | None, now: datetime.datetime) -> float | None` for an HTTP client.
- `header` is the raw Retry-After header value (may be None, may have surrounding whitespace).
- If it is a non-negative integer number of seconds, return it as a float.
- If it is an HTTP-date (IMF-fixdate, e.g. "Wed, 21 Oct 2026 07:28:00 GMT"), return the seconds from `now` (timezone-aware UTC) until that date; return 0.0 if the date is in the past.
- Return None for None, empty, negative or unparseable values.
Use only the standard library. Return only the code (imports plus the function) in one ```python block.
now = 2026-10-21 07:00:00 UTC일 때 비공개 사례는 다음과 같습니다. "120" → 120.0, " 7 " → 7.0, "0" → 0.0, None, "", "-5", "soon" → None, "Wed, 21 Oct 2026 07:28:00 GMT" → 1680.0, 그보다 하루 이른 날짜 → 0.0.
이 비교의 한계
- 표본이 작습니다. 셀당 두 번의 실행은 방향을 보여 줄 뿐 안정적인 비율이 아닙니다. 2/2로 통과한 모델도 세 번째 실행에서는 실패할 수 있습니다.
- 작업이 쉽습니다. 30회 호출이 모두 통과했으므로, 이 작업들로는 정확성 기준으로 모델 순위를 매길 수 없습니다. 어떤 순위를 믿기 전에 자신의 실패 사례, 특히 여러 파일 수정과 긴 컨텍스트로 먼저 테스트하십시오.
- 경로가 하나뿐입니다. Ofox의 OpenAI 호환 엔드포인트를 통해 한 클라이언트 위치에서 측정했습니다. 네이티브 API, 다른 리전, 스트리밍, 시간대에 따라 지연 시간이 달라질 수 있습니다. Ofox 카탈로그에는 Terra의 도구 호출이 Responses API를 사용한다고 적혀 있습니다. 따라서 Terra에서 도구를 쓰는 에이전트를 테스트하려면 위의 Chat Completions 호출이 아니라 그 엔드포인트가 필요합니다.
- 도구, 이미지, 긴 컨텍스트는 다루지 않았습니다. 어떤 작업도 함수 호출, 컴퓨터 사용, 멀티모달 입력, 수백 토큰을 넘는 프롬프트를 쓰지 않았습니다. Google 표에서 차이가 가장 큰 영역이 바로 이 부분입니다.
- effort는 알 수 없고, 맞추지도 않았습니다. 저희는 effort를 지정하지 않았고, Ofox 각 경로가 적용한 effort는 응답에서 보이지 않습니다. 경로가 공급사가 문서화한 기본값을 따른다면 Terra는 다른 두 모델보다 한 단계 낮은 설정으로 실행된 것입니다. 어느 쪽이든 이번 결과는 effort 필드가 없는 요청에 각 모델이 어떻게 답하는지를 측정한 것이며, 같은 effort에서 비교한 것이 아닙니다.
호출이 실패할 때
테스트 호출이 답변 대신 오류를 반환한다면, 원인은 대개 모델의 능력이 아니라 경로나 파라미터입니다. Hydrogen이라면 Gemini 4 API 오류 가이드를 확인하십시오. 여러 턴에 걸친 도구 사용에서는 thought signature 누락 해결 방법도 확인하십시오. Sonnet 5.5는 Sonnet 5.5 마이그레이션 400 오류 가이드에서 thinking 비활성화나 강제 도구 사용처럼 업그레이드 후 거부되는 요청을 다룹니다. GPT-6.1 도구 호출은 Responses API 도구 호출 해결 가이드를 참고하십시오. Sol을 대상으로 쓴 글이지만 같은 요청 형식을 다룹니다. 429 응답은 429 재시도 가이드(영어)에 설명한 대로 백오프를 두고 재시도하십시오. Ofox의 오류 처리와 속도 제한 문서에 게이트웨이 자체 코드와 기본 한도가 정리되어 있습니다.
관련 비교와 설정 가이드
- 한 등급 아래: Gemini 4 Hydrogen, Claude Haiku 5.5, GPT-6 Luna 비교
- 한 등급 위: Gemini 4 Neon, Claude Opus 5.5, GPT-6.2 Sol 비교
- 코딩 에이전트에서 Hydrogen 사용: Cline과 OpenCode에서 Hydrogen 사용하기. Flash에서 옮기는 경우: Gemini 3.8 Flash에서 Hydrogen으로 마이그레이션
- Sonnet 5.5와 OpenAI의 더 큰 모델: GPT-6.1 Sol과 Claude Sonnet 5.5 비교
- Sonnet 5.5 실전: Claude Code 설정과 코딩에서 Sonnet 5.5와 Opus 5.5 비교
관련 문서
- Ofox Chat Completions API 레퍼런스
- Ofox 오류 처리와 속도 제한
- Ofox 도구 연동
- 현재 Ofox 가격이 표시된 모델 페이지: Gemini 4 Hydrogen, Claude Sonnet 5.5, GPT-6.1 Terra


