Gemini 4 Argon, GPT-6 Astra и Claude Opus 5.5: что показывают тесты
Разбираем бенчмарки Argon для кода, терминала и длинного контекста: условия измерений, независимые результаты и таблица для собственного пилота.
Ofox 
Gemini 4 Argon не лидирует во всех опубликованных тестах программирования. В сравнении Google он набирает 77,9% на DeepSWE v1.1, опережая GPT-6 Astra и Claude Opus 5.5, но 55,0% на FrontierSWE v2, уступая обоим. В строке Terminal-Bench 4.0 той же таблицы впереди Opus. Полезнее спросить, какой тест похож на вашу работу и как получены его результаты.
Это анализ опубликованных данных, проверенных 14 октября 2026 года, а не практический сравнительный тест Ofox. Мы разделяем таблицы Google, более раннюю независимую оценку и предложенный нами план пилота. Пустые строки скачиваемой таблицы не являются результатами запуска моделей.
Программирование: сравнивайте задачи, а не только места
| Бенчмарк | Gemini 4 Argon | GPT-6 Astra | Claude Opus 5.5 | Интерпретация |
|---|---|---|---|---|
| DeepSWE v1.1 | 77,9% | 74,1% | 74,2% | Лидерство Argon в этой строке не распространяется на любую работу с репозиторием |
| FrontierSWE v2 | 55,0% | 65,5% | 62,3% | Впереди Astra; важны сложность задач и среда проверки |
| Terminal-Bench 4.0 | 57,4% | 58,2% | 66,4% | Впереди Opus; работу с большим числом команд нужно тестировать отдельно |
Источники: карточка Argon и методика Google. Это опубликованное Google сопоставление, а не три наших запуска в идентичном окружении. DeepSWE и Terminal-Bench объединяют собственную оценку Argon компанией Google с публичными таблицами или системными карточками других поставщиков. Различия обвязки и настроек рассуждений остаются ограничением. Для FrontierSWE методика Google ссылается на официальный рейтинг.
Разница выражена в процентных пунктах, а не ускорении. Argon выше Astra на 3,8 пункта в DeepSWE и ниже на 10,5 пункта во FrontierSWE. Это не прогноз сэкономленных минут в вашем проекте. Не усредняйте проценты в самодельный общий балл программирования: наборы и типы задач не равнозначны.
Длинный контекст и видео отвечают на другие вопросы
| Опубликованный тест | Argon | Astra | Opus 5.5 | Ограничение |
|---|---|---|---|---|
| GraphWalks, 256k–1M BFS F1 | 84,2% | 71,8% | 66,8% | Google самостоятельно оценил 200 задач; это не корректность целого репозитория |
| LVBench | 91,7% | 87,5% | 83,7% | Разные бюджеты кадров; не сравнение расходов при одинаковом входе |
| AutomationBench | 51,3% | 41,4% | 42,5% | Закрытый набор, отличный от теста Artificial Analysis с похожим названием |
В методике для Gemini указана частота 1 FPS, а для других моделей — иные ограничения, включая 800 кадров для GPT и 600 для Opus. Результат видео зависит и от модели, и от бюджета входа. Это повод включить Argon в пилот, но не доказательство преимущества точности или цены для вашей длины ролика и выборки кадров.
Общий контекст Argon составляет 1 048 576 токенов на вход, рассуждения и итоговый ответ вместе. Он позволяет провести длинноконтекстный тест, но не гарантирует правильное использование каждого важного факта. В репозитории проверяйте ограничения, разбросанные по файлам; для видео требуйте подтверждаемые временные метки; для исследования — источники каждого вывода. Гладко сформулированный ответ не заменяет проверки фактов.
Что добавляет Artificial Analysis
В отчёте от 30 сентября Argon тестировался в режиме рассуждений high и получил 53 в Intelligence Index, как GPT-6 Astra с max. У GPT-6.1 Sol max — 52. Настройки являются частью результата: одинаковый балл не доказывает одинаковое поведение при любом режиме или допустимом времени ответа.
В оценке Intelligence Index стоимость Argon во время скидки составляла 1,99 доллара на задачу, примерно 60% от 3,26 доллара Astra, но в 2,7 раза выше стоимости GPT-6.1 Sol. Без акции оценка Argon — 3,98 доллара. Это стоимость конкретной оценочной нагрузки, не универсальная цена пользовательской задачи. Средний выход Argon в сравнении составлял около 62 000 токенов против 27 000 у Astra. Одних ставок входа и выхода недостаточно для сравнения стоимости завершённой работы.
В AA-Omniscience Argon показал 15% галлюцинаций и 50% точности, тогда как точность Astra — 63%. Более низкая частота галлюцинаций не означает более высокую точность: отказ отвечать, верный и неверный ответ нужно считать отдельно. До использования индекса в закупках прочитайте методику Artificial Analysis.
78% на AutomationBench-AA из этого отчёта и 51,3% на AutomationBench в таблице Google — разные показатели. Даже если публикация в соцсети сокращает оба названия до «автоматизации», наборы задач и методы должны оставаться раздельными.
Что включить в первый пилот
Это гипотезы на основе источников, а не рекомендации, подтверждённые нашими запусками.
| Ваша задача | Какие модели проверить сначала | Убедительный критерий |
|---|---|---|
| Исправление проблем репозитория, близкое к DeepSWE | Argon с Astra и Opus для сравнения | Верный патч, успешные тесты, отсутствие посторонних изменений, время проверки |
| Сложная разработка, близкая к FrontierSWE | Astra или Opus, сохранив Argon в сравнении | Регрессионные проверки, заранее не показанные модели, и соблюдение архитектурных ограничений |
| Интенсивная работа в терминале | Opus в сравнении с Astra и Argon | Корректное завершение, воспроизводимые команды, восстановление после ошибок |
| Очень длинные цепочки доказательств или мультимодальность | Целевой пилот Argon | Контролируемый объём входа, проверка источников и временных меток; ёмкость контекста не равна полноте извлечения |
Учитывайте реальную задачу, доступ и бюджет. Строка рейтинга помогает выбрать эксперимент, но не заменяет его. Сначала проверьте условия доступа, чтобы не тратить время на клиент, который недоступен вашему аккаунту.
Пилот должен допускать отрицательный результат
Скачайте пустую оценочную таблицу CSV. Записывайте ID задачи, версию входа или репозитория, настройки, расход и вердикт. В ней нет вымышленных показателей моделей.
- Выберите небольшой типичный набор реальных задач, включая обычный и склонный к сбоям случай. Удалите секреты и убедитесь, что имеете разрешение на использование конфиденциальных входных данных. Не ограничивайтесь демонстрациями поставщика.
- Зафиксируйте входную версию, промпт, инструменты и разрешённое время. До просмотра ответа определите поведение, тесты, источники и запрещённые изменения.
- Сохраните точные ID моделей, режимы рассуждений, версии клиентов или SDK, повторы. Если одной модели дали больше времени или другой инструмент, отметьте это, не называя условия идентичными.
- Оценивайте результат, а не объяснение. Для кода выполните тесты и проверьте diff, для извлечения сопоставьте ячейки с источником, для видео сверьте временные метки с содержанием ролика. Убедительный текст не исправляет сломанный артефакт.
- Включайте отклонённые попытки в расходы и время. Делите общую стоимость на число принятых результатов только при единых критериях. Если не принят ни один, так и сообщите вместо вводящей в заблуждение средней цены.
- Повторяйте неожиданный сбой с записанной причиной и сохранением исходного результата. Незаметное удаление неудач превращает оценку в подборку удачных примеров.
В расчёте API-цены отделяйте акцию от декабрьских ставок. Время человеческой проверки учитывайте отдельно от токенов. Дешёвый вызов с большим объёмом исправлений не обязательно выгоднее.
Почему цифры продуктивности из анонса — не ваш прогноз
В анонсе Antigravity Google сообщает о четырёхнедельном внутреннем наблюдении: объём кода, создаваемого агентами (в оригинале показатель agentic code), вырос на 35%, а число откатов снизилось на 30%. Это наблюдение внутри Google, а не рандомизированная оценка эффекта для любой команды.
Кейс ADK Python описывает запуск примерно на 11 часов: два патча приняли, четыре отклонили. Он подтверждает необходимость проверки, а не гарантирует готовый к слиянию код после любой автономной ночной работы.
Для обоснованного решения сохраните источник и дату, сопоставьте задачу, проведите пилот и запишите причины принятия или отказа. Опубликованные данные делают Argon серьёзным кандидатом, но не универсальным победителем.
