Как выбрать AI-модель: не самую большую, а под задачу

Самая частая ошибка при выборе AI-модели — тянуться к той, у которой больше всего параметров и самый высокий балл в бенчмарке.

Это почти рефлекс. Opus сильнее Haiku, значит берём Opus. В реальных проектах эта логика обычно работает наоборот. Большая модель дороже, медленнее и — что менее всего очевидно — переусложняет простую работу. Попросите её причесать одно предложение, и она вернёт небольшое сочинение с тремя вариантами и заметкой о граничных случаях.

Правильный порядок обратный: сначала запустите задачу на самой маленькой модели, которой хватает, и повышайте, только упёршись в потолок качества. Это не догадка. Свежая статья AWS укладывает это в четыре слова: Start small. Justify up. (начни с малого, повышай по необходимости).

Почему «больше — лучше» это ловушка

Размер модели — это, по сути, разница в числе параметров. Чем их больше, тем больше переменных модель держит одновременно, и тем увереннее она на сложных, неоднозначных, многошаговых задачах. У этой мощности есть цена, и на простых задачах вы её не отбиваете:

• Цена. Внутри одного вендора флагман нередко стоит в десятки раз дороже за токен, чем его лёгкая версия. На десятках тысяч вызовов в день этот разрыв решает, выживет проект или нет.
• Задержка. Чем больше модель, тем медленнее она выдаёт токены. Для чата в реальном времени или автодополнения «умнее» гасится «тормознее».
• Переусложнение. Это самое коварное. Дайте флагману задачу классификации текста, и он может вернуть рассуждение, оценку уверенности и заметки о граничных случаях. А вам нужна одна метка. Избыточная мощность на простой задаче — не преимущество, а шум.

Грубая, но удобная аналогия: спросите «что на ужин», и двухлетний ребёнок не ответит, а взрослый переспросит про бюджет, аллергии и насколько остро. Взрослый сильнее, но вам нужна была всего лишь «лапшичная этажом ниже». Большинство AI-задач — это задачи уровня «лапшичной этажом ниже». Эксперт им не нужен.

Три вопроса: вычитаем внутри бюджета

Так как же выбирать? Сначала задайте потолок по затратам: при вашем реальном объёме вызовов сколько максимум можно тратить в месяц. Эта линия ограничивает круг кандидатов. А внутри него задайте три вопроса:

Чем больше попаданий в колонку «брать больше», тем сильнее модель себя оправдывает. Иначе лёгкая модель почти всегда лучший ответ. Заметьте, это вычитание: по умолчанию маленькая модель, и каждый шаг вверх требует конкретной причины, а не «с сильнейшей точно не ошибёшься».

Несколько конкретных решений: автоответы поддержке — высокий объём и высокая терпимость к ошибкам, так что лёгкой модели с запасным вариантом достаточно. Ревью кода — сложно и нетерпимо к ошибкам, тут флагман оправдан. Резюмирование длинных документов — не сложно, но нужен длинный контекст, поэтому берите дешёвую модель с длинным контекстом, а не самый дорогой флагман.

Ленивый способ: пусть инструмент отберёт за вас

Всё это можно держать в голове: какая модель дешевле, у какой длиннее контекст, какая сильнее в коде. Но при 100+ моделях и ценах, которые меняются каждую неделю, выбор по памяти быстро устаревает.

Проще взять инструмент подбора. У OfoxAI есть такой (ofox.ai/ru/model-finder) — он работает по тем же трём вопросам и делает работу за вас:

1. Выберите сценарий. Ответьте, «что вы делаете»: код, AI-агенты, RAG / длинные документы, общий чат, тексты, извлечение данных, перевод, зрение, ролевые сценарии, генерация изображений, эмбеддинги. Выберите ближайшее.
2. Посмотрите ранжирование. Он оценивает 100+ моделей по качеству, цене и скорости и покрывает 15 популярных списков: лучшие для кода, для агентов, для RAG, самые дешёвые, самые быстрые, для длинного контекста (100K+) и так далее.
3. Возьмите шорт-лист. Каждый список отранжирован. Если не хотите гонять свои тесты, попробуйте первые два-три варианта.

Регистрация не нужна, работает в браузере, цены подтягиваются в реальном времени, так что вы не смотрите на полугодовое число. По сути это те же три вопроса, превращённые в минутное действие, и это надёжнее, чем гадать по статичному рейтингу.

Где конкретная модель стоит по бенчмаркам и цене — смотрите вместе со стратегией маршрутизации и оптимизации затрат: инструмент быстро сужает круг, а разбор стратегии объясняет детали каждого кандидата.

После выбора: один ключ для всех моделей

Выбор — это первый шаг. Зрелый подход — это ступенчатая маршрутизация: простые задачи идут на лёгкую модель, средние на среднюю, и только самый трудный кусок попадает на флагман. Качество сохраняется там, где оно важно, а основная масса затрат ложится на дешёвые модели.

Это работает, только если переключать модели легко. Регистрироваться, пополнять баланс и сводить разную авторизацию и тарификацию у каждого вендора — особый вид мучения. OfoxAI поддерживает 100+ моделей и совместим с протоколами OpenAI, Anthropic и Gemini. Направьте существующий код на api.ofox.ai/v1, и один ключ вызывает их все, оплата по токенам без абонентской платы. Смена модели — это смена одной строки.

Как устроить саму маршрутизацию, смотрите в материалах один API для всех моделей и стратегия нескольких моделей и оптимизация затрат.

Итог: начни с малого, повышай по необходимости

Вернёмся к первой строке: модель выбирают не урезанием от сильнейшей, а наращиванием от достаточной.

• По умолчанию берите лёгкую модель и запустите бизнес-логику.
• Тремя вопросами (сложность / объём / цена ошибки) решите, какие части стоит повысить.
• Сомневаетесь — откройте инструмент подбора, выберите сценарий, посмотрите ранжирование, решите за десять минут.
• Подключайте одним ключом, чтобы смена модели оставалась дешёвой.

Самая дорогая модель — не та, что подходит вам лучше всего. Прогоните два-три кандидата на своих реальных промптах и сравните вывод. Это скажет больше любого отчёта по бенчмаркам, и быстрее. Когда будете готовы — возьмите бесплатный API-ключ и начните тестировать.

Источники

• AWS, Bigger AI Models Aren’t Always Better: Here’s How to Actually Choose (подход к выбору, который локализует эта статья)
• Инструмент подбора моделей OfoxAI (рекомендации по сценариям, оценка по качеству/цене/скорости, цены в реальном времени)