Подготовка к эксплуатации

Прежде чем передавать выполнение действий по результатам решений программе, необходимо настроить порог уверенности, оценить стоимость и предусмотреть обработку слишком длинного ввода.

Настройка порога уверенности

Как правило, при уверенности выше порога действие выполняется автоматически, а при уверенности ниже порога случай передаётся на ручную обработку или на проверку более мощной модели. Порог определяется следующим образом:

Подготовьте 50–100 реальных примеров и вручную разметьте правильные ответы.
Передайте все примеры в Jev и зафиксируйте ответ и уверенность для каждого из них (для predicate — probability).
Отсортируйте результаты по убыванию уверенности и найдите границу, выше которой практически все результаты верны. Эта граница и является порогом.
После ввода в эксплуатацию регулярно выборочно проверяйте случаи ниже порога, переданные на ручную обработку, и при необходимости корректируйте порог или формулировки вопросов.

Для predicate можно задать верхний и нижний пороги: например, значение выше 0.9 считается ответом «да», ниже 0.1 — ответом «нет», а промежуточные значения передаются на ручную обработку.

Стоимость и время выполнения

Тарифицируются только входные токены; выход не тарифицируется. Цены указаны на странице модели .
Если к одному содержимому необходимо задать несколько вопросов, передавайте их в одном запросе: стоимость и время выполнения будут значительно ниже, чем при нескольких отдельных вызовах.
Потоковая передача не поддерживается: каждый запрос синхронно возвращает все ответы; обработка одного вопроса занимает около 0.6 с.

Ограничения ввода

Поддерживается только ввод текста и JSON, изображения не поддерживаются; при передаче изображения возвращается 400.
Максимальный размер контекста — 64K токенов; при превышении возвращается 400 max_tokens_exceeded. Длинные документы следует предварительно разделить или передавать только часть, относящуюся к вопросу.
Максимальный размер одного запроса — 32 MiB; choice поддерживает не более 255 вариантов, score — от 2 до 10 уровней.