本番導入の準備

判定結果に基づく処理をプログラムに自動実行させる前に、信頼度のしきい値を設定し、コストを評価し、長すぎる入力への対処を行う必要があります。

信頼度のしきい値を設定する

一般的な方法は、信頼度がしきい値を上回る場合は自動で実行し、下回る場合は人手による処理、またはより高性能なモデルによる再確認に回すことです。しきい値は次の手順で決定できます。

1. 実データを 50–100 件用意し、人手で正解をラベル付けします。
2. すべてのデータを Jev で判定し、各データの回答と信頼度を記録します（predicate では probability を記録します）。
3. 信頼度の高い順に並べ、それより上の結果がほぼすべて正しくなる境界点を特定します。この境界点がしきい値です。
4. 本番導入後は、しきい値を下回って人手による処理に回されたデータを定期的に抜き取り確認し、必要に応じてしきい値を調整するか、質問を修正します。

predicate では上限と下限の 2 つのしきい値を設定できます。たとえば 0.9 を超える場合は「はい」、0.1 未満の場合は「いいえ」と判定し、その間の値は人手による処理に回します。

コストと所要時間

• 入力トークンのみが課金され、出力は課金対象外です。単価はモデルページ を参照してください。
• 同じコンテンツに対して複数の質問を行う場合は、同じリクエストにまとめることで、複数回に分けて呼び出す場合よりもコストと所要時間を大幅に削減できます。
• ストリーミング出力には対応していません。1 回のリクエストですべての回答が同期的に返され、質問 1 つあたりの所要時間は約 0.6 秒です。

入力の制限

• テキストと JSON の入力のみに対応しており、画像には対応していません。画像を渡すと 400 が返されます。
• コンテキストの上限は 64K トークンであり、超過すると 400 max_tokens_exceeded が返されます。長い文書は事前に分割するか、質問に関連する部分のみを渡してください。
• 1 回のリクエストの上限は 32 MiB です。choice の選択肢は最大 255 個、score は 2–10 段階に対応しています。