Préparation à la mise en production

Avant de confier l’exécution des décisions au programme, il convient de définir les seuils de confiance, d’évaluer les coûts et de traiter les entrées trop longues.

Définition du seuil de confiance

L’approche habituelle est la suivante : au-dessus du seuil, l’action est exécutée automatiquement ; en dessous, le cas est transmis à un traitement manuel ou à un modèle plus performant pour vérification. Le seuil se détermine selon les étapes suivantes :

Préparer 50 à 100 données réelles et annoter manuellement la réponse correcte.
Soumettre l’ensemble des données à Jev et consigner, pour chacune, la réponse et la confiance (pour predicate, consigner probability).
Trier les résultats par confiance décroissante et identifier le point de coupure au-dessus duquel les résultats sont pratiquement tous corrects. Ce point de coupure constitue le seuil.
Après la mise en production, contrôler régulièrement par échantillonnage les données situées sous le seuil et transmises au traitement manuel, et ajuster le seuil ou modifier les questions si nécessaire.

Pour predicate, il est possible de définir deux seuils, par exemple « oui » au-dessus de 0.9 et « non » en dessous de 0.1, les valeurs intermédiaires étant transmises au traitement manuel.

Coût et latence

Seuls les tokens d’entrée sont facturés ; la sortie ne l’est pas. Les tarifs figurent sur la page du modèle .
Lorsque plusieurs questions portent sur un même contenu, placez-les dans une même requête : le coût et la latence sont alors nettement inférieurs à ceux d’appels séparés.
Le streaming n’est pas pris en charge ; une requête renvoie toutes les réponses de manière synchrone, en environ 0,6 seconde pour une question unique.

Limites d’entrée

Seuls le texte et le JSON sont acceptés en entrée ; les images ne sont pas prises en charge et leur envoi renvoie une erreur 400.
Le contexte est limité à 64K tokens ; au-delà, l’API renvoie 400 max_tokens_exceeded. Les documents longs doivent d’abord être découpés, ou seules les parties pertinentes pour la question doivent être transmises.
Une requête ne peut pas dépasser 32 MiB ; choice accepte au plus 255 options, et score de 2 à 10 niveaux.