Conception des questions

Jev répond uniquement dans le cadre des options fournies ; la conception des questions et des options influe donc directement sur la justesse des décisions. Cette page énumère les points de conception à vérifier un par un avant la mise en production et explique la signification de chaque champ du résultat renvoyé.

Points de conception

1. Les options doivent couvrir tous les cas. Il s’agit de la cause d’erreur la plus fréquente. Lorsque les options sont incomplètes, Jev en choisit tout de même une, éventuellement avec une confiance élevée ; ce type d’erreur ne peut donc pas être détecté par la confiance.

Mesure : avec seulement deux options, billing (charges, invoices, refunds) et technical (outages, errors, integration issues), et l’entrée Will it rain in Shanghai tomorrow?, le modèle a renvoyé technical lors des 3 exécutions, avec une confiance de 0.96–0.98. Après ajout d’une option other (none of the above), il a renvoyé other lors des 3 exécutions, avec une confiance de 1.

2. Rédiger une description pour chaque option et chaque niveau. Une description délimite le périmètre plus clairement qu’un mot isolé. Par exemple, c’est en précisant « charges, invoices, refunds » pour billing que le modèle peut rattacher une facture erronée à cette option.

3. Une seule décision par question. La question « Est-ce urgent et lié à un paiement ? » doit être scindée en deux predicate, placés dans la même requête.

4. Définir un name pour chaque question. En l’absence de name, la requête aboutit, mais les réponses renvoyées ne contiennent pas de name et ne peuvent être associées aux questions que par leur ordre, ce qui est source d’erreurs lorsque les questions sont nombreuses.

5. Regrouper plusieurs questions dans une même requête. Les questions d’une même requête partagent la même entrée, qui n’est facturée qu’une seule fois. Mesure : une requête comportant 60 questions prend environ 0,9 seconde, contre environ 0,6 seconde pour une question unique.

Interprétation des résultats

{
  "type": "choice",
  "name": "team",
  "choice": "billing",
  "confidence": 0.85,
  "probabilities": [
    { "value": "billing", "probability": 0.9 },
    { "value": "technical", "probability": 0.1 },
    { "value": "other", "probability": 0 }
  ]
}

• choice : l’option dont la probabilité est la plus élevée, c’est-à-dire le résultat de la décision.
• probabilities : la probabilité de chaque option ; leur somme est égale à 1.
• confidence : le degré de fiabilité de la décision, compris entre 0 et 1. Lorsque deux options ont des probabilités proches, choice renvoie tout de même un résultat, mais confidence est faible.
• score (type score) : valeur pondérée par les probabilités de chaque niveau ; les niveaux sont numérotés à partir de 0 et le résultat peut se situer entre deux niveaux. Par exemple, 1.43 se situe entre le niveau 1 et le niveau 2, plus près du niveau 1.
• probability (type predicate) : la probabilité que la réponse soit « oui ». predicate ne renvoie pas de confiance distincte.

Plusieurs appels sur la même entrée produisent de légères variations de la probabilité et de la confiance (mesure : pour un même ticket, la confiance variait entre 0.56 et 0.61 d’une exécution à l’autre) ; il est donc déconseillé de placer un seuil à proximité immédiate d’une valeur limite.