Diseño de preguntas

Jev responde únicamente dentro de las opciones proporcionadas, por lo que el diseño de las preguntas y de las opciones influye directamente en la precisión de las decisiones. Esta página enumera los aspectos de diseño que deben comprobarse uno por uno antes de la puesta en producción y explica el significado de cada campo del resultado devuelto.

Aspectos de diseño

1. Las opciones deben cubrir todos los casos. Es la causa de error más frecuente. Cuando las opciones están incompletas, Jev elige igualmente una de ellas, posiblemente con una confianza alta, de modo que este tipo de error no puede detectarse mediante la confianza.

Medición: con solo dos opciones, billing (charges, invoices, refunds) y technical (outages, errors, integration issues), y la entrada Will it rain in Shanghai tomorrow?, el modelo devolvió technical en las 3 ejecuciones, con una confianza de 0.96–0.98. Tras añadir una opción other (none of the above), devolvió other en las 3 ejecuciones, con una confianza de 1.

2. Redactar una descripción para cada opción y cada nivel. Una description delimita el alcance con más claridad que una sola palabra. Por ejemplo, al indicar «charges, invoices, refunds» para billing, el modelo puede asignar a esa opción una factura emitida con errores.

3. Una sola cuestión por pregunta. La pregunta «¿Es urgente y está relacionado con un pago?» debe dividirse en dos predicate, incluidos en la misma petición.

4. Definir un name para cada pregunta. Sin name, la petición se completa, pero las respuestas devueltas no incluyen name y solo pueden asociarse a las preguntas por su orden, lo que da lugar a errores cuando hay muchas preguntas.

5. Agrupar varias preguntas en la misma petición. Las preguntas de una misma petición comparten la misma entrada, que se factura una sola vez. Medición: una petición con 60 preguntas tardó unos 0,9 segundos, frente a unos 0,6 segundos para una sola pregunta.

Interpretación de los resultados

{
  "type": "choice",
  "name": "team",
  "choice": "billing",
  "confidence": 0.85,
  "probabilities": [
    { "value": "billing", "probability": 0.9 },
    { "value": "technical", "probability": 0.1 },
    { "value": "other", "probability": 0 }
  ]
}

• choice: la opción con mayor probabilidad, es decir, el resultado de la decisión.
• probabilities: la probabilidad de cada opción; su suma es igual a 1.
• confidence: el grado de fiabilidad de la decisión, entre 0 y 1. Cuando dos opciones tienen probabilidades similares, choice devuelve igualmente un resultado, pero confidence es baja.
• score (tipo score): valor ponderado por la probabilidad de cada nivel; los niveles se numeran a partir de 0 y el resultado puede situarse entre dos niveles. Por ejemplo, 1.43 se sitúa entre el nivel 1 y el nivel 2, más cerca del nivel 1.
• probability (tipo predicate): la probabilidad de que la respuesta sea «sí». predicate no devuelve una confianza propia.

Al llamar varias veces con la misma entrada, la probabilidad y la confianza presentan ligeras variaciones (en las mediciones, la confianza para el mismo ticket osciló entre 0.56 y 0.61 de una ejecución a otra); por ello, no se recomienda situar el umbral en las proximidades inmediatas de un valor límite.