Preparación para producción

Antes de que el programa ejecute automáticamente las decisiones, es necesario configurar los umbrales de confianza, evaluar los costes y tratar las entradas demasiado largas.

Configuración del umbral de confianza

El enfoque habitual es el siguiente: si la confianza supera el umbral, la acción se ejecuta automáticamente; si queda por debajo, el caso se deriva a revisión manual o a un modelo más capaz para su verificación. El umbral se determina con los pasos siguientes:

Preparar entre 50 y 100 datos reales y etiquetar manualmente la respuesta correcta.
Someter todos los datos a Jev y registrar, para cada uno, la respuesta y la confianza (en predicate, registrar probability).
Ordenar los resultados por confianza de mayor a menor e identificar el punto de corte por encima del cual prácticamente todos los resultados son correctos. Ese punto de corte es el umbral.
Tras la puesta en producción, revisar periódicamente por muestreo los datos situados por debajo del umbral y derivados a revisión manual, y ajustar el umbral o modificar las preguntas cuando sea necesario.

En predicate pueden configurarse dos umbrales, por ejemplo «sí» por encima de 0.9 y «no» por debajo de 0.1, con derivación a revisión manual de los valores intermedios.

Coste y latencia

Solo se facturan los tokens de entrada; la salida no se factura. Los precios figuran en la página del modelo .
Cuando se formulan varias preguntas sobre un mismo contenido, inclúyalas en la misma petición: el coste y la latencia son claramente inferiores a los de llamadas separadas.
No se admite streaming; cada petición devuelve todas las respuestas de forma síncrona, con unos 0,6 segundos para una sola pregunta.

Límites de entrada

Solo se admiten texto y JSON como entrada; no se admiten imágenes, y su envío devuelve un error 400.
El contexto está limitado a 64K tokens; si se supera, se devuelve 400 max_tokens_exceeded. Los documentos largos deben dividirse previamente, o bien deben enviarse solo las partes relacionadas con la pregunta.
Cada petición admite como máximo 32 MiB; choice admite hasta 255 opciones, y score de 2 a 10 niveles.