Preparação para produção

Antes de atribuir ao programa a execução automática das decisões, é necessário definir os limiares de confiança, avaliar os custos e tratar as entradas longas demais.

Definição do limiar de confiança

A abordagem usual é a seguinte: quando a confiança está acima do limiar, a ação é executada automaticamente; quando está abaixo, o caso é encaminhado para revisão manual ou para um modelo mais capaz, para verificação. O limiar é determinado com as etapas a seguir:

1. Preparar de 50 a 100 dados reais e rotular manualmente a resposta correta.
2. Submeter todos os dados ao Jev e registrar, para cada um, a resposta e a confiança (em predicate, registrar probability).
3. Ordenar os resultados por confiança, da maior para a menor, e identificar o ponto de corte acima do qual praticamente todos os resultados estão corretos. Esse ponto de corte é o limiar.
4. Após a entrada em produção, revisar periodicamente, por amostragem, os dados abaixo do limiar encaminhados para revisão manual e, se necessário, ajustar o limiar ou modificar as perguntas.

Em predicate, é possível definir dois limiares, por exemplo “sim” acima de 0.9 e “não” abaixo de 0.1, com encaminhamento para revisão manual dos valores intermediários.

Custo e latência

• Apenas os tokens de entrada são cobrados; a saída não é cobrada. Os preços constam na página do modelo .
• Quando houver várias perguntas sobre o mesmo conteúdo, inclua-as na mesma requisição: o custo e a latência são significativamente inferiores aos de chamadas separadas.
• Não há suporte a streaming; cada requisição retorna todas as respostas de forma síncrona, em cerca de 0,6 segundo para uma única pergunta.

Limites de entrada

• Apenas texto e JSON são aceitos como entrada; imagens não são suportadas, e o envio de uma imagem retorna erro 400.
• O contexto é limitado a 64K tokens; ao ultrapassar esse limite, é retornado 400 max_tokens_exceeded. Documentos longos devem ser divididos previamente, ou devem ser enviadas apenas as partes relacionadas à pergunta.
• Cada requisição pode ter no máximo 32 MiB; choice aceita até 255 opções, e score, de 2 a 10 níveis.