Elaboração de perguntas

O Jev responde apenas dentro das opções fornecidas; por isso, a elaboração das perguntas e das opções influencia diretamente a precisão das decisões. Esta página relaciona os pontos de elaboração a serem verificados um a um antes da entrada em produção e explica o significado de cada campo do resultado retornado.

Pontos de elaboração

1. As opções devem cobrir todos os casos. Esta é a causa de erro mais frequente. Quando as opções estão incompletas, o Jev ainda escolhe uma delas, possivelmente com confiança alta; portanto, esse tipo de erro não pode ser detectado pela confiança.

Medição: com apenas duas opções, billing (charges, invoices, refunds) e technical (outages, errors, integration issues), e a entrada Will it rain in Shanghai tomorrow?, o modelo retornou technical nas 3 execuções, com confiança de 0.96–0.98. Após a inclusão de uma opção other (none of the above), retornou other nas 3 execuções, com confiança 1.

2. Redigir uma descrição para cada opção e cada nível. Uma description delimita o escopo com mais clareza do que uma única palavra. Por exemplo, ao indicar “charges, invoices, refunds” para billing, o modelo consegue atribuir a essa opção uma nota fiscal emitida com erro.

3. Uma única questão por pergunta. A pergunta “É urgente e envolve pagamento?” deve ser dividida em dois predicate, incluídos na mesma requisição.

4. Definir name para cada pergunta. Sem name, a requisição é concluída, mas as respostas retornadas não contêm name e só podem ser associadas às perguntas pela ordem, o que gera erros quando há muitas perguntas.

5. Reunir várias perguntas na mesma requisição. As perguntas de uma mesma requisição compartilham a mesma entrada, que é cobrada uma única vez. Medição: uma requisição com 60 perguntas levou cerca de 0,9 segundo, contra cerca de 0,6 segundo para uma única pergunta.

Interpretação dos resultados

{
  "type": "choice",
  "name": "team",
  "choice": "billing",
  "confidence": 0.85,
  "probabilities": [
    { "value": "billing", "probability": 0.9 },
    { "value": "technical", "probability": 0.1 },
    { "value": "other", "probability": 0 }
  ]
}

• choice: a opção com maior probabilidade, ou seja, o resultado da decisão.
• probabilities: a probabilidade de cada opção; a soma é igual a 1.
• confidence: o grau de confiabilidade da decisão, entre 0 e 1. Quando duas opções têm probabilidades próximas, choice ainda retorna um resultado, mas confidence é baixa.
• score (tipo score): valor ponderado pelas probabilidades de cada nível; os níveis são numerados a partir de 0 e o resultado pode situar-se entre dois níveis. Por exemplo, 1.43 situa-se entre o nível 1 e o nível 2, mais próximo do nível 1.
• probability (tipo predicate): a probabilidade de a resposta ser “sim”. predicate não retorna uma confiança própria.

Várias chamadas com a mesma entrada apresentam pequenas variações de probabilidade e confiança (na medição, a confiança do mesmo ticket ficou entre 0.56 e 0.61 de uma execução para outra); por isso, não se recomenda posicionar o limiar nas proximidades imediatas de um valor-limite.