질문 설계

Jev는 주어진 선택지 범위 안에서만 답하므로, 질문과 선택지의 설계가 판단의 정확도에 직접 영향을 줍니다. 이 페이지에서는 운영 전에 하나씩 확인해야 할 설계 요점을 제시하고, 반환 결과의 각 필드가 의미하는 바를 설명합니다.

설계 요점

1. 선택지는 모든 경우를 포괄해야 합니다. 이는 오판의 가장 흔한 원인입니다. 선택지가 불완전해도 Jev는 그중 하나를 선택하며, 신뢰도가 높게 나올 수도 있으므로 이러한 오류는 신뢰도로 발견할 수 없습니다.

실측: billing(charges, invoices, refunds)과 technical(outages, errors, integration issues) 두 선택지만 제공하고 Will it rain in Shanghai tomorrow?를 입력한 결과, 3회 연속 technical이 반환되었고 신뢰도는 0.96–0.98이었습니다. other(none of the above)를 추가한 후에는 3회 모두 other가 반환되었고 신뢰도는 1이었습니다.

2. 모든 선택지와 등급에 설명을 작성하십시오. description은 단어 하나보다 범위를 더 명확하게 정의합니다. 예를 들어 billing에 「결제, 청구서, 환불」이라고 명시해야 모델이 「청구서 발행 오류」를 이 선택지로 분류할 수 있습니다.

3. 하나의 질문에서는 한 가지 사항만 판단하십시오. 「긴급하면서 결제와 관련되어 있는가」는 두 개의 predicate로 분리하여 같은 요청에 포함하십시오.

4. 모든 질문에 name을 설정하십시오. 설정하지 않아도 요청은 성공하지만, 반환되는 답변에 name이 포함되지 않아 순서로만 대응시킬 수 있으므로 질문이 많을 때 오류가 발생하기 쉽습니다.

5. 여러 질문을 하나의 요청으로 합치십시오. 같은 요청의 질문들은 동일한 입력을 공유하며 입력은 한 번만 과금됩니다. 실측 결과 한 요청에 질문 60개를 포함하면 약 0.9초, 질문 하나는 약 0.6초가 소요되었습니다.

반환 결과 설명


{
  "type": "choice",
  "name": "team",
  "choice": "billing",
  "confidence": 0.85,
  "probabilities": [
    { "value": "billing", "probability": 0.9 },
    { "value": "technical", "probability": 0.1 },
    { "value": "other", "probability": 0 }
  ]
}

choice: 확률이 가장 높은 선택지, 즉 판단 결과입니다.
probabilities: 각 선택지의 확률이며, 합계는 1입니다.
confidence: 이번 판단의 신뢰 수준을 0–1로 나타냅니다. 두 선택지의 확률이 비슷하면 choice는 결과를 반환하지만 confidence는 낮아집니다.
score(score 유형): 각 등급의 확률로 가중하여 계산한 값이며, 등급은 0부터 번호가 매겨지고 결과가 두 등급 사이의 값일 수 있습니다. 예를 들어 1.43은 1등급과 2등급 사이에 있으며 1등급에 더 가깝다는 의미입니다.
probability(predicate 유형): 답이 「예」일 확률입니다. predicate는 신뢰도를 별도로 반환하지 않습니다.

같은 입력으로 여러 번 호출하면 확률과 신뢰도에 작은 변동이 발생합니다(실측 결과 같은 티켓의 신뢰도가 0.56–0.61 사이에서 변동). 따라서 임곗값은 결과의 경계값 부근에 설정하지 않는 것이 좋습니다.