問題設計

Jev 僅在給定的選項範圍內作答，問題與選項的設計直接影響判斷的準確性。本頁列出上線前應逐項核對的設計要點，並說明返回結果中各欄位的含義。

設計要點

1. 選項應涵蓋全部情況。 這是誤判最常見的原因。選項不完整時，Jev 仍會從中選擇一個，且置信度可能較高，因此無法透過置信度發現此類錯誤。

實測：僅提供 billing（charges, invoices, refunds）與 technical（outages, errors, integration issues）兩個選項，輸入 Will it rain in Shanghai tomorrow?，連續 3 次均返回 technical，置信度 0.96–0.98；增加 other（none of the above）後，3 次均返回 other，置信度為 1。

2. 為每個選項和級別撰寫描述。 description 能比單一詞彙更清楚地界定範圍。例如為 billing 註明「扣款、發票、退款」後，模型才能將「發票開立有誤」歸入該選項。

3. 每個問題只判斷一件事。 「是否緊急且涉及付款」應拆分為兩個 predicate，並放在同一請求中。

4. 為每個問題設定 name。 未設定時請求仍可成功，但返回的答案中不含 name，只能依順序對應，問題較多時容易出錯。

5. 將多個問題合併到同一請求。 同一請求中的問題共用同一份輸入，輸入僅計費一次。實測單次請求包含 60 個問題時耗時約 0.9 秒，單一問題約 0.6 秒。

返回結果說明

{
  "type": "choice",
  "name": "team",
  "choice": "billing",
  "confidence": 0.85,
  "probabilities": [
    { "value": "billing", "probability": 0.9 },
    { "value": "technical", "probability": 0.1 },
    { "value": "other", "probability": 0 }
  ]
}

• choice：機率最高的選項，即判斷結果。
• probabilities：各選項的機率，總和為 1。
• confidence：本次判斷的可靠程度，取值 0–1。兩個選項機率接近時，choice 仍會給出結果，但 confidence 較低。
• score（score 類型）：依各級機率加權計算的值，級別從 0 開始編號，結果可能介於兩級之間。例如 1.43 表示介於第 1 級與第 2 級之間、更接近第 1 級。
• probability（predicate 類型）：答案為「是」的機率。predicate 不單獨返回置信度。

同一輸入多次呼叫時，機率與置信度會有小幅波動（實測同一張工單的置信度在 0.56–0.61 之間），因此門檻不宜設在結果的臨界值附近。