问题设计
Jev 仅在给定的选项范围内作答,问题与选项的设计直接影响判断的准确性。本页列出上线前应逐项核对的设计要点,并说明返回结果中各字段的含义。
设计要点
1. 选项应覆盖全部情况。 这是误判最常见的原因。选项不完整时,Jev 仍会从中选择一个,且置信度可能较高,因此无法通过置信度发现此类错误。
实测:仅提供 billing(扣款、发票、退款)与 technical(故障、报错、接入)两个选项,输入「明天上海会下雨吗?」,连续 3 次均返回 technical,置信度 0.96–0.98;增加 other(以上都不是)后,3 次均返回 other,置信度为 1。
2. 为每个选项和级别编写描述。 description 能比单个词更清楚地界定范围。例如为 billing 注明「扣款、发票、退款」后,模型才能将「发票开具有误」归入该选项。
3. 每个问题只判断一件事。 「是否紧急且涉及付款」应拆分为两个 predicate,并放在同一请求中。
4. 为每个问题设置 name。 未设置时请求仍可成功,但返回的答案中不含 name,只能按顺序对应,问题较多时容易出错。
5. 将多个问题合并到同一请求。 同一请求中的问题共享同一份输入,输入仅计费一次。实测单次请求包含 60 个问题时耗时约 0.9 秒,单个问题约 0.6 秒。
返回结果说明
{
"type": "choice",
"name": "team",
"choice": "billing",
"confidence": 0.85,
"probabilities": [
{ "value": "billing", "probability": 0.9 },
{ "value": "technical", "probability": 0.1 },
{ "value": "other", "probability": 0 }
]
}choice:概率最高的选项,即判断结果。probabilities:各选项的概率,总和为 1。confidence:本次判断的可靠程度,取值 0–1。两个选项概率接近时,choice仍会给出结果,但confidence较低。score(score 类型):按各级概率加权计算的值,级别从 0 开始编号,结果可能介于两级之间。例如 1.43 表示介于第 1 级与第 2 级之间、更接近第 1 级。probability(predicate 类型):答案为「是」的概率。predicate 不单独返回置信度。
同一输入多次调用时,概率与置信度会有小幅波动(实测同一工单的置信度在 0.53–0.61 之间),因此阈值不宜设在结果的临界值附近。
最后更新于