Skip to Content
模型用法Jev(TypeSafe)上线准备

上线准备

将判断结果交由程序自动执行之前,需要设置置信度阈值、评估成本,并处理超长输入。

设置置信度阈值

通常的做法是:置信度高于阈值时自动执行,低于阈值时转人工处理或交由能力更强的模型复核。阈值可按以下步骤确定:

  1. 准备 50–100 条真实数据,并人工标注正确答案。
  2. 将全部数据交由 Jev 判断,记录每条数据的答案与置信度(predicate 记录 probability)。
  3. 按置信度从高到低排序,找出分界点,使高于该点的结果基本全部正确。该分界点即为阈值。
  4. 上线后定期抽查低于阈值、转人工处理的数据,必要时调整阈值或修改问题。

predicate 可设置上下两个阈值,例如大于 0.9 判定为「是」、小于 0.1 判定为「否」,介于两者之间的转人工处理。

成本与耗时

  • 仅按输入 token 计费,输出不计费,单价见模型页 。
  • 对同一内容提出多个问题时,将其放在同一请求中,成本和耗时均明显低于分次调用。
  • 不支持流式输出,单次请求同步返回全部答案,单个问题耗时约 0.6 秒。

输入限制

  • 仅支持文本和 JSON 输入,不支持图片;传入图片时返回 400。
  • 上下文上限为 64K token,超出时返回 400 max_tokens_exceeded。长文档请先拆分,或仅传入与问题相关的部分。
  • 单次请求最大 32 MiB;choice 最多 255 个选项,score 支持 2–10 级。
最后更新于