Skip to Content
模型用法Jev(TypeSafe)上線準備

上線準備

將判斷結果交由程式自動執行之前,需要設定置信度門檻、評估成本,並處理超長輸入。

設定置信度門檻

通常的做法是:置信度高於門檻時自動執行,低於門檻時轉人工處理或交由能力更強的模型複核。門檻可依以下步驟確定:

  1. 準備 50–100 筆真實資料,並人工標註正確答案。
  2. 將全部資料交由 Jev 判斷,記錄每筆資料的答案與置信度(predicate 記錄 probability)。
  3. 依置信度由高到低排序,找出分界點,使高於該點的結果基本全部正確。該分界點即為門檻。
  4. 上線後定期抽查低於門檻、轉人工處理的資料,必要時調整門檻或修改問題。

predicate 可設定上下兩個門檻,例如大於 0.9 判定為「是」、小於 0.1 判定為「否」,介於兩者之間的轉人工處理。

成本與耗時

  • 僅依輸入 token 計費,輸出不計費,單價請見模型頁 。
  • 對同一內容提出多個問題時,將其放在同一請求中,成本和耗時均明顯低於分次呼叫。
  • 不支援串流輸出,單次請求同步返回全部答案,單一問題耗時約 0.6 秒。

輸入限制

  • 僅支援文字和 JSON 輸入,不支援圖片;傳入圖片時返回 400。
  • 上下文上限為 64K token,超出時返回 400 max_tokens_exceeded。長文件請先拆分,或僅傳入與問題相關的部分。
  • 單次請求最大 32 MiB;choice 最多 255 個選項,score 支援 2–10 級。
最後更新於