上線準備
將判斷結果交由程式自動執行之前,需要設定置信度門檻、評估成本,並處理超長輸入。
設定置信度門檻
通常的做法是:置信度高於門檻時自動執行,低於門檻時轉人工處理或交由能力更強的模型複核。門檻可依以下步驟確定:
- 準備 50–100 筆真實資料,並人工標註正確答案。
- 將全部資料交由 Jev 判斷,記錄每筆資料的答案與置信度(predicate 記錄
probability)。 - 依置信度由高到低排序,找出分界點,使高於該點的結果基本全部正確。該分界點即為門檻。
- 上線後定期抽查低於門檻、轉人工處理的資料,必要時調整門檻或修改問題。
predicate 可設定上下兩個門檻,例如大於 0.9 判定為「是」、小於 0.1 判定為「否」,介於兩者之間的轉人工處理。
成本與耗時
- 僅依輸入 token 計費,輸出不計費,單價請見模型頁 。
- 對同一內容提出多個問題時,將其放在同一請求中,成本和耗時均明顯低於分次呼叫。
- 不支援串流輸出,單次請求同步返回全部答案,單一問題耗時約 0.6 秒。
輸入限制
- 僅支援文字和 JSON 輸入,不支援圖片;傳入圖片時返回 400。
- 上下文上限為 64K token,超出時返回 400
max_tokens_exceeded。長文件請先拆分,或僅傳入與問題相關的部分。 - 單次請求最大 32 MiB;choice 最多 255 個選項,score 支援 2–10 級。
最後更新於