운영 준비

판단 결과를 프로그램이 자동으로 실행하도록 하기 전에 신뢰도 임곗값을 설정하고, 비용을 평가하며, 너무 긴 입력에 대한 처리를 마련해야 합니다.

신뢰도 임곗값 설정

일반적인 방법은 신뢰도가 임곗값보다 높으면 자동으로 실행하고, 낮으면 사람이 처리하거나 더 높은 성능의 모델이 재검토하도록 넘기는 것입니다. 임곗값은 다음 절차로 결정할 수 있습니다.

1. 실제 데이터 50–100건을 준비하고 사람이 정답을 레이블링합니다.
2. 모든 데이터를 Jev로 판단하고, 각 데이터의 답과 신뢰도를 기록합니다(predicate는 probability를 기록).
3. 신뢰도가 높은 순으로 정렬하여, 그 위의 결과가 거의 모두 정확한 경계점을 찾습니다. 이 경계점이 임곗값입니다.
4. 운영 후에는 임곗값 미만으로 사람에게 넘어간 데이터를 정기적으로 표본 점검하고, 필요에 따라 임곗값을 조정하거나 질문을 수정합니다.

predicate는 상한과 하한 두 개의 임곗값을 설정할 수 있습니다. 예를 들어 0.9보다 크면 「예」, 0.1보다 작으면 「아니요」로 판단하고, 그 사이의 값은 사람이 처리하도록 넘깁니다.

비용과 소요 시간

• 입력 토큰에만 과금되며 출력은 과금되지 않습니다. 단가는 모델 페이지 를 참고하십시오.
• 같은 콘텐츠에 대해 여러 질문을 하는 경우 같은 요청에 포함하면, 나누어 호출하는 경우보다 비용과 소요 시간이 크게 줄어듭니다.
• 스트리밍 출력은 지원하지 않습니다. 한 번의 요청으로 모든 답변이 동기적으로 반환되며, 질문 하나당 약 0.6초가 소요됩니다.

입력 제한

• 텍스트와 JSON 입력만 지원하며 이미지는 지원하지 않습니다. 이미지를 전달하면 400이 반환됩니다.
• 컨텍스트 상한은 64K 토큰이며, 초과하면 400 max_tokens_exceeded가 반환됩니다. 긴 문서는 먼저 분할하거나 질문과 관련된 부분만 전달하십시오.
• 한 번의 요청은 최대 32 MiB입니다. choice는 최대 255개의 선택지, score는 2–10등급을 지원합니다.