Produktionsvorbereitung

Bevor die Ausführung auf Basis der Entscheidungsergebnisse an das Programm übergeben wird, sind eine Konfidenzschwelle festzulegen, die Kosten abzuschätzen und die Behandlung zu langer Eingaben vorzusehen.

Konfidenzschwelle festlegen

Üblicherweise wird bei einer Konfidenz oberhalb der Schwelle automatisch ausgeführt; liegt sie darunter, wird der Fall an eine manuelle Bearbeitung oder zur Überprüfung an ein leistungsfähigeres Modell übergeben. Die Schwelle wird wie folgt ermittelt:

1. Stellen Sie 50–100 reale Datensätze zusammen und annotieren Sie die korrekten Antworten manuell.
2. Lassen Sie alle Datensätze von Jev bewerten und erfassen Sie für jeden Datensatz Antwort und Konfidenz (bei predicate probability).
3. Sortieren Sie die Ergebnisse absteigend nach Konfidenz und ermitteln Sie den Trennpunkt, oberhalb dessen die Ergebnisse nahezu ausnahmslos korrekt sind. Dieser Trennpunkt ist die Schwelle.
4. Prüfen Sie nach der Inbetriebnahme regelmäßig Stichproben der Fälle unterhalb der Schwelle, die manuell bearbeitet wurden, und passen Sie bei Bedarf die Schwelle oder die Fragen an.

Für predicate können eine obere und eine untere Schwelle festgelegt werden, beispielsweise „Ja“ oberhalb von 0.9, „Nein“ unterhalb von 0.1 und manuelle Bearbeitung für alle Werte dazwischen.

Kosten und Antwortzeit

• Berechnet werden ausschließlich Eingabe-Token; die Ausgabe wird nicht berechnet. Die Preise sind auf der Modellseite  angegeben.
• Werden zu demselben Inhalt mehrere Fragen gestellt, sind diese in einer Anfrage zusammenzufassen; Kosten und Antwortzeit liegen dann deutlich unter denen getrennter Aufrufe.
• Streaming wird nicht unterstützt. Eine Anfrage liefert alle Antworten synchron; eine einzelne Frage benötigt etwa 0,6 Sekunden.

Eingabelimits

• Es werden ausschließlich Text- und JSON-Eingaben unterstützt, Bilder werden nicht unterstützt; bei Übergabe eines Bildes wird 400 zurückgegeben.
• Das Kontextlimit beträgt 64K Token; bei Überschreitung wird 400 max_tokens_exceeded zurückgegeben. Lange Dokumente sind vorab aufzuteilen, oder es sind nur die für die Frage relevanten Teile zu übergeben.
• Eine einzelne Anfrage darf höchstens 32 MiB groß sein; choice unterstützt höchstens 255 Optionen, score 2–10 Stufen.