Fragendesign

Jev antwortet ausschließlich innerhalb der vorgegebenen Optionen; die Gestaltung von Fragen und Optionen bestimmt daher unmittelbar die Genauigkeit der Entscheidungen. Diese Seite führt die Gestaltungsgrundsätze auf, die vor dem Produktivbetrieb einzeln zu prüfen sind, und erläutert die Bedeutung der Felder im Rückgabeergebnis.

Gestaltungsgrundsätze

1. Die Optionen müssen alle Fälle abdecken. Dies ist die häufigste Ursache für Fehlentscheidungen. Bei unvollständigen Optionen wählt Jev dennoch eine davon aus, wobei die Konfidenz hoch sein kann; solche Fehler lassen sich daher nicht anhand der Konfidenz erkennen.

Messergebnis: Mit nur zwei Optionen, billing (charges, invoices, refunds) und technical (outages, errors, integration issues), und der Eingabe Will it rain in Shanghai tomorrow? lieferten 3 aufeinanderfolgende Durchläufe jeweils technical mit einer Konfidenz von 0.96–0.98. Nach Hinzufügen der Option other (none of the above) lieferten alle 3 Durchläufe other mit einer Konfidenz von 1.

2. Für jede Option und jede Stufe eine Beschreibung angeben. Eine description grenzt den Geltungsbereich genauer ab als ein einzelnes Wort. Ist bei billing beispielsweise „Abbuchungen, Rechnungen, Erstattungen“ angegeben, ordnet das Modell auch eine „fehlerhaft ausgestellte Rechnung“ dieser Option zu.

3. Jede Frage betrifft genau eine Entscheidung. „Ist der Fall dringend und betrifft er eine Zahlung?“ ist in zwei predicate-Fragen innerhalb derselben Anfrage aufzuteilen.

4. Für jede Frage einen name festlegen. Ohne name ist die Anfrage zwar erfolgreich, die Antworten enthalten jedoch kein name und lassen sich nur über die Reihenfolge zuordnen, was bei vielen Fragen zu Fehlern führt.

5. Mehrere Fragen in einer Anfrage zusammenfassen. Fragen in derselben Anfrage teilen sich dieselbe Eingabe, die nur einmal berechnet wird. Gemessen: Eine Anfrage mit 60 Fragen dauerte etwa 0,9 Sekunden, eine einzelne Frage etwa 0,6 Sekunden.

Erläuterung der Rückgabewerte

{
  "type": "choice",
  "name": "team",
  "choice": "billing",
  "confidence": 0.85,
  "probabilities": [
    { "value": "billing", "probability": 0.9 },
    { "value": "technical", "probability": 0.1 },
    { "value": "other", "probability": 0 }
  ]
}

• choice: die Option mit der höchsten Wahrscheinlichkeit, also das Entscheidungsergebnis.
• probabilities: die Wahrscheinlichkeiten der einzelnen Optionen; die Summe beträgt 1.
• confidence: die Verlässlichkeit dieser Entscheidung im Bereich 0–1. Liegen die Wahrscheinlichkeiten zweier Optionen nahe beieinander, liefert choice dennoch ein Ergebnis, confidence ist jedoch niedrig.
• score (Typ score): ein mit den Wahrscheinlichkeiten der Stufen gewichteter Wert. Die Stufen sind ab 0 nummeriert; das Ergebnis kann zwischen zwei Stufen liegen. 1.43 bedeutet beispielsweise: zwischen Stufe 1 und Stufe 2, näher an Stufe 1.
• probability (Typ predicate): die Wahrscheinlichkeit für die Antwort „Ja“. Für predicate wird keine separate Konfidenz zurückgegeben.

Bei wiederholten Aufrufen mit derselben Eingabe schwanken Wahrscheinlichkeit und Konfidenz geringfügig (gemessen lag die Konfidenz für dasselbe Ticket über mehrere Durchläufe bei 0.56–0.61). Schwellenwerte sollten daher nicht in der Nähe von Grenzwerten des Ergebnisses festgelegt werden.