Ein wiederholbarer Test, der Qualität oder Verhalten eines KI-Systems anhand definierter Kriterien bewertet.
01
Was bedeutet Eval?
Evals können Fakten, Format, Sicherheit, Toolwahl oder vollständige Nutzerwege prüfen. Gute Testfälle enthalten normale, schwierige und missbräuchliche Situationen. Ein einzelner erfolgreicher Lauf ist kein Beweis für Zuverlässigkeit; deshalb werden Varianten und Wiederholungen benötigt.
02
Wie der Begriff bei sem. praktisch wird
Beispiel: Ein KI-Chatbot soll Fragen aus freigegebenen Unterlagen beantworten. Eine Prüfung enthält passende Fragen, mehrdeutige Eingaben und Fragen, für die die Unterlagen keine Antwort liefern. Vorher definierte Kriterien helfen zu bewerten, ob Antworten stimmen und ob fehlende Informationen erkennbar bleiben.
Bei KI-Chatbots gehören geeignete Testfragen zur Abstimmung von Wissensquellen und Antwortverhalten. Nach Änderungen an Quellen oder Anweisungen lassen sich dieselben Fälle erneut prüfen.
03
Womit Eval zusammenhängt
Die folgenden Begriffe ergänzen die Erklärung. Ihre Definitionen helfen dir, Zusammenhänge zu erkennen und ähnliche Aufgaben voneinander zu unterscheiden.
Nächster Kontext
Definition verstanden – jetzt im System anwenden.
FAQ beantwortet konkrete Projektfragen. Das Journal zeigt Entscheidungen und Erfahrungen. Leistungen übersetzen die Begriffe in einen Projektablauf.
