Testergebnisse
Für die Qualität der künstlichen Intelligenz ist es von zentraler Bedeutung, dass der ChatBot nicht nur bei den vorhandenen Fragen genau antwortet, sondern auch bei unbekannten Eingaben eine passende Antwort aus dem Fragenpool auswählt. Um dies beurteilen zu können, ist es notwendig, den vorhandenen Datensatz, also die von Ihnen im Fragenpool hinterlegten Fragen, in Trainingsdaten und Testdaten aufzuteilen. Das Splitting der Daten erfolgt zufallsbasiert im Verhältnis 70/30 (Trainingsdaten/Testdaten). Bei Start des KI-Trainings werden daher von den im Fragenpool hinterlegten Fragen 30% abgeschnitten und das Training erfolgt auf Basis der verbleibenden 70%.
Ist das KI-Training abgeschlossen, testet sich Ihr ChatBot mit den abgeschnittenen 30% der Fragen selbst. Sprich er füttert sich mit den einzelnen Fragen und überprüft seine Ausgabe. Das Testergebnis dieser Prüfung können Sie im Menüpunkt "Künstliche Intelligenz" über den button "Testergebnis ansehen" (1) einsehen.
Hier gilt - je je besser das Verhältnis zwischen "richtigen Zuweisungen" und "falschen Zuweisungen) (1), desto besser kann der ChatBot auf fremde Eingaben, die nicht wortwörtlich im Fragenpool hinterlegt sind, reagieren. Sie können sich sowohl die richten Zuordnungen (2), als auch die falschen Zuordnungen (3) anschauen und über den Button "Bearbeiten" die falschen Zuordnungen (3) detaillierter einsehen.
In der "Bearbeitungsansicht" der falschen Zuordnungen werden Ihnen die beiden Fragengruppen "Erwartetes Ergebnis" (2) und "Erhaltenes Ergebnis" (3) gegenüber gestellt. Dies dient zum auffinden von möglichen Fehler oder wie in diesem Beispiel von Dopplungen. Sie können die "User sagt" Eingaben per Drag'n'Drop von einer in die andere Fragengruppe verschieben (4), neue Eingaben hinzufügen (5) oder einzelne Eingaben, ebenfalls per Drag'n'Drop in den Papierkorb ziehen. Die müssen hier jedoch nicht jede fehlerhafte Zuordnung vornehmen.
Eine falsche Zuordnung kann verschiedene Gründe haben, diese sind im Detail nicht immer nachzuvollziehen.
Nutzen Sie diesen Bereich nur dafür, eventuelle Auffälligkeiten wie doppelte Fragengruppen oder falsche Zuordnungen zu bereinigen. Diese Ausgabe sich bei steigender Anzahl der Fragengruppen und Variation der Epochen verändern. Wichtig ist, dass die falsche Zuordnungen unter 20% liegen.
Achtung: die getesteten Fragen werden Ihrem Fragenpool entnommen und sind nur für die künstliche Intelligenz fremd. Da die Eingaben aber im Fragenpool enthalten ist, kann der ChatBot diese Eingabe auch korrekt zuordnen. Der ChatBot prüft immer zuerst, ob eine Anfrage bereits in der Spalte "User sagt" vorhanden ist und gibt dann die zugehörige Antwort aus. Dies trifft auf alle hier aufgelisteten Fragen zu. Der Test-Bereich dient dazu, die Qualität Ihrer KI zu prüfen und ggf. um Dopplungen oder offensichtliche Fehlzuordnungen zu bereinigen.