Wenn das Modell sich irrt: Fehler als Zustand gestalten

„KI kann Fehler machen. Bitte überprüfe wichtige Informationen.“ So oder ähnlich steht es unter vielen Chatfenstern. Der Hinweis ist zutreffend, bietet im konkreten Fehlerfall aber keine Hilfe, da er keinen Weg aufzeigt, mit einer falschen Antwort umzugehen.

Dabei ist das Thema nicht neu. Mindestens zwei bekannte Leitlinien behandeln den Fehlerfall ausdrücklich.

Was die Leitlinien sagen

Microsoft hat 2019 18 Leitlinien für die Interaktion zwischen Mensch und KI veröffentlicht (Amershi und andere, CHI 2019). Eine der vier Gruppen gilt dem Moment, in dem das System falsch liegt. Darin stehen unter anderem:

Effiziente Korrektur ermöglichen. Es soll leicht sein, etwas zu bearbeiten oder zu berichtigen, wenn das System falsch liegt.
Im Zweifel den Umfang zurücknehmen. Ist das System unsicher, was gemeint ist, soll es nachfragen oder weniger tun, statt zu raten.
Klar machen, warum das System so gehandelt hat.

Googles People + AI Guidebook hat ein eigenes Kapitel, „Errors + Graceful Failure“, auch dazu, was Nutzer nach einem Fehler tun können.

Was daraus für die Gestaltung folgt

Die folgenden Punkte habe ich daraus abgeleitet; sie sind keine zitierte Vorgabe:

Einzelne Aussagen korrigieren. Ein Daumen nach unten für die gesamte Antwort nützt wenig, wenn in zweihundert Wörtern eine einzelne Zahl falsch ist. Die Korrektur sollte an der betreffenden Stelle ansetzen können.
Quellen zeigen und bewertbar machen. Wer sieht, worauf sich eine Aussage stützt, kann sie prüfen. Dazu gehört eine Rückmeldung wie „belegt die Aussage nicht“.
Handlungen schrittweise zurücknehmen. Hat ein Agent auf einer falschen Annahme bereits gehandelt, etwa Felder ausgefüllt oder Daten geändert, muss sich das einzeln rückgängig machen lassen.
An einen Menschen übergeben. In rechtlich heiklen oder sicherheitskritischen Momenten führt das Interface zu einer Person, ohne dass der Nutzer von vorn anfangen muss.

Vorsicht bei Konfidenzanzeigen

Naheliegend wäre, unsichere Passagen einfach zu markieren. Das setzt voraus, dass das Modell weiß, wie sicher es ist. Eine Untersuchung von Xiong und anderen (ICLR 2024) kommt zu dem Ergebnis, dass Sprachmodelle ihre eigene Sicherheit tendenziell überschätzen, wenn man sie danach fragt. Größere Modelle schneiden etwas besser ab, ohne dass das Problem damit gelöst wäre.

Verlässlicher sind äußere Anzeichen wie fehlende Quellen, widersprüchliche Treffer oder eine mehrdeutige Eingabe. Wer eine Konfidenz anzeigt, sollte belegen können, woher sie kommt.

Aus der Reihe „Design Systems und KI“. Zurück: Fünf Muster für Interfaces mit KI, die es schon gibt.