LLM-Konfidenzwert: Kalibrieren, bevor Sie ihm vertrauen

Ein LLM-Konfidenzwert ist erst dann nützlich, wenn Sie definieren, was er vorhersagt, das Messprotokoll unverändert lassen und ihn anhand gelabelter Ergebnisse aus Ihrer eigenen Aufgabe testen. Eine selbst gemeldete „90 %“-Angabe, eine Token-Log-Wahrscheinlichkeit und neun übereinstimmende Antworten aus zehn Stichproben sind drei unterschiedliche Signale. Keines davon liefert Ihnen eine universelle Wahrscheinlichkeit von 0,9 dafür, dass eine Antwort korrekt ist.

Zielgruppe: Fortgeschrittene — Product Engineers, Data Teams und technische Verantwortliche, die ein LLM benötigen, das antwortet, eskaliert oder sich enthält.

Behandeln Sie die Rohzahl als Merkmal, nicht als Entscheidung. Kalibrieren Sie sie anhand eines zurückgehaltenen Datensatzes, prüfen Sie, wie sich Fehler verändern, wenn Sie Antworten mit niedriger Bewertung ablehnen, und setzen Sie deterministische Kontrollen für jede Aktion ein, die Geld bewegen, Daten offenlegen oder den Produktionszustand ändern kann.

Was misst ein LLM-Konfidenzwert?

Ein LLM-Konfidenzwert ist ein numerisches Signal, das die Zuverlässigkeit einer Modellausgabe einordnen oder schätzen soll. Seine Bedeutung hängt davon ab, wie es erzeugt wurde.

Damit ein Wert wie eine kalibrierte Wahrscheinlichkeit funktioniert, sollten Ausgaben mit dem Wert 0,8 bei derselben Art von Arbeit in etwa 80 % der Fälle korrekt sein. Diese Aussage benötigt vier Details:

Entfernen Sie eines dieser Details, wird „0,8 Konfidenz“ mehrdeutig. Es kann bedeuten, dass das Modell die Formulierung für wahrscheinlich hielt, sich konsistent wiederholte, einer Anweisung folgte, eine Zahl auszugeben, oder eine Antwort höher als Alternativen einstufte. Diese Eigenschaften können mit Korrektheit korrelieren. Sie sind jedoch nicht dasselbe wie Korrektheit.

Kalibrierung unterscheidet sich außerdem von Diskriminierung. Ein Wert hat eine gute Diskriminierung, wenn korrekte Antworten normalerweise höher eingestuft werden als inkorrekte. Er hat eine gute Kalibrierung, wenn die numerischen Werte den beobachteten Häufigkeiten entsprechen. Ein System kann für die Rangfolge nützlich sein, während seine Prozentwerte falsch sind, oder im Durchschnitt eine angemessene Kalibrierung zeigen, aber richtige und falsche Antworten nicht voneinander trennen.

Drei Signale werden häufig als Konfidenz bezeichnet

Die Wahl zwischen diesen Signalen ist eine Engineering-Entscheidung. Eine Kombination kann helfen, aber auch ein Ensemble muss auf der Zielaufgabe evaluiert werden.

Verbalisierte Konfidenz ist eine abgefragte Antwort

Der einfachste Ansatz besteht darin, zu fragen:

text Return your answer and the probability that it is correct from 0 to 1.

Das funktioniert mit fast jedem Modell. Gleichzeitig wird der Konfidenzwert Teil der Generierung. Prompt-Formulierung, Antwortskala, bereitgestellter Kontext und die Frage, ob das Modell die Antwort selbst erzeugt hat, können das Ergebnis verändern.

Eine Studie aus dem Jahr 2026 untersuchte drei offene Modellfamilien mit 7–8B Parametern — Base- und Instruction-Tuned-Modelle — auf vier Question-Answering-Benchmarks. Die Forschenden hielten den Prompt für die verbale Konfidenz konstant, während sie änderten, welche Antwort bewertet wurde, welche Antwort-Tokens den Token-Wert lieferten und welcher Kontext diesen Tokens vorausging. Die Änderung des Konditionierungskontexts beeinflusste den Vergleich der Kalibrierung von verbaler und Token-Konfidenz stärker als die Änderung des Kalibrierungsschätzers und kehrte unter Vergleichen mit ECE und Brier-Score in 9 von 12 Instruction-Tuned-Einstellungen um, welches Signal besser aussah. Wenn Modelle bereitgestellte Antworten bewerteten, erhielten plausible falsche Antworten nahezu dieselbe verbale Konfidenz wie korrekt bereitgestellte Antworten. Die Autoren beschreiben daher beide Signale als protokollabhängige Verhaltensmessungen und nicht als direkte Auslesungen von Unsicherheit (Kim and Kang, 2026).

Dieses Ergebnis beweist nicht, dass jeder verbale Wert nutzlos ist. Es zeigt, warum ein Prompt wie „sei ehrlich mit deiner Konfidenz“ keinen Kalibrierungsdatensatz ersetzen kann.

Token-Logprobs messen die Wahrscheinlichkeit des nächsten Tokens

Eine Log-Wahrscheinlichkeit erfasst, wie wahrscheinlich ein Token unter der bedingten Generierungsverteilung des Modells war. Die Dokumentation von OpenAI definiert sie als Wahrscheinlichkeit eines Tokens an einer bestimmten Position angesichts des vorangegangenen Kontexts; Sequenz-Log-Wahrscheinlichkeiten können zur Bewertung oder Rangfolge summiert werden (OpenAI Cookbook). Die GenerateContent-Antwort von Google stellt ebenfalls durchschnittliche Log-Wahrscheinlichkeiten von Kandidaten und Token-Level-Logprob-Ergebnisse bereit, wenn die ausgewählte API und das Modell dies unterstützen (Gemini API reference).

Das ist für eine geschlossene Auswahl wie `approve` gegenüber `reject` wertvoll. Sie können die den erlaubten Labels zugewiesene Wahrscheinlichkeitsmasse erfassen und diesen Wert anschließend kalibrieren. Eine lange freie Antwort ist deutlich schwieriger zu interpretieren. Tokenisierung, Antwortlänge, Paraphrasierung und der Konditionierungsprompt beeinflussen die Sequenzwahrscheinlichkeit.

Eine flüssig formulierte falsche Aussage kann eine hohe Wahrscheinlichkeit haben. Ein korrekter, aber ungewöhnlicher Name kann eine niedrige Wahrscheinlichkeit haben. Der Wert beantwortet die Frage: „Wie erwartbar war diese Token-Sequenz hier?“ Er beantwortet nicht automatisch: „Ist die Behauptung wahr?“

Wiederholtes Sampling misst Übereinstimmung

Mehrfaches Sampling des Modells liefert ein Black-Box-Signal für Konsistenz. Wenn acht von zehn Antworten dieselbe Antwort ausdrücken, beträgt der empirische Übereinstimmungswert 0,8. Bei freien Antworten ist meist semantisches Clustering erforderlich, damit Paraphrasen als dieselbe Antwort zählen.

Dieses Signal enthält oft mehr Informationen als eine einzelne Selbstauskunft, verursacht aber zwei Kosten. Erstens kosten zehn Generierungen ungefähr zehnmal so viele Output-Aufrufe, bevor Batching, Caching oder kürzere Prompts die Rechnung verändern. Zweitens kann Übereinstimmung selbstbewusst falsch sein, wenn das Modell dasselbe Missverständnis wiederholt.

Aktuelle Forschung macht beide Punkte sichtbar. Eine Studie vom Juli 2026 verglich verbale Konfidenz, einen logitbasierten Verifier und eine Sampling-Methode namens SliCK bei kurzen faktischen und Multi-Hop-Fragen. In diesem Setting erzielte SliCK einen niedrigeren Kalibrierungsfehler und eine bessere Rangfolge korrekter gegenüber inkorrekten Antworten als die beiden anderen Methoden. Dennoch verletzte die Methode in 31 % der ausgewerteten Fälle einen auf Entailment basierenden Test zur Wahrscheinlichkeitskonsistenz. Die Studie verwendete semantisches Clustering durch einen LLM-Judge, Short-Answer-Benchmarks, ein Hauptmodell plus kleinere Cross-Model-Teilmengen sowie die Annahme, dass die Sampling-Häufigkeit Überzeugungen widerspiegelt (Matta, Naphade, and Zou, 2026).

Die praktische Interpretation ist enger als „Sampling löst Konfidenz“. Übereinstimmung ist ein nützliches Rohsignal. Es bleibt ein Signal, das anhand von Ergebnissen überprüft werden muss.

*Ein Produktionsschwellenwert gehört hinter aufgabenspezifische Labels und Kalibrierungsprüfungen, nicht direkt hinter die Modellausgabe.*

Warum eine plausible Konfidenzzahl trotzdem irreführen kann

Drei aktuelle Ergebnisse sollten verändern, wie Teams einen Prozentsatz neben einer LLM-Antwort lesen.

Genauigkeit und Kalibrierung können sich unabhängig voneinander verändern

ConfidenceBench bewertete abgefragte Wahrscheinlichkeiten von 15 Frontier-Modellen anhand von 200 privaten englischen Multiple-Choice-Fragen zu räumlichem Schlussfolgern, hochpräziser Mathematik, Wortsuche und nicht beantwortbaren Fragen. Jedes Modell beantwortete den Datensatz dreimal. Der Benchmark verwendete den Brier-Score, der die quadrierte Abweichung zwischen einer gemeldeten Wahrscheinlichkeit und dem binären Ergebnis bestraft.

Die Rangfolge der Modelle nach Kalibrierung entsprach nicht einfach der Rangfolge nach Genauigkeit. Die Autoren berichten einen besten Brier-Score von 0,103, während einige bewertete Systeme schlechter abschnitten als eine kalibrierte Zufallsbaseline mit vier Antwortmöglichkeiten und 0,1875. Der Benchmark ist bewusst klein, privat, ausschließlich englischsprachig und auf Multiple Choice beschränkt. Seine verbalen Werte können Instruction Following und Prompt-Framing widerspiegeln; daher sollten die Zahlen nicht auf Long-Form- oder Multi-Turn-Arbeit verallgemeinert werden (ffrench-Constant et al., 2026).

Messen Sie die Kalibrierung direkt. Leiten Sie sie nicht aus der allgemeinen Benchmark-Genauigkeit eines Modells ab.

Das Messprotokoll kann die Schlussfolgerung verändern

Der Wert ist an eine bestimmte Pipeline gebunden. Wenn ein Team den Prompt, den Modell-Snapshot, das Antwortformat, die Kandidatenlabels, das Kontextfenster, die Temperatur oder die Logprob-Aggregation ändert, hat es das Messinstrument verändert.

Dokumentieren Sie diese Entscheidungen mit jedem Evaluationsergebnis. Rohe Code-Agent-Aktivitätsmetriken benötigen ebenfalls System- und Evaluationskontext, bevor sie etwas über Zuverlässigkeit aussagen. Wenn sich Prompt oder Modell ändern, ist eine Neukalibrierung ein Release-Check und keine optionale Nacharbeit.

Ein kalibrierter Wert kann in einer Teilmenge trotzdem scheitern

Ein Durchschnitt kann Fehler in einer Sprache, einem Produkt, einem Kundensegment, einem Dokumenttyp oder bei einer bestimmten Antwortlänge verbergen. Ein Support-Klassifikator kann insgesamt kalibriert wirken, weil häufige Abrechnungsfragen den Testdatensatz dominieren, während seltene Sicherheitstickets weiterhin übermäßig selbstsicher behandelt werden.

Untersuchen Sie immer Teilmengen mit genügend Beispielen, um eine Schlussfolgerung zu stützen. Wenn die Stichproben klein sind, berichten Sie die Unsicherheit, statt eine verrauschte Rate als Tatsache zu behandeln.

Ein reproduzierbarer Workflow zur LLM-Konfidenzkalibrierung

Der folgende Workflow ist bewusst klein gehalten. Er kann vor der Einführung eines umfassenderen Unsicherheits-Frameworks durchgeführt werden.

1. Definieren Sie das Ereignis und die Aktion

Schreiben Sie einen Satz, der diese Vorlage vervollständigt:

Beispiele:

Vermeiden Sie Ereignisse wie „die Antwort ist gut“. Sie können nicht konsistent gelabelt werden.

Bei Aktionen mit irreversiblen Auswirkungen darf Konfidenz keine Autorisierung ersetzen. Ein Modell kann bei der Auswahl eines Pfads helfen, aber AI-Agent-Berechtigungen sollten weiterhin erlaubte Ressourcen, Argumente, Freigaberegeln und Belege durchsetzen.

2. Erstellen Sie einen aufgabenspezifischen Holdout-Datensatz

Sammeln Sie repräsentative Eingaben, die nicht zum Abstimmen des Prompts oder der Kalibrierungszuordnung verwendet wurden. Berücksichtigen Sie:

Kennzeichnen Sie die Korrektheit nach Möglichkeit mit einem deterministischen Verifier. Verwenden Sie bei subjektiven Aufgaben eine schriftliche Richtlinie und eine Schlichtung. Ein Konfidenzwert kann nicht besser begründet sein als seine Ergebnislabels.

Beginnen Sie mit genügend Daten, um grobe Fehlkalibrierung sichtbar zu machen, und erweitern Sie anschließend um wichtige Teilmengen und Schwellenwerte. Ein kleiner Benchmark kann die Exploration leiten, aber keinen Schwellenwert für eine risikoreiche Produktion rechtfertigen.

3. Erfassen Sie das Rohsignal, ohne das Protokoll zu verändern

Speichern Sie:

Runden Sie vor der Evaluation nicht. Ein Modell, das nur `0.7`, `0.8` und `0.9` ausgibt, muss als drei grobe Buckets bewertet werden und darf nicht als präzise Wahrscheinlichkeitsmessung dargestellt werden.

4. Berechnen Sie den Brier-Score und eine Reliability-Tabelle

Für binäre Korrektheit lautet der Brier-Score:

text mean((confidence - outcome)²)

Niedriger ist besser, aber der Wert benötigt eine Baseline und einen vergleichbaren Datensatz. Eine Reliability-Tabelle macht den Fehler leichter sichtbar: Gruppieren Sie ähnliche Werte und vergleichen Sie anschließend den durchschnittlichen Wert jeder Gruppe mit ihrer beobachteten Genauigkeit.

Dieses Python-Skript ohne externe Abhängigkeiten liest `id,score,correct` aus einer CSV-Datei:

python import csv

with open("predictions.csv", newline="") as source: rows = [ (float(row["score"]), int(row["correct"])) for row in csv.DictReader(source) ]

if not rows: raise SystemExit("predictions.csv has no rows")

brier = sum((score - correct) ** 2 for score, correct in rows) / len(rows) print(f"Brier score: {brier:.4f}")

bin_count = 10 bins = [[] for _ in range(bin_count)]

for score, correct in rows: if not 0 <= score <= 1 or correct not in (0, 1): raise ValueError("score must be 0..1 and correct must be 0 or 1") index = min(int(score * bin_count), bin_count - 1) bins[index].append((score, correct))

print("range,count,mean_score,accuracy,gap") for index, values in enumerate(bins): if not values: continue mean_score = sum(score for score, _ in values) / len(values) accuracy = sum(correct for _, correct in values) / len(values) lower = index / bin_count upper = (index + 1) / bin_count print( f"{lower:.1f}-{upper:.1f},{len(values)}," f"{mean_score:.3f},{accuracy:.3f},{mean_score - accuracy:+.3f}" )

Die Tabelle ist deskriptiv. Bucket-Grenzen können ECE-ähnliche Zusammenfassungen beeinflussen, insbesondere bei kleinen Datensätzen. Behalten Sie Brier-Score, Reliability-Ansicht und eine aktionsbezogene Metrik gemeinsam bei, statt nur ein Diagramm zu optimieren.

5. Wählen Sie Schwellenwerte anhand von Risiko und Abdeckung

Ein Schwellenwert von 0,8 hat keine universelle Bedeutung. Bewerten Sie, was geschieht, wenn das System nur Ausgaben ab einem bestimmten Kandidatenschwellenwert akzeptiert:

python print("threshold,coverage,accepted_accuracy") for threshold in (0.5, 0.6, 0.7, 0.8, 0.9): accepted = [ correct for score, correct in rows if score >= threshold ] coverage = len(accepted) / len(rows) accuracy = sum(accepted) / len(accepted) if accepted else float("nan") print(f"{threshold:.1f},{coverage:.3f},{accuracy:.3f}")

Damit entsteht eine grundlegende Risiko-Abdeckungs-Ansicht. Das Anheben des Schwellenwerts kann Fehler unter den akzeptierten Fällen reduzieren, führt aber zugleich mehr Arbeit an eine Fallback-Behandlung weiter. Wählen Sie den Schwellenwert anhand der Kosten falscher Akzeptanz, falscher Ablehnung, Prüfung, Latenz und möglicher Schäden für Nutzer.

Verwenden Sie mindestens drei Ergebnisse, wenn das Produkt dies unterstützt:

6. Testen Sie Drift und Protokolländerungen

Führen Sie den Holdout erneut aus nach:

Wiederholtes Sampling und tieferes Reasoning erhöhen ebenfalls den Rechenaufwand. Dieser Zielkonflikt gehört in die Evaluation: Vergleichen Sie die Fehlerreduktion mit Latenz und Token-Kosten, statt anzunehmen, dass mehr Reasoning-Tokens immer den Kauf wert sind.

Welche Konfidenzmethode sollten Sie verwenden?

Open-Source-Bibliotheken können den Implementierungsaufwand reduzieren. UQLM stellt beispielsweise Black-Box-Konsistenz-, White-Box-Token-Wahrscheinlichkeits-, Judge-, Ensemble- und Long-Text-Scorer bereit. Die Dokumentation macht außerdem die Zielkonflikte bei Latenz und Zugriff deutlich: Konsistenzmethoden benötigen mehr Aufrufe, während White-Box-Methoden Logprobs erfordern (UQLM documentation). Das Repository erhielt im Juli 2026 weiterhin Releases, darunter Fehlerbehebungen in v0.6.4 — ein stärkeres Wartungssignal als die Anzahl der Sterne über die gesamte Lebensdauer allein (UQLM v0.6.4).

Eine Bibliothek liefert Schätzer. Sie liefert nicht die Labels, Aufgabendefinition, Risikotoleranz oder Produktionsüberwachung, die einen Schwellenwert belastbar machen.

Was die aktuelle Forschung nicht belegt

Die zitierten Studien beweisen nicht, dass eine Methode für alle LLM-Anwendungen gewinnt.

Forschung kann geeignete Kandidatensignale identifizieren. Validieren Sie das vollständige System anhand der Arbeit, die es tatsächlich ausführen soll.

Häufig gestellte Fragen

Sind LLM-Konfidenzwerte korrekt?

Manchmal korrelieren sie mit Korrektheit, aber die Genauigkeit hängt von Modell, Aufgabe, Bewertungsmethode, Prompt und Evaluationsverteilung ab. Behandeln Sie einen nicht kalibrierten Wert als Rangfolgemerkmal. Testen Sie ihn anhand gelabelter Ergebnisse, bevor Sie ihn als Wahrscheinlichkeit interpretieren.

Sind Token-Logprobs dasselbe wie Konfidenz?

Nein. Eine Token-Logprob ist die bedingte Wahrscheinlichkeit eines Tokens angesichts seines Kontexts. Sie kann eine Konfidenzschätzung unterstützen, insbesondere bei Aufgaben mit geschlossenen Labels, ist aber nicht automatisch die Wahrscheinlichkeit, dass eine freie Antwort faktisch korrekt ist.

Welchen LLM-Konfidenzschwellenwert sollte ich verwenden?

Es gibt keinen universellen Schwellenwert. Wählen Sie ihn anhand einer zurückgehaltenen Risiko-Abdeckungs-Analyse, die die Kosten falscher Akzeptanz, manueller Prüfung, Enthaltung und entgangener Automatisierung berücksichtigt. Validieren Sie ihn nach Änderungen an Modell, Prompt oder Datenverteilung erneut.

Claim-Prüfungen

Quellen