LLM-konfidenspoäng: Kalibrera innan du litar på den

En LLM-konfidenspoäng är användbar först när du definierar vad den förutsäger, håller mätprotokollet fast och testar den mot märkta utfall från din egen uppgift. Ett självrapporterat ”90 %”, en token-loggsannolikhet och nio överensstämmande svar av tio samplingar är tre olika signaler. Ingen av dem ger dig en universell sannolikhet på 0,9 för att ett svar är korrekt.

Målgrupp: Mellannivå — produktutvecklare, datateam och tekniska ledare som behöver att en LLM svarar, eskalerar eller avstår.

Behandla råtalet som en funktion, inte som ett beslut. Kalibrera det på en undanhållen mängd, undersök hur felet förändras när du avvisar svar med låga poäng och lägg deterministiska kontroller runt alla åtgärder som kan flytta pengar, exponera data eller ändra produktionstillstånd.

Vad mäter en LLM-konfidenspoäng?

En LLM-konfidenspoäng är en numerisk signal som är avsedd att rangordna eller uppskatta tillförlitligheten hos ett modellutdata. Dess betydelse beror på hur den producerades.

För att en poäng ska fungera som en kalibrerad sannolikhet bör utdata som tilldelats 0,8 vara korrekta ungefär 80 % av gångerna för samma typ av arbete. Det påståendet kräver fyra detaljer:

Ta bort någon av dessa detaljer så blir ”0,8 konfidens” tvetydigt. Det kan betyda att modellen fann formuleringen sannolik, upprepade sig konsekvent, följde en instruktion att skriva ut ett tal eller rangordnade ett svar över alternativen. Dessa egenskaper kan korrelera med korrekthet. De är inte samma sak som korrekthet.

Kalibrering skiljer sig också från diskriminering. En poäng har god diskriminering när korrekta svar vanligtvis rangordnas högre än felaktiga. Den har god kalibrering när de numeriska värdena motsvarar observerade frekvenser. Ett system kan vara användbart för rangordning trots att procentsiffrorna är fel, eller visa rimlig genomsnittlig kalibrering samtidigt som det misslyckas med att skilja rätt från fel svar.

Tre signaler kallas ofta konfidens

Att välja mellan dem är ett tekniskt beslut. Att kombinera dem kan hjälpa, men även en ensemble behöver utvärderas på måluppgiften.

Verbaliserad konfidens är ett framkallat svar

Det enklaste tillvägagångssättet är att fråga:

text Returnera ditt svar och sannolikheten att det är korrekt från 0 till 1.

Detta fungerar med nästan alla modeller. Det innebär också att konfidensvärdet blir en del av genereringen. Promptens formulering, svarsskalan, det tillhandahållna sammanhanget och huruvida modellen själv producerade svaret kan ändra resultatet.

En studie från 2026 testade tre öppna modellfamiljer på 7–8B, både base- och instruction-tuned-modeller, på fyra fråge-svar-benchmarkar. Forskarna höll prompten för verbal konfidens fast samtidigt som de ändrade vilket svar som poängsattes, vilka tokens som användes för tokenpoängen och vilket sammanhang som föregick dessa tokens. Att ändra det villkorande sammanhanget påverkade jämförelsen mellan verbal och tokenbaserad kalibrering mer än att ändra kalibreringsestimatorn, och ändrade vilken signal som såg bäst ut i 9 av 12 instruction-tuned-inställningar enligt både ECE- och Brier-poängjämförelser. När modeller poängsatte tillhandahållna svar fick plausibla felaktiga svar nästan samma verbala konfidens som korrekta tillhandahållna svar. Författarna beskriver därför båda signalerna som protokollberoende beteendemätningar, inte som direkta avläsningar av osäkerhet (Kim and Kang, 2026).

Resultatet bevisar inte att varje verbal poäng är värdelös. Det visar varför en prompt som ”var ärlig om din konfidens” inte kan ersätta en kalibreringsmängd.

Token-logprobs mäter sannolikheten för nästa token

En loggsannolikhet registrerar hur sannolik en token var enligt modellens villkorade genereringsfördelning. OpenAI:s dokumentation definierar den som sannolikheten för en token på en viss position givet det föregående sammanhanget; sekvensens loggsannolikheter kan summeras för poängsättning eller rangordning (OpenAI Cookbook). Googles GenerateContent-svar exponerar på motsvarande sätt genomsnittliga loggsannolikheter för kandidater och token-nivåns logprob-resultat när det valda API:t och modellen stöder dem (Gemini API reference).

Detta är värdefullt för ett slutet val som `approve` kontra `reject`. Du kan samla in sannolikhetsmassan som tilldelats de tillåtna etiketterna och sedan kalibrera den poängen. Det är mycket svårare att tolka ett långt fritextsvar. Tokenisering, svarslängd, parafrasering och den villkorande prompten påverkar alla sekvenssannolikheten.

Ett flytande falskt påstående kan ha hög sannolikhet. Ett korrekt men ovanligt namn kan ha låg sannolikhet. Poängen besvarar frågan ”Hur förväntad var denna tokensekvens här?” Den besvarar inte automatiskt frågan ”Är påståendet sant?”

Upprepad sampling mäter överensstämmelse

Att sampla modellen flera gånger ger en black-box-signal för konsekvens. Om åtta av tio svar uttrycker samma svar är den empiriska överensstämmelsepoängen 0,8. Fritextsvar behöver vanligtvis semantisk klustring så att parafraser räknas som samma svar.

Denna signal innehåller ofta mer information än en enda självrapport, men den har två kostnader. För det första kostar tio genereringar ungefär tio gånger så många utdataanrop innan batching, cachning eller kortare promptar ändrar beräkningen. För det andra kan överensstämmelse vara självsäkert fel när modellen upprepar samma missuppfattning.

Ny forskning synliggör båda punkterna. En artikel från juli 2026 jämförde verbal konfidens, en logitbaserad verifierare och en samplingbaserad metod kallad SliCK på korta faktabaserade frågor och frågor med flerstegsresonemang. I den miljön uppnådde SliCK lägre kalibreringsfel och bättre rangordning av korrekta kontra felaktiga svar än de två andra metoderna. Den bröt ändå mot ett entailment-baserat test av sannolikhetskonsistens i 31 % av de utvärderade fallen. Studien använde semantisk klustring genom en LLM-domare, kortsvarsbenchmarkar, en huvudmodell plus mindre delmängder över flera modeller samt antagandet att samplingfrekvens återspeglar övertygelse (Matta, Naphade, and Zou, 2026).

Den praktiska tolkningen är snävare än ”sampling löser konfidens”. Överensstämmelse är en användbar råsignal. Den är fortfarande en signal som måste kontrolleras mot utfall.

*En produktionströskel hör hemma efter uppgiftsspecifika etiketter och kalibreringskontroller, inte direkt efter modellens utdata.*

Varför ett plausibelt konfidensvärde ändå kan vilseleda

Tre nya resultat bör förändra hur team läser en procentsats bredvid ett LLM-svar.

Noggrannhet och kalibrering kan utvecklas separat

ConfidenceBench utvärderade framfrågade sannolikheter från 15 frontier-modeller på 200 privata engelska flervalsfrågor inom spatialt resonemang, högprecisionsmatematik, ordsökning och frågor som inte går att veta. Varje modell besvarade mängden tre gånger. Benchmarken använde Brier-poäng, som straffar den kvadrerade skillnaden mellan en rapporterad sannolikhet och det binära utfallet.

Modellernas rangordning efter kalibrering återskapade inte enkelt rangordningen efter noggrannhet. Författarna rapporterar en bästa Brier-poäng på 0,103, medan vissa utvärderade system fick sämre resultat än en kalibrerad slumpmässig fyrvalsbasislinje på 0,1875. Benchmarken är avsiktligt liten, privat, endast på engelska och flervalsbaserad. De verbala poängen kan återspegla instruktionsföljning och promptformulering, så siffrorna bör inte generaliseras till långform eller flerstegsinteraktioner (ffrench-Constant et al., 2026).

Mät kalibrering direkt. Dra inte slutsatsen från en modells övergripande benchmarknoggrannhet.

Mätprotokollet kan ändra slutsatsen

Poängen är knuten till en specifik pipeline. Om ett team ändrar prompten, modellens snapshot, svarsformatet, kandidatetiketterna, kontextfönstret, temperaturen eller aggregeringen av logprobs har det ändrat mätinstrumentet.

Registrera dessa val med varje utvärderingsresultat. Råa aktivitetsmått för kodagenter behöver också system- och utvärderingskontext innan de säger något om tillförlitlighet. Om prompten eller modellen ändras är omkalibrering en releasekontroll, inte valfri städning.

En kalibrerad poäng kan ändå misslyckas på en delmängd

Ett genomsnitt kan dölja fel på ett språk, en produkt, ett kundsegment, en dokumenttyp eller en svarslängd. En supportklassificerare kan se kalibrerad ut totalt eftersom vanliga faktureringsfrågor dominerar testmängden, medan sällsynta säkerhetsärenden fortfarande är överkonfidenta.

Inspektera alltid delmängder med tillräckligt många exempel för att stödja en slutsats. När urvalen är små ska du rapportera osäkerheten i stället för att behandla en brusig andel som fakta.

Ett reproducerbart arbetsflöde för LLM-konfidenskalibrering

Följande arbetsflöde är avsiktligt litet. Det kan köras innan ett större ramverk för osäkerhet införs.

1. Definiera händelsen och åtgärden

Skriv en mening som kompletterar denna mall:

Exempel:

Undvik händelser som ”svaret är bra”. De kan inte märkas konsekvent.

För åtgärder med irreversibla effekter får konfidens inte ersätta auktorisering. En modell kan hjälpa till att välja en väg, men AI-agentbehörigheter bör fortfarande upprätthålla tillåtna resurser, argument, godkännanderegler och kvitton.

2. Bygg en uppgiftsspecifik holdout-mängd

Samla representativa indata som inte användes för att finjustera prompten eller kalibreringsmappningen. Inkludera:

Märk korrekthet med en deterministisk verifierare där det är möjligt. För subjektiva uppgifter ska du använda en skriftlig bedömningsmall och avgörande granskning. En konfidenspoäng kan inte vara mer försvarbar än dess utfallsetiketter.

Börja med tillräckligt mycket data för att upptäcka grov felkalibrering och utöka sedan kring viktiga delmängder och trösklar. En liten benchmark kan vägleda utforskning, men kan inte motivera en tröskel för högriskproduktion.

3. Fånga råsignalen utan att ändra protokollet

Lagra:

Avrunda inte före utvärderingen. En modell som endast avger `0.7`, `0.8` och `0.9` bör bedömas som tre grova intervall, inte presenteras som en precis sannolikhetsmätning.

4. Beräkna Brier-poäng och en tillförlitlighetstabell

För binär korrekthet är Brier-poängen:

text mean((confidence - outcome)²)

Lägre är bättre, men talet behöver en baslinje och en jämförbar datamängd. En tillförlitlighetstabell gör felet lättare att se: gruppera liknande poäng och jämför sedan varje grupps genomsnittliga poäng med dess observerade noggrannhet.

Detta Python-skript utan externa beroenden läser `id,score,correct` från en CSV-fil:

python import csv

with open("predictions.csv", newline="") as source: rows = [ (float(row["score"]), int(row["correct"])) for row in csv.DictReader(source) ]

if not rows: raise SystemExit("predictions.csv has no rows")

brier = sum((score - correct) ** 2 for score, correct in rows) / len(rows) print(f"Brier score: {brier:.4f}")

bin_count = 10 bins = [[] for _ in range(bin_count)]

for score, correct in rows: if not 0 <= score <= 1 or correct not in (0, 1): raise ValueError("score must be 0..1 and correct must be 0 or 1") index = min(int(score * bin_count), bin_count - 1) bins[index].append((score, correct))

print("range,count,mean_score,accuracy,gap") for index, values in enumerate(bins): if not values: continue mean_score = sum(score for score, _ in values) / len(values) accuracy = sum(correct for _, correct in values) / len(values) lower = index / bin_count upper = (index + 1) / bin_count print( f"{lower:.1f}-{upper:.1f},{len(values)}," f"{mean_score:.3f},{accuracy:.3f},{mean_score - accuracy:+.3f}" )

Tabellen är beskrivande. Intervallgränser kan ändra sammanfattningar av ECE-typ, särskilt på små mängder. Behåll Brier-poäng, en tillförlitlighetsvy och ett åtgärdsfokuserat mått tillsammans i stället för att optimera en enda graf.

5. Välj trösklar utifrån risk och täckning

En tröskel på 0,8 har ingen universell betydelse. Utvärdera vad som händer när systemet endast accepterar utdata vid eller över varje kandidat tröskel:

python print("threshold,coverage,accepted_accuracy") for threshold in (0.5, 0.6, 0.7, 0.8, 0.9): accepted = [ correct for score, correct in rows if score >= threshold ] coverage = len(accepted) / len(rows) accuracy = sum(accepted) / len(accepted) if accepted else float("nan") print(f"{threshold:.1f},{coverage:.3f},{accuracy:.3f}")

Detta skapar en grundläggande risk–täckningsvy. Att höja tröskeln kan minska felen bland accepterade fall, men skickar också mer arbete till reservhantering. Välj en tröskel utifrån kostnaden för felaktigt accepterande, felaktigt avvisande, granskning, fördröjning och användarskada.

Använd minst tre utfall när produkten stöder det:

6. Testa drift och protokolländringar

Kör holdout-mängden efter:

Upprepad sampling och djupare resonemang kräver också mer beräkningskraft. Avvägningen hör hemma i utvärderingen: jämför minskningen av fel med fördröjning och tokenkostnad i stället för att anta att fler resonemangstokens alltid är värda kostnaden.

Vilken konfidensmetod bör du använda?

Öppen källkod kan minska implementeringsarbetet. UQLM exponerar till exempel black-box-konsistens, white-box-token-sannolikhet, domar-, ensemble- och långtextscorers. Dokumentationen tydliggör också avvägningarna mellan fördröjning och åtkomst: konsistensmetoder kräver fler anrop, medan white-box-metoder kräver logprobs (UQLM documentation). Projektet fick fortfarande releaser i juli 2026, inklusive korrigeringar i v0.6.4, vilket är en starkare underhållssignal än enbart det totala antalet stjärnor (UQLM v0.6.4).

Ett bibliotek tillhandahåller estimatorer. Det tillhandahåller inte etiketter, uppgiftsdefinition, risktolerans eller produktionsövervakning som gör en tröskel försvarbar.

Vad den aktuella forskningen inte fastställer

De citerade studierna bevisar inte att en metod vinner i alla LLM-tillämpningar.

Forskning kan identifiera kandidatsignaler. Validera hela systemet på det arbete det faktiskt ska utföra.

Vanliga frågor

Är LLM-konfidenspoäng korrekta?

Ibland korrelerar de med korrekthet, men noggrannheten beror på modell, uppgift, poängmetod, prompt och utvärderingsfördelning. Behandla en okalibrerad poäng som en rangordningsfunktion. Testa den mot märkta utfall innan du tolkar den som en sannolikhet.

Är token-logprobs samma sak som konfidens?

Nej. En token-logprob är den villkorade sannolikheten för en token givet dess sammanhang. Den kan stödja en konfidensuppskattning, särskilt för uppgifter med slutna etiketter, men är inte automatiskt sannolikheten att ett fritextsvar är faktamässigt korrekt.

Vilken LLM-konfidens tröskel bör jag använda?

Det finns ingen universell tröskel. Välj en utifrån en undanhållen risk–täckningsanalys som återspeglar kostnaden för felaktigt accepterande, manuell granskning, avstående och utebliven automatisering. Validera den på nytt efter ändringar av modell, prompt eller datadistribution.

Kontroll av påståenden

Källor