Score de Confiança de LLM: Calibre Antes de Confiar

Um score de confiança de LLM só é útil depois que você define o que ele prevê, mantém o protocolo de medição fixo e o testa contra resultados rotulados da sua própria tarefa. Um “90%” autorrelatado, uma probabilidade logarítmica de token e nove respostas iguais em dez amostras são três sinais diferentes. Nenhum deles fornece uma probabilidade universal de 0,9 de que uma resposta esteja correta.

Público: Intermediário — engenheiros de produto, equipes de dados e líderes técnicos que precisam que um LLM responda, encaminhe ou se abstenha.

Trate o número bruto como uma feature, não como uma decisão. Calibre-o em um conjunto separado, examine como o erro muda quando você rejeita respostas com scores baixos e coloque controles determinísticos em torno de qualquer ação que possa movimentar dinheiro, expor dados ou alterar o estado de produção.

O que um score de confiança de LLM mede?

Um score de confiança de LLM é um sinal numérico destinado a classificar ou estimar a confiabilidade de uma saída do modelo. Seu significado depende de como foi produzido.

Para que um score funcione como uma probabilidade calibrada, as saídas às quais foi atribuído 0,8 devem estar corretas cerca de 80% das vezes no mesmo tipo de trabalho. Essa afirmação precisa de quatro detalhes:

Remova qualquer um desses detalhes e “confiança de 0,8” se torna ambígua. Pode significar que o modelo considerou a formulação provável, repetiu a si mesmo de forma consistente, seguiu uma instrução para imprimir um número ou classificou uma resposta acima das alternativas. Essas propriedades podem se correlacionar com a correção. Elas não são a própria correção.

A calibração também difere da discriminação. Um score tem boa discriminação quando respostas corretas geralmente ficam acima das incorretas na classificação. Ele tem boa calibração quando os valores numéricos correspondem às frequências observadas. Um sistema pode ser útil para classificação enquanto suas porcentagens estão erradas, ou apresentar uma calibração média razoável enquanto falha em separar respostas certas das erradas.

Três sinais são comumente chamados de confiança

Escolher entre eles é uma decisão de engenharia. Combiná-los pode ajudar, mas um ensemble ainda precisa ser avaliado na tarefa-alvo.

Confiança verbalizada é uma resposta elicitada

A abordagem mais simples é perguntar:

text Retorne sua resposta e a probabilidade de ela estar correta de 0 a 1.

Isso funciona com quase qualquer modelo. Também faz com que o valor de confiança se torne parte da geração. A formulação do prompt, a escala de resposta, o contexto fornecido e o fato de o modelo ter produzido a resposta por conta própria podem alterar o resultado.

Um estudo de 2026 testou três famílias de modelos base/instruction-tuned abertos de 7–8B em quatro benchmarks de perguntas e respostas. Os pesquisadores mantiveram o prompt de confiança verbal fixo enquanto alteravam qual resposta era avaliada, quais tokens da resposta forneciam o score de token e qual contexto precedia esses tokens. Alterar o contexto de condicionamento modificou mais a comparação de calibração verbal versus token do que alterar o estimador de calibração e inverteu qual sinal parecia melhor em 9 de 12 configurações instruction-tuned, sob comparações de ECE e Brier score. Quando os modelos avaliavam respostas fornecidas, respostas erradas plausíveis recebiam quase a mesma confiança verbal que respostas corretas fornecidas. Por isso, os autores descrevem ambos os sinais como medições comportamentais dependentes do protocolo, e não como leituras diretas de incerteza (Kim and Kang, 2026).

Esse resultado não prova que todo score verbal seja inútil. Ele mostra por que um prompt como “seja honesto sobre sua confiança” não pode substituir um conjunto de calibração.

Logprobs de token medem a verossimilhança do próximo token

Uma probabilidade logarítmica registra a probabilidade de um token sob a distribuição de geração condicional do modelo. A documentação da OpenAI a define como a probabilidade de um token em uma posição específica, dado o contexto anterior; as probabilidades logarítmicas da sequência podem ser somadas para pontuação ou classificação (OpenAI Cookbook). A resposta GenerateContent do Google também expõe probabilidades logarítmicas médias dos candidatos e resultados de logprob em nível de token quando a API e o modelo selecionados oferecem suporte (Gemini API reference).

Isso é valioso para uma escolha fechada, como `approve` versus `reject`. Você pode coletar a massa de probabilidade atribuída aos rótulos permitidos e depois calibrar esse score. É muito mais difícil interpretar uma resposta longa e livre. Tokenização, comprimento da resposta, paráfrases e o prompt de condicionamento afetam a verossimilhança da sequência.

Uma afirmação falsa e fluente pode ter alta verossimilhança. Um nome correto, mas incomum, pode ter baixa verossimilhança. O score responde a “Quão esperada era esta sequência de tokens aqui?”. Ele não responde automaticamente a “A afirmação é verdadeira?”.

Amostragem repetida mede concordância

Amostragem do modelo várias vezes fornece um sinal de consistência black-box. Se oito de dez respostas expressam a mesma resposta, o score empírico de concordância é 0,8. Respostas livres geralmente precisam de agrupamento semântico para que paráfrases contem como a mesma resposta.

Esse sinal frequentemente carrega mais informação do que um único autorrelato, mas tem dois custos. Primeiro, dez gerações custam aproximadamente dez vezes mais chamadas de saída antes que batching, cache ou prompts mais curtos alterem a aritmética. Segundo, a concordância pode estar confiantemente errada quando o modelo repete o mesmo equívoco.

Pesquisas recentes tornam ambos os pontos visíveis. Um artigo de julho de 2026 comparou confiança verbal, um verificador baseado em logits e um método baseado em amostragem chamado SliCK em tarefas curtas de perguntas e respostas factuais e multi-hop. Nesse contexto, SliCK alcançou menor erro de calibração e melhor classificação entre respostas corretas e incorretas do que os outros dois métodos. Ainda assim, violou um teste de consistência probabilística baseado em entailment em 31% dos casos avaliados. O estudo dependeu de agrupamento semântico por um juiz LLM, benchmarks de respostas curtas, um modelo principal mais subconjuntos menores entre modelos e da suposição de que a frequência de amostragem reflete crença (Matta, Naphade, and Zou, 2026).

A interpretação prática é mais restrita do que “a amostragem resolve a confiança”. A concordância é um sinal bruto útil. Ela continua sendo um sinal que precisa ser verificado contra os resultados.

*Um limite de produção deve vir depois dos rótulos específicos da tarefa e das verificações de calibração, não diretamente depois da saída do modelo.*

Por que um número de confiança plausível ainda pode enganar

Três resultados recentes devem mudar a forma como as equipes interpretam uma porcentagem ao lado de uma resposta de LLM.

Precisão e calibração podem variar separadamente

O ConfidenceBench avaliou probabilidades obtidas por prompt de 15 modelos de ponta em 200 questões privadas de múltipla escolha em inglês, abrangendo raciocínio espacial, matemática de alta precisão, consulta de palavras e perguntas impossíveis de saber. Cada modelo respondeu ao conjunto três vezes. O benchmark usou Brier score, que penaliza a distância quadrática entre uma probabilidade informada e o resultado binário.

A classificação dos modelos por calibração não simplesmente reproduziu a classificação por precisão. Os autores relatam um melhor Brier score de 0,103, enquanto alguns sistemas avaliados tiveram desempenho pior do que um baseline aleatório calibrado de quatro escolhas, com 0,1875. O benchmark é deliberadamente pequeno, privado, apenas em inglês e de múltipla escolha. Seus scores verbais podem refletir seguimento de instruções e enquadramento do prompt, portanto os números não devem ser generalizados para trabalhos longos ou com múltiplos turnos (ffrench-Constant et al., 2026).

Meça a calibração diretamente. Não a infira a partir da precisão geral de um modelo.

O protocolo de medição pode mudar a conclusão

O score está associado a um pipeline específico. Se uma equipe altera o prompt, o snapshot do modelo, o formato da resposta, os rótulos candidatos, a janela de contexto, a temperatura ou a agregação de logprob, ela alterou o instrumento de medição.

Registre essas escolhas com cada resultado de avaliação. Métricas brutas de atividade de code agents também precisam de contexto do sistema e da avaliação antes de dizerem algo sobre confiabilidade. Se o prompt ou o modelo mudar, a recalibração é uma verificação de release, não uma limpeza opcional.

Um score calibrado ainda pode falhar em um recorte

Uma média pode esconder falhas em um idioma, produto, segmento de cliente, tipo de documento ou comprimento de resposta. Um classificador de suporte pode parecer calibrado no geral porque perguntas comuns de cobrança dominam o conjunto de teste, enquanto tickets raros de segurança continuam excessivamente confiantes.

Sempre inspecione recortes com exemplos suficientes para sustentar uma conclusão. Quando as amostras forem escassas, informe a incerteza em vez de tratar uma taxa ruidosa como fato.

Um fluxo de trabalho reproduzível para calibração de confiança de LLM

O fluxo a seguir é deliberadamente pequeno. Ele pode ser executado antes da adoção de uma estrutura maior de incerteza.

1. Defina o evento e a ação

Escreva uma frase que complete este modelo:

Exemplos:

Evite eventos como “a resposta é boa”. Eles não podem ser rotulados de forma consistente.

Para ações com efeitos irreversíveis, confiança não deve substituir autorização. Um modelo pode ajudar a escolher um caminho, mas as permissões de AI agents ainda devem impor recursos permitidos, argumentos, regras de aprovação e recibos.

2. Crie um conjunto de holdout específico da tarefa

Colete entradas representativas que não foram usadas para ajustar o prompt ou o mapeamento de calibração. Inclua:

Rotule a correção com um verificador determinístico sempre que possível. Para tarefas subjetivas, use uma rubrica escrita e adjudicação. Um score de confiança não pode ser mais defensável do que seus rótulos de resultado.

Comece com dados suficientes para revelar uma descalibração grosseira e depois expanda em torno de recortes e limites importantes. Um benchmark pequeno pode orientar a exploração, mas não pode justificar um limite de produção de alto risco.

3. Capture o sinal bruto sem alterar o protocolo

Armazene:

Não arredonde antes da avaliação. Um modelo que emite apenas `0.7`, `0.8` e `0.9` precisa ser avaliado como três buckets grosseiros, não apresentado como uma medição precisa de probabilidade.

4. Calcule o Brier score e uma tabela de confiabilidade

Para correção binária, o Brier score é:

text mean((confidence - outcome)²)

Quanto menor, melhor, mas o número precisa de um baseline e de um conjunto de dados comparável. Uma tabela de confiabilidade facilita a visualização do erro: agrupe scores semelhantes e compare o score médio de cada grupo com sua precisão observada.

Este script Python sem dependências lê `id,score,correct` de um arquivo CSV:

python import csv

with open("predictions.csv", newline="") as source: rows = [ (float(row["score"]), int(row["correct"])) for row in csv.DictReader(source) ]

if not rows: raise SystemExit("predictions.csv has no rows")

brier = sum((score - correct) ** 2 for score, correct in rows) / len(rows) print(f"Brier score: {brier:.4f}")

bin_count = 10 bins = [[] for _ in range(bin_count)]

for score, correct in rows: if not 0 <= score <= 1 or correct not in (0, 1): raise ValueError("score must be 0..1 and correct must be 0 or 1") index = min(int(score * bin_count), bin_count - 1) bins[index].append((score, correct))

print("range,count,mean_score,accuracy,gap") for index, values in enumerate(bins): if not values: continue mean_score = sum(score for score, _ in values) / len(values) accuracy = sum(correct for _, correct in values) / len(values) lower = index / bin_count upper = (index + 1) / bin_count print( f"{lower:.1f}-{upper:.1f},{len(values)}," f"{mean_score:.3f},{accuracy:.3f},{mean_score - accuracy:+.3f}" )

A tabela é descritiva. Os limites dos buckets podem alterar resumos no estilo ECE, especialmente em conjuntos pequenos. Mantenha Brier score, uma visão de confiabilidade e uma métrica focada na ação em conjunto, em vez de otimizar um único gráfico.

5. Escolha limites com base em risco e cobertura

Um limite de 0,8 não tem significado universal. Avalie o que acontece quando o sistema aceita apenas saídas iguais ou acima de cada limite candidato:

python print("threshold,coverage,accepted_accuracy") for threshold in (0.5, 0.6, 0.7, 0.8, 0.9): accepted = [ correct for score, correct in rows if score >= threshold ] coverage = len(accepted) / len(rows) accuracy = sum(accepted) / len(accepted) if accepted else float("nan") print(f"{threshold:.1f},{coverage:.3f},{accuracy:.3f}")

Isso cria uma visão básica de risco–cobertura. Aumentar o limite pode reduzir erros entre os casos aceitos, mas também envia mais trabalho para o tratamento de fallback. Escolha um limite com base no custo de aceitação incorreta, rejeição incorreta, revisão, latência e dano ao usuário.

Use pelo menos três resultados quando o produto oferecer suporte:

6. Teste drift e mudanças de protocolo

Execute o holdout novamente após:

Amostragem repetida e raciocínio mais profundo também adicionam computação. A troca deve fazer parte da avaliação: compare a redução de erros com a latência e o custo de tokens, em vez de presumir que mais tokens de raciocínio sempre valem a pena.

Qual método de confiança você deve usar?

Bibliotecas open source podem reduzir o trabalho de implementação. A UQLM, por exemplo, expõe scorers de consistência black-box, probabilidade de token white-box, judge, ensemble e textos longos. Sua documentação também explicita as trocas de latência e acesso: métodos de consistência precisam de mais chamadas, enquanto métodos white-box exigem logprobs (UQLM documentation). O repositório ainda recebia releases em julho de 2026, incluindo correções na v0.6.4, um sinal de manutenção mais forte do que o número total de stars isoladamente (UQLM v0.6.4).

Uma biblioteca fornece estimadores. Ela não fornece os rótulos, a definição da tarefa, a tolerância a riscos ou o monitoramento de produção que tornam um limite defensável.

O que as pesquisas atuais não estabelecem

Os estudos citados não provam que um método vence em todas as aplicações de LLM.

A pesquisa pode identificar sinais candidatos. Valide o sistema completo no trabalho que ele realmente executará.

Perguntas frequentes

Os scores de confiança de LLM são precisos?

Às vezes eles se correlacionam com a correção, mas a precisão depende do modelo, da tarefa, do método de pontuação, do prompt e da distribuição de avaliação. Trate um score não calibrado como uma feature de classificação. Teste-o contra resultados rotulados antes de interpretá-lo como uma probabilidade.

Logprobs de token são iguais a confiança?

Não. Um logprob de token é a verossimilhança condicional de um token dado seu contexto. Ele pode apoiar uma estimativa de confiança, especialmente em tarefas com rótulos fechados, mas não é automaticamente a probabilidade de que uma resposta livre esteja factualmente correta.

Qual limite de confiança de LLM devo usar?

Não existe um limite universal. Escolha um a partir de uma análise de risco–cobertura em um conjunto separado, refletindo o custo de aceitação errada, revisão manual, abstenção e automação perdida. Revalide-o após mudanças no modelo, prompt ou distribuição dos dados.

Verificações de afirmações

Fontes