Caderno de LaboratórioEntrada 02IA que decide

O corte duplo: responder, revisar ou passar a um humano

Quando uma IA pode responder sem ninguém olhar? A mesma teoria de decisão da Entrada 01, agora com uma terceira saída: "não sei, chama alguém".

Com a mesma IA e os mesmos clientes, organizar o atendimento de quatro jeitos diferentes leva a custos que vão de R$ 4,6 mil a R$ 78 mil por mil consultas. A diferença não está no modelo. Está em dois números que quase ninguém calcula.

A IA pode responder sozinha onde errar sai barato. Horário de visita, sim. Valor do aluguel e cláusula de contrato, só com alguém olhando.

Origem
Um assistente de locação com IA que qualificava interessados a partir do estoque real (cliente não identificado).
Dados
10.000 consultas sintéticas em 4 tipos, semente fixa 20261021. Nenhum dado do projeto real.
Duas vozes
No caderno, para quem constrói o modelo. No guardanapo, para quem decide o orçamento
Bancadas
1 · Quem responde? (estratégia, confiança, custos, revisor e capacidade)

O mesmo modelo, quatro contas

Pegue uma IA que responde consultas de clientes de uma empresa de locação. Ela acerta bem as perguntas de horário de visita, um pouco menos as de disponibilidade, e erra com frequência quando o assunto é preço ou contrato. Agora organize o atendimento de quatro jeitos, sem trocar o modelo:

O último é 29% mais barato que revisar tudo e usa 38% menos tempo de equipe (1.992 contra 3.201 minutos por mil consultas). E ainda deixa passar erros: 55 por mil consultas. Isso não é defeito. É o ponto: 95% desses erros são de horário, onde cada um custa um contato repetido.

E quase todo o ganho sobre revisar tudo, 92%, vem da parte mais simples: separar por tipo de pergunta. Olhar a confiança de cada resposta acrescenta o resto.

Na Entrada 01 o corte decidia entre ligar e não ligar. Aqui o corte vira dois, porque há uma terceira saída: a IA pode dizer "não tenho certeza, chama alguém".

De onde veio

Em 2023 construí um assistente de locação para uma empresa de real estate na América do Norte. A tabela de unidades disponíveis virava uma base de conhecimento; o assistente conversava com o interessado, qualificava por ocupação, faixa de preço e número de quartos, recomendava as unidades compatíveis e passava ao corretor só os leads que faziam sentido. Um operador marcava as unidades alugadas, para a base acompanhar o estoque real.

O desenho que funcionou foi "a IA qualifica, a pessoa fecha". Esta entrada é a pergunta que ficou dele: dá para transformar a divisão entre o que a IA faz sozinha e o que fica com uma pessoa numa conta?

Três caminhos, três custos

Para cada consulta, a IA produz uma resposta e uma confiança p, a probabilidade de a resposta estar certa. Há três caminhos:

O modelo é simples de propósito, e as premissas ficam à vista: a pessoa não erra; a revisão pega todo erro (a seção "Onde isso quebra" mostra o que acontece quando não pega) e nunca recusa um rascunho certo; a IA tem custo marginal zero; e E é o mesmo para todas as perguntas de um tipo. Com isso, os custos esperados são:

CIA = (1 − p)·E   ·   Crev = R + (1 − p)·H   ·   Chum = H
(1)

Comparando dois a dois, saem os dois cortes. A IA responde sozinha quando CIA < Crev, e manda direto para uma pessoa quando Chum < Crev:

sozinha se p > 1 − R / (E − H)   ·   pessoa se p < R / H
(2)

Entre os dois, rascunho com revisão. Com uma revisão a R$ 4 (2 minutos), uma resposta humana a R$ 10 (5 minutos) e um erro de preço a R$ 200 (um lead perdido), o corte de cima fica em 97,9% e o de baixo em 40%. Num erro de contrato a R$ 1.500, o corte de cima vai para 99,7%: na prática, a IA nunca responde sozinha sobre contrato.

Essa faixa do meio só existe quando o corte de cima fica acima do de baixo, o que exige E > H² / (H − R), com R < H; com esses valores de R e H, E acima de R$ 16,67. Fora disso revisar nunca compensa, e o corte é um só, entre a IA e a pessoa: a IA responde se p > 1 − H / E. Na dúvida, a regra que sempre vale é a da equação (1): escolher o caminho de menor custo esperado.

O caso extremo surpreende: quando o erro custa menos que refazer (E ≤ H), revisar nunca compensa. Errar o horário de uma visita custa R$ 8, um contato a mais; refazer custa R$ 10. A conta manda a IA responder sozinha qualquer pergunta de horário, mesmo as de confiança baixa.

Automatizar não é uma chave liga/desliga. É um corte por tipo de pergunta, e o que decide o corte é quanto custa errar ali.

A ideia tem pedigree. Em 1957, C. K. Chow desenhou um sistema ótimo de reconhecimento de caracteres com uma saída de rejeição para os casos ambíguos, e em 1970 descreveu o compromisso entre erro e rejeição: rejeitar quando a probabilidade da melhor classe fica abaixo de um limiar. O corte duplo é uma extensão disso, com três ações e uma pessoa que tem custo próprio. Em aprendizado de máquina o tema voltou como classificação seletiva (trocar cobertura por risco) e como learning to defer, em que o modelo aprende quando passar o caso a um especialista humano. A novidade dos agentes de IA é o tamanho da conta.

Viagem de físico

O pontinho na tela do radar

A curva ROC tem raízes no radar da Segunda Guerra: era preciso decidir se um pontinho na tela era avião ou ruído, e cada erro tinha um preço muito diferente. O nome ficou: receiver operating characteristic, a característica de operação do receptor. A teoria foi formalizada no começo dos anos 1950, como teoria da detectabilidade de sinais (Peterson e Birdsall, 1953), e é a mesma que decide, hoje, se uma resposta de IA é boa o bastante para sair sem ninguém olhar.

A confiança que vale é a medida

Tudo acima depende de p ser uma probabilidade de verdade: entre as respostas com confiança 0,9, nove em dez certas. Isso se chama calibração, e não vem de graça.

Redes neurais modernas de classificação costumam ser mal calibradas, em geral confiantes demais (Guo et al., 2017, em visão computacional). Modelos de linguagem grandes conseguem estimar razoavelmente se a própria resposta está certa quando a pergunta vem no formato certo, mas os próprios autores registram que o ajuste fino por RLHF piora a calibração (Kadavath et al., 2022). E, quando dizem a confiança em palavras, os modelos tendem a superestimar e a se concentrar em valores altos, o que separa mal as respostas certas das erradas (Xiong et al., 2024). Na prática: a "confiança" que o agente informa está na escala errada e, muitas vezes, também na ordem errada.

A simulação mostra o tamanho do estrago num cenário generoso. A confiança "medida" é a calibração perfeita, o teto que nenhuma empresa alcança. A "declarada" preserva a ordem e só desloca a escala para cima, o melhor caso de uma confiança declarada. Com os mesmos cortes, o corte duplo passa a automatizar 61,5% das consultas em vez de 44,6%, custa R$ 5.524 em vez de R$ 4.576 por mil (21% a mais) e deixa passar 82 erros por mil em vez de 55. Quase todo o prejuízo extra vem de disponibilidade e preço: consultas que deviam ser revisadas saem sozinhas, e consultas de preço que deviam ir direto a uma pessoa caem na revisão. Com uma confiança que também ordena mal, a diferença tende a ser maior.

A confiança que vale é a que você mede: consultas reais já respondidas, com a resposta certa conhecida, agrupadas por tipo de pergunta e por faixa de confiança. Algumas centenas por tipo bastam para o corte de baixo, perto de 40%. O corte de cima é outra história: para afirmar que uma faixa erra menos de 0,3% (o corte de contrato), são precisas cerca de mil respostas seguidas sem nenhum erro, pela regra de três (zero erros em n casos dá um limite superior de cerca de 3/n, com 95% de confiança). Com pouco dado, trate o corte de cima com folga: use o limite inferior do acerto, não a média. É a mesma lição da Entrada 01, numa máquina nova: a regra de custo funciona sobre probabilidade, não sobre score.

A bancada abaixo roda as 10.000 consultas da simulação. Os números citados no texto são os dos valores padrão; mexa nos controles para ver onde cada estratégia quebra.

Bancada · Quem responde?

10.000 consultas sintéticas · semente 20261021
Estratégia
Confiança usada no corte
R$ 4
R$ 10
× 1
100%
Equipe disponível (minutos por 1.000 consultas; R$ 2 por minuto)
—
IA sozinha—
Com revisão—
Direto a uma pessoa—
Erros ao cliente / 1.000—
Minutos de equipe / 1.000—
Custo / 1.000 consultas—
TipoErro custaCortes (cima · baixo)IARevisãoPessoaErros / 1.000

—

Esta bancada usa custos e acertos inventados. Quer a mesma conta com o seu atendimento? A Vettore Data faz o diagnóstico: mede o acerto real da sua IA por tipo de pergunta e calcula os cortes com os seus custos. Ver o diagnóstico →

O que interessa a quem paga

Onde está o dinheiro

Três alavancas, em ordem de tamanho:

Como usar isto na prática

O corte duplo não é específico de atendimento. Ele vale para qualquer fluxo em que um modelo produz uma saída, alguém pode conferir e errar tem preço. Uma receita que funciona:

1. Registre tudo desde o primeiro dia

Para cada consulta: o tipo (de um classificador ou de regras), a resposta da IA, a confiança (a declarada, se for o que existe), o caminho tomado e, quando houver, a correção feita pela pessoa. Sem esse registro, nenhum dos passos seguintes é possível.

2. Rode em sombra antes de soltar

Nas primeiras semanas, todas as respostas passam por revisão, e o revisor marca "certa" ou "errada". Isso gera o conjunto rotulado de graça, como subproduto do trabalho que já seria feito.

3. Calibre por tipo

Com o conjunto rotulado, troque a confiança declarada pela frequência observada de acerto em cada faixa (regressão isotônica ou Platt, ou simplesmente uma tabela por faixa quando o volume é pequeno). Uma calibração por tipo de pergunta, não uma global. Na simulação, a distorção da confiança declarada é um deslocamento simples, que o Platt corrige por inteiro; na vida real, a recalibração conserta a escala, mas não conserta uma ordem ruim.

4. Ponha os cortes em configuração, não no código

Os dois cortes de cada tipo saem da equação (2) com R, H e E que o negócio escreveu. Ficam num arquivo de configuração com dono e data, e mudam quando os custos mudam.

5. Audite as duas pontas

Uma amostra pequena e sorteada das respostas automáticas revisada depois do envio, para saber se o acerto continua onde estava. E uma amostra das revisões conferida por uma segunda pessoa, para medir quanto o revisor realmente pega (a próxima seção mostra por que isso importa).

Alguns lugares onde a mesma conta se aplica sem mudar nada: leitura de documentos (campo lido com alta confiança entra direto, confiança intermediária vai para conferência, documento ilegível vai para digitação), moderação de conteúdo, triagem de chamados de suporte técnico, aprovação de reembolso de despesas e classificação de produtos num catálogo. Em todos, E é diferente por categoria, e é isso que faz o corte valer dinheiro.

Seção obrigatória

Onde isso quebra

Para reproduzir

O núcleo da decisão cabe em poucas linhas. O script completo, com a população sintética, todas as estratégias e as análises de sensibilidade, roda só com a biblioteca padrão do Python.

def rota(p, E, R=4.0, H=10.0):
    """Caminho de menor custo esperado para uma resposta com confiança calibrada p."""
    custo = {
        "ia": (1 - p) * E,           # erro chega ao cliente
        "revisar": R + (1 - p) * H,  # revisão sempre; refaz se o rascunho errou
        "humano": H,                 # resposta do zero
    }
    return min(custo, key=custo.get)

print(rota(0.95, E=200))   # revisar
print(rota(0.99, E=200))   # ia
print(rota(0.30, E=8))     # ia: errar custa menos que refazer

Referências

Teoria da decisão com rejeição

  1. Chow, C. K. (1957). An Optimum Character Recognition System Using Decision Functions. IRE Transactions on Electronic Computers, 247–254.a saída de rejeição para casos ambíguos
  2. Chow, C. K. (1970). On Optimum Recognition Error and Reject Tradeoff. IEEE Transactions on Information Theory, 16(1), 41–46.o compromisso entre erro e rejeição
  3. Geifman, Y. & El-Yaniv, R. (2017). Selective Classification for Deep Neural Networks. NIPS 2017.risco × cobertura com um limiar na confiança
  4. Mozannar, H. & Sontag, D. (2020). Consistent Estimators for Learning to Defer to an Expert. ICML, PMLR 119, 7076–7087.o modelo que aprende quando passar o caso a uma pessoa
  5. Elkan, C. (2001). The Foundations of Cost-Sensitive Learning. IJCAI.o corte pelo custo, da Entrada 01

Calibração

  1. Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. ICML, PMLR 70, 1321–1330.redes modernas mal calibradas; temperature scaling
  2. Kadavath, S. et al. (2022). Language Models (Mostly) Know What They Know. arXiv:2207.05221.autoavaliação de modelos de linguagem
  3. Xiong, M. et al. (2024). Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs. ICLR 2024.a confiança dita em palavras tende ao excesso

História

  1. Peterson, W. W. & Birdsall, T. G. (1953). The Theory of Signal Detectability. University of Michigan, relatório técnico.a formalização da detecção de sinais
  2. Receiver operating characteristic. Wikipedia.as raízes no radar da Segunda Guerra

Quer o corte duplo com os números do seu atendimento?

A Vettore Data faz o diagnóstico: separa as perguntas por tipo, mede o acerto real da IA e calcula os cortes com os seus custos. A versão executiva desta entrada, com uma calculadora, está lá.

Ver o diagnóstico na Vettoreou fale comigo