O mesmo modelo, quatro contas
Pegue uma IA que responde consultas de clientes de uma empresa de locação. Ela acerta bem as perguntas de horário de visita, um pouco menos as de disponibilidade, e erra com frequência quando o assunto é preço ou contrato. Agora organize o atendimento de quatro jeitos, sem trocar o modelo:
- a IA responde tudo sozinha: R$ 78.142 por mil consultas, quase todo em erro que chegou ao cliente;
- pessoas respondem tudo: R$ 10.000;
- a IA rascunha tudo e alguém revisa tudo: R$ 6.402;
- um corte duplo, que olha o tipo da pergunta e a confiança de cada resposta: R$ 4.576 (com a confiança perfeitamente calibrada, o melhor caso).
O último é 29% mais barato que revisar tudo e usa 38% menos tempo de equipe (1.992 contra 3.201 minutos por mil consultas). E ainda deixa passar erros: 55 por mil consultas. Isso não é defeito. É o ponto: 95% desses erros são de horário, onde cada um custa um contato repetido.
E quase todo o ganho sobre revisar tudo, 92%, vem da parte mais simples: separar por tipo de pergunta. Olhar a confiança de cada resposta acrescenta o resto.
Na Entrada 01 o corte decidia entre ligar e não ligar. Aqui o corte vira dois, porque há uma terceira saída: a IA pode dizer "não tenho certeza, chama alguém".
De onde veio
Em 2023 construí um assistente de locação para uma empresa de real estate na América do Norte. A tabela de unidades disponíveis virava uma base de conhecimento; o assistente conversava com o interessado, qualificava por ocupação, faixa de preço e número de quartos, recomendava as unidades compatíveis e passava ao corretor só os leads que faziam sentido. Um operador marcava as unidades alugadas, para a base acompanhar o estoque real.
O desenho que funcionou foi "a IA qualifica, a pessoa fecha". Esta entrada é a pergunta que ficou dele: dá para transformar a divisão entre o que a IA faz sozinha e o que fica com uma pessoa numa conta?
Três caminhos, três custos
Para cada consulta, a IA produz uma resposta e uma confiança p, a probabilidade de a resposta estar certa. Há três caminhos:
- a IA responde sozinha: não custa tempo de ninguém, mas, com probabilidade 1 − p, um erro chega ao cliente e custa E;
- a IA rascunha e alguém revisa: a revisão custa R sempre; se o rascunho está errado, quem revisa refaz a resposta, o que custa H;
- direto para uma pessoa: custa H, a resposta humana do zero.
O modelo é simples de propósito, e as premissas ficam à vista: a pessoa não erra; a revisão pega todo erro (a seção "Onde isso quebra" mostra o que acontece quando não pega) e nunca recusa um rascunho certo; a IA tem custo marginal zero; e E é o mesmo para todas as perguntas de um tipo. Com isso, os custos esperados são:
Comparando dois a dois, saem os dois cortes. A IA responde sozinha quando CIA < Crev, e manda direto para uma pessoa quando Chum < Crev:
Entre os dois, rascunho com revisão. Com uma revisão a R$ 4 (2 minutos), uma resposta humana a R$ 10 (5 minutos) e um erro de preço a R$ 200 (um lead perdido), o corte de cima fica em 97,9% e o de baixo em 40%. Num erro de contrato a R$ 1.500, o corte de cima vai para 99,7%: na prática, a IA nunca responde sozinha sobre contrato.
Essa faixa do meio só existe quando o corte de cima fica acima do de baixo, o que exige E > H² / (H − R), com R < H; com esses valores de R e H, E acima de R$ 16,67. Fora disso revisar nunca compensa, e o corte é um só, entre a IA e a pessoa: a IA responde se p > 1 − H / E. Na dúvida, a regra que sempre vale é a da equação (1): escolher o caminho de menor custo esperado.
O caso extremo surpreende: quando o erro custa menos que refazer (E ≤ H), revisar nunca compensa. Errar o horário de uma visita custa R$ 8, um contato a mais; refazer custa R$ 10. A conta manda a IA responder sozinha qualquer pergunta de horário, mesmo as de confiança baixa.
Automatizar não é uma chave liga/desliga. É um corte por tipo de pergunta, e o que decide o corte é quanto custa errar ali.
A ideia tem pedigree. Em 1957, C. K. Chow desenhou um sistema ótimo de reconhecimento de caracteres com uma saída de rejeição para os casos ambíguos, e em 1970 descreveu o compromisso entre erro e rejeição: rejeitar quando a probabilidade da melhor classe fica abaixo de um limiar. O corte duplo é uma extensão disso, com três ações e uma pessoa que tem custo próprio. Em aprendizado de máquina o tema voltou como classificação seletiva (trocar cobertura por risco) e como learning to defer, em que o modelo aprende quando passar o caso a um especialista humano. A novidade dos agentes de IA é o tamanho da conta.
O pontinho na tela do radar
A curva ROC tem raízes no radar da Segunda Guerra: era preciso decidir se um pontinho na tela era avião ou ruído, e cada erro tinha um preço muito diferente. O nome ficou: receiver operating characteristic, a característica de operação do receptor. A teoria foi formalizada no começo dos anos 1950, como teoria da detectabilidade de sinais (Peterson e Birdsall, 1953), e é a mesma que decide, hoje, se uma resposta de IA é boa o bastante para sair sem ninguém olhar.
A confiança que vale é a medida
Tudo acima depende de p ser uma probabilidade de verdade: entre as respostas com confiança 0,9, nove em dez certas. Isso se chama calibração, e não vem de graça.
Redes neurais modernas de classificação costumam ser mal calibradas, em geral confiantes demais (Guo et al., 2017, em visão computacional). Modelos de linguagem grandes conseguem estimar razoavelmente se a própria resposta está certa quando a pergunta vem no formato certo, mas os próprios autores registram que o ajuste fino por RLHF piora a calibração (Kadavath et al., 2022). E, quando dizem a confiança em palavras, os modelos tendem a superestimar e a se concentrar em valores altos, o que separa mal as respostas certas das erradas (Xiong et al., 2024). Na prática: a "confiança" que o agente informa está na escala errada e, muitas vezes, também na ordem errada.
A simulação mostra o tamanho do estrago num cenário generoso. A confiança "medida" é a calibração perfeita, o teto que nenhuma empresa alcança. A "declarada" preserva a ordem e só desloca a escala para cima, o melhor caso de uma confiança declarada. Com os mesmos cortes, o corte duplo passa a automatizar 61,5% das consultas em vez de 44,6%, custa R$ 5.524 em vez de R$ 4.576 por mil (21% a mais) e deixa passar 82 erros por mil em vez de 55. Quase todo o prejuízo extra vem de disponibilidade e preço: consultas que deviam ser revisadas saem sozinhas, e consultas de preço que deviam ir direto a uma pessoa caem na revisão. Com uma confiança que também ordena mal, a diferença tende a ser maior.
A confiança que vale é a que você mede: consultas reais já respondidas, com a resposta certa conhecida, agrupadas por tipo de pergunta e por faixa de confiança. Algumas centenas por tipo bastam para o corte de baixo, perto de 40%. O corte de cima é outra história: para afirmar que uma faixa erra menos de 0,3% (o corte de contrato), são precisas cerca de mil respostas seguidas sem nenhum erro, pela regra de três (zero erros em n casos dá um limite superior de cerca de 3/n, com 95% de confiança). Com pouco dado, trate o corte de cima com folga: use o limite inferior do acerto, não a média. É a mesma lição da Entrada 01, numa máquina nova: a regra de custo funciona sobre probabilidade, não sobre score.
A bancada abaixo roda as 10.000 consultas da simulação. Os números citados no texto são os dos valores padrão; mexa nos controles para ver onde cada estratégia quebra.
Bancada · Quem responde?
10.000 consultas sintéticas · semente 20261021| Tipo | Erro custa | Cortes (cima · baixo) | IA | Revisão | Pessoa | Erros / 1.000 |
|---|
—
Esta bancada usa custos e acertos inventados. Quer a mesma conta com o seu atendimento? A Vettore Data faz o diagnóstico: mede o acerto real da sua IA por tipo de pergunta e calcula os cortes com os seus custos. Ver o diagnóstico →
Onde está o dinheiro
Três alavancas, em ordem de tamanho:
- Separar por tipo de pergunta. É de longe a maior: responde por 92% do ganho sobre revisar tudo. O acerto médio da IA nesta simulação é de cerca de 76%, e um número só não decide nada. O que decide é que horário tem acerto alto e erro barato, e contrato tem acerto baixo e erro caro.
- Medir a confiança em vez de acreditar nela. Calibrar custa um conjunto rotulado e algumas tardes de análise; usar a confiança declarada custou 21% a mais na simulação, no cenário mais generoso para ela.
- Cortar a revisão inútil. Revisar tudo gasta a equipe nas respostas que a IA acerta sozinha. Num volume de 20 mil consultas por mês, o corte duplo poupa cerca de 400 horas de equipe por mês em relação a revisar tudo (664 contra 1.067).
Como usar isto na prática
O corte duplo não é específico de atendimento. Ele vale para qualquer fluxo em que um modelo produz uma saída, alguém pode conferir e errar tem preço. Uma receita que funciona:
1. Registre tudo desde o primeiro dia
Para cada consulta: o tipo (de um classificador ou de regras), a resposta da IA, a confiança (a declarada, se for o que existe), o caminho tomado e, quando houver, a correção feita pela pessoa. Sem esse registro, nenhum dos passos seguintes é possível.
2. Rode em sombra antes de soltar
Nas primeiras semanas, todas as respostas passam por revisão, e o revisor marca "certa" ou "errada". Isso gera o conjunto rotulado de graça, como subproduto do trabalho que já seria feito.
3. Calibre por tipo
Com o conjunto rotulado, troque a confiança declarada pela frequência observada de acerto em cada faixa (regressão isotônica ou Platt, ou simplesmente uma tabela por faixa quando o volume é pequeno). Uma calibração por tipo de pergunta, não uma global. Na simulação, a distorção da confiança declarada é um deslocamento simples, que o Platt corrige por inteiro; na vida real, a recalibração conserta a escala, mas não conserta uma ordem ruim.
4. Ponha os cortes em configuração, não no código
Os dois cortes de cada tipo saem da equação (2) com R, H e E que o negócio escreveu. Ficam num arquivo de configuração com dono e data, e mudam quando os custos mudam.
5. Audite as duas pontas
Uma amostra pequena e sorteada das respostas automáticas revisada depois do envio, para saber se o acerto continua onde estava. E uma amostra das revisões conferida por uma segunda pessoa, para medir quanto o revisor realmente pega (a próxima seção mostra por que isso importa).
Alguns lugares onde a mesma conta se aplica sem mudar nada: leitura de documentos (campo lido com alta confiança entra direto, confiança intermediária vai para conferência, documento ilegível vai para digitação), moderação de conteúdo, triagem de chamados de suporte técnico, aprovação de reembolso de despesas e classificação de produtos num catálogo. Em todos, E é diferente por categoria, e é isso que faz o corte valer dinheiro.
Onde isso quebra
- O revisor não pega tudo. A equação (1) supõe que a revisão pega todo erro. Se o revisor pega 90%, com os mesmos cortes revisar tudo passa a custar R$ 13.976 por mil consultas, mais caro que pessoas em tudo (R$ 10.000), porque os erros caros de contrato escapam da revisão. O corte duplo desenhado para revisor perfeito sobe para R$ 8.993. Refazendo os cortes com a taxa real do revisor, o custo cai para R$ 5.432, e a mudança principal é mandar muito mais consultas direto para uma pessoa (29% em vez de 7%). O dinheiro vaza por um revisor cansado que aprova sem ler. Com taxa de captura q, os dois cortes mudam: o de cima vira 1 − R / (q·(E − H)) e o de baixo vira 1 − (H − R) / (q·H + (1 − q)·E). O de baixo é o que mais se mexe: em contrato, sobe de 40% para 96%. E um detalhe contraintuitivo: com um revisor pior, o corte de cima desce um pouco, porque a revisão passa a valer menos. Pior ainda, q não costuma ser constante: o revisor tende a confiar mais justamente nos rascunhos que parecem bons, que são os que estão perto do corte de cima (o chamado viés de automação).
- O acerto muda e o corte não. Muda o estoque, a política de preço, a versão do modelo do fornecedor. A calibração do piloto envelhece, e o corte continua lá. O dinheiro vaza em silêncio, até um erro caro aparecer no cliente.
- O tipo da pergunta está errado. Os cortes valem por tipo; se a pergunta de contrato é classificada como horário, ela recebe o corte de horário. O roteador é um modelo também, e erra também.
- A equipe não dá conta. Os cortes supõem capacidade infinita de revisão. Se a fila de revisão cresce, o tempo de resposta cresce, e o lead esfria. A bancada mostra quando a estratégia pede mais minutos do que a equipe tem.
- E foi chutado. O custo de um erro é a entrada mais incerta da conta, e a mais política. Vale testar o corte com E pela metade e em dobro antes de decidir.
Para reproduzir
O núcleo da decisão cabe em poucas linhas. O script completo, com a população sintética, todas as estratégias e as análises de sensibilidade, roda só com a biblioteca padrão do Python.
def rota(p, E, R=4.0, H=10.0):
"""Caminho de menor custo esperado para uma resposta com confiança calibrada p."""
custo = {
"ia": (1 - p) * E, # erro chega ao cliente
"revisar": R + (1 - p) * H, # revisão sempre; refaz se o rascunho errou
"humano": H, # resposta do zero
}
return min(custo, key=custo.get)
print(rota(0.95, E=200)) # revisar
print(rota(0.99, E=200)) # ia
print(rota(0.30, E=8)) # ia: errar custa menos que refazerReferências
Teoria da decisão com rejeição
- Chow, C. K. (1957). An Optimum Character Recognition System Using Decision Functions. IRE Transactions on Electronic Computers, 247–254.a saída de rejeição para casos ambíguos
- Chow, C. K. (1970). On Optimum Recognition Error and Reject Tradeoff. IEEE Transactions on Information Theory, 16(1), 41–46.o compromisso entre erro e rejeição
- Geifman, Y. & El-Yaniv, R. (2017). Selective Classification for Deep Neural Networks. NIPS 2017.risco × cobertura com um limiar na confiança
- Mozannar, H. & Sontag, D. (2020). Consistent Estimators for Learning to Defer to an Expert. ICML, PMLR 119, 7076–7087.o modelo que aprende quando passar o caso a uma pessoa
- Elkan, C. (2001). The Foundations of Cost-Sensitive Learning. IJCAI.o corte pelo custo, da Entrada 01
Calibração
- Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. ICML, PMLR 70, 1321–1330.redes modernas mal calibradas; temperature scaling
- Kadavath, S. et al. (2022). Language Models (Mostly) Know What They Know. arXiv:2207.05221.autoavaliação de modelos de linguagem
- Xiong, M. et al. (2024). Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs. ICLR 2024.a confiança dita em palavras tende ao excesso
História
- Peterson, W. W. & Birdsall, T. G. (1953). The Theory of Signal Detectability. University of Michigan, relatório técnico.a formalização da detecção de sinais
- Receiver operating characteristic. Wikipedia.as raízes no radar da Segunda Guerra
Quer o corte duplo com os números do seu atendimento?
A Vettore Data faz o diagnóstico: separa as perguntas por tipo, mede o acerto real da IA e calcula os cortes com os seus custos. A versão executiva desta entrada, com uma calculadora, está lá.
Ver o diagnóstico na Vettoreou fale comigo