Como ganhar dinheiro com um modelo de propensão

O mesmo modelo, três decisões

Antes da teoria, o resultado. Mesmos 10.000 clientes, mesmo modelo, mesma AUC de —. Três maneiras de usar o score, com ligação a R$ 8 e margem de R$ 120 por venda:

O resto desta entrada explica essa conta, mostra onde ela funciona e, principalmente, onde ela quebra.

De onde veio

Um aluno chegou com um projeto que, no papel, estava pronto. Tinha as etapas que todo curso ensina (dados, preparação, modelo, deploy) e uma a mais, que quase ninguém desenha no diagrama: uma pasta chamada POLICY.

O modelo estimava a propensão de compra de cada cliente. A pasta de política transformava essa estimativa em ação: faixas de propensão, um corte, a lista de quem recebe a oferta. A decisão de negócio morava ali, e não no modelo. Os números dele não aparecem aqui; o problema é o mesmo, remontado com dados sintéticos.

A versão física do problema

Antes de qualquer curva ROC, uma ordem de grandeza. Dez mil clientes, taxa de compra de 6%: umas 600 pessoas que vão comprar, espalhadas na base. Cada contato custa C; cada venda deixa V de margem (o que sobra depois do custo do produto, impostos, comissão e desconto, não o preço).

Ligar para um cliente com probabilidade p de comprar tem valor esperado p·V − C. Vale a pena quando isso é positivo:

É teoria de decisão clássica, na formulação que virou referência em machine learning com Elkan (2001): se não ligar custa zero, o corte ótimo é a razão C/V. Com R$ 8 e R$ 120, t* ≈ 0,067. Não é 0,5. Também não é, em geral, o ponto de Youden nem outro ponto "bonito" da curva ROC. Com score calibrado, o ponto de Youden equivale a cortar na taxa base: ele embute uma razão de custos que só coincide com a sua por acaso. Aqui, por acaso, quase coincide (a taxa base é 6,4% e C/V é 6,7%); mude V na bancada e veja os dois se separarem. (O ponto da ROC ponderado por custo, esse sim, leva ao mesmo t*.)

A conta tem duas condições escondidas. A primeira: p precisa ser uma probabilidade de verdade. A segunda: quem não recebe a ligação não compra sozinho. Guarde as duas, porque é por elas que o dinheiro vaza.

Onde está o dinheiro

1. Parar de pagar ligação que não se paga

Da estratégia "ligar para todo mundo" para a regra C/V, a campanha faz — ligações a menos e o lucro vai de — para —. As ligações evitadas economizam —; no caminho se perdem — vendas que, somadas, custavam em ligações mais do que rendiam. Nenhuma venda nova foi inventada: o ganho vem de parar de pagar por quem estava abaixo de C/V.

O corte padrão de 0,5 erra para o outro lado. Com esta base, —. Pela equação (1), 0,5 só seria o ótimo se a venda valesse exatamente o dobro da ligação (V = 2C); aqui ela vale 15 vezes. O erro é de custo, herdado do default da biblioteca. A própria documentação do scikit-learn avisa que esse corte fixo quase nunca é o ideal.

2. Mesma equipe, mais vendas

Com capacidade fixa, a pergunta muda de "quem vale a pena" para "quem vale mais a pena". O corte vira uma posição na fila, e o que decide quem entra é a qualidade da ordenação no topo da lista (a precisão nas primeiras 1.000 posições, que é o que define o lift), não a AUC da base inteira. A calibração continua dizendo se vale encher a fila.

Vendas com 1.000 ligações. Lift: —. Mude a capacidade na Bancada 1 e estas barras acompanham.

3. A régua é de negócio, não de TI

O corte ótimo é função de C e V, não do modelo. Mexa nos controles de C e V da Bancada 1 e veja a zona verde andar sem que o modelo mude uma vírgula. Quando a margem do produto muda, ou o custo da equipe muda, a lista tem que mudar junto. Experimente C = 40 e V = 80, ou qualquer par com V = 2C: é o único tipo de mundo em que a equação (1) manda cortar em 0,5. E repare no que a bancada mostra nesse caso: nesta base quase ninguém tem score acima de 0,5, então nem o corte certo salva uma campanha que não tem para quem ligar.

Para reproduzir

Os mesmos passos da Bancada 1, em Python. Os números saem diferentes dos da página, porque o gerador aleatório é outro (de uma semente para outra, variam alguns milhares de reais); as conclusões, não.

import numpy as np

rng = np.random.default_rng(7)
N, C, V = 10_000, 8, 120            # clientes, custo por ligação, valor por venda

score = rng.beta(0.8, 12, N)        # score calibrado por construção
buyer = rng.random(N) < score       # quem compra de fato

def profit(t, capacity=None):
    order = np.argsort(-score)
    chosen = order[score[order] >= t][:capacity]
    return buyer[chosen].sum() * V - len(chosen) * C

grid = np.arange(0, 0.5, 0.005)
best = grid[np.argmax([profit(t) for t in grid])]
print(f"regra C/V = {C/V:.3f} | melhor empírico = {best:.3f}")
print(f"todo mundo = {profit(0)} | corte 0.5 = {profit(0.5)} | regra = {profit(C/V)}")
print(f"na regra, com 1.000 ligações = {profit(C/V, 1000)}")