Come guadagnare con un modello di propensione

Lo stesso modello, tre decisioni

Prima della teoria, il risultato. Stessi 10.000 clienti, stesso modello, stessa AUC di —. Tre modi di usare lo score, con una chiamata che costa 8 € e un margine di 120 € per vendita:

Il resto di questa pagina spiega il conto, mostra dove funziona e, soprattutto, dove cede.

Da dove nasce

Un allievo è arrivato con un progetto che, sulla carta, era pronto. Aveva le fasi che ogni corso insegna (dati, preparazione, modello, deploy) e una in più, che quasi nessuno disegna nel diagramma: una cartella chiamata POLICY.

Il modello stimava la propensione all'acquisto di ogni cliente. La cartella della policy trasformava quella stima in azione: fasce di propensione, una soglia, la lista di chi riceve l'offerta. La decisione di business stava lì, non nel modello. I numeri del suo progetto qui non compaiono; il problema è lo stesso, ricostruito con dati sintetici.

Il problema visto da un fisico

Prima di qualsiasi curva ROC, un ordine di grandezza. Diecimila clienti, tasso di acquisto del 6%: circa 600 persone che compreranno, sparse nella base clienti. Ogni contatto costa C; ogni vendita lascia un margine V (quello che resta dopo costo del prodotto, tasse, provvigioni e sconti, non il prezzo).

Chiamare un cliente con probabilità p di comprare ha un valore atteso di p·V − C. Conviene quando è positivo:

È la classica teoria delle decisioni, nella formulazione che con Elkan (2001) è diventata il riferimento nel machine learning: se non chiamare non costa nulla, la soglia ottimale è il rapporto C/V. Con 8 € e 120 €, t* ≈ 0,067. Non è 0,5. E non è, in generale, nemmeno il punto di Youden o un altro punto «bello» della curva ROC. Con uno score calibrato, il punto di Youden equivale a tagliare al tasso di base: incorpora un rapporto tra costi che coincide con il tuo solo per caso. Qui, per caso, quasi coincide (il tasso di base è 6,4% e C/V è 6,7%); cambia V nel banco di prova e guarda i due separarsi. (Il punto della ROC pesato per i costi, quello sì, porta allo stesso t*.)

Il conto nasconde due condizioni. La prima: p deve essere una probabilità vera. La seconda: chi non riceve la chiamata non compra di sua iniziativa. Tienile a mente tutte e due, perché è lì che si perdono i soldi.

Dove sono i soldi

1. Smettere di pagare chiamate che non si ripagano

Passando dalla strategia «chiamare tutti» alla regola C/V, la campagna fa — chiamate in meno e il profitto passa da — a —. Le chiamate evitate fanno risparmiare —; per strada si perdono — vendite che, messe insieme, costavano in chiamate più di quanto rendevano. Nessuna vendita nuova è stata inventata: il guadagno nasce dal fatto che smetti di pagare per chi stava sotto C/V.

La soglia di default a 0,5 sbaglia dalla parte opposta. In questa base, —. Secondo l'equazione (1), 0,5 sarebbe ottimale solo se la vendita valesse esattamente il doppio della chiamata (V = 2C); qui vale 15 volte tanto. È un errore di costo, ereditato dal default della libreria. La documentazione stessa di scikit-learn avverte che questa soglia fissa non è quasi mai quella ideale.

2. Stesso team, più vendite

Con capacità fissa, la domanda passa da «chi vale la pena chiamare» a «chi vale più la pena chiamare». La soglia diventa una posizione nella coda, e a decidere chi entra è la qualità dell'ordinamento in cima alla lista (la precisione nelle prime 1.000 posizioni, che è ciò che determina il lift), non l'AUC sull'intera base. La calibrazione continua a dirti se conviene riempire la coda.

Vendite con 1.000 chiamate. Lift: —. Cambia la capacità nel Banco di prova 1 e queste barre si aggiornano.

3. L'asticella la fissa il business, non l'IT

La soglia ottimale è funzione di C e V, non del modello. Muovi i cursori di C e V nel Banco di prova 1 e guarda la zona verde spostarsi senza che il modello cambi di una virgola. Quando cambia il margine del prodotto, o il costo del team, la lista deve cambiare di conseguenza. Prova C = 40 e V = 80, o qualsiasi coppia con V = 2C: è l'unico tipo di mondo in cui l'equazione (1) mette la soglia a 0,5. E guarda cosa mostra il banco di prova in quel caso: in questa base quasi nessuno ha uno score sopra 0,5, quindi nemmeno la soglia giusta salva una campagna che non ha nessuno da chiamare.

Per riprodurlo

Gli stessi passaggi del Banco di prova 1, in Python. I numeri vengono diversi da quelli della pagina perché il generatore casuale è un altro (da un seme all'altro cambiano di qualche migliaio di euro); le conclusioni no.

import numpy as np

rng = np.random.default_rng(7)
N, C, V = 10_000, 8, 120            # clienti, costo per chiamata, valore per vendita

score = rng.beta(0.8, 12, N)        # score calibrato per costruzione
buyer = rng.random(N) < score       # chi compra davvero

def profit(t, capacity=None):
    order = np.argsort(-score)
    chosen = order[score[order] >= t][:capacity]
    return buyer[chosen].sum() * V - len(chosen) * C

grid = np.arange(0, 0.5, 0.005)
best = grid[np.argmax([profit(t) for t in grid])]
print(f"regola C/V = {C/V:.3f} | ottimo empirico = {best:.3f}")
print(f"tutti = {profit(0)} | soglia 0.5 = {profit(0.5)} | regola = {profit(C/V)}")
print(f"regola, con 1.000 chiamate = {profit(C/V, 1000)}")