Stesso modello, quattro conti
Prendete un'IA che risponde alle richieste dei clienti di un'azienda di locazioni. Va bene sulle domande sugli orari delle visite, un po' meno su quelle di disponibilità, e sbaglia spesso quando si parla di prezzo o di contratto. Ora organizzate il servizio clienti in quattro modi, senza cambiare modello:
- l'IA risponde a tutto da sola: 78.142 € ogni mille richieste, quasi tutto in errori arrivati al cliente;
- le persone rispondono a tutto: 10.000 €;
- l'IA scrive tutte le bozze e qualcuno rivede tutto: 6.402 €;
- una doppia soglia, che guarda il tipo di domanda e la confidenza di ogni risposta: 4.576 € (con una confidenza perfettamente calibrata, il caso migliore).
L'ultima costa il 29% in meno che rivedere tutto e usa il 38% di tempo del team in meno (1.992 contro 3.201 minuti ogni mille richieste). E lascia comunque passare errori: 55 ogni mille richieste. Non è un difetto. È il punto: il 95% di quegli errori riguarda gli orari, dove ognuno costa un contatto ripetuto.
E quasi tutto il guadagno rispetto a rivedere tutto, il 92%, viene dalla parte più semplice: separare per tipo di domanda. Guardare la confidenza di ogni risposta aggiunge il resto.
Nella Pagina 01 la soglia decideva tra chiamare e non chiamare. Qui le soglie diventano due, perché c'è una terza uscita: l'IA può dire "non sono sicura, chiama qualcuno".
Da dove viene
Nel 2023 ho costruito un assistente per le locazioni per un'azienda immobiliare del Nord America. La tabella delle unità disponibili diventava una base di conoscenza; l'assistente parlava con l'interessato, lo qualificava per numero di occupanti, fascia di prezzo e numero di camere, raccomandava le unità compatibili e passava all'agente solo i contatti che avevano senso. Un operatore segnava le unità affittate, così la base seguiva il portafoglio reale.
Lo schema che ha funzionato è stato "l'IA qualifica, la persona chiude". Questa pagina è la domanda che ne è rimasta: si può trasformare in un calcolo la divisione tra ciò che l'IA fa da sola e ciò che resta a una persona?
Tre strade, tre costi
Per ogni richiesta, l'IA produce una risposta e una confidenza p, la probabilità che la risposta sia giusta. Le strade sono tre:
- l'IA risponde da sola: non occupa il tempo di nessuno, ma con probabilità 1 − p un errore arriva al cliente e costa E;
- l'IA scrive la bozza e qualcuno la rivede: la revisione costa sempre R; se la bozza è sbagliata, chi rivede riscrive la risposta, e questo costa H;
- direttamente a una persona: costa H, la risposta scritta da zero.
Il modello è semplice di proposito, e le ipotesi sono in vista: la persona non sbaglia; la revisione ferma ogni errore (la sezione "Dove si rompe" mostra cosa succede quando non lo fa) e non scarta mai una bozza giusta; l'IA ha costo marginale nullo; e E è lo stesso per tutte le domande di un tipo. Così i costi attesi sono:
Confrontandoli a coppie, escono le due soglie. L'IA risponde da sola quando CIA < Crev, e la richiesta va direttamente a una persona quando Cpers < Crev:
In mezzo, bozza con revisione. Con una revisione a 4 € (2 minuti), una risposta umana a 10 € (5 minuti) e un errore di prezzo a 200 € (un contatto commerciale perso), la soglia alta è al 97,9% e quella bassa al 40%. Per un errore di contratto a 1.500 €, la soglia alta sale al 99,7%: in pratica, l'IA non risponde mai da sola sul contratto.
Questa fascia intermedia esiste solo quando la soglia alta sta sopra quella bassa, il che richiede E > H² / (H − R), con R < H; con questi valori di R e H, E sopra 16,67 €. Altrimenti la revisione non conviene mai, e la soglia è una sola, tra l'IA e la persona: l'IA risponde se p > 1 − H / E. Nel dubbio, la regola che vale sempre è l'equazione (1): scegliere la strada con il costo atteso più basso.
Il caso estremo sorprende: quando l'errore costa meno che rifare la risposta (E ≤ H), la revisione non conviene mai. Sbagliare l'orario di una visita costa 8 €, un contatto in più; rifare costa 10 €. Il conto dice all'IA di rispondere da sola a qualsiasi domanda sugli orari, anche a quelle con confidenza bassa.
Automatizzare non è un interruttore acceso/spento. È una soglia per tipo di domanda, e a deciderla è quanto costa sbagliare lì.
L'idea ha una lunga storia. Nel 1957 C. K. Chow progettò un sistema ottimo di riconoscimento dei caratteri con un'uscita di rifiuto per i casi ambigui, e nel 1970 descrisse il compromesso tra errore e rifiuto: rifiutare quando la probabilità della classe migliore scende sotto una soglia. La doppia soglia ne è un'estensione, con tre azioni e una persona che ha un costo proprio. Nell'apprendimento automatico il tema è tornato come classificazione selettiva (scambiare copertura con rischio) e come learning to defer, in cui il modello impara quando passare il caso a un esperto umano. La novità degli agenti di IA è la dimensione del conto.
Il puntino sullo schermo del radar
La curva ROC ha le sue radici nel radar della Seconda guerra mondiale: bisognava decidere se un puntino sullo schermo fosse un aereo o rumore, e ogni tipo di errore aveva un prezzo molto diverso. Il nome è rimasto: receiver operating characteristic, la caratteristica operativa del ricevitore. La teoria fu formalizzata all'inizio degli anni Cinquanta come teoria della rilevabilità dei segnali (Peterson e Birdsall, 1953), ed è la stessa che decide, oggi, se una risposta di un'IA è abbastanza buona da uscire senza che nessuno la guardi.
La confidenza che conta è quella misurata
Tutto quanto sopra dipende dal fatto che p sia davvero una probabilità: tra le risposte con confidenza 0,9, nove su dieci giuste. Si chiama calibrazione, e non è gratis.
I classificatori neurali moderni tendono a essere mal calibrati, di solito troppo sicuri di sé (Guo et al., 2017, nella visione artificiale). I grandi modelli linguistici riescono a stimare abbastanza bene se la propria risposta è giusta quando la domanda arriva nel formato giusto, ma gli stessi autori riportano che l'addestramento con RLHF peggiora la calibrazione (Kadavath et al., 2022). E quando dichiarano la confidenza a parole, i modelli tendono a sopravvalutarla e a concentrarsi su valori alti, il che separa male le risposte giuste da quelle sbagliate (Xiong et al., 2024). In pratica: la "confidenza" che l'agente dichiara è sulla scala sbagliata e spesso anche nell'ordine sbagliato.
La simulazione mostra il danno in uno scenario generoso. La confidenza "misurata" è la calibrazione perfetta, un tetto che nessuna azienda raggiunge. Quella "dichiarata" conserva l'ordine e sposta solo la scala verso l'alto, il caso migliore per una confidenza dichiarata. Con le stesse soglie, la doppia soglia automatizza il 61,5% delle richieste invece del 44,6%, costa 5.524 € invece di 4.576 € ogni mille (il 21% in più) e lascia passare 82 errori ogni mille invece di 55. Quasi tutta la perdita in più viene da disponibilità e prezzo: richieste che andavano riviste escono da sole, e richieste di prezzo che dovevano andare direttamente a una persona finiscono in revisione. Con una confidenza che ordina anche male, il divario tende a essere più grande.
La confidenza che conta è quella che misurate voi: richieste reali a cui si è già risposto, con la risposta giusta nota, raggruppate per tipo di domanda e per fascia di confidenza. Qualche centinaio per tipo basta per la soglia bassa, intorno al 40%. La soglia alta è un'altra storia: per affermare che una fascia sbaglia meno dello 0,3% delle volte (la soglia del contratto), servono circa mille risposte di fila senza alcun errore, per la regola del tre (zero errori su n casi danno un limite superiore di circa 3/n, con il 95% di confidenza). Con pochi dati, date margine alla soglia alta: usate il limite inferiore dell'accuratezza, non la media. È la stessa lezione della Pagina 01, su una macchina nuova: la regola del costo funziona sulle probabilità, non sugli score.
Il banco di prova qui sotto fa girare le 10.000 richieste della simulazione. I numeri citati nel testo sono quelli delle impostazioni predefinite; muovete i controlli per vedere dove si rompe ogni strategia.
Banco di prova · Chi risponde?
10.000 richieste sintetiche · seme 20261021| Tipo | L'errore costa | Soglie (alta · bassa) | IA | Revisione | Persona | Errori / 1.000 |
|---|
—
Questo banco di prova usa costi e accuratezze inventati. Volete lo stesso conto con il vostro servizio clienti? Vettore Data fa la diagnosi: misura l'accuratezza reale della vostra IA per tipo di domanda e calcola le soglie con i vostri costi. Vedi la diagnosi →
Dove sono i soldi
Tre leve, in ordine di grandezza:
- Separare per tipo di domanda. È di gran lunga la più grande: vale il 92% del guadagno rispetto a rivedere tutto. L'accuratezza media dell'IA in questa simulazione è di circa il 76%, e un numero solo non decide niente. Decide il fatto che gli orari hanno accuratezza alta ed errori economici, e i contratti accuratezza bassa ed errori costosi.
- Misurare la confidenza invece di crederci. Calibrare costa un insieme etichettato e qualche pomeriggio di analisi; usare la confidenza dichiarata è costato il 21% in più nella simulazione, nello scenario più favorevole per lei.
- Tagliare la revisione inutile. Rivedere tutto impiega il team sulle risposte che l'IA azzecca da sola. Con 20.000 richieste al mese, la doppia soglia fa risparmiare circa 400 ore di lavoro del team al mese rispetto a rivedere tutto (664 contro 1.067).
Come usarlo in pratica
La doppia soglia non è specifica del servizio clienti. Vale per qualsiasi flusso in cui un modello produce un risultato, qualcuno può controllarlo e sbagliare ha un prezzo. Una ricetta che funziona:
1. Registrate tutto dal primo giorno
Per ogni richiesta: il tipo (da un classificatore o da regole), la risposta dell'IA, la confidenza (quella dichiarata, se è l'unica disponibile), la strada presa e, quando c'è, la correzione fatta dalla persona. Senza questo registro, nessuno dei passi successivi è possibile.
2. Fate girare il sistema in ombra prima di lasciarlo andare
Nelle prime settimane, tutte le risposte passano in revisione, e chi rivede le segna come "giusta" o "sbagliata". Così l'insieme etichettato nasce gratis, come sottoprodotto di un lavoro che si farebbe comunque.
3. Calibrate per tipo
Con l'insieme etichettato, sostituite la confidenza dichiarata con la frequenza osservata di risposte giuste in ogni fascia (regressione isotonica o Platt, o semplicemente una tabella per fascia quando il volume è piccolo). Una calibrazione per tipo di domanda, non una globale. Nella simulazione, la distorsione della confidenza dichiarata è uno spostamento semplice, che Platt corregge del tutto; nella realtà, la ricalibrazione sistema la scala, ma non un ordinamento sbagliato.
4. Mettete le soglie nella configurazione, non nel codice
Le due soglie di ogni tipo escono dall'equazione (2), con gli R, H ed E che l'azienda ha messo per iscritto. Stanno in un file di configurazione con un responsabile e una data, e cambiano quando cambiano i costi.
5. Controllate entrambe le estremità
Un piccolo campione casuale di risposte automatiche rivisto dopo l'invio, per verificare che l'accuratezza sia ancora quella. E un campione di revisioni controllato da una seconda persona, per misurare quanto ferma davvero chi rivede (la prossima sezione mostra perché conta).
Alcuni ambiti in cui lo stesso calcolo si applica senza cambiare niente: lettura di documenti (campo letto con alta confidenza entra direttamente, confidenza intermedia va al controllo, documento illeggibile va all'inserimento manuale), moderazione dei contenuti, smistamento dei ticket di assistenza tecnica, approvazione dei rimborsi spese e classificazione dei prodotti in un catalogo. In tutti, E cambia per categoria, ed è questo che dà valore alla soglia.
Dove si rompe
- Chi rivede non ferma tutto. L'equazione (1) presuppone che la revisione fermi ogni errore. Se chi rivede ne ferma il 90%, con le stesse soglie rivedere tutto arriva a costare 13.976 € ogni mille richieste, più che affidare tutto alle persone (10.000 €), perché i costosi errori sui contratti sfuggono alla revisione. La doppia soglia progettata per un revisore perfetto sale a 8.993 €. Rifacendo le soglie con il tasso reale del revisore, il costo scende a 5.432 €, e il cambiamento principale è mandare molte più richieste direttamente a una persona (il 29% invece del 7%). Il denaro si perde con un revisore stanco che approva senza leggere. Con un tasso di intercettazione q, cambiano entrambe le soglie: quella alta diventa 1 − R / (q·(E − H)) e quella bassa 1 − (H − R) / (q·H + (1 − q)·E). Quella bassa è quella che si muove di più: per i contratti sale dal 40% al 96%. E un dettaglio controintuitivo: con un revisore peggiore, la soglia alta scende un po', perché la revisione vale meno. Peggio ancora, q di solito non è costante: chi rivede tende a fidarsi di più proprio delle bozze che sembrano buone, che sono quelle vicine alla soglia alta (il cosiddetto bias dell'automazione).
- L'accuratezza cambia e la soglia no. Cambia il portafoglio di immobili, la politica dei prezzi, la versione del modello del fornitore. La calibrazione del pilota invecchia, e la soglia resta lì. Il denaro si perde in silenzio, finché un errore costoso non arriva a un cliente.
- Il tipo di domanda è sbagliato. Le soglie valgono per tipo; se una domanda sul contratto viene classificata come domanda sugli orari, riceve la soglia degli orari. Anche lo smistatore è un modello, e sbaglia anche lui.
- Il team non ce la fa. Le soglie presuppongono una capacità di revisione infinita. Se la coda di revisione cresce, cresce il tempo di risposta, e il contatto si raffredda. Il banco di prova mostra quando una strategia chiede più minuti di quanti il team ne abbia.
- E è stato tirato a indovinare. Il costo di un errore è l'ingresso più incerto del calcolo, e il più politico. Conviene provare la soglia con E dimezzato e raddoppiato prima di decidere.
Per riprodurre
Il nucleo della decisione sta in poche righe. Lo script completo, con la popolazione sintetica, tutte le strategie e le analisi di sensibilità, gira con la sola libreria standard di Python.
def route(p, E, R=4.0, H=10.0):
"""Lowest-expected-cost path for an answer with calibrated confidence p."""
cost = {
"ai": (1 - p) * E, # the error reaches the customer
"review": R + (1 - p) * H, # always reviewed; rewritten if the draft was wrong
"human": H, # answered from scratch
}
return min(cost, key=cost.get)
print(route(0.95, E=200)) # review
print(route(0.99, E=200)) # ai
print(route(0.30, E=8)) # ai: being wrong costs less than redoingRiferimenti
Teoria delle decisioni con rifiuto
- Chow, C. K. (1957). An Optimum Character Recognition System Using Decision Functions. IRE Transactions on Electronic Computers, 247–254.l'uscita di rifiuto per i casi ambigui
- Chow, C. K. (1970). On Optimum Recognition Error and Reject Tradeoff. IEEE Transactions on Information Theory, 16(1), 41–46.il compromesso tra errore e rifiuto
- Geifman, Y. & El-Yaniv, R. (2017). Selective Classification for Deep Neural Networks. NIPS 2017.rischio e copertura con una soglia sulla confidenza
- Mozannar, H. & Sontag, D. (2020). Consistent Estimators for Learning to Defer to an Expert. ICML, PMLR 119, 7076–7087.il modello che impara quando passare il caso a una persona
- Elkan, C. (2001). The Foundations of Cost-Sensitive Learning. IJCAI.la soglia basata sul costo, dalla Pagina 01
Calibrazione
- Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. ICML, PMLR 70, 1321–1330.reti moderne mal calibrate; temperature scaling
- Kadavath, S. et al. (2022). Language Models (Mostly) Know What They Know. arXiv:2207.05221.autovalutazione dei modelli linguistici
- Xiong, M. et al. (2024). Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs. ICLR 2024.la confidenza dichiarata a parole tende all'eccesso
Storia
- Peterson, W. W. & Birdsall, T. G. (1953). The Theory of Signal Detectability. University of Michigan, rapporto tecnico.la formalizzazione della rilevazione dei segnali
- Receiver operating characteristic. Wikipedia.le radici nel radar della Seconda guerra mondiale
Volete la doppia soglia con i numeri del vostro servizio clienti?
Vettore Data fa la diagnosi: separa le domande per tipo, misura l'accuratezza reale dell'IA e calcola le soglie con i vostri costi. La versione per chi decide di questa pagina, con un calcolatore, è lì.
Vedi la diagnosi su Vettoreo scrivimi