Un A/B test classico ha una proprietà scomoda: spende metà del tuo denaro sulla pagina che sospetti già essere peggiore.
Scegli in anticipo una dimensione campionaria, dividi il traffico 50/50 e aspetti. Se il test richiede 4.000 visitatori per variante e la tua pagina perdente converte a metà del tasso, hai pagato consapevolmente migliaia di visitatori sulla pagina sbagliata — e non puoi fermarti prima senza invalidare la statistica.
Cosa fa invece DropCPL
DropCPL tratta la scelta tra landing page come un problema di multi-armed bandit, e lo risolve con Thompson Sampling.
Ogni variante di landing page mantiene una distribuzione di probabilità sul proprio tasso di conversione. A ogni visitatore:
- Estrai un campione dalla distribuzione di ogni variante.
- Servi la variante con il valore estratto più alto.
- Aggiorna la distribuzione di quella variante con l’esito (lead o non lead).
All’inizio le distribuzioni si sovrappongono molto, quindi il traffico si divide più o meno equamente — la fase di esplorazione. Man mano che l’evidenza si accumula, la distribuzione della vincente si separa e l’estrazione la favorisce sempre di più. Il traffico si sposta da solo.
Il test non si ferma quando raggiunge la significatività. Non smette mai di riallocare.
Perché conta nella lead generation
Il costo di un test classico non è la statistica: è il traffico che spendi sul perdente. Con un bandit quel costo si riduce di continuo, e si riduce di più proprio quando il divario tra le varianti è ampio — cioè quando il risparmio vale di più.
La conseguenza pratica: puoi tenere più pagine in rotazione, perché far girare un test non è più un evento costoso e pianificato. Aggiungi una variante e l’allocazione se ne occupa.
Cosa leggi nel prodotto
- Tasso di conversione per variante, con l’intervallo, non solo una stima puntuale.
- Probabilità di vincita per ogni variante — quanto il modello è sicuro che sia la migliore del gruppo.
- Quota di allocazione — dove sta andando davvero il traffico adesso, che è la risposta diretta a “quanto sto ancora pagando per esplorare?”.
I limiti, onestamente
Thompson Sampling non aggiusta un test rotto. Se una variante riceve pochissimo traffico, la sua evidenza si accumula lentamente: una pagina che parte male non viene abbandonata per sempre, ma recupera piano. E se il tuo volume di lead è molto basso (una manciata a settimana), nessun metodo di allocazione produrrà una risposta sicura in un tempo utile. La risposta onesta, lì, è testare differenze più grandi, non testare di più.
Correlati
- Landing page in HTML — cosa viene testato
- Attribuzione creativa — la matrice in cui confluisce la vincente
- Thompson Sampling spiegato — l’algoritmo, con la matematica