L’A/B testing confronta due o più varianti — di una landing page, di un annuncio, di un’offerta — mandando traffico a ciascuna e confrontando gli esiti.
I requisiti di un test valido
- Simultaneità. Le varianti devono girare nello stesso momento. Confrontare questa settimana con la scorsa confronta popolazioni, non varianti.
- Una sola modifica. Testa una differenza alla volta, o non potrai attribuirne l’effetto.
- Una regola di decisione fissata in anticipo. O una dimensione campionaria calcolata prima del test (campione fisso), o una regola di allocazione che non dipende dallo sbirciare (bandit).
- Una metrica che conta. Il tasso di conversione è un proxy; l’esito è il CPQL o il ricavo.
Un quinto requisito sfugge quasi sempre: il test ha bisogno di un identificatore che leghi il lead alla variante che l’ha prodotto. Senza un click ID scritto lato server, il lead arriva senza variante e il test misura rumore.
Due famiglie
| Campione fisso | Bandit (Thompson Sampling) | |
|---|---|---|
| Divisione del traffico | equa, fino alla fine | si adatta di continuo |
| Regola di arresto | calcolata in anticipo | nessuna necessaria |
| Costo di un perdente | pagato per tutto il test | si riduce con l’evidenza |
| Lettura a metà test | invalida | significativa |
L’errore che rovina la maggior parte dei test
Fermarsi quando i numeri sembrano convincenti. Con un test a campione fisso, controllare ripetutamente e fermarsi al primo risultato significativo gonfia il tasso di falsi positivi — “troverai” vincenti che sono rumore. Un bandit non ha questo problema perché non testa un’ipotesi: alloca traffico.
Significatività statistica
La significatività statistica misura quanto è improbabile un risultato osservato se tra le varianti non ci fosse una differenza reale.
In un test a campione fisso la soglia usuale è un p-value sotto 0,05: se le due varianti fossero davvero identiche, ci sarebbe meno del 5% di probabilità di vedere una differenza così grande.
Risponde a una domanda: “quanto è sorprendente questo dato, assumendo che non ci sia differenza?”. Non risponde a tre altre:
- “Quanto è probabile che B sia meglio di A?” È una domanda diversa, bayesiana, ed è quella a cui un bandit risponde direttamente con una probabilità di vincita.
- “La differenza è abbastanza grande da contare?” Un +0,1% significativo su 40.000 visitatori è reale e irrilevante.
- “Posso fermare il test adesso?” La significatività è calcolata per una sola lettura dei dati. Guardare ripetutamente e fermarsi al primo risultato significativo gonfia i falsi positivi.
La conseguenza pratica: la significatività è lo strumento giusto per una decisione che va difesa — un cambio con ampio raggio d’azione. Per l’ottimizzazione continua del traffico, dove sbagliare per pochi giorni costa poco, una regola di allocazione adattiva si adatta meglio di una soglia.
Thompson Sampling
Thompson Sampling è un algoritmo multi-armed bandit bayesiano che alloca il traffico tra le varianti mentre impara quale sia la migliore.
Ogni variante mantiene una distribuzione Beta sul proprio tasso di conversione, partendo da Beta(1, 1). Per ogni visitatore:
- Estrai un campione dalla distribuzione di ogni variante.
- Servi la variante con il campione più alto.
- Su un lead incrementa il primo parametro della variante; su nessun lead, il secondo.
Dopo s lead e f non-lead, la variante ha Beta(s + 1, f + 1), con media circa s / (s + f) e ampiezza che si restringe con l’evidenza.
Perché si usa:
- Nessuna regola di arresto. Leggi una probabilità di vincita in qualsiasi momento, invece di aspettare una dimensione campionaria.
- Esplorazione a basso costo. Il traffico si concentra da solo sulla variante in testa, quindi il costo di quella perdente cala man mano che il divario cresce.
- Non abbandona mai del tutto una variante, che può quindi recuperare se il pubblico cambia.
Cosa non è:
- Non è un test di significatività. Non c’è un p-value; l’output è una probabilità che una variante sia la migliore dell’insieme, non una prova.
- Non è immune ai dati sbagliati. Se i lead vengono attribuiti male, l’allocazione ottimizza la cosa sbagliata, più in fretta.
Quale usare
| La decisione | Strumento | Perché |
|---|---|---|
| Un cambio di pagina con ampio raggio, una sola lettura dei dati | campione fisso + significatività | il risultato va difeso in una riunione |
| Ottimizzazione continua di creatività e landing page | bandit | sbagliare per tre giorni costa poco e il traffico è finito |
| Traffico troppo basso per raggiungere un campione | bandit | produce un’allocazione utile senza mai “concludere” |
| Lead attribuiti a mano o solo con UTM | nessuno dei due: prima sistema l’attribuzione | entrambi i metodi ottimizzano ciò che dice il dato, incluso un join sbagliato |
Termini correlati
- Multi-armed bandit — la classe di problemi dietro Thompson Sampling
- Identificatori di tracking — come un lead si unisce a una variante
- Finestra di attribuzione — per quanto tempo un click può rivendicare un lead
- A/B test sulle landing page — la guida pratica