Strumento gratuito
Calcolatore di significatività per A/B test
Questo calcolatore di significatività per A/B test ti dice se la differenza nel tasso di conversione in lead tra due varianti di landing page è reale o rumore. Inserisci visitatori e lead di ciascuna: ottieni l'uplift, un intervallo di confidenza al 95%, il p-value di uno z-test a due proporzioni e la probabilità bayesiana che B batta A.
Variante A (originale)
Variante B
| A | B | |
|---|---|---|
| Tasso di conversione | — | — |
Uplift relativo
—
Differenza assoluta
—
p-value (bilaterale)
—
Probabilità che B batta A
—
Perdita attesa se scegli B
—
Come leggere i risultati del calcolatore per A/B test
Ogni numero risponde a una domanda diversa sulla conversione delle tue landing page, e la maggior parte delle decisioni sbagliate nasce dal leggerne uno come se rispondesse a un'altra. Ecco cosa ti dice ciascuno, e cosa no.
| Risultato | Cosa ti dice | Cosa non ti dice |
|---|---|---|
| Tasso di conversione | Lead ÷ visitatori per ogni landing page. | Se la differenza reggerebbe con più traffico. |
| Uplift relativo | Il miglioramento di B in proporzione al tasso di A. | Quanto puoi esserne sicuro. |
| Differenza assoluta e IC 95% | La distanza in punti percentuali, e l'intervallo di distanze compatibili con i dati. | Granché, quando l'intervallo va da negativo a positivo. |
| p-value | Quanto sarebbe sorprendente una differenza così ampia se le due landing page convertissero allo stesso tasso. | La probabilità che B sia migliore. |
| Probabilità che B batta A | Quanto è probabile, dati i numeri, che il tasso vero di B superi quello di A. | Di quanto. |
| Perdita attesa se scegli B | Il tasso di conversione che perderesti in media passando a B, contando i casi in cui A è davvero migliore. | Se ogni lead è stato attribuito alla variante giusta. |
p-value e approccio bayesiano: quale risponde alla tua domanda?
Il p-value viene dal test frequentista. Assume che le due landing page convertano allo stesso tasso e si chiede quanto spesso il solo caso produrrebbe una differenza almeno così ampia. Sotto 0,05 il risultato è significativo al 95%. Non significa che B abbia il 95% di probabilità di essere migliore, anche se è così che lo leggono quasi tutte le dashboard.
La probabilità di battere A è bayesiana. Il tasso di conversione di ogni variante riceve una distribuzione Beta, Beta(1 + lead, 1 + visitatori − lead), cioè un prior piatto aggiornato con i tuoi dati. Il calcolatore ricava quanto è probabile che il tasso di B stia sopra quello di A: la domanda che ti fai davvero prima di cambiare.
Con un campione decente i due numeri vanno nella stessa direzione, e la probabilità di battere A si avvicina a 1 − p/2. Quindi significativo al 95% (p sotto 0,05) corrisponde all'incirca a una probabilità del 97,5%, e una probabilità del 95% a un p-value vicino a 0,10. Con pochi lead per variante i due si allontanano: il p-value si appoggia a un'approssimazione normale, il numero bayesiano no.
Il metodo: z-test, intervallo e distribuzioni Beta
- z-test. z = (pB − pA) ÷ √[ppool(1 − ppool)(1/nA + 1/nB)], dove ppool è il tasso di conversione delle due varianti messe insieme; il p-value bilaterale viene dalla distribuzione normale. È lo z-test standard per due proporzioni, equivalente a un test chi quadrato senza correzione di continuità.
- Intervallo di confidenza. (pB − pA) ± 1,96 × √[pA(1 − pA)/nA + pB(1 − pB)/nB], l'intervallo di Wald con varianza non aggregata. Il test aggrega e l'intervallo no, quindi proprio a p = 0,05 possono dare risposte diverse.
- Probabilità che B batta A. Calcolata in modo esatto con la formula chiusa di Evan Miller per due distribuzioni Beta, non con una simulazione, quindi dà lo stesso numero a ogni ricarica. Sopra il milione di lead per variante passa a un'approssimazione normale, che coincide fino alla sesta cifra decimale.
- Perdita attesa se scegli B. E[max(pA − pB, 0)] con le stesse distribuzioni a posteriori, anch'essa in forma chiusa. È la grandezza alla base della regola decisionale bayesiana di Chris Stucchio: fermati quando la perdita attesa della variante in testa scende sotto la tua soglia di interesse (threshold of caring), cioè la differenza più piccola per cui ti prenderesti la briga di agire.
Esempio svolto
Esempio: la landing page A riceve 1.200 visitatori e 60 lead (5,00%); la landing page B riceve 1.180 visitatori e 78 lead (6,61%).
- Uplift relativo +32,2%; differenza assoluta +1,61 pp, con un IC 95% da −0,27 a +3,49 pp.
- Tasso aggregato 138 ÷ 2.380 = 5,80%, z = 1,68, p bilaterale = 0,0929: non significativo al 95%.
- Probabilità che B batta A: 95,3%. Perdita attesa se scegli B: 0,019 pp, circa lo 0,4% del tasso di conversione di A.
Stessi dati, due letture. Lo z-test dice che le prove non bastano a escludere il caso. La lettura bayesiana dice che B è probabilmente migliore e che, se non lo è, passare a B costa pochissimo. La parte che fa riflettere è l'intervallo: con 138 lead in tutto, B potrebbe essere un po' peggiore o molto migliore.
Il motivo per cui Thompson Sampling usa la lettura bayesiana
Thompson Sampling, la regola multi-armed bandit dietro l'A/B test automatico di DropCPL, mantiene esattamente queste distribuzioni Beta. A ogni visitatore estrae un valore casuale dalla distribuzione di ogni variante e serve la landing page con l'estrazione più alta. Con due varianti, la probabilità che il prossimo visitatore vada su B è la probabilità di battere A mostrata sopra: 95,3% nell'esempio.
Ecco perché un bandit non ha una soglia di significatività da superare. L'allocazione segue l'evidenza di continuo: una variante al 50% riceve circa metà dei visitatori, una al 99% quasi tutti, e una landing page perdente smette di costare lead molto prima della fine di un test a campione fisso. La voce di glossario sull'A/B testing mette a confronto i due approcci.
Leggere questi numeri a mano funziona per un test; DropCPL li legge a ogni visitatore. Il suo A/B test automatico alloca il traffico tra le varianti di landing page con Thompson Sampling e mostra la probabilità di vincita di ogni variante. Inizia gratis →
Dimensione del campione e problema del peeking
Un p-value vale solo per il campione che avevi pianificato. Decidi il numero di visitatori prima del test con il calcolatore della dimensione del campione per A/B test, poi leggi questo calcolatore una volta sola, alla fine. Controllare ogni giorno e fermarsi al primo p sotto 0,05 è peeking, e fa passare il rumore per un vincitore molto più spesso del 5% delle volte.
I numeri bayesiani non portano con sé la stessa ipotesi di campione fisso, ma fermarsi la prima volta che la probabilità tocca il 95% premia comunque le serie fortunate, soprattutto all'inizio, quando una manciata di lead può farla oscillare. Abbinala a un campione minimo e alla perdita attesa.
Quando fermare un A/B test?
| Approccio | Fermati quando |
|---|---|
| Test a campione fisso | Entrambe le varianti hanno raggiunto il campione pianificato e sono passati almeno sette giorni pieni. Leggi il verdetto una volta. |
| Lettura bayesiana | È passata almeno una settimana piena e la perdita attesa della variante in testa è sotto la tua soglia di interesse, per esempio 0,1 pp. |
| Nessuno dei due in vista | Il calcolatore della dimensione del campione chiede mesi di traffico. La differenza che insegui è troppo piccola per il tuo volume: fermati e testa un cambiamento più grande. |
FAQ
Cosa significa "statisticamente significativo al 95%" in un A/B test?+
Che il p-value è sotto 0,05: se le due landing page convertissero davvero allo stesso tasso, una differenza almeno grande quanto la tua comparirebbe meno del 5% delle volte. Non significa che ci sia il 95% di probabilità che B sia migliore, e non dice nulla sul fatto che il miglioramento sia abbastanza grande da contare.
Un p-value di 0,05 equivale al 95% di probabilità che B sia migliore?+
No. Il p-value misura quanto sarebbero sorprendenti i dati se non ci fosse alcuna differenza. La probabilità che B sia migliore è una grandezza bayesiana; con un prior piatto e un campione decente si avvicina a 1 − p/2, quindi p = 0,05 corrisponde all'incirca al 97,5%, non al 95%.
Come si calcola la probabilità che B batta A?+
Il tasso di conversione di ogni variante è modellato come Beta(1 + lead, 1 + visitatori − lead): un prior piatto aggiornato con i tuoi dati. Il calcolatore ricava la probabilità che il tasso di B sia più alto con una somma esatta in forma chiusa invece che con una simulazione, quindi il risultato non cambia tra una ricarica e l'altra.
Quanti lead servono perché il risultato significhi qualcosa?+
Quanti ne prevede la dimensione del campione pianificata prima di partire. Sotto quella soglia gli intervalli restano larghi: nell'esempio svolto, 138 lead in tutto lasciano ancora la differenza ovunque tra −0,27 e +3,49 punti percentuali. Un verdetto su poche decine di lead è soprattutto un verdetto sul rumore.
Posso usare il calcolatore con più di due varianti?+
Confronta ogni variante con l'originale, una coppia alla volta, e sii più severo del 95%: con tre varianti i confronti sono due, quindi richiedi un p sotto 0,025 per tenere il tasso complessivo di falsi positivi vicino al 5%. È la correzione di Bonferroni che il calcolatore della dimensione del campione applica quando pianifichi il test.
Perché p-value e intervallo di confidenza a volte non concordano?+
Lo z-test usa il tasso di conversione aggregato delle due varianti, il test da manuale per l'assenza di differenza; l'intervallo usa il tasso di ciascuna. Proprio al confine di 0,05 uno può dire significativo e l'altro no. In ogni caso è un risultato al limite: trattalo come un non ancora.