Calcolatore della dimensione del campione per A/B test

Come usare il calcolatore della dimensione del campione per A/B test

Calcola insieme dimensione del campione e durata. Ecco cosa significa ogni campo e dove trovarlo:

La formula della dimensione del campione

Il calcolatore usa la formula standard con approssimazione normale per confrontare due proporzioni, con varianza non aggregata (unpooled) e test bilaterale:

n = (z_1−α/2 + z_1−β)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

• n è il numero di visitatori per variante; p₁ è il tasso attuale, p₂ il tasso da rilevare.
• z_1−α/2 e z_1−β sono quantili della normale standard: 1,95996 per il 95% bilaterale, 0,84162 per l'80% di potenza. Il calcolatore li ricava nel tuo browser con l'algoritmo di Acklam per l'inversa della distribuzione normale.
• Con più di due varianti, α viene diviso tra i confronti con l'originale (correzione di Bonferroni): con tre varianti, ogni confronto usa α = 0,025.
• Visitatori totali = n × numero di varianti. Durata = totale ÷ visitatori giornalieri, arrotondata per eccesso ai giorni interi.

I calcolatori che aggregano la varianza sotto l'ipotesi nulla (pooled) ottengono campioni leggermente più grandi: meno dell'1% in più con tassi di partenza dal 2% al 20% e miglioramenti dal 10% al 50%.

Esempio svolto

Esempio: la tua landing page converte in lead il 5% dei visitatori, vuoi rilevare un miglioramento relativo del 20% (dal 5% al 6%) e compri 300 visitatori al giorno a 0,80 € l'uno.

1. Termine di varianza: 0,05 × 0,95 + 0,06 × 0,94 = 0,1039.
2. Quantili: (1,95996 + 0,84162)² = 7,84885.
3. n = 7,84885 × 0,1039 ÷ 0,01² ≈ 8.154,96, arrotondato per eccesso a 8.155 visitatori per variante.
4. Totale: 16.310 visitatori. A 300 al giorno sono 55 giorni, cioè 8 settimane piene.
5. Spesa: 16.310 × 0,80 € = 13.048 €, per scoprire se una landing page batte l'altra di un quinto.

Come riferimento, ecco i visitatori per variante con due varianti, significatività al 95% (bilaterale) e potenza all'80%. Le colonne sono miglioramenti relativi:

Dimezza il miglioramento che vuoi rilevare e il campione quasi quadruplica: un miglioramento del 10% su una base del 5% richiede 62.462 visitatori in totale.

Quanti visitatori servono per un A/B test su un account piccolo?

Di solito più di quanti il budget ne compri. L'esempio sopra richiede 8 settimane di traffico e 13.048 €; a 100 visitatori al giorno servirebbero 164 giorni. E per tutto il test metà dei visitatori va sulla landing page peggiore, qualunque sia. Se B è davvero migliore del 20%, la divisione 50/50 manda 8.155 visitatori su A e ti costa circa 82 lead (8.155 × 1 pp) che avresti ottenuto mandandoli su B.

Le vie d'uscita sono tre:

• Testa cambiamenti più grandi. Raddoppiare l'MDE al 40% porta l'esempio a 2.210 visitatori per variante: 15 giorni invece di 55. Una nuova offerta o un form più corto possono spostare la conversione di tanto; il colore di un pulsante no. La guida all'A/B test delle landing page mette in fila cosa vale la pena testare.
• Usa meno varianti. Ogni variante in più richiede il suo campione e rende più severa la correzione di Bonferroni. Con tre varianti l'esempio sale a 29.628 visitatori, 99 giorni.
• Lascia che sia un bandit ad allocare il traffico. Thompson Sampling sposta i visitatori verso la landing page in vantaggio man mano che arrivano i dati, così una perdente netta smette presto di consumare budget. Rinunci a due cose che un test fisso promette: un tasso di falsi positivi noto e una data di fine pianificata. In cambio puoi leggere, in qualsiasi momento, la probabilità che ogni variante sia la migliore.

L'A/B test automatico di DropCPL funziona così: varianti di landing page per la stessa creatività, con Thompson Sampling che decide quale vede ogni visitatore.

Quando la formula chiede più traffico di quello che compri, lascia che DropCPL lo sposti sulla vincente man mano che arrivano i dati. Il suo A/B test automatico alloca i visitatori tra le varianti di landing page con Thompson Sampling, e ogni lead resta legato alla creatività e alla landing page che l'hanno prodotto. Inizia gratis →

Il problema del peeking

La dimensione del campione ti protegge solo se leggi il risultato una volta, quando il test la raggiunge. Se controlli ogni mattina e ti fermi la prima volta che p scende sotto 0,05, il 5% di falsi positivi diventa molto di più. L'analisi classica di Evan Miller lo quantifica: se sbirci dieci volte, un risultato che sembra significativo all'1% lo è in realtà solo al 5%. Nel suo caso peggiore, con un test di significatività dopo ogni singola osservazione, una modifica che non fa nulla risulta significativa il 26,1% delle volte.

Fissa il campione prima di partire. Fai girare il test almeno sette giorni pieni, perché il traffico del lunedì e quello della domenica sono popolazioni diverse e ti servono entrambe. Poi leggi l'esito una sola volta con il calcolatore di significatività per A/B test. Se devi guardare mentre gira, usa un metodo pensato per questo: un test sequenziale, oppure un bandit, che non testa alcuna ipotesi.

Errori comuni sulla dimensione del campione di un A/B test

• Usare il tasso di conversione dell'intero account. Il tasso di partenza deve venire dalla landing page e dal traffico che stai testando. Una media dell'account del 12% non dice nulla di una landing page per pubblico freddo che converte al 4%.
• Impostare l'MDE sul miglioramento che speri. Sperare in un +50% dà un campione piccolo e comodo; poi un +15% reale passa inosservato.
• Contare i click sul link come visitatori. Non tutti i click caricano la landing page, quindi il traffico contato in click sovrastima i visitatori e sottostima la durata. Approfondisci in visualizzazioni della landing page vs click sul link.
• Fermarsi quando sembra andare bene, o prolungare finché non va bene. Entrambe le cose rompono i tassi di errore su cui è costruito il campione.
• Cambiare il traffico a metà test. Nuove creatività o nuovi pubblici a metà strada cambiano chi arriva sulla landing page. Tieni ferma la creatività, oppure leggi i risultati per coppia di creatività e landing page.