A/B test sulle landing page

Un test su landing page ha due costi: il traffico che richiede e il traffico che spreca. L’A/B test classico ottimizza il primo e ignora il secondo.

Il problema del campione fisso

Un A/B test classico funziona così:

1. Decidi l’effetto minimo che ti interessa rilevare.
2. Calcoli la dimensione campionaria necessaria per rilevarlo con tassi di errore accettabili.
3. Dividi il traffico 50/50 finché non raggiungi quella dimensione.
4. Dichiari una vincente, o dichiari che non c’è differenza.

Il passo 3 è dove sta lo spreco. Per tutta la durata del test, metà del tuo traffico va sulla variante che (nella maggior parte dei casi) sta perdendo. Se il test richiede 4.000 visitatori per variante e una pagina converte a metà del tasso dell’altra, hai comprato deliberatamente migliaia di click sulla pagina peggiore.

E non puoi fermarti prima quando i numeri sembrano buoni: sbirciare e fermarsi gonfia il tasso di falsi positivi. Quella regola esiste per buone ragioni, e rende lo spreco inevitabile dentro questo metodo.

L’allocazione bandit

Un bandit non divide il traffico equamente. Alloca di continuo, in base a ciò che al momento crede:

• Ogni variante mantiene una distribuzione sul proprio tasso di conversione.
• A ogni visitatore, estrai da ogni distribuzione e servi la variante con il campione più alto.
• Aggiorna la distribuzione della variante servita con l’esito.

All’inizio le distribuzioni si sovrappongono e il traffico è più o meno equo — esplorazione. Man mano che l’evidenza si accumula, la variante migliore riceve più traffico automaticamente. Il test non “finisce” mai; l’allocazione si concentra.

Thompson Sampling è la regola specifica che usa dropcpl. La proprietà che conta per chi fa marketing: il costo del test cala man mano che il divario tra le varianti cresce, cioè proprio quando un test a campione fisso brucerebbe più denaro.

Gli errori che invalidano il risultato

Entrambi i metodi condividono gli stessi modi di fallire, e non sono statistici:

Cambiare più di una cosa. Una headline nuova e un form più corto, testati insieme, non possono dirti quale dei due ha contato.

Confrontare periodi invece di varianti. Il traffico di lunedì e quello di venerdì sono popolazioni diverse. Testa varianti simultaneamente, non in sequenza.

Giudicare su un campione minuscolo. Con 12 lead, una “vincente” è rumore. O la differenza è abbastanza grande da vedersi nel tuo volume, o non puoi ancora vederla.

Testare qualcosa che non può muovere il numero. Il colore di un pulsante su un form che nessuno raggiunge è un test che produrrà una risposta sicura e inutile.

Dimenticare a cosa serve la pagina. Una pagina che converte al 30% con lead non qualificati è peggiore di una che converte all’8% con lead qualificati. Il tasso di conversione da solo non è l’obiettivo — vedi costo per lead qualificato.

Cosa vale la pena testare su una pagina lead-gen

In ordine approssimativo di impatto tipico:

1. L’offerta — cosa riceve davvero il visitatore, e come è formulata.
2. Il form — numero di campi, ordine, cosa viene chiesto per primo.
3. La prima schermata — il visitatore capisce cosa è in cinque secondi?
4. La prova — numeri, loghi, testimonianze, con specificità.
5. La CTA — verbo, posizione, numero di azioni concorrenti.

Dove testare nel contesto paid social

La pagina non è l’unica variabile — lo è la combinazione creatività × pagina. La stessa pagina può vincere per una creatività e perdere per un’altra, ed è ciò che la matrice di attribuzione rende visibile. Testare a livello di combinazione, con allocazione bandit, è ciò che rende il test continuo abbastanza economico da poterlo davvero mantenere.

Correlati

• Thompson Sampling spiegato — l’algoritmo
• Come leggere la matrice di attribuzione — dove finiscono i risultati
• A/B test automatico — l’implementazione nel prodotto