Nonostante si tratti di un metodo di valutazione oggettivo, l’
A/B testing presenta
alcuni limiti nel suo utilizzo.
In primo luogo, essendo un test svolto partendo da punti di vista soggettivi, le opzioni che si sceglie di confrontare potrebbero essere influenzate da un’opinione più o meno forte, rivelandosi magari entrambe peggiori di una terza alternativa non considerata. La selezione del campione in un A/B test deve essere fatta
mettendo da parte il proprio ego e i preconcetti, perché l’obiettivo è trovare una soluzione, non la conferma di un pregiudizio.
Trattandosi di un test che per ottenere risultati apprezzabili richiede tempo e un’infrastruttura di raccolta dati, conviene eseguirlo solamente quando la scelta tra una delle due alternative sia davvero in grado di fare la differenza: settimane di test che conducono ad un risultato con scarti di pochi punti percentuali non solo sono inutili, ma anche economicamente svantaggiosi.
Per gli stessi motivi elencati nel capoverso precedente è importante, in caso di A/B test svolti in simultaneo, che i risultati non si influenzino in alcun modo tra di loro. In caso di incroci si può creare un risultato “
falso positivo”, difficile da riconoscere in qualsiasi circostanza ma ancora di più se la sua origine non è individuabile in modo chiaro.
Infine, gli ultimi due limiti dell’
A/B testing hanno a che fare con il pubblico “target” della campagna. In primo luogo, per avere
risultati statisticamente validi è importante raggiungere un ammontare di traffico nell’ordine delle centinaia/migliaia di
input; secondariamente,
fattori esterni come la presenza di campagne di comunicazione aziendali in parallelo o le variazioni nell’utilizzo degli
smartphone (come le festività o i cicli di vita dei propri prodotti) sono in grado di influenzare pesantemente il risultato, e vanno considerati a monte.
L’A/B testing è una pratica in grado di garantire risultati oggettivi, e se eseguita correttamente può portare sul lungo periodo ad una comunicazione più efficiente a parità di costo, soprattutto quando si parla di
performance marketing.