¿Muy poco tráfico para un test A/B? Qué hacer en su lugar

El cálculo estándar para comparar dos tasas de conversión necesita cuatro datos: tu tasa de conversión actual, la tasa mejorada que quieres poder detectar, cuánta seguridad quieres tener de que una diferencia detectada es real (la significancia) y qué probabilidad quieres tener de detectar la mejora si de verdad existe (la potencia). Lo habitual es un 95 % de confianza y un 80 % de potencia.

La fórmula del número de visitantes necesarios en cada variante es:

n = (z_a + z_b)^2 × [p1 × (1 - p1) + p2 × (1 - p2)] / (p2 - p1)^2

p1  = tasa de conversión actual
p2  = la tasa que quieres poder detectar
z_a = 1.95996  (95% de confianza, bilateral)
z_b = 0.84162  (80% de potencia)

Toma una tasa de conversión del 2 % y una mejora hasta el 2,4 %, que es un aumento relativo del 20 %. Paso a paso:

(z_a + z_b)^2           = (1.95996 + 0.84162)^2 = 7.8489
p1 × (1 - p1)           = 0.02 × 0.98   = 0.0196
p2 × (1 - p2)           = 0.024 × 0.976 = 0.023424
suma                    = 0.043024
(p2 - p1)^2             = 0.004^2       = 0.000016

n = 7.8489 × 0.043024 / 0.000016 ≈ 21,106 por variante

Así que unos 21.100 visitantes por variante, o unos 42.200 para un test simple de dos variantes. Tienen que ser visitantes que lleguen de verdad a la página que se está probando, no el tráfico total del sitio.

Lo que eso supone en tiempo, con distintos niveles de tráfico:

Y cómo se mueve la cifra cuando cambian los datos de entrada, con la misma fórmula:

Hay dos patrones que vale la pena recordar. Si reduces a la mitad la mejora que quieres detectar, los visitantes que necesitas se multiplican aproximadamente por cuatro. Y una tasa base más alta lo abarata todo, que es por lo que los tests sobre un paso de clic terminan mucho antes que los tests sobre altas de pago. Puedes meter tus propios números en la fórmula de arriba, o en cualquier calculadora online de tamaño de muestra para dos proporciones.

Es tentador lanzar el test de todos modos y ver qué pasa. Fallan dos cosas.

Un test sin potencia suficiente suele terminar sin ninguna diferencia significativa, aunque una versión sea mejor de verdad, porque no hay datos suficientes para separar el efecto del ruido. Pasas semanas con él y no aprendes nada.

Peor aún: cuando un test sin potencia suficiente sí declara un ganador, la mejora medida tiende a estar exagerada. Con pocos datos, solo una fluctuación grande por azar puede cruzar la línea de significancia, así que los resultados que la cruzan exageran el efecto real. Parar un test antes de tiempo en cuanto parece significativo lo empeora todavía más: mirar una y otra vez y parar en el primer buen resultado eleva la probabilidad de un falso ganador muy por encima del 5 % que creías haber elegido.

Ninguna de las alternativas de abajo te da la respuesta limpia de un test con potencia suficiente. Te dan otra cosa: una buena probabilidad de encontrar los problemas grandes, que en un sitio nuevo suelen ser los que importan.

Habla con usuarios y obsérvalos. Llama a cinco personas que encajen con tu público. Pregúntales por la última vez que tuvieron el problema, luego comparte tu página y pídeles que piensen en voz alta mientras la leen. Los problemas que bloquean a la gente suelen aparecer en el primer puñado de sesiones. No vas a obtener una tasa de conversión, pero vas a oír exactamente dónde los pierde la página.

Haz tests de cinco segundos y de primer clic. Enseña la primera pantalla durante cinco segundos y pregunta qué hace el producto. O pregunta dónde harían clic para hacer una tarea concreta. Puedes hacerlo a mano con unas cuantas personas de tu público, o con alguno de los servicios creados para eso.

Mira grabaciones de sesión, por fuente. Elige una fuente de tráfico y mira veinte grabaciones de esa fuente. Fíjate en dónde deja de hacer scroll la gente, en qué hace clic que no es un enlace y dónde se va. Enmascara los campos de los formularios y revisa tus obligaciones de consentimiento, porque las grabaciones pueden necesitarlo según dónde estén tus visitantes.

Compara antes y después, con cuidado. Cambia una cosa y compara un periodo fijo después del cambio con un periodo igual de largo antes, que cubra los mismos días de la semana. Lleva un registro con fecha de cada cambio que hagas. Sé honesto con lo que esto no puede hacer: la mezcla de visitantes cambia de una semana a otra, una sola publicación a la que le vaya bien en algún sitio puede mover todos los números, y un antes y después no puede separar tu cambio de todo lo demás que pasó. Úsalo para detectar cambios grandes, léelo por fuente y trata las diferencias pequeñas como ruido.

Si haces un test, prueba algo grande. Un test que compara dos ofertas distintas o dos páginas realmente distintas puede detectar un efecto grande con muchos menos visitantes que un test de colores de botón. Y si un paso anterior del embudo tiene una tasa más alta, como los clics en el botón principal, llega antes a un resultado, como muestra la tabla. Eso sí, recuerda que un indicador indirecto no es el objetivo: más clics no siempre significan más clientes.

Trata la personalización como otra herramienta. La personalización cambia lo que ve cada visitante según el contexto, por ejemplo de dónde vino. Puede ser una apuesta sensata cuando tus visitantes llegan con preguntas distintas, pero es una apuesta, hecha a partir de un razonamiento y no de evidencia. No te dice si ha servido, y con poco tráfico tampoco podrías medirlo de forma fiable. Si la usas, sigue haciendo las comprobaciones cualitativas de arriba.

Haz el test. Un test A/B con potencia suficiente es la mejor evidencia que puede conseguir un sitio web, y nada de este artículo lo sustituye. La comparación entre IntentGrid y Optimizely explica cuándo una plataforma de tests dedicada es la opción correcta, que es siempre que tu tráfico permita que los tests terminen en semanas y no en meses.

Por transparencia: IntentGrid, que es lo que hacemos, pertenece a la última categoría de la lista de arriba. Reescribe el texto para cada visitante, está en acceso anticipado y no mide nada.