IntentGrid vs Optimizely Web Experimentation

Optimizely Web Experimentation responde a «¿qué versión de esta página funciona mejor de media?». Creas variantes, en un editor visual o en código, repartes a los visitantes entre ellas y mides el resultado hasta que es estadísticamente significativo. Está pensado para equipos de grandes empresas que llevan un programa de experimentación, y produce evidencia.

IntentGrid responde a «¿qué debería decirle esta página al visitante que la está leyendo ahora mismo?». Lee el contexto de la visita (fuente de tráfico, campaña, ciudad aproximada, dispositivo, idioma, hora local) y reescribe los titulares, el cuerpo de texto y las etiquetas de los botones de la página que ya tienes. No hay ningún test que tenga que alcanzar significancia, y por eso mismo tampoco produce ninguna evidencia.

Esta página describe Optimizely solo en cuanto a para qué sirve, porque eso es estable. Optimizely también vende otros productos, personalización incluida; las listas de funciones y los precios cambian, así que consulta los actuales en el propio sitio de Optimizely.

Más del que recibe la mayoría de los sitios nuevos. La cifra depende de tu tasa de conversión actual y de la mejora más pequeña que te interese detectar, y tanto las tasas de conversión bajas como las mejoras pequeñas la disparan.

Un ejemplo resuelto, con el cálculo estándar de dos proporciones al 95 % de confianza y 80 % de potencia: con una tasa de conversión del 2 %, detectar una mejora hasta el 2,4 % (un aumento relativo del 20 %) requiere unos 21.000 visitantes por variante, es decir, unos 42.000 para un test simple de dos variantes. Con unos cientos de visitantes a la semana, es una espera muy larga para una sola respuesta.

Eso no es un defecto de Optimizely. Es estadística, y se aplica a cualquier herramienta de tests A/B. También es la razón honesta de que exista la reescritura por visitante: no espera a la significancia. El precio es que no produce ninguna evidencia. Mete tus propias cifras en cualquier calculadora de tamaño de muestra antes de elegir.

• Tienes tráfico para que los tests alcancen significancia en semanas y no en meses.
• Necesitas evidencia, un resultado medido que puedas defender, y no una página que parece encajar mejor.
• Quieres probar algo más que palabras: maquetación, flujos, la presentación de los precios, diseños de página completos.
• Haces experimentos en equipo, con un proceso y con personas cuyo trabajo es precisamente eso.

• Tu tráfico es demasiado escaso para que un test termine en un plazo razonable.
• Tus visitantes llegan desde sitios muy distintos, y una única página ganadora seguiría escrita para un visitante medio que no existe.
• Eres una sola persona o un equipo pequeño, sin nadie que monte y gestione experimentos.

Ten claro a qué renuncias. IntentGrid está en acceso anticipado, la parte que funciona hoy es una demo en un espacio aislado y no mide nada, así que IntentGrid por sí solo no te dirá si ha servido de algo.

Si lo que quieres es personalización por audiencias predefinidas en lugar de tests, la categoría que debes mirar es la de las plataformas basadas en segmentos, que se comparan en la página sobre la alternativa a Mutiny.

Si tienes poco tráfico y un canal principal, puede que todavía no necesites ninguna herramienta: reescribe tú el titular para ese canal y mira qué pasa con las altas. No será estadísticamente limpio, y no cuesta nada.