IntentGrid vs Optimizely Web Experimentation

Optimizely Web Experimentation répond à la question « quelle version de cette page fonctionne le mieux en moyenne ? ». Vous créez des variantes, dans un éditeur visuel ou en code, vous répartissez les visiteurs entre elles et vous mesurez le résultat jusqu'à ce qu'il soit statistiquement significatif. Il s'adresse aux équipes de grandes entreprises qui mènent un programme d'expérimentation, et il produit des preuves.

IntentGrid répond à la question « que doit dire cette page au visiteur qui la lit en ce moment ? ». Il lit le contexte de la visite (source de trafic, campagne, ville approximative, appareil, langue, heure locale) et réécrit les titres, le corps de texte et les libellés des boutons de la page que vous avez déjà. Il n'y a pas de test à mener jusqu'à la significativité, et c'est aussi pour cela qu'il ne produit aucune preuve.

Cette page ne décrit Optimizely qu'au niveau de ce à quoi il sert, parce que cela reste stable. Optimizely vend aussi d'autres produits, dont de la personnalisation ; les listes de fonctionnalités et les prix changent, donc consultez le site d'Optimizely pour les versions à jour.

Plus que ce que reçoivent la plupart des nouveaux sites. Le chiffre dépend de votre taux de conversion actuel et de la plus petite amélioration que vous tenez à détecter, et un taux de conversion faible comme une petite amélioration le font fortement grimper.

Un exemple chiffré, avec le calcul standard pour deux proportions à 95 % de confiance et 80 % de puissance : avec un taux de conversion de 2 %, détecter une amélioration à 2,4 % (une hausse relative de 20 %) demande environ 21 000 visiteurs par variante, soit à peu près 42 000 pour un simple test à deux versions. À quelques centaines de visiteurs par semaine, c'est une très longue attente pour une seule réponse.

Ce n'est pas un défaut d'Optimizely. Ce sont des statistiques, et cela vaut pour tous les outils d'A/B testing. C'est aussi la raison honnête pour laquelle la réécriture par visiteur existe : elle n'attend pas la significativité. Le prix à payer, c'est qu'elle ne produit aucune preuve. Passez vos propres chiffres dans n'importe quel calculateur de taille d'échantillon avant de choisir.

• Vous avez le trafic pour que vos tests atteignent la significativité en quelques semaines plutôt qu'en quelques mois.
• Il vous faut des preuves, un résultat mesuré que vous pouvez défendre, plutôt qu'une page qui semble mieux ciblée.
• Vous voulez tester plus que des mots : la mise en page, les parcours, la présentation des prix, des designs de page entiers.
• Vous menez des expérimentations en équipe, avec un processus et des personnes dont c'est le métier.

• Votre trafic est trop faible pour qu'un test aboutisse dans un délai raisonnable.
• Vos visiteurs arrivent d'endroits très différents, et une page gagnante unique resterait écrite pour un visiteur moyen qui n'existe pas.
• Vous êtes seul ou en petite équipe, sans personne pour construire et mener des expérimentations.

Soyez lucide sur ce à quoi vous renoncez. IntentGrid est en accès anticipé, la partie qui fonctionne aujourd'hui est une démo dans un bac à sable, et il ne mesure rien : IntentGrid seul ne vous dira donc pas s'il a aidé.

Si ce que vous voulez, c'est de la personnalisation par audiences prédéfinies plutôt que du test, la catégorie à regarder est celle des plateformes à base de segments, comparées sur la page consacrée aux alternatives à Mutiny.

Si vous avez peu de trafic et un canal principal, vous n'avez peut-être pas encore besoin d'outil : réécrivez vous-même le titre pour ce canal et regardez ce qui arrive à vos inscriptions. Ce ne sera pas statistiquement propre, et cela ne coûte rien.