Trop peu de trafic pour un test A/B ? Que faire à la place

Le calcul standard pour comparer deux taux de conversion demande quatre données : votre taux de conversion actuel, le taux amélioré que vous voulez pouvoir détecter, le degré de certitude que vous voulez avoir qu'un écart détecté est réel (la significativité), et la probabilité que vous voulez avoir de détecter l'amélioration si elle existe vraiment (la puissance). Les choix habituels sont 95 % de confiance et 80 % de puissance.

La formule du nombre de visiteurs nécessaires dans chaque variante est :

n = (z_a + z_b)^2 × [p1 × (1 - p1) + p2 × (1 - p2)] / (p2 - p1)^2

p1  = taux de conversion actuel
p2  = taux que vous voulez pouvoir détecter
z_a = 1.95996  (95% de confiance, bilatéral)
z_b = 0.84162  (80% de puissance)

Prenez un taux de conversion de 2 % et une amélioration à 2,4 %, soit une hausse relative de 20 %. Étape par étape :

(z_a + z_b)^2           = (1.95996 + 0.84162)^2 = 7.8489
p1 × (1 - p1)           = 0.02 × 0.98   = 0.0196
p2 × (1 - p2)           = 0.024 × 0.976 = 0.023424
somme                   = 0.043024
(p2 - p1)^2             = 0.004^2       = 0.000016

n = 7.8489 × 0.043024 / 0.000016 ≈ 21,106 par variante

Il faut donc environ 21 100 visiteurs par variante, soit environ 42 200 pour un simple test à deux versions. Et il doit s'agir de visiteurs qui atteignent réellement la page testée, pas du trafic total du site.

Ce que cela représente en temps, pour quelques niveaux de trafic :

Et comment le chiffre évolue quand les données changent, avec la même formule :

Deux tendances méritent d'être retenues. Diviser par deux la hausse que vous voulez détecter multiplie à peu près par quatre le nombre de visiteurs nécessaires. Et un taux de départ plus élevé rend tout moins coûteux, ce qui explique pourquoi les tests sur une étape de clic aboutissent bien avant les tests sur des inscriptions payantes. Vous pouvez passer vos propres chiffres dans la formule ci-dessus, ou dans n'importe quel calculateur de taille d'échantillon en ligne pour deux proportions.

Il est tentant de lancer le test malgré tout, pour voir ce qui se passe. Deux choses tournent mal.

Un test sous-dimensionné revient le plus souvent sans différence significative, même quand une version est réellement meilleure, parce qu'il n'y a pas assez de données pour distinguer l'effet du bruit. Vous y passez des semaines et vous n'apprenez rien.

Pire, quand un test sous-dimensionné désigne bel et bien un gagnant, l'amélioration mesurée a tendance à être exagérée. Avec peu de données, seule une grosse fluctuation due au hasard peut franchir le seuil de significativité, donc les résultats qui le franchissent surestiment l'effet réel. Arrêter un test dès qu'il a l'air significatif aggrave encore les choses : vérifier à répétition et s'arrêter au premier bon résultat fait monter la probabilité d'un faux gagnant bien au-delà des 5 % que vous pensiez avoir choisis.

Aucune des solutions ci-dessous ne vous donne la réponse nette d'un test suffisamment puissant. Elles vous donnent autre chose : de bonnes chances de trouver les gros problèmes, qui sont en général ceux qui comptent sur un nouveau site.

Parlez aux utilisateurs et observez-les. Appelez cinq personnes qui correspondent à votre public. Interrogez-les sur la dernière fois qu'elles ont eu le problème, puis partagez votre page et demandez-leur de penser à voix haute en la lisant. Les problèmes qui bloquent les gens apparaissent en général dès les premières séances. Vous n'obtiendrez pas de taux de conversion, mais vous entendrez exactement où la page les perd.

Faites des tests de cinq secondes et de premier clic. Montrez le premier écran pendant cinq secondes et demandez ce que fait le produit. Ou demandez où la personne cliquerait pour accomplir une tâche précise. Vous pouvez le faire à la main avec quelques personnes de votre public, ou avec l'un des services conçus pour cela.

Regardez des enregistrements de session, par source. Choisissez une source de trafic et regardez vingt enregistrements qui en viennent. Cherchez où les gens arrêtent de faire défiler, ce sur quoi ils cliquent alors que ce n'est pas un lien, et où ils partent. Masquez les champs de formulaire, et vérifiez vos obligations en matière de consentement : selon l'endroit où se trouvent vos visiteurs, les enregistrements peuvent nécessiter un consentement.

Comparez avant et après, avec prudence. Changez une seule chose, puis comparez une période fixe après le changement avec une période de même durée avant, couvrant les mêmes jours de la semaine. Tenez un journal daté de chaque changement. Soyez honnête sur ce que cela ne peut pas faire : la composition des visiteurs change d'une semaine à l'autre, un seul post qui marche bien quelque part peut déplacer tous les chiffres, et un avant/après ne peut pas séparer votre changement de tout ce qui s'est passé d'autre. Servez-vous-en pour repérer les gros changements, lisez-le par source, et traitez les petits écarts comme du bruit.

Si vous testez, testez quelque chose de gros. Un test qui compare deux offres différentes ou deux pages vraiment différentes peut détecter un effet important avec bien moins de visiteurs qu'un test de couleurs de bouton. Et si une étape plus en amont du tunnel a un taux plus élevé, comme les clics sur le bouton principal, elle aboutit à un résultat plus tôt, comme le montre le tableau. Rappelez-vous seulement qu'un indicateur intermédiaire n'est pas l'objectif : plus de clics ne veut pas toujours dire plus de clients.

Voyez la personnalisation comme un autre outil. La personnalisation change ce que voit chaque visiteur selon le contexte, par exemple sa provenance. Cela peut être un pari raisonnable quand vos visiteurs arrivent avec des questions différentes, mais c'est un pari, fondé sur un raisonnement et non sur des preuves. Elle ne vous dit pas si elle a aidé, et avec peu de trafic vous ne pourriez de toute façon pas le mesurer de façon fiable. Si vous l'utilisez, continuez les vérifications qualitatives ci-dessus.

Testez. Un test A/B suffisamment puissant est la meilleure preuve qu'un site web puisse obtenir, et rien dans cet article ne le remplace. La comparaison IntentGrid et Optimizely explique quand une plateforme de test dédiée est le bon choix, c'est-à-dire chaque fois que votre trafic permet aux tests d'aboutir en quelques semaines plutôt qu'en quelques mois.

Par souci de transparence : IntentGrid, que nous construisons, relève de la dernière catégorie de la liste ci-dessus. Il réécrit le texte pour chaque visiteur, il est en accès anticipé, et il ne mesure rien.