IntentGrid vs. Optimizely Web Experimentation

Optimizely Web Experimentation beantwortet die Frage „Welche Version dieser Seite schneidet im Durchschnitt besser ab?“ Du erstellst Varianten, in einem visuellen Editor oder im Code, teilst die Besucher zwischen ihnen auf und misst das Ergebnis, bis es statistisch signifikant ist. Es richtet sich an Enterprise-Teams, die ein Experimentierprogramm betreiben, und es liefert Evidenz.

IntentGrid beantwortet die Frage „Was soll diese Seite dem Besucher sagen, der sie gerade liest?“ Es liest den Kontext des Besuchs (Traffic-Quelle, Kampagne, ungefähre Stadt, Gerät, Sprache, Ortszeit) und schreibt Überschriften, Fließtext und Button-Beschriftungen der Seite neu, die du schon hast. Es gibt keinen Test, der Signifikanz erreichen muss, und genau deshalb liefert es auch keine Evidenz.

Diese Seite beschreibt Optimizely nur auf der Ebene dessen, wofür es gedacht ist, weil das stabil ist. Optimizely verkauft auch andere Produkte, darunter Personalisierung; Feature-Listen und Preise ändern sich, also sieh für die aktuellen auf Optimizelys eigener Seite nach.

Mehr, als die meisten neuen Seiten bekommen. Die Zahl hängt von deiner aktuellen Conversion-Rate ab und von der kleinsten Verbesserung, die du erkennen willst, und niedrige Conversion-Raten wie kleine Verbesserungen treiben sie beide steil nach oben.

Ein durchgerechnetes Beispiel mit der üblichen Berechnung für den Vergleich zweier Anteile bei 95 % Konfidenz und 80 % Teststärke: Bei einer Conversion-Rate von 2 % braucht es, um eine Verbesserung auf 2,4 % zu erkennen (ein relativer Uplift von 20 %), grob 21.000 Besucher pro Variante, also etwa 42.000 für einen einfachen Test mit zwei Varianten. Bei ein paar hundert Besuchern pro Woche ist das eine sehr lange Wartezeit für eine einzige Antwort.

Das ist kein Mangel von Optimizely. Das ist Statistik, und sie gilt für jedes A/B-Testing-Tool. Es ist auch der ehrliche Grund, warum es das Neuschreiben pro Besucher gibt: Es wartet nicht auf Signifikanz. Der Preis ist, dass es überhaupt keine Evidenz liefert. Gib deine eigenen Zahlen in einen beliebigen Stichprobenrechner ein, bevor du dich entscheidest.

• Du hast den Traffic, damit Tests in Wochen statt Monaten Signifikanz erreichen.
• Du brauchst Evidenz, ein gemessenes Ergebnis, das du verteidigen kannst, statt einer Seite, die sich passender anfühlt.
• Du willst mehr testen als Worte: Layout, Abläufe, die Darstellung der Preise, komplette Seitendesigns.
• Du führst Experimente als Team durch, mit einem Prozess und mit Leuten, deren Job das ist.

• Dein Traffic ist zu klein, als dass ein Test in vertretbarer Zeit fertig würde.
• Deine Besucher kommen von sehr unterschiedlichen Orten, und eine einzige Gewinnerseite wäre trotzdem für einen Durchschnittsbesucher geschrieben, den es nicht gibt.
• Du bist eine Person oder ein kleines Team, und niemand kann Experimente bauen und betreiben.

Sei dir im Klaren darüber, was du aufgibst. IntentGrid ist im Early Access, der Teil, der heute funktioniert, ist eine Demo in einer Sandbox, und es misst nichts, also erfährst du allein durch IntentGrid nicht, ob es geholfen hat.

Wenn du statt Tests Personalisierung nach vorab definierten Zielgruppen willst, sind segmentbasierte Plattformen die Kategorie, die du dir ansehen solltest; einen Vergleich findest du auf der Seite zur Mutiny-Alternative.

Wenn du wenig Traffic und einen Hauptkanal hast, brauchst du vielleicht noch gar kein Tool: Schreib die Überschrift für diesen Kanal selbst neu und beobachte, was mit den Anmeldungen passiert. Statistisch sauber ist das nicht, und es kostet nichts.