Bei der Gestaltung einer Website müssen Entscheidungen getroffen werden: Wo soll der Anmelde-Button platziert werden? Wie soll er beschriftet werden? Und welche Aktion wird bei einem Klick darauf ausgelöst? Wenn das einmal geschafft ist, folgt Schritt für Schritt die Optimierung. Als bestes Mittel gilt hier die Durchführung von A/B-Tests.

Zu wenig Daten

Das Problem dabei: Wer keine Vorstellung davon hat, wie ein Prozess auf der Website seinen Zweck erfüllen soll, tappt dabei ziemlich im Dunkeln. Die Ergebnisse von A/B-Tests können nur ausagekräftig sein, wenn zuvor die richtige Frage gestellt wurde. Man muss eine Ahnung haben, wo Unterschiede auftreten können.

Vor über 15 Jahren habe ich im Call Center von T-Mobil gearbeitet. Ein Abteilungsleiter stellte regelmäßig die Ergebnisse von sogenannten Mystery Calls vor und schwärmte einmal von den Servicesteigerungen in einigen Unterkategorien. Doch einige im Raum blickten sich nur gegenseitig an und hoben die Augenbraue. Die Aussagen beruhten auf neun (!) Testanrufen. Im Teilzeit-Team jobbten auch ein paar VWL-Studenten.

A/A-Tests mit unterschiedlichen Ergebnissen

Für diejenigen, zu deren Stärke nicht die Statistik gehört, zeigt David Kadavy das gleiche Problem auf andere Weise. Er ließ ein A/B-Test-Tool zwei identische Varianten eines E-Mail-Newsletters messen. In seinem Blogbeitrag A/A Testing: How I increased conversions 300% by doing absolutely nothing zeigt er Schaubilder, die auf den ersten Blick scheinbar signifikante Unterschiede aufweisen.

Sagenhafte 300 Prozent höhere Klickraten soll zum Beispiel ein Link in einer E-Mail erreichen im Vergleich mit einer E-Mail, die identisch ist. Auch hier handelt es sich wieder um sehr kleine Zahlen. Aber auch die Anzahl der 1.514 Empfänger, die die E-Mail zuvor geöffnet haben, unterscheidet sich mit 562 und 615 merklich. Die Differenz beträgt 9 Prozent.

Raus aus dem lokalen Maximum

Auf Grundlage solcher Messergebnisse werden dann Entscheidungen getroffen. Würden diesem A/B-Test unterschiedliche E-Mails zugrunde gelegen haben, wäre klar, wie diese in Zukunft zu gestalten sei. Was für ein Irrtum!

Letztlich sind es aber nur kleine Rädchen, an denen mittels A/B-Tests gedreht wird. Die Gefahr dabei ist, dass man sich in ein lokales Maximum manövriert. Jede Änderung führt dann zu einem schlechteren Ergebnis. Dennoch weiß man irgendwie, dass noch nicht das absolute Maximum erreicht wurde. A/B-Tests können Einzelprobleme lösen, manchmal muss man aber auch neu ansetzen. Wann das der Fall ist, dafür braucht man die richtige Nase..