ShopStrategen Blog » AB Testing

Grundlagen Website Testing – Teil 3

Henner Heistermann — Mon, 28 Sep 2009 10:56:43 +0000

Was sollten Sie testen?

Nachdem die Grundsätzlichen Möglichkeiten des Website Testing (A/B Testing und Multivariates Testing) klar sind, ist es an der Zeit sich Gedanken darüber zu machen, was auf der Website getestet werden soll. Zwar gibt es eine Reihe von Testing-Tools die beim Aufbau eines Testing-Szenarios unterstützen, aber im Endeffekt können nur Ihre Erfahrung und vorherigen Erkenntnisse zu optimalen Ergebnissen führen.

Denn nur ein Website Testing, dass eine Conversion-Steigerung hervorrufen kann ist auch sinnvoll.

Denken Sie wie ein Wissenschaftler

Ein Website Test ist wie ein wissenschaftliches Experiment und sollte auch als solches betrachtet werden. Idealerweise ergibt sich der Test aus den Erkenntnissen der Webanalyse, den Besucherbefragungen oder der Usability Analyse. Außerdem sollte vor dem Test eine begründete Hypothese bestehen was das Ergebnis des Testing sein könnte.

Natürlich kann man theoretisch jede beliebige Änderung testen, aber ein unqualifizierter Test kann nicht nur eine Menge Zeit verschwenden, sondern auch Ihre Website Besucher irritieren oder gar monetären Schaden anrichten. Denn Website Tests werden live und an echten Besuchern und somit potentiellen Kunden durchgeführt. Es ist also unbedingt Vorsicht geboten.

Kleine Änderungen vs. große Änderungen

In welchem Umfang und welche Änderungen sollten Sie Testen? Diese Frage bewegt Website Testing-Experten bereits seit langem, aber im Endeffekt gibt es zwei klare Aussagen. Das Testen großer Änderungen wird einen größeren Effekt haben als das Testen kleinerer Änderungen. Bei kleinschrittigen Tests wird allerdings klar wie sich eine Änderung auswirkt und welche Auswirkungen sie genau hat. Ein Beispiel verdeutlicht dies:

Website Testing mit drei Varianten: A, B und C

Version A ist unsere Originalseite, Version B stellt eine kleine Änderung dar (ein anderes Bild) und Version C beinhaltet viele Anpassungen (Titelbild, Bilder, Layout).

Die Besucher werden den Unterschied zwischen Version A und Version C sicherlich feststellen und entsprechend ein anderes Verhalten an den Tag legen. Was aber, wenn Variante C gewinnt? Dann wird es schwierig festzustellen warum Variante C effektiver war. Die Effekte der Version B hingegen sind einfach nachzuweisen, dafür werden die Auswirkungen deutlich geringer ausfallen.

Was ist also der richtige Testing-Ansatz?

Im Endeffekt ist es eine Frage des Risikos und der Opportunitäten. Wenn die aktuelle Seite schlecht performt, ist die Wahrscheinlichkeit höher mit umfangreichen Änderungen Erfolg zu haben. Die Zeit für viele kleinschrittige Tests steht hierbei in der Regel nicht zu Verfügung.

Wenn die Website bereits eine relativ gute Leistung erbringt, macht eine langsame und behutsame Vorgehensweise sicherlich Sinn. Der Multivariate Ansatz kann eine gute Mischung sein. Wenn es gelingt die einzelnen Varianten in Komponenten herunterzubrechen (Variablen), dann ist ein multivariater Ansatz sicherlich die beste Lösung.

Änderungen mit hoher Wirkung

Egal ob große oder kleine Veränderungen getestet werden, es sollten immer Tests mit hohem Wirkungspotential sein.

Testen Sie immer kritische Elemente einer Website wie Bestell-Buttons. Diese Elemente haben (physisch) nur einen kleinen Anteil an der Website, jedoch eine große Wirkung in Bezug auf Conversion und Umsatz. Testen Sie nicht nur um des Testens willen, sondern analysieren Sie Ihre Website auf Schwachstellen an denen Sie Besucher verlieren und testen Sie gezielt Seiten mit schlechter Leistung.

Englische Fallstudie zu Website Testing mit dem Google Website Optimizer

Henner Heistermann — Mon, 14 Sep 2009 08:32:59 +0000

Tim Ferriss beschreibt den Weg zu einer 20%igen Conversion-Steigerung mittels Website Testing

Im Blog von Tim Ferriss (Autor: The 4-Hour Workweek) habe ich vor einiger Zeit diese interessante Fallstudie zum Thema Website Testing mittels Google Website Optimizer gefunden.

Google Website Optimizer Case Study: Daily Burn, 20%+ Improvement

Auf seine gewohnt lockere und sehr verständliche Art beschreibt Ferriss wie eine Landingpage, mit Hilfe des Google Website Optimizers, eine Conversion-Steigerung von über 20% erreicht. Für alle die sich für die Themen Website Testing, A/B-Tests oder Multivariate Tests interessieren ein absolut lesenswerter Artikel.

Grundlagen Website Testing – Teil 1

Henner Heistermann — Wed, 02 Sep 2009 15:24:59 +0000

Was ist eigentlich Website Testing?

Was, wenn Sie in Zukunft nicht mehr raten müssten ob eine Änderung auf der Website den Umsatz steigert, sondern es mit Sicherheit voraussagen könnten? Was, wenn Sie Diskussionen in Ihrem Unternehmen einfach beenden könnten und stattdessen mit den konkreten Zahlen echter Besucher argumentieren könnten?

Das ist es, was Website Testing ausmacht: Den Besuchern mehrere Alternativen präsentieren und sie selber entscheiden lassen, welche die Beste ist. Denn trotz Usability Standards und typischem Besucherverhalten hat jede Branche und jede Website ihre Eigenheiten, und nur Ihre Besucher können Ihnen sagen, was wirklich funktioniert.

Beim Website Testing unterscheidet man zwischen AB Testing (auch Split Test) und Multivariaten Tests.

AB Test

Bei einem AB Test werden zwei Versionen einer Website erstellt. Beispielsweise eine Version mit zwei grünen Buttons und eine mit einem blauen. Nun wird die eine Hälfte Ihrer Besucher auf die Variante A geleitet, die andere Hälfte auf Variante B, und anschließend wird ermittelt, welche Variante die höhere Konversionsrate oder den höheren Umsatz erzielte.

A/B Website Testing

Multivariate Tests

Idealerweise, anstatt nur zwei komplett unterschiedliche Varianten einer Website zu testen, testen Sie individuelle Änderungen an einigen Details der Seite. Diese Änderungen können zum Beispiel die Schriftgröße, die Beschriftung eines Buttons oder die Form eines Buttons sein. Jede Änderung könnte viele verschiedene Varianten haben.

Während ein AB Test immer nur eine Variable gleichzeitig testen kann, erlauben multivariate Tests das gleichzeitige erfassen einer Vielzahl von Variablen. Was zunächst kompliziert klingt verdeutlicht ein kleines Beispiel sehr anschaulich.

In diesem Beispiel werden zwei Variablen getestet: Farbe und Form.

Multivariates Website Testing

Farbe hat drei Werte: grün, blau und orange.
Form hat zwei Werte: rechteckig und rund.

Somit ergibt sich ein 3×2 Testing mit 6 möglichen Testvarianten. Bei einem multivariaten Test wird jede der 6 möglichen Kombinationen getestet, indem die Website Besucher gleichmäßig auf die insgesamt 6 Testobjekte verteilt werden.