ShopStrategen Blog » Multivariate Tests

Website Testing Software vorgestellt

Henner Heistermann — Thu, 11 Mar 2010 11:19:22 +0000

Die Wahl der richtigen Software für einen Website Test stellt für viele Einsteiger bereits eine große Hürde dar.

Dem Testing-Anfänger stellen sich zahlreiche Fragen wie:

Welches Testing Tool passt zu meinen Anforderungen?
Welche Software beherrscht neben Split Tests auch weitere Testingmöglichkeiten?
Was kostet eine Website Testing Lösung?
Gibt es kostenlose Alternativen?

Viele dieser Fragen beantwortet jetzt Which Multivariate? (www.whichmvt.com). Neben einer Tabellarischen Übersicht unterschiedlicher Testing Systeme gibt es auch Beschreibungen und Userbewertungen.

Zusätzlich verbirgt sich hinter Discover auch eine kurze Einführung in die Website-Testing Grundlagen. Deutschsprachigen Lesern empfehlen wir allerdings unsere ausführlichen Grundlagen ind drei Teilen (1, 2, 3).

Für jeden der sich für dieses Thema interessiert definitiv eine gute Einstiegsmöglichkeit.

No related posts.

Grundlagen Website Testing – Teil 3

Henner Heistermann — Mon, 28 Sep 2009 10:56:43 +0000

Was sollten Sie testen?

Nachdem die Grundsätzlichen Möglichkeiten des Website Testing (A/B Testing und Multivariates Testing) klar sind, ist es an der Zeit sich Gedanken darüber zu machen, was auf der Website getestet werden soll. Zwar gibt es eine Reihe von Testing-Tools die beim Aufbau eines Testing-Szenarios unterstützen, aber im Endeffekt können nur Ihre Erfahrung und vorherigen Erkenntnisse zu optimalen Ergebnissen führen.

Denn nur ein Website Testing, dass eine Conversion-Steigerung hervorrufen kann ist auch sinnvoll.

Denken Sie wie ein Wissenschaftler

Ein Website Test ist wie ein wissenschaftliches Experiment und sollte auch als solches betrachtet werden. Idealerweise ergibt sich der Test aus den Erkenntnissen der Webanalyse, den Besucherbefragungen oder der Usability Analyse. Außerdem sollte vor dem Test eine begründete Hypothese bestehen was das Ergebnis des Testing sein könnte.

Natürlich kann man theoretisch jede beliebige Änderung testen, aber ein unqualifizierter Test kann nicht nur eine Menge Zeit verschwenden, sondern auch Ihre Website Besucher irritieren oder gar monetären Schaden anrichten. Denn Website Tests werden live und an echten Besuchern und somit potentiellen Kunden durchgeführt. Es ist also unbedingt Vorsicht geboten.

Kleine Änderungen vs. große Änderungen

In welchem Umfang und welche Änderungen sollten Sie Testen? Diese Frage bewegt Website Testing-Experten bereits seit langem, aber im Endeffekt gibt es zwei klare Aussagen. Das Testen großer Änderungen wird einen größeren Effekt haben als das Testen kleinerer Änderungen. Bei kleinschrittigen Tests wird allerdings klar wie sich eine Änderung auswirkt und welche Auswirkungen sie genau hat. Ein Beispiel verdeutlicht dies:

Website Testing mit drei Varianten: A, B und C

Version A ist unsere Originalseite, Version B stellt eine kleine Änderung dar (ein anderes Bild) und Version C beinhaltet viele Anpassungen (Titelbild, Bilder, Layout).

Die Besucher werden den Unterschied zwischen Version A und Version C sicherlich feststellen und entsprechend ein anderes Verhalten an den Tag legen. Was aber, wenn Variante C gewinnt? Dann wird es schwierig festzustellen warum Variante C effektiver war. Die Effekte der Version B hingegen sind einfach nachzuweisen, dafür werden die Auswirkungen deutlich geringer ausfallen.

Was ist also der richtige Testing-Ansatz?

Im Endeffekt ist es eine Frage des Risikos und der Opportunitäten. Wenn die aktuelle Seite schlecht performt, ist die Wahrscheinlichkeit höher mit umfangreichen Änderungen Erfolg zu haben. Die Zeit für viele kleinschrittige Tests steht hierbei in der Regel nicht zu Verfügung.

Wenn die Website bereits eine relativ gute Leistung erbringt, macht eine langsame und behutsame Vorgehensweise sicherlich Sinn. Der Multivariate Ansatz kann eine gute Mischung sein. Wenn es gelingt die einzelnen Varianten in Komponenten herunterzubrechen (Variablen), dann ist ein multivariater Ansatz sicherlich die beste Lösung.

Änderungen mit hoher Wirkung

Egal ob große oder kleine Veränderungen getestet werden, es sollten immer Tests mit hohem Wirkungspotential sein.

Testen Sie immer kritische Elemente einer Website wie Bestell-Buttons. Diese Elemente haben (physisch) nur einen kleinen Anteil an der Website, jedoch eine große Wirkung in Bezug auf Conversion und Umsatz. Testen Sie nicht nur um des Testens willen, sondern analysieren Sie Ihre Website auf Schwachstellen an denen Sie Besucher verlieren und testen Sie gezielt Seiten mit schlechter Leistung.

Grundlagen Website Testing – Teil 2

Henner Heistermann — Tue, 08 Sep 2009 08:30:23 +0000

Zusammenhänge verstehen und bewerten

Warum multivariate Tests häufig die bessere Wahl sind

Warum nicht einfach zwei A/B-Tests durchführen – einen mit unterschiedlichen Buttonformen, einen mit unterschiedlichen Buttonfarben?

In diesem Fall würden den Besuchern lediglich 5 Varianten (2+3) angeboten und nicht 6 (2×3), was potenziell Zeit sparen würde. Auch diese Vorgehensweise könnte zum Ziel führen, allerdings gilt es die Bedeutung des Zusammenspiels zwischen unterschiedlichen Parametern zu verstehen.

Ein Beispiel aus der Medizin

Ein klassisches Beispiel von Zusammenhängen in Test-Situationen kommt aus der Medizin. Man nehme zwei Medikamente gegen hohen Cholesterinwert, Medikament A und Medikament B. Jedes einzelne funktioniert und senkt den Cholesterinwert, aber was passiert wenn beide Medikamente gleichzeitig eingenommen werden? Die Kombination könnte doppelt so effektiv sein, sie könnte aber auch nur die halbe Wirkung von Medikament A oder B zeigen, oder im schlimmsten Fall den Patienten töten. Das Zusammenspiel der beiden Arzneimittel ist nicht nur die Summe der beiden Einzelwirkungen.

Negative Nebeneffekte vermeiden

Die Gestaltung Ihrer Website wird wahrscheinlich niemanden töten, aber auch hier kann es zu unangenehmen Nebenwirkungen kommen. Nehmen Sie zum Beispiel die Effekte, die ein Testing von Hintergrundfarbe und Schriftfarbe nach sich ziehen könnte. Sie testen eventuell die Wirkung von drei unterschiedlichen Hintergrundfarben, weiß, grau und grün und stellen fest, dass Ihre Besucher die Hintergrundfarbe grau bevorzugen. In einem zweiten Testszenario testen Sie die Schriftfarben schwarz, grau und grün und finden heraus, dass Ihre Besucher die Schriftfarbe grau präferieren.

Als logische Konsequenz würden Sie womöglich eine Website mit grauer Schrift auf grauem Hintergrund gestalten. Die Folge wären unleserliche Texte und wahrscheinlich ein dramatisches Einbrechen des Umsatzes.

Multivariates Website Testing - Zusammenhänge verstehen

Wenn sie einen multivariaten Test durchgeführt hätten, wären Ihnen die negativen Messeffekte der Farbkombination sofort aufgefallen und sie hätten sich definitiv gegen die grau-auf-grau Variante entschieden.

Wenn immer Sie negative Zusammenhänge zwischen den Variablen die Sie testen vermuten, ist ein multivariater Test wahrscheinlich die beste Lösung. Manchmal kann auch die einfache Skizzierung der Optionen bereits ein schlechtes Testergebnis verhindern.

Grundlagen Website Testing – Teil 1

Henner Heistermann — Wed, 02 Sep 2009 15:24:59 +0000

Was ist eigentlich Website Testing?

Was, wenn Sie in Zukunft nicht mehr raten müssten ob eine Änderung auf der Website den Umsatz steigert, sondern es mit Sicherheit voraussagen könnten? Was, wenn Sie Diskussionen in Ihrem Unternehmen einfach beenden könnten und stattdessen mit den konkreten Zahlen echter Besucher argumentieren könnten?

Das ist es, was Website Testing ausmacht: Den Besuchern mehrere Alternativen präsentieren und sie selber entscheiden lassen, welche die Beste ist. Denn trotz Usability Standards und typischem Besucherverhalten hat jede Branche und jede Website ihre Eigenheiten, und nur Ihre Besucher können Ihnen sagen, was wirklich funktioniert.

Beim Website Testing unterscheidet man zwischen AB Testing (auch Split Test) und Multivariaten Tests.

AB Test

Bei einem AB Test werden zwei Versionen einer Website erstellt. Beispielsweise eine Version mit zwei grünen Buttons und eine mit einem blauen. Nun wird die eine Hälfte Ihrer Besucher auf die Variante A geleitet, die andere Hälfte auf Variante B, und anschließend wird ermittelt, welche Variante die höhere Konversionsrate oder den höheren Umsatz erzielte.

A/B Website Testing

Multivariate Tests

Idealerweise, anstatt nur zwei komplett unterschiedliche Varianten einer Website zu testen, testen Sie individuelle Änderungen an einigen Details der Seite. Diese Änderungen können zum Beispiel die Schriftgröße, die Beschriftung eines Buttons oder die Form eines Buttons sein. Jede Änderung könnte viele verschiedene Varianten haben.

Während ein AB Test immer nur eine Variable gleichzeitig testen kann, erlauben multivariate Tests das gleichzeitige erfassen einer Vielzahl von Variablen. Was zunächst kompliziert klingt verdeutlicht ein kleines Beispiel sehr anschaulich.

In diesem Beispiel werden zwei Variablen getestet: Farbe und Form.

Multivariates Website Testing

Farbe hat drei Werte: grün, blau und orange.
Form hat zwei Werte: rechteckig und rund.

Somit ergibt sich ein 3×2 Testing mit 6 möglichen Testvarianten. Bei einem multivariaten Test wird jede der 6 möglichen Kombinationen getestet, indem die Website Besucher gleichmäßig auf die insgesamt 6 Testobjekte verteilt werden.