trbo Insights – Jans Lieblingsfeature

In unserer Blogserie haben wir unsere Kollegen gefragt, welches ihr Lieblingsfeature im trbo-Tool ist. Nachdem wir zuvor spannede Insights zu Click-In Kanälen von Jihad bekommen haben und uns Jennifer über die Vorteile eines Countdowns informiert hat, zeigt uns nun Jan seinen Favoriten: das Testing.

Wenn du an einen typischen Arbeitstag denkst, welche Kundenanfragen bereiten dir am meisten Freude?

Wenn ein Kunde nach einem Testing frägt, stehe ich in den Startlöchern und freue mich mit ihm gemeinsam dieses Projekt anzugehen. Es braucht zwar einige Vorbereitungen, um das Testing richtig aufzusetzen, letztendlich liefert es aber Erkenntnisse, die sich signifikant auf die Performance des Onlineshops auswirken und dem Kunden einen messbaren Mehrwert bieten können. Jede Form der Erkenntnisgewinnung ist dabei ein Schritt mehr, der mich dem Ziel der Performance-Verbesserung näher bringt.

Warum setzt du das trbo Testing besonders gerne ein ? 

Über unsere Testing-Optionen ist es sehr einfach einen Test zu starten. Wir können eine Maßnahme aufsetzen, mit nur einem Klick eine Nullgruppe dazu generieren und dann innerhalb kürzester Zeit messbare Ergebnisse erhalten. Parallel dazu lassen sich getestete Varianten schnell und benutzerfreundlich betrachten und die Ergebnisse eindeutig auswerten. Mit dem Testing wird der Entscheidungsprozess über die Frage: ‘Welche Maßnahmen kommen auf meiner Website bei meiner Zielgruppe besser an?’ vereinfacht. Es nimmt dir die Entscheidung ab, Maßnahmen zu erraten und belegt sie stattdessen mit empirisch messbaren Daten. trbo-Testing hilft also unmittelbar dabei, deine Website auf die genauen Bedürfnisse deiner Kunden anzupassen.

Kannst du die Funktion Testing näher erläutern?

Testing im Allgemeinen beschreibt den Prozess, verschiedene Maßnahmen auf einer Website gegeneinander zu testen und dabei unterschiedlichen Usern verschiedene Varianten zu zeigen. Aus den gemessenen KPIs der einzelnen User Gruppen lassen sich dann erfolgreiche und weniger erfolgreiche Maßnahmen definieren. Diese können z.B die Veränderung und Positionierung von Elementen, das Austauschen bestimmter Formulierungen oder user-basierte Produktempfehlungen sein. Jede Form von Veränderung lässt sich vordefinieren. Welche Maßnahme oder Veränderung erfolgreicher für eine Website funktioniert, lässt sich gegeneinander testen und auswerten. Bevor also mein Kunde errät, was bei seinen Usern besser ankommt, setze ich mit ihm lieber einen Test auf und messe empirisch, welche Variante bezüglich vordefinierter KPIs am besten für die allgemeine Performance der Website funktioniert. Wir unterscheiden dabei den einfachen A/B-Test, in der eine Variante gegen eine Nullgruppe getestet wird, den Multivarianten-Test, bei dem mehrere Maßnahmen gegeneinander getestet werden und den Multi-Armed Bandit Test, bei dem die Verteilung getesteter Varianten bereits dynamisch an das User-Verhalten angepasst wird, je nachdem welche Variante besser performed.

An welcher Stelle der User Journey eignet sich das Testing am besten und warum?

Testing eignet sich grundsätzlich an jeder Stelle einer Website. Die Einstiegspunkte auf einer Website unterscheiden sich grundlegend und sind abhängig von der Branche und dem Produkt. Ich versuche daher, jeden User an seinem ersten Berührungspunkt bestmöglich abzuholen. Grundsätzlich bieten Tests auf der gesamten Website einen Mehrwert und geben uns über die Vorlieben der User Auskunft. Daher ist es besonders wichtig, dem Kunden in der Nähe des Kaufabschlusses eine einfache User Journey zu gewährleisten. Produkt-Detail-Pages (PDPs) und der Checkout geben somit den größten Spielraum für verschiedene Tests. Hier sind Uplifts besonders ausschlaggebend und haben deshalb unmittelbare Auswirkungen auf die Performance einer Website. Dabei solltest du aber beachten, nicht zu viel gleichzeitig zu testen. Nur so bekommst du eindeutige Ergebnisse, die sich nicht gegenseitig beeinflussen.

Ein Online-Händler möchte herausfinden, wie sich das Kaufverhalten eines Users durch Produktempfehlungen auf unterschiedlichen Seiten verändert. Was würdest du ihm vor dem Start des Testings raten? 

Produktempfehlungen sind eine beliebte Maßnahme, die Conversion Rate zu steigern. Um herauszufinden, an welcher Stelle eine Recommendation das Kaufverhalten des Users beeinflusst, testet man dies vorab. Vor dem Setup eines jeden Tests ist es daher wichtig, sich darüber Gedanken zu machen, was genau überprüft werden soll. Abhängig davon wird das Setup der einzelnen Varianten angepasst. Nur wenn ein Test Setup vorab klar definiert ist, können wir es im Anschluss auch ordnungsgemäß auswerten. 

→ Definition der KPIs: Welche KPIs werden in der Auswertung schwerer gewichtet, Klicks, Conversions oder Impressionen? Diese KPIs müssen in allen Varianten sauber erkannt und ausgelesen werden können. Im Nachgang ist es sinnlos, nicht vordefinierte KPIs zu interpretieren.

→ Wie viele Varianten betrachte ich? Abhängig von der Anzahl der Varianten ist neben der längeren Laufzeit des Tests auch die Interpretation der Ergebnisse wichtig. Je mehr Varianten vorhanden sind, desto schärfer können sie sich innerhalb verschiedener KPIs (Klicks, Conversion, Average Order Value) unterscheiden. Dabei ist es wichtig, die Effekte und Auswirkungen der einzelnen Varianten voneinander zu unterscheiden und richtig zu interpretieren. Nur weil eine Variante bezüglich eines KPIs besser ‘performed’, heißt es nicht zwingend, dass es auch die user-freundlichste Variante ist.

→ Userverteilung: Bei der Interpretation der KPIs wird immer ein Richtwert mitgegeben, an dem wir eine Verbesserung oder Verschlechterung messen können. Insbesondere bezüglich der Interpretation der Conversion ist es vorteilhaft, über die Nullgruppe zu messen, was sich an globalen Kaufabschlüssen verändert hat. Da wir jede Conversion messen, sobald ein User eine Impression bekommen hat, wissen wir in den seltensten Fällen, was tatsächlich zum Kaufabschluss geführt hat. Wir können also Conversion-Veränderungen nur über die Differenzen zum Status Quo, also der Nullgruppe interpretieren und einer Variante ‘gutschreiben’.  

→ Weiter testen: Nach dem Test ist vor dem Test. Varianten lassen sich stets optimieren. Ist ein Test einmal abgeschlossen, empfehle ich, die erfolgreiche Variante weiter zu optimieren. Dafür dient ein Folgetest, der noch weiter ausbauen soll, was schon gut funktioniert hat.

Warum ist Testing im E-Commerce so wichtig? Welche Chancen ergeben sich für den Online-Händler dadurch?

Ähnlich wie im stationären Handel, bei dem man Kunden unter anderem durch eine angenehme Atmosphäre, eine gute Kundenberatung und faire Angebote gewinnt, ist auch der Online-Händler stets bemüht, dem User ein besonderes Einkaufserlebnis zu bieten. Welcher Weg dabei am besten zum Ziel führt, ist oftmals sehr unterschiedlich. Testing ist aber eine der zielführendsten Maßnahmen, das herauszufinden. Du musst also nicht mehr raten und aus dem Bauch heraus entscheiden, was bei deinem Kunden besser ankommt, sondern kannst dich durch die Ergebnisse des Tests progressiv auf den richtigen Weg leiten lassen.