Zur Ausgabe
Artikel 2 / 27
Vorheriger Artikel
Nächster Artikel

Innovation Wann A/B-Tests scheitern

Wenn Unternehmen Ideen für Produktänderungen und neue Features testen, begehen sie häufig drei typische Fehler. Um diese zu vermeiden, müssen sie beachten, dass Kunden unterschiedlich handeln und untereinander vernetzt sind. Und ihre Experimente entsprechend anpassen.
aus Harvard Business manager 4/2020
Foto:

Janosch Boerckel

Seit einigen Jahren erfreuen sich Online-A/B-Tests zunehmender Beliebtheit. Das liegt zum einen daran, dass immer mehr Unternehmen ihr Potenzial erkennen. Zum anderen sind die Kosten der für die Umsetzung nötigen Technologien gering. Heute führen nicht nur digitale Firmen, sondern auch immer mehr herkömmliche Unternehmen jährlich Zehntausende Onlineexperimente durch.

Sie nutzen die Tests, um herauszufinden, ob eine Änderung an einem Produkt, Service oder Angebot zu einer besseren Performance führt als die bisherige Version. Dazu vergleichen sie eine Kontrollvariante A (meist der Status quo) mit einer alternativen Variante B. Da sich die Reaktion der Nutzer auf die Änderung schnell ablesen lässt, sind Unternehmen in der Lage, ihre digitalen Produkte bestmöglich zu optimieren oder neue Produkte zu entwickeln. Darüber hinaus testen sie die Neuerung nur an einer kleinen, zufällig ausgewählten Gruppe, bevor sie sie flächendeckend einführen, was das Risiko unerwünschter Nebenwirkungen senkt.

Doch A/B-Tests haben noch einen weiteren Vorteil: Mit keiner anderen Methode lassen sich die Effekte, die eine Änderung bewirkt, so objektiv messen. So können Unternehmen einen Anstieg der Umsätze, des User-Engagement oder anderer Indikatoren, die die Veränderung bewirkt hat, von dem Wachstum unterscheiden, das ohnehin stattgefunden hätte. Es ermöglicht ihnen, Chancen zu erkennen und den Return on Investment abzuschätzen.

Für viele Unternehmen sind A/B-Tests mittlerweile ein fester Bestandteil des Produktlebenszyklus. Die Ergebnisse dienen als wichtige Entscheidungshilfe, etwa bei der Überlegung, wann oder ob ein neues Produkt eingeführt oder ein bestehendes verändert werden soll. Aber auch bei der Erschließung neuer Märkte und Kundensegmente oder der Frage, wie das vorhandene Kapital auf die unterschiedlichen Geschäftsbereiche verteilt werden soll, kommen sie zum Einsatz. Erfolgreiche A/B-Tests spielen zweifellos eine entscheidende Rolle für den zukünftigen Geschäftserfolg. Häufig begehen Unternehmen jedoch schwere Fehler bei der Durchführung.

Im Rahmen unserer Forschung an der Harvard Business School und auf Basis unserer Erfahrungen als leitende Datenwissenschaftler bei Netflix und LinkedIn haben wir drei typische Fallen identifiziert, in die Unternehmen bei Onlineexperimenten tappen. In diesem Artikel zeigen wir, wie Sie diese Fallen vermeiden. Wir stellen Methoden vor, die bei Netflix und LinkedIn funktioniert haben und mit denen Sie die Wirksamkeit Ihrer Tests und damit die Performance Ihres Unternehmens steigern.

Falle 1: Nur auf den Durchschnitt schauen

Ein typischer Fehler ist es, lediglich zu messen, wie sich eine Innovation auf den Mittelwert oder Durchschnitt der entsprechenden Kenngröße auswirkt. Dabei betrachten Unternehmen ausschließlich die Effekte für eine fiktive durchschnittliche Person und blenden aus, dass sich reale Kundensegmente in ihrem Verhalten deutlich voneinander unterscheiden.

So kann eine Veränderung bei einem Kundentyp zu einer Nutzungssteigerung führen, einen anderen aber komplett abschrecken. Nehmen wir einmal an, Sie führen ein neues Produkt ein, das die Kundenausgaben im Durchschnitt um einen US-Dollar erhöht. Jetzt könnte man annehmen, dass jeder Nutzer einen zusätzlichen Dollar ausgibt. Zu dieser Steigerung würde es jedoch auch kommen, wenn nur einige wenige Nutzer sehr viel mehr Geld ausgäben und die anderen den Anbieter wechselten. Die Dashboards klassischer A/B-Tests weisen nur einen Unterschied im globalen Durchschnitt aus und unterscheiden damit nicht zwischen diesen beiden Szenarien. Wenn wichtige KPIs (Key Performance Indicators) von wenigen Großkunden oder Superusern abhängen, sind Durchschnittswerte besonders häufig irreführend. Hier besteht das Risiko, dass sich Unternehmen ihre Kunden als eine idealisierte, repräsentative Person vorstellen und ihre Produkte oder Dienstleistungen deshalb ausschließlich für Vielnutzer optimieren. Wenignutzer bleiben auf der Strecke, was gefährlich ist, da die Steigerung ihrer Aktivitäten häufig das größte Potenzial für Unternehmen darstellt.

Weiterlesen mit Harvard Business manager+

Das Wissen der Besten – zu den wichtigen Fragen rund um Führung, Strategie und Management.

Wir liefern Ihnen Knowhow aus den renommiertesten Hochschulen der Welt, anschaulich und umsetzbar für Ihren Alltag als Führungskraft.

Ihre Vorteile mit Harvard Business manager+

  • Der Harvard Business manager

    Wissen, Werkzeuge und Ideen für nachhaltigen Erfolg – als E-Paper

  • Zugang zu den besten Texten der vergangenen Jahre

    Inspiration, Leadership-Skills und Praxistipps für erfolgreiche Führungskräfte

  • Einen Monat kostenlos testen

    jederzeit online kündbar

Ein Monat für 0,00 €
Jetzt für 0,00 € ausprobieren

Sie haben bereits ein Digital-Abonnement? Hier anmelden

Weiterlesen mit manager+

Immer einen Einblick voraus

Ihre Vorteile mit manager+

  • manager magazin+

    in der App

  • Harvard Business manager+

    in der App

  • Das manager magazin und den Harvard Business manager lesen

    als E-Paper in der App

  • Alle Artikel in der manager-App

    für nur € 24,99 pro Monat

Sie haben bereits ein Digital-Abonnement?

manager+ wird über Ihren iTunes-Account abgewickelt und mit Kaufbestätigung bezahlt. 24 Stunden vor Ablauf verlängert sich das Abo automatisch um einen Monat zum Preis von zurzeit 24,99€. In den Einstellungen Ihres iTunes-Accounts können Sie das Abo jederzeit kündigen. Um manager+ außerhalb dieser App zu nutzen, müssen Sie das Abo direkt nach dem Kauf mit einem manager-ID-Konto verknüpfen. Mit dem Kauf akzeptieren Sie unsere Allgemeinen Geschäftsbedingungen und Datenschutzerklärung .

Zur Ausgabe
Artikel 2 / 27
Vorheriger Artikel
Nächster Artikel
Die Wiedergabe wurde unterbrochen.