Zur Ausgabe
Artikel 1 / 10
Nächster Artikel

A/B-Tests Klüger experimentieren

A/B-Tests und andere kontrollierte Onlinetestverfahren sind ausgezeichnete Entscheidungshilfen. Microsoft, Google und Co. machen vor, wie es geht. Lernen Sie, Experimente zu entwerfen, sie in Ihre Prozesse zu integrieren und die Ergebnisse richtig zu interpretieren.
aus Harvard Business manager 12/2017
Foto: Jonathan Knowles / Getty Images

Ein Microsoft-Mitarbeiter hatte 2012 eine Idee, wie sich in der Suchmaschine Bing die Überschriften von Werbeanzeigen anders darstellen ließen. Der Aufwand war gering. Ein einzelner Entwickler hätte sie in wenigen Tagen umsetzen können – aber es war eben nur einer von Hunderten Vorschlägen, und die zuständigen Manager stuften ihn als unwichtig ein. Also lag die Idee mehr als sechs Monate lang in einer Schublade. Dann sah ein Softwareingenieur, dass es hier um geringe Programmierkosten ging, und führte ein kontrolliertes Experiment durch, um die Wirkung der vorgeschlagenen Änderung zu testen. Er verwendete dafür einen A/B-Test.

Die neue Überschriftenvariante sorgte binnen weniger Stunden für ungewöhnlich hohe Einnahmen und löste einen "Zu schön, um wahr zu sein"-Alarm aus. So eine Warnmeldung signalisiert normalerweise einen Softwarefehler. In diesem Fall aber nicht. Eine genauere Prüfung zeigte, dass die Veränderung den Umsatz um erstaunliche 12 Prozent erhöht hatte – was aufs Jahr gerechnet allein in den USA mehr als 100 Millionen Dollar bedeutete –, ohne die zentralen Kenngrößen für das Nutzererlebnis zu beeinträchtigen. Noch nie in der Geschichte der Suchmaschine Bing hatte eine Idee eine derartige Umsatzsteigerung bewirkt, und trotzdem hatte bis zu jenem Test niemand das Potenzial erkannt.

Das Beispiel zeigt, wie schwierig es sein kann, das Potenzial neuer Ideen zu bewerten. Und, was genauso wichtig ist: Es verdeutlicht, wie nützlich es ist, viele Tests billig und gleichzeitig durchführen zu können – eine Erkenntnis, die sich allmählich bei immer mehr Unternehmen durchsetzt.

Heute führen Microsoft und eine Reihe anderer bekannter Konzerne – darunter Amazon, Google, Booking.com und Facebook – jedes Jahr mehr als 10 000 kontrollierte Onlineexperimente durch, und an vielen dieser Tests nehmen Millionen Nutzer teil. Auch Start-ups und Unternehmen ohne digitale Wurzeln, wie Walmart, Hertz oder Singapore Airlines, führen regelmäßig solche Tests durch, wenngleich in kleinerem Rahmen. Diese Unternehmen haben erkannt, dass die Grundeinstellung, alles auszuprobieren, sich in überraschendem Umfang lohnt. Bing haben solche Tests geholfen, Monat für Monat umsatzsteigernde Verbesserungen umzusetzen – zusammengenommen erhöhten sie den Erlös je Suche um 10 bis 25 Prozent pro Jahr. Diese Optimierungen sind neben Hunderten anderer Änderungen, die Bing jeden Monat durchführt, der Hauptgrund dafür, dass die Suchmaschine profitabel ist und ihren Marktanteil von 8 Prozent im Gründungsjahr 2009 auf inzwischen 23 Prozent steigern konnte.

Kompakt

Das Problem

Beim Entwickeln von Websites und Apps stützen sich zu viele Unternehmen bei ihren Entscheidungen auf subjektive Meinungen statt auf harte Daten. Dabei ist es gleich, ob es um neue Produktfunktionen geht, um Optik und Handhabung oder um Marketingkampagnen.

Die Lösung

Unternehmen sollten ihre Ideen mit kontrollierten Onlineexperimenten bewerten. Sie müssen potenzielle Verbesserungen nach wissenschaftlichen Methoden testen, denn große Investitionen können verpuffen, während manche kleine Änderung überraschend hohe Zusatzgewinne bringen kann.

Die Umsetzung

Führungskräfte müssen wissen, wie sie A/B-Tests und andere kontrollierte Experimente richtig planen und durchführen, ihre Aussagekraft gewährleisten, die Ergebnisse auswerten und Fallen umgehen.

In einem Zeitalter, in dem das Internet für praktisch alle Unternehmen überlebenswichtig geworden ist, sollten Onlineexperimente nach wissenschaftlichen Methoden zu den Standardverfahren gehören. Unternehmen, die die dafür nötige Softwareinfrastruktur und die erforderlichen organisatorischen Fähigkeiten aufbauen, können damit nicht nur Ideen für Websites bewerten, sondern auch potenzielle Geschäftsmodelle, Strategien, Produkte, Dienstleistungen und Marketingkampagnen – und das für relativ wenig Geld. Mit kontrollierten Experimenten sind Entscheidungen keine intuitiven Reaktionen mehr, sondern das Ergebnis eines wissenschaftlichen, faktenbasierten Prozesses. Ohne sie hätte es viele Durchbrüche vielleicht nie gegeben, und viele schlechte Ideen wären umgesetzt worden, nur um wenig später zu scheitern und sich als Ressourcenverschwendung zu erweisen.

Dennoch haben wir zu viele Unternehmen angetroffen, darunter auch große digitale Akteure, die planlos experimentieren, nicht wissen, wie Tests nach strengen wissenschaftlichen Regeln funktionieren, oder viel zu wenige solcher Tests durchführen.

Zusammengenommen haben wir mehr als 35 Jahre darauf verwendet, Experimente zu studieren und zu praktizieren und Unternehmen aus einem breiten Spektrum an Branchen in diesem Bereich zu beraten. Was wir dabei gelernt haben, beschreiben wir in diesem Beitrag. Wir erläutern, wie Sie solche Experimente konzipieren und durchführen, einen korrekten Ablauf gewährleisten, die Ergebnisse auswerten und die damit verbundenen Herausforderungen meistern. Wir konzentrieren uns zwar auf den A/B-Test, die einfachste Art kontrollierter Experimente, aber unsere Ergebnisse und Empfehlungen lassen sich auch auf komplexere Teststrukturen anwenden.

Der Wert von A/B-Tests

Bei einem A/B-Test stellt der Experimentator zwei Szenarien einander gegenüber: "A", die Kontrollversion, ist in der Regel das aktuelle System und gewissermaßen der "Titelverteidiger"; "B" ist eine veränderte Version, die eine bestimmte Dimension verbessern will, und tritt als "Herausforderer" an. Beide Versionen bekommen nach dem Zufallsprinzip Nutzer zugewiesen, und dann werden zentrale Kenngrößen berechnet und verglichen. (Im Gegensatz dazu bewerten univariate A/B/C-Tests und A/B/C/D-Tests sowie multivariate Tests mehr als eine Veränderung unterschiedlicher Variablen gleichzeitig.) Im Onlinebereich können solche Veränderungen eine neue Funktion sein, eine etwas andere Benutzeroberfläche (etwa mit einem neuen Layout), eine Änderung im Backend (zum Beispiel ein verbesserter Algorithmus, der bei Amazon Buchempfehlungen errechnet) oder ein anderes Geschäftsmodell (das zum Beispiel kostenlose Lieferungen anbietet). Ganz gleich, welcher operative Aspekt einem Unternehmen am wichtigsten ist – seien es Umsatzerlöse, Stammnutzer, Klickrate oder die Zeit, die die Nutzer auf einer Seite verbringen – es kann mit A/B-Tests herausfinden, wie sich dieser Aspekt optimieren lässt.

Harvard Business manager plus

Jetzt weiterlesen. Mit dem passenden manager Abo.

Einen Monat für € 0,99 testen. Jederzeit kündbar.

Ihre Vorteile:

  • manager magazin+ und Harvard Business manager+ im Paket
  • Alle Inhalte von m+ und HBm+ auf der Seite manager-magazin.de und in der manager-Nachrichten-App
  • Der Inhalt der gedruckten Magazine inkl. E-Paper (PDF)
Jetzt für € 0,99 testen

Sie sind bereits Digital-Abonnentin oder -Abonnent? Hier anmelden

Weiterlesen mit manager+

Immer einen Einblick voraus

Ihre Vorteile mit manager+

  • manager magazin+

    in der App

  • Harvard Business manager+

    in der App

  • Das manager magazin und den Harvard Business manager lesen

    als E-Paper in der App

  • Alle Artikel in der manager-App

    für nur € 24,99 pro Monat

Sie haben bereits ein Digital-Abonnement?

manager+ wird über Ihren iTunes-Account abgewickelt und mit Kaufbestätigung bezahlt. 24 Stunden vor Ablauf verlängert sich das Abo automatisch um einen Monat zum Preis von zurzeit 24,99€. In den Einstellungen Ihres iTunes-Accounts können Sie das Abo jederzeit kündigen. Um manager+ außerhalb dieser App zu nutzen, müssen Sie das Abo direkt nach dem Kauf mit einem manager-ID-Konto verknüpfen. Mit dem Kauf akzeptieren Sie unsere Allgemeinen Geschäftsbedingungen und Datenschutzerklärung .

Zur Ausgabe
Artikel 1 / 10
Nächster Artikel
Die Wiedergabe wurde unterbrochen.