Als der ehemalige Apple-Manager Ron Johnson 2011 ins Chefbüro von J. C. Penney wechselte, dauerte es nicht lange, bis sein Team bei der Handelskette einiges auf den Kopf stellte: Kupons und Sonderangebotsständer flogen raus, Kassierer und Kassen wurden durch Technologie ersetzt, und in bester Shop-in-Shop-Manier zogen Markenboutiquen ein. 17 Monate später war der Umsatz eingebrochen, der Verlust in die Höhe geschnellt, Johnson wieder weg – und J. C. Penney machte eine Kehrtwende.

Wie konnte das Unternehmen derart falschliegen? Gab es nicht tonnenweise Transaktionsdaten, die Aufschluss über die Vorlieben und Präferenzen der Kunden gaben?

Vermutlich schon. Aber Big Data kann nur über das bisherige Verhalten der Kunden informieren, nicht darüber, wie sie auf grundlegende Veränderungen reagieren. Wenn es um Innovationen geht, müssen Manager meist ohne eine solide Datengrundlage entscheiden. Deshalb stützen sie sich häufig auf Erfahrung oder Intuition. Doch wirklich innovative Ideen – solche, die Branchen revolutionieren können – laufen in der Regel sowohl der Erfahrung der Manager als auch der gängigen Meinung zuwider.

Mit Experimenten nach streng wissenschaftlichen Methoden können Manager herausfinden, ob ein neues Produkt oder Programm Erfolg haben wird. Ein Pharmaunternehmen würde nie ein Medikament auf den Markt bringen, ohne vorher Experimente auf Basis klar definierter wissenschaftlicher Abläufe durchzuführen. (Abgesehen davon, dass die Aufsichtsbehörden natürlich klinische Tests vorschreiben.) Genau das tun auch viele Unternehmen, bevor sie ein neues Geschäftsmodell oder neue Konzepte einführen. Hätte J. C. Penney die Änderungen vorab gründlich getestet, wäre das Unternehmen vielleicht zu dem Ergebnis gekommen, dass die Kunden die Veränderungen vermutlich ablehnen.

Warum unterwerfen nicht mehr Unternehmen riskante Neuerungen und teure Pläne wissenschaftlichen Tests? Weil die meisten für gründliche Experimente kein Geld in die Hand nehmen wollen und darüber hinaus Schwierigkeiten mit der Durchführung haben. In der Theorie scheinen solche Versuchsanordnungen klar, aber in der Praxis sind sie erstaunlich schwierig. Das liegt an einer Vielzahl von organisatorischen und technischen Hindernissen. Zu diesem Ergebnis sind wir aus unserer zusammengenommen über 40-jährigen Erfahrung gekommen, die wir bei der Durchführung und Analyse von Experimenten bei Dutzenden Unternehmen gewonnen haben, unter anderem bei der Bank of America, bei BMW, Hilton, Kraft, Petco, Staples, Subway und Walmart.

Bei einem Direktvertriebskanal wie dem Internet ist ein normaler A/B-Test, bei dem zum Beispiel die Leistungswerte einer Version A und einer Version B der Webseite verglichen werden, relativ einfach und stützt sich auf Verfahren, die schon vor 100 Jahren bekannt waren. Der Großteil (mehr als 90 Prozent) des Konsumgütergeschäfts wird aber über komplexere Vertriebssysteme abgewickelt, zum Beispiel Ladennetze, Vertriebsregionen, Bankfilialen, Fast-Food-Franchise-Systeme und so weiter. In so einem Umfeld ergeben sich bei geschäftlichen Experimenten eine Reihe von analytischen Schwierigkeiten.