Im Vergleich zu was? Die Frage, die dir verrät, ob deine Entscheidung tatsächlich funktioniert hat

Man nimmt am Arbeitsplatz eine Änderung vor: einen Vertriebsprozess, ein Führungskräfteprogramm oder ein Anreizsystem. Die Kennzahl, die einem wichtig ist, steigt. Der erste Impuls ist, dies der Änderung zuzuschreiben.

Die schwierigere Frage lautet jedoch: Was wäre passiert, wenn man die Änderung nicht vorgenommen hätte? Vielleicht wäre die Kennzahl ohnehin gestiegen. Vielleicht wäre sie sogar noch stärker gestiegen. Ohne diesen Vergleich kann man nicht wissen, ob die Änderung gewirkt hat.

Dies ist der Schwerpunkt eines Artikels, den ich kürzlich zusammen mit Johannes Stark und Niels Van Quaquebeke  im Journal of Management veröffentlicht habe: „Controlling the Control Condition“. Oberflächlich betrachtet geht es darum, wie Managementforscher Experimente entwerfen. Im Kern geht es jedoch um eine Frage, mit der sich jede Führungskraft auseinandersetzen muss: Im Vergleich zu was?

Pseudo-Kontrolle vs. echte Kontrolle

In einem Experiment benötigt man einen Vergleich, um festzustellen, ob eine Veränderung eine Wirkung hatte. Dieser Vergleich ist die Kontrollbedingung.

Eine echte Kontrollbedingung stellt die kontrafaktische Frage: Was wäre passiert, wenn A nicht eingetreten wäre? Sie vergleicht A mit Nicht-A: dieselben Personen, derselbe Rahmen und derselbe Zeitpunkt, jedoch ohne die Veränderung, die man vorgenommen hat. Dies ist der einzige Vergleich, der Aufschluss darüber geben kann, ob A überhaupt eine Wirkung hatte.

Eine Pseudo-Kontrollbedingung vergleicht A mit einer anderen Option, B. Dies kann nützliche Fragen beantworten, wie zum Beispiel: „Ist A besser als B?“ Aber es kann nicht die Frage beantworten, die die meisten Forscher und Führungskräfte eigentlich stellen wollen: Hat A etwas bewirkt?

Ein Problem in der Managementforschung

Bei unserer Auswertung von 958 Experimenten, die zwischen 2021 und 2023 in renommierten Managementzeitschriften veröffentlicht wurden, verwendeten zwei Drittel Versuchsdesigns, die es den Forschern nicht ermöglichten, den tatsächlichen Behandlungseffekt zu schätzen. Mit anderen Worten: Die meisten Studien konnten nicht beantworten, ob A oder B eine Wirkung hatte.

Noch besorgniserregender ist, dass die Autoren in 20 Prozent dieser Experimente kausale Aussagen trafen, die ihre Versuchsdesigns nicht stützten. Sie schrieben, als gäbe es eine Basislinie, obwohl nur ein relativer Kontrast vorlag. Unsere studieninterne Metaanalyse zeigt zudem, dass die Wahl der Kontrollbedingung die geschätzte Effektgröße um den Faktor zwei verschieben kann. Dieselbe Behandlung kann doppelt so wirkungsvoll oder nur halb so wirkungsvoll erscheinen, je nachdem, womit sie verglichen wird.

Die gleiche Falle im Management

Manager stehen vor dem gleichen Problem, wenn sie ihre eigenen Entscheidungen bewerten. Angenommen, die Änderung Ihres Vertriebsmodells fällt mit höheren Umsätzen zusammen. Das sieht nach einem Erfolg aus. Aber was wäre, wenn die Umsätze ohne die Änderung noch stärker gestiegen wären, weil die Nachfrage ohnehin schon zunahm? Ihre Daten können das nicht ausschließen.

Drei Gewohnheiten helfen dabei:

1. Erst den Vergleichsmaßstab klären, dann freuen. Eine Prognose, das letzte Quartal, eine Schwesterabteilung oder ein Bauchgefühl führen jeweils zu ganz unterschiedlichen Schlussfolgerungen.
2. Das kontrafaktische Szenario festlegen, nicht nur die Alternative. Die Frage „Was wäre ohne die Änderung passiert?“ kommt vor „Hätte eine andere Änderung besser funktioniert?“
3. Erfolg ohne kontrafaktische Betrachtung zunächst als Hypothese behandeln, nicht als gesichertes Ergebnis. Prüfen lässt er sich durch kleine interne Experimente, gestaffelte Einführungen oder A/B-Tests.

Das Erfolgsrezept für gute Experimente und klare strategische Entscheidungen ist dasselbe: Beide lehnen den Komfort einer unausgesprochenen Basislinie ab. Beide stellen die unbequeme Frage:

Im Vergleich zu was?

Referenz: Stark, J., Tröster, C., & Van Quaquebeke, N. (2026). Controlling the Control Condition: A Critical Methodological Review of Control Conditions in Experimental Management Research. Journal of Management. DOI: 10.1177/01492063261424849