The Replication Crisis in Psychology: Statistical and Meta-Scientific Perspectives

Abstract

Replications are, in the predominant view, an essential part of empirical science. However, the Reproducibility Project: Psychology has shown that systematic replications are rarely carried out in psychological science and many replication attempts fail to replicate prior results. This publication was a major driver for discussions around the "replicability crisis" in psychology. Since at least 2012, the question of replicability, and thus reliability, of studies has preoccupied psychology. In the context of this crisis, various attempts have been made to identify the causes and to improve the reliability of psychological research. In this thesis, the events and points of debate of the last few years are summarised and examined with a special focus on meta-scientific and statistical aspects. In the meta-scientific perspective, the link between theory and statistical hypotheses is particularly relevant in guiding the analysis of empirical data. In the statistical analysis of psychological studies, null-hypothesis significance tests (NHST) are traditionally used in psychology. In contrast, Bayes statistics is explained in this paper and Bayesian parameter estimation and Bayes factors are compared with frequentist significance tests, especially for the case of so-called null effects. Bayes factors can be used to test statistical hypotheses in the context of Bayesian statistics, which is particularly interesting for the comparison of original and replication studies: The "Replication Bayes factors" are introduced for this purpose and derived for multi-group comparisons. Finally, recommendations for conducting replication studies are provided based on a specific replication study and the relevant literature. In particular, the same standards are to be applied as for original studies. The work concludes with an outlook on the further development of psychology as a scientific discipline against the background of the replicability crisis.

Replikationen sind, in der vorherrschenden Sichtweise, ein wesentlicher Bestandteil von empirischen Wissenschaften. Das Reproducibility Project: Psychology hat jedoch gezeigt, dass systematische Replikationen in der psychologischen Forschung nur selten durchgeführt werden und viele Replikationsversuche vorherige Ergebnisse nicht replizieren können. Diese Veröffentlichung war ein wesentlicher Treiber für Diskussionen rund um die “Replizierbarkeitskrise” in der Psychologie. Seit mindestens 2012 beschäftigt die Frage nach der Replizierbarkeit, und damit der Zuverlässigkeit, von Studien die Psychologie. Im Rahmen dieser Krise wurden verschiedene Verursache unternommen, die Gründe zu identifizieren und die Zuverlässigkeit psychologischer Forschung zu verbessern. Im Rahmen dieser Dissertation werden die Ereignisse und Diskussionspunkte der letzten Jahre zusammengefasst und mit besonderem Blick auf wissenschaftstheoretische und statistische Aspekte beleuchtet. Bei der wissenschaftstheoretischen Perspektive ist insbesondere die Verbindung von Theorie und statistischen Hypothesen relevant, um die Auswertungen von empirischen Daten zu leiten. Bei der Auswertung von Studien werden in der Psychologie traditionell Null-Hypothesen Signifikanztests (NHST) verwendet. Dem gegenüber wird in dieser Arbeit die Bayes-Statistik erläutert und Bayes’sche Parameterschätzung und Bayes Faktoren mit frequentistischen Signifikanztests, insbesondere bei sogenannten Null-Effekten, verglichen. Mittels Bayes Faktoren lassen sich im Kontext der Bayes-Statistik Hypothesen prüfen, was insbesondere für den Vergleich von Original- und Replikationsstudien interessant ist: Die “Replication Bayes factors” werden dafür vorgestellt und für Mehrgruppen-Vergleiche hergeleitet. Anhand einer konkreten Replikationsstudie und der Literatur werden abschließend Empfehlungen für die Durchführung von Replikationsstudien gegeben. Hierbei sind insbesondere die gleichen Maßstäbe anzulegen wie bei Originalarbeiten. Die Arbeit endet mit einem Ausblick auf die weitere Entwicklung der Psychologie als wissenschaftliche Disziplin vor dem Hintergrund der Replizierbarkeitskrise.