Gescheiterte Replikationen replizieren: Ein validitätsbasierter Ansatz zur Vorhersage von Replikationserfolg

Verantwortlich

Dr. Marc Jekel marc.jekel[uk]uni-koeln.de

Weiter verantwortlich

Patrick Smela patrick.smela[uk]uni-koeln.de

Zeitraum

01.02.2022-31.01.2025

Förderung

Sozialpsychologie 1, Universität zu Köln

Beschreibung

Die Inkonsistenz eines statistisch signifikanten Ergebnisses in einer Originalstudie und eines nicht signifikanten Ergebnisses in der Replikationsstudie kann auf Probleme der Validität der statistischen Schlussfolgerung, der Konstruktvalidität, der internen Validität und der externen Validität in der Original- und der Replikationsstudie zurückzuführen sein. Während sich die Replikationsdebatte vor allem auf Probleme mit der Validität der statistischen Schlussfolgerung in Originalstudien bezog (z. B. überhöhte Alpha-Fehler aufgrund fragwürdiger Forschungspraktiken, überschätzte Effektgrößen aufgrund von Studien mit zu geringer Effektstärke in Kombination mit einem Publication-Bias), wurden Probleme mit den anderen Arten der Validität bis vor kurzem weitgehend vernachlässigt. Im Rahmen des Projekts werden wir ein Modell des Machine-Learnings entwickeln, um den Replikationserfolg auf der Grundlage potenziell nichtlinearer Beziehungen zwischen den Eigenschaften von Original- und Replikationsstudien als Input-Variablen vorherzusagen. Die erste Klasse von Input-Variablen besteht aus Indikatoren für alle Arten von Validität, die für Original- und Replikationsstudien in einer umfangreichen Literaturübersicht kodiert wurden. Die zweite Klasse besteht aus den Einschätzungen von Expert*innen dieser Studien: Wir werden die Autor*innen von Original- und Replikationsstudien bitten, zu bewerten, inwieweit ihre Studien die verschiedenen Validitätsarten erfüllt haben. Darüber hinaus werden wir Autor*innen mit einer "gescheiterten" Replikation bitten, die Gründe für die Nicht-Replikation in einem offenen Frageformat anzugeben. Wir werden das Modell nutzen, um Replikationsstudien zu identifizieren, die "gescheitert" sind, obwohl der vorhergesagte Replikationserfolg hoch ist. Als Wirksamkeitsnachweis des Machine-Learning-Modells und zur Demonstration unseres modellgesteuerten Ansatzes werden wir eine kleine Stichprobe dieser fehlgeschlagenen Replikationen auswählen und mit einem validitätsoptimierten Studiendesign replizieren. Die Kodierung der Original- und Replikationsstudien sowie die Einschätzungen der Autor*innen dieser Studien werden in einer standardisierten Datenbank für Forscher*innen, die an Meta-Wissenschaft über die (Nicht-)Replizierbarkeit von Forschungsergebnissen in der Psychologie interessiert sind, zur Verfügung gestellt.

Description

The inconsistency of a statistically significant result in an original study and a non-significant result in its replication study can be due to problems with statistical conclusion validity, construct validity, internal validity, and external validity in the original and replication study. While problems with statistical conclusion validity in original studies have been the main focus in the replication debate (e.g., inflated alpha-errors due to questionable research practices, inflated effect sizes due to under-powered studies in combination with publication bias), problems concerning the other types of validity have been largely neglected until recently. In the project, we will develop a model from machine learning to predict replication success based on potentially non-linear relations of properties of original and replication studies as input variables. The first class of input variables consists of indicators of all types of validity coded for original and replication studies in an extensive literature review. The second class consists of assessments from the experts of those studies: We will ask authors of original and replication studies to rate to which extent their studies achieved the different types of validities. In addition, we will ask authors with a “failed” replication to indicate reasons for non-replication in an open question format. We will use the model to identify replication studies that “failed” although the predicted replication success is high. As a concept-of-proof for the machine learning model and to demonstrate our model-driven approach, we will select and replicate a small sample of those failed replications using a validity-optimized study design. The coding of original and replication studies as well as the assessments from the authors of these studies will be made available in a standardized database for researchers interested in meta-science on the (non-)replicability of research results in psychology.