Gescheiterte Replikationen replizieren: Ein validitätsbasierter Ansatz zur Vorhersage von Replikationserfolg
Verantwortlich
Dr. Marc Jekel marc.jekel[uk]uni-koeln.de
Weiter verantwortlich
Patrick Smela patrick.smela[uk]uni-koeln.de
Zeitraum
01.02.2022-31.01.2025
Förderung
Sozialpsychologie 1, Universität zu Köln
Beschreibung
Die Inkonsistenz eines statistisch signifikanten Ergebnisses in einer Originalstudie und eines nicht signifikanten Ergebnisses in der Replikationsstudie kann auf Probleme der Validität der statistischen Schlussfolgerung, der Konstruktvalidität, der internen Validität und der externen Validität in der Original- und der Replikationsstudie zurückzuführen sein. Während sich die Replikationsdebatte vor allem auf Probleme mit der Validität der statistischen Schlussfolgerung in Originalstudien bezog (z. B. überhöhte Alpha-Fehler aufgrund fragwürdiger Forschungspraktiken, überschätzte Effektgrößen aufgrund von Studien mit zu geringer Effektstärke in Kombination mit einem Publication-Bias), wurden Probleme mit den anderen Arten der Validität bis vor kurzem weitgehend vernachlässigt.
Im Rahmen des Projekts werden wir ein Modell des Machine-Learnings entwickeln, um den Replikationserfolg auf der Grundlage potenziell nichtlinearer Beziehungen zwischen den Eigenschaften von Original- und Replikationsstudien als Input-Variablen vorherzusagen. Die erste Klasse von Input-Variablen besteht aus Indikatoren für alle Arten von Validität, die für Original- und Replikationsstudien in einer umfangreichen Literaturübersicht kodiert wurden. Die zweite Klasse besteht aus den Einschätzungen von Expert dieser Studien: Wir werden die Autor von Original- und Replikationsstudien bitten, zu bewerten, inwieweit ihre Studien die verschiedenen Validitätsarten erfüllt haben. Darüber hinaus werden wir Autor mit einer "gescheiterten" Replikation bitten, die Gründe für die Nicht-Replikation in einem offenen Frageformat anzugeben. Wir werden das Modell nutzen, um Replikationsstudien zu identifizieren, die "gescheitert" sind, obwohl der vorhergesagte Replikationserfolg hoch ist. Als Wirksamkeitsnachweis des Machine-Learning-Modells und zur Demonstration unseres modellgesteuerten Ansatzes werden wir eine kleine Stichprobe dieser fehlgeschlagenen Replikationen auswählen und mit einem validitätsoptimierten Studiendesign replizieren. Die Kodierung der Original- und Replikationsstudien sowie die Einschätzungen der Autor dieser Studien werden in einer standardisierten Datenbank für Forscher, die an Meta-Wissenschaft über die (Nicht-)Replizierbarkeit von Forschungsergebnissen in der Psychologie interessiert sind, zur Verfügung gestellt.
