Wir veröffentlichen die Methode vor dem Ergebnis.
Jede Leistungs- und Validierungszahl auf dieser Website ist durch eine einsehbare Studie belegt. Jede ist vorregistriert und per Hash gesperrt, bevor Auswertungsdaten geöffnet werden, und wird mit Nenner, Konfidenzintervall und Fehlschlägen berichtet.
Veröffentlichte Studien
Methode
Vorregistrierung
Schwellen, Metriken, Nenner und Regellogik werden eingefroren und gehasht, bevor Auswertungsdaten abgerufen werden. Die Sperrdatei verweigert die Ausführung, wenn sich etwas geändert hat.
Holdout-Trennung
Kalibrierungs-, Validierungs- und Holdout-Mengen werden nach Organisation getrennt, nicht per Stichprobe. Die Holdout-Menge wird genau einmal geöffnet.
Fehlschläge werden berichtet
Abgebrochene Fälle, verfehlte Ziele und unterpowerte Achsen werden mit ihren Ursachencodes veröffentlicht. Eine Studie, die ihren geplanten Stichprobenumfang verfehlt, sagt das.