Praktik terbaik meningkatkan replikasi dalam studi perilaku sosial

ringkasan: Sebuah studi baru telah menghasilkan studi yang menunjukkan reproduktifitas temuan dalam ilmu perilaku sosial ketika praktik terbaik diterapkan.

Proyek enam tahun ini melibatkan penemuan dan replikasi 16 temuan baru menggunakan metode seperti praregistrasi dan ukuran sampel yang besar.

Penelitian ini menantang kekhawatiran sebelumnya mengenai keandalan literatur yang diterbitkan di bidang ini dengan menunjukkan tingkat kekambuhan rata-rata sebesar 97% dibandingkan dengan angka sebelumnya yang sekitar 50%.

Fakta-fakta kunci:

1. Studi ini melibatkan 120.000 peserta selama enam tahun, yang mengarah pada penemuan dan replikasi 16 fenomena baru dalam ilmu perilaku sosial.
2. Para peneliti menggunakan praktik terbaik seperti ukuran sampel yang besar, prapendaftaran, dan materi terbuka, dan mencapai tingkat replikasi sebesar 86% berdasarkan signifikansi statistik.
3. Desain inovatif proyek ini berkomitmen untuk mereplikasi semua studi terlepas dari hasil utamanya, mengatasi bias publikasi dan replikasi yang sering kali mendukung hasil positif.

sumber: Universitas California, Santa Barbara

Selama hampir dua dekade, laporan di tingkat komunitas telah muncul mengenai keandalan literatur yang diterbitkan dalam ilmu perilaku sosial, khususnya psikologi.

Beberapa penelitian berskala besar telah mencoba untuk mereproduksi hasil yang dipublikasikan sebelumnya namun tidak berhasil atau dalam volume yang jauh lebih kecil, sehingga menimbulkan pertanyaan mengenai keandalan hasil tersebut – dan penelitian di masa depan dalam ilmu perilaku sosial.

Namun, sekelompok pakar terkemuka di bidangnya telah menunjukkan bahwa ketika praktik terbaik digunakan, praktik tersebut akan sangat dapat ditiru.

Selama enam tahun, para peneliti di laboratorium di Universitas California di Santa Barbara, Universitas California di Berkeley, Universitas Stanford, dan Universitas Virginia menemukan 16 temuan baru dan mereplikasinya menggunakan praktik terbaik yang seolah-olah merupakan standar emas, termasuk prapendaftaran. , ukuran sampel yang besar, dan replikasi yang presisi.

Temuan mereka, dipublikasikan di Sifat perilaku manusia,telah menunjukkan bahwa dengan praktik terbaik, reproduktifitas tinggi dapat dicapai.

“Ini adalah bukti eksistensial bahwa kita dapat mulai menemukan temuan baru dan mereplikasinya pada tingkat yang sangat tinggi,” kata Jonathan Schooler, seorang profesor terkemuka di UC Santa Barbara, direktur Laboratorium META UCSF dan Pusat Kesadaran dan Potensi Manusia, dan senior pengarang. Dari kertas.

“Temuan utamanya adalah ketika Anda mengikuti praktik terbaik saat ini dalam melakukan dan mereplikasi studi perilaku sosial online, Anda dapat mencapai tingkat replikasi yang secara umum tinggi dan stabil.”

Hasil replikasi penelitian mereka rata-rata sebesar 97% dari hasil aslinya. Sebagai perbandingan, proyek replikasi sebelumnya telah memperoleh hasil replikasi sekitar 50%.

Peneliti utama dalam makalah ini adalah John Protzko dari META Lab di University of California, San Francisco, dan Central Connecticut State University (CCSU), John Krosnick dari Political Psychology Research Group di Stanford University, Leif Nelson dari Haas School of Bisnis di Universitas California, Berkeley, dan Brian Nosek, Berafiliasi dengan Universitas Virginia. Dia adalah direktur eksekutif Pusat Sains Terbuka yang independen.

“Ada banyak kekhawatiran selama beberapa tahun terakhir mengenai reproduktifitas banyak ilmu pengetahuan, namun psikologi adalah salah satu bidang pertama yang mulai menyelidiki masalah ini secara sistematis,” kata penulis utama Protzko, rekan peneliti di Schooler Lab, di mana dia berbasis.”. Peneliti pascadoktoral selama studi. Dia sekarang menjadi Asisten Profesor Ilmu Psikologi di CCSU.

“Pertanyaannya adalah apakah kegagalan replikasi sebelumnya dan ukuran efek yang rendah secara inheren tertanam dalam beragam bidang ilmiah yang saya amati. Misalnya, beberapa orang berspekulasi bahwa aspek inheren dari upaya ilmiah adalah bahwa hasil yang baru ditemukan dapat menjadi kurang dapat direplikasi atau menjadi lebih kecil seiring berjalannya waktu. .waktu.

Kelompok tersebut memutuskan untuk melakukan studi baru menggunakan praktik terbaik yang muncul dalam ilmu pengetahuan terbuka, dan kemudian mereplikasinya dengan desain inovatif di mana para peneliti berkomitmen untuk mengulangi studi konfirmasi awal, apa pun hasilnya.

Selama enam tahun, tim peneliti di setiap laboratorium mengembangkan penelitian yang kemudian direplikasi di semua laboratorium lainnya.

Secara total, koalisi menemukan 16 fenomena baru dan mereplikasi masing-masing fenomena sebanyak 4 kali dengan 120.000 peserta.

“Jika Anda menggunakan praktik terbaik dari sampel besar, prapendaftaran, dan bahan terbuka dalam menemukan sains baru, dan mereplikasi proses aslinya dengan ketelitian terbaik, Anda akan mendapatkan sains yang sangat mudah direproduksi.” Protsko mengatakan tentang hasilnya.

Salah satu inovasi besar yang diperkenalkan oleh penelitian ini adalah bahwa semua laboratorium yang berpartisipasi setuju untuk mengulangi studi konfirmasi awal, apa pun hasilnya.

Hal ini menghilangkan bias komunitas ilmiah yang biasanya hanya mempublikasikan dan mereplikasi hasil positif, yang mungkin berkontribusi pada peningkatan penilaian awal mengenai besarnya dampak di masa lalu.

Selain itu, pendekatan ini memungkinkan para peneliti untuk mengamati banyak kasus di mana desain penelitian gagal memberikan hasil yang signifikan sesuai pernyataan aslinya, dan kemudian mencapai efek yang dapat diandalkan ketika direplikasi di laboratorium lain.

Secara keseluruhan, proyek ini mengungkapkan tingkat kekambuhan yang sangat tinggi pada hasil perilaku sosial mereka, dan tidak ada bukti signifikan secara statistik mengenai penurunan kekambuhan.

Mengingat ukuran sampel dan ukuran efek, tingkat kekambuhan yang diamati sebesar 86%, berdasarkan signifikansi statistik, sangat tinggi, catat para peneliti.

Untuk menguji kebaruan temuan mereka, mereka melakukan tes independen terhadap ekspektasi masyarakat mengenai arah temuan baru dan penerapannya.

Beberapa survei lanjutan di mana peserta yang naif mengevaluasi deskripsi penelitian baru dan penelitian yang terkait dengan proyek replikasi sebelumnya tidak menemukan perbedaan dalam prediktabilitas masing-masing penelitian.

Oleh karena itu, keberhasilan penelitian ini bukan karena mereka menemukan hasil yang jelas dan diharapkan dapat ditiru. Faktanya, banyak temuan baru yang telah dipublikasikan secara independen di jurnal berkualitas tinggi.

“Tidaklah menarik untuk mengetahui bahwa mudah untuk meniru hasil yang sangat jelas,” kata Schooler.

“Tetapi penelitian kami memiliki faktor kejutan yang serupa dengan penelitian yang sulit ditiru di masa lalu.

“Hakim yang tidak terlatih yang menerima ringkasan dari dua kondisi dalam penelitian kami dan serangkaian penelitian dua kondisi serupa dari upaya replikasi sebelumnya juga merasa kesulitan untuk memprediksi arah temuan kami dibandingkan dengan temuan sebelumnya.”

Karena setiap laboratorium penelitian mengembangkan penelitiannya sendiri, penelitian tersebut berasal dari berbagai bidang sosial, perilaku, dan psikologis seperti pemasaran, psikologi politik, bias, dan pengambilan keputusan. Semuanya melibatkan subjek manusia dan mematuhi batasan tertentu, seperti tidak menggunakan penipuan.

“Kami benar-benar telah menyusun prosesnya sehingga masing-masing laboratorium beroperasi secara independen,” kata Protzko. “Mereka akan membahas topik-topik rutin yang mereka minati dan bagaimana mereka akan melakukan studi.”

Secara kolektif, penelitian ilmiah mereka memberikan bukti bahwa rendahnya reproduktifitas dan rendahnya dampak tidak dapat dihindari. Praktik yang meningkatkan ketelitian dapat menyebabkan tingkat kekambuhan yang sangat tinggi, namun penentuan praktik mana yang paling berhasil memerlukan studi lebih lanjut.

Pendekatan “wastafel dapur” dalam penelitian ini—menggunakan berbagai praktik untuk meningkatkan akurasi secara bersamaan—tidak mengisolasi dampak dari praktik tunggal apa pun.

Peneliti tambahan dalam penelitian ini adalah Jordan Axt (Departemen Psikologi, McGill University di Montreal, Kanada); Matt Burnett (Konsultasi Matt Burnett); Nicholas Butrick (Departemen Psikologi, Universitas Wisconsin-Madison), Matthew Dibble (Institut Penelitian Ilmu Sosial, Universitas Stanford), Charles R. Ebersol (Departemen Psikologi, Universitas Virginia), Sebastian Lundmark (SOM Institute, Universitas dari Gothenburg, Swedia); Bo McInnis (Departemen Komunikasi, Universitas Stanford), Michael O’Donnell (Sekolah Bisnis McDonough, Universitas Georgetown); Hannah Perfecto (Olin Business School, Universitas Washington di St. Louis); James E. Pustiowski (Departemen Psikologi Pendidikan, Universitas Wisconsin-Madison); Scott S. Roeder (Sekolah Bisnis Darla Moore, Universitas Carolina Selatan); Jan Walczyk (Laboratorium Fennoscience, Berlin, Jerman).

Tentang Berita Penelitian Perilaku Sosial

pengarang: Debra Herrick
sumber: Universitas California, Santa Barbara
komunikasi: Debra Herrick – Universitas California, Santa Barbara
gambar: Gambar dikreditkan ke Berita Neuroscience

Pencarian asli: Akses terbuka.
“Reproduksibilitas tinggi dari temuan perilaku sosial yang baru ditemukan dapat dicapai“Oleh Jonathan Schooler dkk. Sifat perilaku manusia

ringkasan

Reproduksibilitas tinggi dari temuan perilaku sosial yang baru ditemukan dapat dicapai

Kegagalan untuk mereplikasi bukti penemuan baru telah memaksa para ilmuwan mempertanyakan apakah ketidakandalan ini disebabkan oleh penerapan metode yang kurang optimal atau apakah metode yang dianggap ideal ternyata tidak optimal.

Makalah ini menyajikan penelitian yang dilakukan oleh empat laboratorium koordinator mengenai potensi reproduksibilitas 16 temuan eksperimental baru dengan menggunakan praktik peningkatan ketelitian: pengujian konfirmasi, ukuran sampel yang besar, prapendaftaran, dan transparansi metodologi.

Berbeda dengan upaya replikasi sistematis sebelumnya yang melaporkan tingkat replikasi rata-rata 50%, upaya replikasi di sini menghasilkan dampak yang diharapkan dari pengujian signifikansi (S<0,05) pada 86% uji coba, sedikit melebihi reproduktifitas maksimum yang diharapkan berdasarkan ukuran efek yang diamati dan ukuran sampel.

Ketika satu laboratorium mencoba mereplikasi efek yang ditemukan oleh laboratorium lain, ukuran efek yang direplikasi adalah 97% dari ukuran efek pada penelitian awal.

Tingkat kekambuhan yang tinggi ini membenarkan kepercayaan terhadap metode peningkatan presisi untuk meningkatkan reproduktifitas penemuan baru.