Резултатите от масивнo проучване за повторяемост на резултатите в областта на психологията, публикувано миналата година, за някои са шокиращи: 60% от 100 експериментални резултата не можели да бъдат възпроизведени. Последният опит да се провери тази констатация за социалните науки, този път с изследвания в областта на експерименталната икономика – също констатира значителен брой неуспешни повторения. Въпреки че са следвали същите протоколи, каквито са използвани в оригиналните проучвания, учените не са успели да възпроизведат резултатите при около 40% от случаите.

„Смятам, че е успокояващо, че степента на повторяемост е доста висока“ – казва Майкъл Л. Андерсън, икономист в Университета на Калифорния, Бъркли, който не участва в проучването. Но той отбелязва, че по-голямата част от проблемите идват от изследвания, използващи 5% „р-стойност“ (стойност на вероятността), което предполага това, „което някои осъзнават, но малко са готови да обсъждат: приетият стандарт от 5% не е достатъчен, за да генерира възпроизводими резултати.“
Нашумелите проблеми с повторяемостта на психологическите изследвания предизвикаха промени в политиката на някои научни списания и изменени приоритети на много агенции за финансиране. Но степента на неуспех също е поставена под въпрос, тъй като повечето от оригиналните проучвания са възпроизведени само веднъж, често без стриктно спазване на оригиналния протокол.

Последният опит за репликация на изследванията в областта на социалните науки, включва 18 проучвания от експерименталната икономика. „Ние не искахме да подбираме проучвания субективно“ – казва водещият автор Колин Камерър, икономист от Калифорнийския технологичен институт в Пасадена. Затова, екипът определял критериите си в зависимост от експерименталната установка и дали проучването води до един централен резултат. Те прегледали статиите, публикувани от 2011 до 2014 в две от най-добрите издания в тази област: American Economic Review и Quarterly Journal of Economics и подбрали 18, които отговаряли на критериите им.
„Нашият подход беше много адвокатски“ – казва Камерър. Преди да започнат, учените съставили доклад за повторението на всяко проучване, в който разяснявали как ще бъде изпълнено и тълкувано. Докладът бил изпратен до авторите за обратна връзка. „Идеята е, че в ретроспекция никой не може да каже, че не сме били ясни или, че сме несправедливи. И всичко вървеше много добре“ – казва той. „За наша приятна изненада, всички автори бяха поласкани и щастливи, че ще възпроизведем тяхното проучване.“

Единадесет от 18-те повторения били успешни. „Нашият извод е, че степента на възпроизводимост е добра“ – казва Камерър, отбелязвайки, че темите на възпроизводимите изследвания отразяват „повечето от нещата, които изучава експериментални икономика и които се повтарят отново и отново: Съответни ли са цените на търсенето и предлагането? Има ли „ценови балони“ в изкуствените пазари? Дали хората допринасят за „обществените блага“, като дават част от собствените си средства, за да помогнат на групата?“

„Авторите бяха честни и колегиални“ – казва Хома Заргами, икономист от Barnard College в Ню Йорк, чието проучване от 2011 не е могло да бъде възпроизведено. „Те се погрижиха много внимателно и точно да възпроизведат нашето изследване като методика“ – казва тя. Но добавя, че провалът не означава, че резултатите от оригиналното проучване са фалшиво положителни.

Разбери повече за БГ Наука:

***

Проучването на Заргами и Джон Ифчер, от Университета на калифорния Санта Клара, се фокусира върху ефекта на щастието върху икономическите решения. За да предизвикат положителни емоции у субектите, те използвали клип на комика Робин Уилямс. По време на проучването Уилямс извършил самоубийство, така че емоционалното въздействие на видеото може да бъде смесено или дори негативно, казва Заргами. И още един объркващ фактор е публиката: в първоначалното проучване са участвали американци, докато в повторението са участвали британци.

„Не трябва да бъде изненадващо или обезкуражаващо, че значителен брой научни открития в различни сфери се оказват трудно възпроизводими“ – казва Ерик Луис Улман, икономист в бизнес училището INSEAD в Сингапур, който не е участвал в изследването. „Малките извадки не са точни и човешките популации са разнообразни.“ Решението е заключенията да се основават на множество опити, казва той. „Неуспехът да се възпроизведат резултатите следва да се счита за нормална част от науката.“

Превод: Росица Ташкова
Източник: http://www.sciencemag.org/