Автор: гл. ас. д-р Стефан Марков
Рубриката “Драмите в науката” е фокусирана върху актуални проблеми на науката като специфична дейност и мисловно поле. Изразените позиции ангажират само и единствено автора им гл. ас. д-р Стефан Марков от ИФС към БАН.
Социалните науки имат свой път, който често е доста различен от този, следван в домейна на естествените науки. (“Разделението естествени-социални-хуманитарни науки търпи много и основателни критики, но все пак дава обща представа и тук го ползваме за удобство.) Това поражда някои проблеми или трудности, които са специфични за въпросната научна сфера. Централна сред тях е „Кризата на възпроизводимостта“, която се отнася до до нарастващата тревога сред научната общност относно способността за репликиране или възпроизвеждане на резултатите от предишни изследвания. Това е основна тема на безпокойство в различни дисциплини, включително психология, медицина, икономика и други области. Факт е също, че и „най-проверимите“ естествени науки са понякога засегнати от проблема. Такъв е случаят например с „фермиона на Маджорана“ и последователното оттегляне на научни статии, публикувани в сферата на физиката на елементарните частици.
Ето и в резюме същността на проблема.
- Определение и обхват
Възпроизводимостта се отнася до способността на независим изследовател да възпроизведе резултатите от изследване, използвайки същите методи, данни и анализ, използвани в първоначалното такова. Репликируемостта е (почти) незначително по-различен проблем. Тя се отнася до получаване на консистентно потвърждаващи резултати в проучвания, целящи измерване на едно и също основно явление, но потенциално с различни методи, спрямо първоначалното.
Кризата с възпроизводимостта дава ясно да се види, че значителна част от научните изследвания и/или публикации вероятно не отговарят на строги научни критерии, което поставя под съмнение валидността на много научни открития. Изключително демотивиращо е да се счита, че изследванията може системно да дават изолирани резултати, които никой и при никакви условия не успява да постигне отново (дори и само още един път). Очевидно нещо в процеса е дълбоко ненаучно.
- Причини за кризата
Няколко фактора допринасят за кризата на възпроизводимостта/репликируемостта:
Пристрастие/отклонение на научните издания: Научните списания по правило предпочитат иновативни (и по възможност революционни) или положителни резултати, обезсърчавайки публикуването на репликиращи изследвания или отрицателни резултати. За да бъдат публикувани, учените често работят немарливо, откровено фалшифицират данни/методи/анализи или правят обобщения и изводи, които звучат гръмко и „научно съблазнително“, но не отразяват реалността.
P-Hacking: P-hacking се отнася до практиката на манипулиране (познато и като „масажиране“) на статистически данни, за да се постигне желан резултат или данните да се „разкрасят“ като по-значими, отколкото са в действителност. Има различни техники за тази цел – селективен избор кои данни да се включат или изключат, промяна на метода за анализ или коригиране на прага на значимост. Практиката се счита за форма на научна злоупотреба, тъй като може да доведе до неверни заключения и да подкопае целостта на изследването. Инициалът „P“ се отнася до p-стойността, която е статистическа мярка, използвана за определяне на вероятността наблюдаваният ефект да се дължи на случайност.P-Hacking-ът е изключително порочна практика и заслужава отделна публикация в тази рубрика.
Непълно докладване: Липсата на подробно методологично докладване може да затрудни или да направи невъзможно точното възпроизвеждане на изследване. Иначе казано, ако авторите на изследването и публикацията не са оповестили достатъчно ясно и подробно дизайна на проведеното изследване, както и самото му провеждане и последваща обработка, има вероятност друг екип да не е в състояние да повтори първоначалната постановка.
Неправилни стимули: Академичният натиск за често публикуване с цел осигуряване на финансиране и/или кариерно израстване може да доведе до прибързани или повърхностни изследвания. Както и често се случва в практиката. Желанието за „академичен блясък“ в научните среди също е част от арсенала с неподходящи стимули.
- Въздействие
Невъзможността научни изследвания да бъдат повторени има куп зловледни ефекти, като някои от тях дори е трудно да бъдат предвидени, тъй като можем да очакваме да настъпят едва много по-късно във времето. Но ето и съвсем кратък списък, без претенции за изчерпателност.
Доверие в науката: Научните открития следва да имат устойчивост, да бъдат повторяеми при всеки нов опит, дизайнът им да е ясен и прозрачен.Когато това не е се случва,общественото доверие в науката драматично се редуцира и в крайна сметка може да подкопае политическите решения, основани на научни доказателства. Ако социумът не вярва на учените, няма да вярва и на политиците, консултиращи се с тях.
Загубени ресурси: Невъзпроизводимите изследвания представляват загуба на ресурси и могат да подведат бъдещи изследователски усилия. Не всяко изследване е възможно да доведе до очакваните резултати и да потвърди първоначалните хипотези, но е от значение, винаги когато това се случи, учените да подходят научно и човешки етично, да признаят неуспеха си откровено и така, освен всичко друго, да посочат на колегите си кои потенциални научни пътеки не са плодотворни (най-вероятно), като по този начин спестят и тяхното време, както и бъдещи нови научни разходи.
Влошаване качеството на научните списания: Тенденцията на научните списания да публикуват само привлекателни и революционно звучащи изследвания е лош стимул за самите учени, но когато този стимул успее и да ги съблазни, те започват да представят за публикуване некачествена наука и крайният резултат става още по-опасен. Така научните издания започват да вярват, че получават каквото искат и засилват натиска си в същата посока, отрязвайки на практика много „валидна“, но „скучна“ наука, която не е рамкирана в тона на сензационната стилистика. В крайна сметка, науката започва да става все по-неадекватна, а това не може да е добре за никого.
- Отговори и решения
Ситуацията на този „фронт“ не е много обнадеждаващо, макар поетапно да се предприемат различни стъпки и инициативи за прекратяване на порочните практики. Ето няколко.
Отворени научни практики (отворена наука): Насърчаване на прозрачност чрез отворен достъп до данни, методи и код за анализ.
Инициативи за репликация: Някои списания и организации насърчават изследванията за репликация и предлагат специално признание или стимули за тях.
Предварителна регистрация: Предварително регистриране (пререгистриране) на дизайна на изследването и плана за анализ, за да се намали гъвкавостта при анализ на данни и p-хакване.
Промяна на стимулите: Пренастройване на академичните стимули, за да се даде приоритет на научната строгост и възпроизводимостта пред новостите или количеството на публикациите.
- Примери и забележителни изследвания
Проектът за възпроизводимост в психологията установява, че само около 36% от 100-те проучвания, които са били заложени за повторение, са дали статистически значими резултати. Казано по-просто, най-вероятно 64% от психологическите „изводи„ или „заключения“ са неверни. Може би, не „напълно“ неверни, може би не „винаги“ неверни, може би дори, не и „умишлено“ неверни. Но като цяло – все пак неверни. Много ясно свидетелство за размера на кризата в тази област.
Заключение
Кризата на възпроизводимостта и репликируемостта е изключително сложно и многофасетно предизвикателство пред съвременната наука. Ако искаме научната дейност да се отклони от тази грешна пътека, а социалните науки да започнат да си връщат доброто име, са необходими съзнателни и целенасочени усилия от твърде много въвлечени страни. За нещастие, някои от тези актьори в процеса имат разходящи се интереси и мотиви, което превръща задачата по координирането им в истински пъзел. Изследователи, списания, университети, академии, финансиращи организации и институции – всички те следва да намерят начин да постигнат единомислие и да започнат работа по изграждането и насърчаването на академична култура, ценяща прозрачността, научната прецизност и репликируемостта.
Литература
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349 (6251)
Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2 (8)
Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604), 452–454
Nosek, B. A., & Errington, T. M. (2020). What is replication? PLoS Biology, 18(3)
