Френсіс Бекон, англійський філософ, який зробив внесок у розвиток наукового методу. Основоположник емпіризму.

Дослідники з університетів Брістоля і Ексетера з'ясували можливу причину появи великої кількості наукових робіт низької якості, з невеликими вибірками і не відтворюваними результатами. Математичне моделювання показало, що джерелом цієї проблеми можуть бути існуючі критерії грантодавців та орієнтованість наукових журналів на роботи, що відкривають нові ефекти. Автори вказують, що виправити стан справ можна, запровадивши більш жорсткі вимоги до статистичної значущості і вибірках публікацій, що вже зроблено в фізиці і геноміки. дослідження опубліковано в журналі PLoS Biology.

Відтворюваність - один з найважливіших критеріїв наукових результатів. Він визначає те, чи є який-небудь ефект (взаємозв'язок або кореляція), помічений вченими, загальною закономірністю, або ж це лише статистична флуктуація. Традиційно її оцінюють методами статистики, залучаючи поняття статистичної значущості і використовуючи якомога більші вибірки даних. Один з параметрів, p-рівень, показує те, наскільки ймовірним є отримати випадково той же ефект, що спостерігався авторами за умови, що насправді ніякого ефекту немає.

Нещодавно було опубліковано дослідження відтворюваності психологічних робіт, в якому група з 270 вчених заново досліджувала ефекти, описані в 100 статтях великих психологічних журналів. Виявилося, що більше половини всіх результатів не відтворюються. Детальніше про нього можна прочитати в нашому матеріалі . інші дослідники відзначають , Що дослідження з неврології та деяким іншим біомедичних тематиками мають невелику статистичної потужністю. Це призводить до публікації помилкових статей.

Автори нової роботи спробували з'ясувати, у чому причина появи таких «неякісних» статей. Для цього дослідники підійшли до проблеми з точки зору моделі адаптивної поведінки. Один з видів мотивації для вченого - матеріальне заохочення, в тому числі зарплата і гранти. Це заохочення часто залежить від наявності публікацій в високорейтингових журналах. Перед ученим стоїть завдання розподілити свої сили між пошуками нових ефектів і підтвердженням вже відомих, а також визначити, наскільки глибоко повинно бути опрацьовано дослідження, який розмір статистичної вибірки буде достатнім.

Дослідники побудували математичну модель, що дозволяє визначити оптимальний вибір для вченого «кар'єриста». Вона була заснована на вимогах грантових комітетів і включала в себе особливий параметр, який можна охарактеризувати як додатковий «бонус» вченому за роботи з великою часткою новизни. Допустимі параметри моделі визначалися з біомедичних мета-досліджень - на їх основі обчислювалося кількість публікованих статей при тій чи іншій стратегії, а також частка хибно-позитивних результатів.

Виявилося, що з ростом «бонуса» за новизну вченому з оптимальною кар'єрних стратегією стає вигідніше вкладати сили в основному в пошукові роботи. Починаючи з деякої величини «бонуса», частка робіт-підтверджень падає до нуля. Вчений виявляється в ситуації, коли для матеріального заохочення потрібно виконувати якомога більше поверхневих пошукових робіт з невеликою статистичної потужністю - це збільшує шанс помилково-позитивних результатів, які будуть опубліковані.

Результати пошуку оптимальної стратегії. По горизонтальній осі - «бонус» за новизну робіт. За вертикальної осі: a - частка пошукових робіт, b - розмір вибірки пошукових робіт, c - загальна кількість публікованих статей, d - частка робіт-підтверджень, e - потужність пошукових робіт, f - частка помилкових опублікованих робіт

Andrew D. Higginson et al. / PLoS Biology, 2016

Така «оптимальна» стратегія погана для розвитку наукового знання: хибно-позитивні результати змушують витрачати ресурси на роботи-підтвердження. Автори відзначають, що якби успішність кар'єри вченого визначалася не малою кількістю високорейтингових публікацій, то такої проблеми не виникало б. Зараз оцінка вчених в британському грантовому агентстві REF ґрунтується на чотирьох кращих публікаціях.

Дослідники пропонують методи боротьби з проблемою неякісних статей на основі власної моделі. В першу чергу, це підвищення вимог до статистичних вибірках і процедурам обробки результатів. Перші кроки в цьому напрямку вже робляться журналами. Так, Basic and Applied Social Psychology заборонив своїм авторам використовувати в статтях процедури перевірки статистичної значущості нульової гіпотези, щоб уникнути p-хакинга.

За словами авторів, найкращим для наукового прогресу є поєднання пошукових досліджень середньої глибини і великих робіт-підтверджень. «Наше дослідження дозволяє припустити, що вчені будуть вибирати таку стратегію, якщо фонди і комітети будуть винагороджувати їх за хорошу метрологію та важливі питання, а не за несподівані знахідки і розбурхують інтерпретації» - робить висновок Ендрю Хиггинсон, психолог з Ексетерського університету.

Важливо відзначити, що модель дослідників була побудована на даних біомедичних робіт. Захист від помилково-позитивних результатів активно використовується у фізиці елементарних частинок: для заяви про відкриття будь-якого ефекту потрібно статистична значимість експерименту в «п'ять сигм». Вона відповідає ймовірності випадкового спостереження ефекту, що відповідає одному шансу з 3,5 мільйона. Однак така статистична значимість вимагає неймовірно великих вибірок, часто неможливих для біомедичних досліджень.

Поняття «британські вчені» часто асоціюється з незвичайними і часто сумнівними роботами, які проводять взаємозв'язок між не пов'язаними явищами. У 2012 році дослідники з Великобританії відзначили , Що у британської науки є проблеми з якістю.

Володимир Корольов