В 2005
Иоаннидис, который также имел диплом по статистике, математически доказал, что большинство научных статей, которые публикуются в профильных журналах, не являются достоверными. В
Если вы открыли губительное воздействие плесневого гриба на стафилококк, то коллега, который через неделю тоже захочет убить пару миллионов этих бактерий, должен получить аналогичный результат, причем на такой же или большей выборке. Тогда ваше исследование (если оно еще и важно для человечества) назовут «значимым».
Иоаннидис взял 49 медицинских работ, которые в течение последних 13 лет научное сообщество сочло наиболее значимыми, и отделил 45 из них, которые стали основой для дальнейших исследований коллег-медиков. Проанализировав результаты последних, он обнаружил, что для 16% значимых исследований попытка воспроизвести их провалилась (результаты противоречили первоначальным), еще 16% выдающихся открытий оказались раздутыми — описанные в первоначальной статье эффекты были выражены сильнее, чем зафиксировали последующие эксперименты. В 11% случаях попыток воспроизведения вообще не было, результаты коллег просто принимались на веру и вносились в дальнейшие опыты как константы. И лишь 44%, меньше половины значимых работ оказались воспроизводимыми.
Иоаннидис стал родоначальником полезного тренда. В последующие годы специалисты в нескольких различных
Преподаватель этой дисциплины, профессор из Университета Вирджинии Брайан Носек, собрал коллег и повторил с ними 100 известных психологических экспериментов —
Мартин Хаггер из австралийского университета Кертин, организовал сотрудников 24 лабораторий, чтобы проверить один из ключевых концептов психологии — «истощение эго», то есть конечность силы воли и отключение механизма самоконтроля при перегрузке мозга. Как сообщает один из членов команды,
Ученые — сдержанные люди и не обвиняют старших коллег в сознательной подтасовке результатов (хотя все прекрасно знают, насколько западная наука финансово зависима от громких открытий и их освещении в массовой прессе, все также в курсе суровых наказаний за фальсификацию данных, которые приняты в научном сообществе).
Если бы оказалось, что ученые жертвуют собственно наукой ради имиджа первооткрывателей и жирных грантов, это бы серьезно подкосило убеждения всей современной цивилизации, которая уповает на науку как на двигатель социального прогресса. Поэтому логично, что «проверяющие» облекают ошибки экспериментаторов в одежды научных же терминов и возлагают вину на редакторов рецензируемых научных журналов — чай не ученые, какой с них спрос.
«Журналы отдают предпочтение новизне, оригинальности и верификациям гипотез над точностью, строгостью методологии и воспроизводимостью. Они таже не особо обращают внимание на то, сложно ли подделать это исследование или нет, — говорит Мартин Хаггер, — поэтому немудрено, что ученые начинают склоняться в сторону тех исследований, которые обещают открыть нечто новое и могут быть проверены на маленькой выборке в незатратных экспериментах».
Редактор журнала с большей вероятностью публикует более «крутое» открытие
Иными словами, громкое «открытие», проверенное на небольшой группе образцов, попадает на передовицу журнала. Более поздние исследования, которые подтверждают его, публикуются где-то на последних страницах.
Сотрудники крупных исследовательских центров подвергаются еще одной опасности — обладая
Впрочем, не все потеряно, считает Иван Орански — научный журналист и контрибьютор
Кстати, о переживающих самую сильную обиду — психологах. Иоаннидис солидарен с Орански: «Психология — очень сильная методологически наука, ее специалисты идут в авангарде, когда речь идет об описании всевозможных искажений. Теперь у психологов есть шанс возглавить кампанию по улучшению качества научных знаний — пускай начнут с воспроизводимости собственных исследований».
Когда ученый меняет методики по своему желанию, это можно описать как схему «ввяжемся в драку, а там посмотрим по ситуации»: наблюдая очевидные вещи, автор эксперимента интуитивно подставляет те методы, которые могут превратить его в нечто осмысленное, а потом делает вид, что у него была гипотеза и она блестяще подтвердилась.
Pre-registering trials вынудят ученых использовать более широкую и репрезентативную выборку, а также делиться данными с коллегами, рассчитывая на взаимную помощь. Профессор нейропсихологии Дороти Бишоп из Оксфорда говорит, что несколько организаций уже прислушались к доводам сторонников pre-registering trials, и как только несколько рецензируемых журналов введут их в свои требования к публикациям, остальные последуют их примеру.
Очевидно, что сегодня каждая из наук должна разработать свои дополнительные механизмы проверки достоверности исследований. Хорошо, когда есть математик Иоаннидис с его объективным взглядом сверху, но вообще-то именно размышления ученых над собственными результатами, их корректировка и интерпретация являются ключевой частью научного процесса.
Носек, перепроверявший злополучные 100 исследований психологов, также рассматривает свою деятельность как нормальную составляющую научного процесса. «Наука — это не про правду и ложь, она про уменьшение неопределенности, — говорит он, — весь наш проект — это наука над наукой. От науки ждут, что она всегда будет выступать скептиком относительно своих собственных методов, ведь только так она может их улучшать».
| ||||||||||||