Эта книга сделает вас умнее

Воспроизводимость

БРАЙАН КНУТСОН

Доцент кафедры психологии и нейробиологии Стэнфордского университета

Поскольку заезжие отшельники и брахманы предлагали жителям города противоречивые советы, жители обратились к Будде, которому доверяли. Будда сказал: «Когда вы сами убедитесь, что выполнение определенных правил ведет к благополучию и счастью, то живите и действуйте соответственно». Странно услышать такой эмпирический совет из уст религиозного лидера, а не ученого.

«Убедись сам» – негласное кредо науки. Недостаточно просто поставить эксперимент и сделать доклад об открытии. Те, кто повторит эксперимент, должны получить такой же результат. Эксперименты, которые можно повторить, называют воспроизводимыми. Хотя ученые молчаливо уважают воспроизводимость, открыто ее не восхваляют.

В определенном смысле это понятно. Наша нервная система приспособлена реагировать на быстрые изменения – едва заметное мелькание или накатывающее возбуждение. Концентрация на быстрых изменениях имеет адаптивный смысл – зачем тратить энергию на прошлые возможности или угрозы? Но перед лицом постепенно развивающихся проблем подобная стратегия может быть губительной (подумайте о лангустах в кастрюле или о людях под парниковыми газами).

Культура тоже способствует концентрации внимания на изменениях. Некоторые известные научные журналы (и даже целые области) делают упор на новизну, считая воспроизведение результатов неинтересным и недостойным публикации. Ученых часто оценивают на основании новизны их работы, а не того, какие чужие результаты они смогли подтвердить. Все более популярный индекс Хирша отражает цитируемость работ ученого. Он показывает, что ученый опубликовал h работ, которые процитировали h или более раз (например, если Джо Блоу имеет индекс Хирша 5 – значит, у него пять работ, каждую из которых процитировали пять или более раз). Хотя рейтинг цитируемости отражает влиятельность ученых в некоторых областях (например, физике), с ним могут возникать проблемы. Например, доктор Блоу может раздуть свой индекс, публикуя противоречивые (а значит, часто цитируемые), но невоспроизводимые результаты.

Почему в дополнение к индексу Хирша не ввести индекс воспроизводимости (r)? Он мог бы показывать, что ученый описал r отдельных результатов, которые воспроизвели r или более раз. (Тогда, например, если у Сьюзи Шарп r-индекс будет 5, значит, она описала пять независимых эффектов, каждый из которых другие авторы воспроизвели пять или более раз.) Индекс воспроизводимости будет меньше, чем индекс Хирша, потому что результат сначала нужно опубликовать, чтобы другие могли его воспроизвести. Но он будет давать определенную информацию о качестве исследований. Как и индекс Хирша, r мог бы использоваться в журналах и разных дисциплинах и способствовать более охотной публикации воспроизведенных результатов.

Для общественности индекс воспроизводимости может быть еще полезнее. Исследователи, работающие в лаборатории, хорошо знают, что большая часть идей не дает результата, а те результаты, что все же получаются, часто объясняются случайностью или излишне свободной интерпретацией. Они также знают, что воспроизводимость показывает, что они действительно натолкнулись на нечто стоящее. Но с общественностью дело обстоит совсем не так. Те, кто узнают о научных новостях из СМИ, очень удивляются, когда недавнее открытие опровергается новыми результатами. Концепция воспроизводимости поможет осознать, как благодаря кумулятивному вкладу многих ученых у нас медленно накапливаются знания. Интересно также применить эту концепцию к интервенциям в области общественной политики, направленным на улучшение здравоохранения, образования и криминальной обстановки. Можно даже применить критерии воспроизводимости для оптимизации личных привычек (режим питания, упражнения, работа и т. д.).

Воспроизводимость результатов нужно всячески поощрять. Хотя ее часто считают чем-то само собой разумеющимся, она скорее исключение, чем правило. Подобно текущей воде, очищающей камни, она поможет выделить наиболее надежные открытия, самых талантливых ученых, самые лучшие журналы и самые интересные области. В более широком смысле концепция воспроизводимости является незаменимым инструментом для оценки личного и общественного поведения.