Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - читать бесплатно онлайн полную версию книги автора Стюарт Ричи (ч. notes)

Примечания

1

Morris С. et al. Paedogeddon! // Brass Eye. Series 2. Episode 1. 26 July 2001.

2

Перевод С. Красильщикова.

3

Bacon F. Novum Organum. New York: P. F. Collier & Son, 1620/1902. [Бэкон Ф. Новый Органон // Соч. в 2-х т. Т. 2. М.: Мысль, 1972.]

4

Bem D. J. Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect. Journal of Personality and Social Psychology. 100, no. 3 (2011): 407–25.

5

Студенты также обладали обратной способностью: когда за одним из занавесов скрывалась жестокая картинка, они психически дистанцировались от нее, выбирая соответствующее изображение лишь в 48,3 % случаев – отличие от результата, который должен был бы получиться при чистом угадывании, опять-таки оказалось статистически значимым.

6

Aldhous P. Journal Rejects Studies Contradicting Precognition. New Scientist. 5 May 2011.

7

The Colbert Report. Time Travelling Porn – Daryl Bem. 2011.

8

После еще нескольких отказов мы в конце концов опубликовали статью в другом научном журнале: Ritchie S. J. et al. Failing the Future: Three Unsuccessful Attempts to Replicate Bem’s “Retroactive Facilitation of Recall” Effect. PLOS ONE. 7, no. 3 (2012): e33423. Примечательно, что отклонивший нашу статью журнал опубликовал критические замечания, касающиеся статистического анализа в исследовании Бема (Wagenmakers E.-J. et al. Why psychologists must change the way they analyze their data: the case of psi: comment on Bem (2011). Journal of Personality and Social Psychology. 100, no. 3 (2011): 426–32), а также ответ Бема и его коллег (Bem D. J. et al. Must psychologists change the way they analyze their data? Journal of Personality and Social Psychology. 101, no. 4 (2011): 716–9). И все равно редколлегия журнала не собиралась рассматривать возможность публикации статьи о попытке повторить исходное исследование. Дальше мы увидим, что редакторы журнала с тех пор пересмотрели свое отношение к этой важнейшей проблеме.

9

Stapel D. A., Lindenberg S. Coping with Chaos: How Disordered Contexts Promote Stereotyping and Discrimination. Science. 332, no. 6026 (2011): 251–3.

10

Ball P. Chaos Promotes Stereotyping. Nature. 7 April 2011; Phillips N. Where There’s Rubbish There’s Racism. Sunday Morning Herald. 11 April 2011.

11

Stapel D. A., Lindenberg S. Coping with Chaos.

12

Levelt Committee et al. Flawed Science: The Fraudulent Research Practices of Social Psychologist Diederik Stapel [English Translation]. 28 Nov. 2012.

13

Stapel D. A. Faking Science: A True Story of Academic Fraud. Tr. Brown N. J. L. Strasbourg, France, 2014, 2016. http://nick.brown.free.fr/stapel

14

Там же.

15

Действительно, научный прогресс зависит от нашей способности находить допущенные ранее ошибки и недоработки. Например, в начале XX века физики осознали, что классическая механика Ньютона, долгое время считавшаяся универсальной, не может объяснить поведение очень маленьких и очень быстрых частиц, и тогда разработали квантовую механику. Обсуждение этого вопроса с точки зрения измеримых величин вроде скорости света и постоянной Планка см. здесь: Milton M. J. T., Possolo A. Trustworthy Data Underpin Reproducible Research. Nature Physics. 16, no. 2 (2020): 117–9.

16

Я нашел единственный пример – вот эту статью, которая была опубликована спустя долгое время после разоблачения мошенничества Стапела, хотя само исследование проводилось до того: IJzerman H. et al. Perceptual Effects of Linguistic Category Priming: The Stapel and Semin (2007) Paradigm Revisited in Twelve Experiments. Acta Psychologica. 157 (2015): 23–9. Больше о затяжных попытках опубликовать это исследование (что кое в чем напоминает мой собственный опыт с работой Бема) написано здесь: Zwaan R. When Replicating Stapel is not an Exercise in Futility. Zeitgeist. 18 Jan. 2015.

17

Цитируется по: Engber D. Daryl Bem Proved ESP Is Real: Which Means Science Is Broken. Slate. 7 June 2017.

18

Классический пример такой книги: Sagan C. The Demon-Haunted World: Science as a Candle in the Dark. New York: Ballantine Books, 1997. [Саган К. Мир, полный демонов. Наука – как свеча во тьме. М.: АНФ, 2021.]

19

В этой книге я рассматриваю множество сучков в глазах других ученых, поэтому – если вы простите мне минутку самоанализа – правильно будет проверить наличие любых потенциальных бревен в собственном глазу. За годы, прошедшие с моих попыток воспроизвести результаты Бема, у меня вышло много статей на разные темы, хотя преимущественно все-таки про человеческий интеллект, интересующий меня больше всего. В первую очередь нужно сказать, что я никогда умышленно не подделывал результаты. Однако глупо было бы думать, что я неуязвим для предубеждений. Они часто – или, возможно, обычно – бессознательны, и история некоего исследования легко переписывается так, что начинает казаться, будто исходно вы именно таким его и задумывали. Хорошо, что я опубликовал немало отрицательных результатов, то есть статей, в которых не было найдено подтверждений основной гипотезе. См., например: Ritchie S. J. et al. Polygenic Predictors of Age-Related Decline in Cognitive Ability. Molecular Psychiatry. 25 (2020): 2584–98; а также мою самую первую научную публикацию: Ritchie S. J. et al. Irlen Colored Overlays Do Not Alleviate Reading Difficulties. Pediatrics. 128, no. 4 (2011): e932–8. Опять-таки мне легко можно возразить, что в этой моей дебютной статье с отрицательными результатами изучалась слишком маленькая выборка и потому реальные эффекты могли быть упущены (см. обсуждение статистической мощности в пятой главе). Некоторые мои статьи подвергались справедливой критике других ученых, например, когда я вляпался в переподгонку (об этом феномене мы поговорим в четвертой главе). См. Bailey D. H., Littlefield A. K. Does Reading Cause Later Intelligence? Accounting for Stability in Models of Change. Child Development. 88, no. 6 (2017): 1913–21. Я даже опубликовал статью о гене-кандидате, использовав метод, по которому мы пройдемся в пятой главе. См. Ritchie S. J. et al. Alcohol Consumption and Lifetime Change in Cognitive Ability: A Gene × Environment Interaction Study. AGE. 36, no. 3 (2014): 9638. И почти наверняка я виновен в подверженности хайпу: в некоторых беседах с журналистами о науке я позволял себе слишком вольные формулировки или позже – все мы крепки задним умом – сожалел, что не добавил какие-то ценные замечания и не сделал важные оговорки. И я совершил ошибку, утверждая, что “опубликованы сотни рецензированных статей на эту тему”, как будто это служит индикатором правды. И что касается рецензирования: уж точно были случаи, когда я не посвящал статье, которую рецензировал, должного количества времени и мог нечаянно пропустить какие-то ошибки. Нисколько не сомневаюсь, что в будущем вскроются еще какие-нибудь мои оплошности или упущения.

20

Перевод О. Артемьевой. Цит. по: Своеволие философии: собрание философских эссе. М.: ЯСК, 2019.

21

Hume D. Of Essay-Writing // Essays: Moral, Political, and Literary. Indianapolis: Liberty Fund, 1777.

22

Sokal A., Bricmont J. Intellectual Impostures. London: Profile Books, 1998, 2003.

23

Mill J. S. On Liberty. London: Dover Press, 1859. [Милль Дж. С. О свободе // Антология мировой либеральной мысли (I половины XX века). М.: Прогресс-Традиция, 2000.]

24

Перевод А. Неведомского.

25

Longino H. E. Science as Social Knowledge. Princeton: Princeton University Press, 1990. См. также Longino H. The Social Dimensions of Scientific Knowledge. The Stanford Encyclopedia of Philosophy. Summer 2019; Reiss J., Sprenger J. Scientific Objectivity. The Stanford Encyclopedia of Philosophy. Winter 2017.

26

Это утверждение я делаю под влиянием идеи специалистов по эволюционной теории Уго Мерсье и Дэна Спербера, согласно которой основная функция человеческого мышления как такового состоит в том, чтобы придумать, как лучше всего убедить других людей. См. Mercier H., Sperber D. Why Do Humans Reason? Arguments for an Argumentative Theory. Behavioral and Brain Sciences. 34, no. 2 (2011): 57–74.

27

McDougall-Waters J. et al. Philosophical Transactions: 350 Years of Publishing at the Royal Society (1665–2015). London: Royal Society, 2015. Некоторые историки возразили бы, что первым научным журналом следует считать французское издание Le Journal des sçavans, вышедшее в 1665 году всего за два месяца до Philosophical Transactions. Однако в нем публиковались статьи по огромному числу разных ученых тем и поначалу – в основном книжные рецензии и отрывки. Тогда как Philosophical Transactions исходно был посвящен главным образом научным новостям и наблюдениям. Наверное, справедливее было бы признать Le Journal des sçavans первым академическим изданием, а Philosophical Transactions – первым научным. См. McCutcheon R. P. The “Journal Des Scavans” and the “Philosophical Transactions of the Royal Society”. Studies in Philology. 21, no. 4 (1924): 626–8; Banks D. Thoughts on Publishing the Research Article over the Centuries. Publications. 6, no. 1 (2018): 10.

28

David P. A. The Historical Origins of “Open Science”: An Essay on Patronage, Reputation and Common Agency Contracting in the Scientific Revolution. Capitalism and Society. 3, no. 2 (2008): 5.

29

Hooke R. A Spot in One of the Belts of Jupiter. Philosophical Transactions. 1 (1665): 3.

30

В 1900 году он был разделен на два журнала: один по математике и физическим наукам, другой по наукам биологическим. См. https://royalsocietypublishing.org/journal/rstl.

31

Ware M., Mabe M. The STM Report: An Overview of Scientific and Scholarly Journal Publishing. The Hague, Netherlands: International Association of Scientific, Technical and Medical Publishers, 2015.

32

Обратите внимание, что до середины XVIII века, когда журнал Philosophical Transactions стал официальным изданием Королевского общества, он издавался разными отдельными исследователями и составителями.

33

Большинство журнальных статей – они называются “экспериментальными” – сообщают о новых результатах исследований, но некоторые являются “обзорными” статьями, обобщающими все, что уже известно по какому-то конкретному научному вопросу.

34

www.nih.gov и www.nsf.gov. Похожие организации в других странах: Государственное агентство исследований и инноваций Великобритании (UK Research and Innovation; www.ukri.org), Национальный фонд естественных наук Китая (National Natural Science Foundation of China; www.nsfc.gov.cn/english/site_1/index.html), Японское общество содействия науке (Japan Society for the Promotion of Science; www.jsps.go.jp/english). См. также https://wellcome.ac.uk/ и www.gatesfoundation.org.

35

Например, в некоторых научных журналах раздел “Методы” помещается в самый конец статьи, будто бы эта важнейшая информация – всего лишь второстепенное дополнение.

36

www.sciencemag.org/site/feature/contribinfo/faq/index.xhtml#pct_faq

37

Csiszar A. Peer Review: Troubled from the Start. Nature. 532, no. 7599 (2016): 306–8.

38

Цитируется по: Baldwin M. Scientific Autonomy, Public Accountability and the Rise of “Peer Review” in the Cold War United States. Isis. 109, no. 3 (2018): 538–58.

39

Там же.

40

https://shitmyreviewerssay.tumblr.com

41

Стоит отметить, что эти правила касаются научного поиска и анализа, они не имеют отношения к этическим нормам, которые все ученые также должны принимать во внимание. Эти правила, пожалуй, особенно важны для тех, кто проводит исследования на людях (или других животных), а еще для тех, кто работает с потенциально опасными технологиями или чьи эксперименты способны нанести экологический либо иной вред.

42

Merton R. K. The Normative Structure of Science (1942) // The Sociology of Science: Empirical and Theoretical Investigations. Chicago and London: University of Chicago Press, 1973.

43

Darwin Correspondence Project, Letter no. 2122, 9 July 1857. www.darwinproject.ac.uk/letter/DCP-LETT-2122.xml

44

Вообще Мертон назвал коллективизм “коммунизмом”, но этот термин, скажем так, имеет иные коннотации. В последующих работах название сменилось на “коллективизм”, им я здесь и пользуюсь. См., например: Anderson M. S. et al. Extending the Mertonian Norms: Scientists’ Subscription to Norms of Research. Journal of Higher Education. 81, no. 3 (2010): 366–93.

45

Мертон упоминает нелюдимого Генри Кавендиша, физика и химика, жившего в XVIII веке, как исторического нарушителя этой нормы: тот скрыл от мира множество своих важных экспериментов и теорий из чистой застенчивости, и лишь много позже его смерти эти результаты были получены заново.

46

Best N. W. Lavoisier’s “Reflections on Phlogiston” I: Against Phlogiston Theory. Foundations of Chemistry. 17, no. 2 (2015): 137–51.

47

Dawkins R. The God Delusion. London: Bantam Books, 2006. [Докинз Р. Бог как иллюзия. М.: КоЛибри, 2018.]

48

Перевод Н. Смелковой.

49

Planck M. Scientific Autobiography and Other Papers. London: Williams & Norgate, Ltd., 1949. [См., например: Планк М. Научная автобиография. УФН. 64, № 4 (1958): 625–37.]

50

Popper K. The Logic of Scientific Discovery. London & New York: Routledge Classics, 1959/2002. [Поппер К. Логика научного исследования // Поппер К. Логика и рост научного знания. М.: Прогресс, 1983.]

51

Перевод В. Брюшинкина.

52

Подобное повторение опыта, хоть и проведенное лет на сто позже, изображено – в драматическом свете – на картине Джозефа Райта (Райта из Дерби) “Эксперимент с птицей в воздушном насосе”, сейчас находящейся в Лондонской национальной галерее.

53

Boyle R. The New Experiments Physico-Mechanical, Touching the Spring of the Air and Its Effects. London: Miles Flesher, 1682. Цит. по: Shapin S., Schaffer S. Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life. Princeton: Princeton University Press, 1985.

54

Shapin S., Schaffer S. Leviathan.

55

Перевод М. Лозинского.

56

Nosek B. A. et al. Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability. Perspectives on Psychological Science. 7, no. 6 (2012): 615–31.

57

Kahneman D. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011. [Канеман Д. Думай медленно… решай быстро. М.: АСТ, 2013.]

58

Neely J. Semantic Priming Effects in Visual Word Recognition: A Selective Review of Current Findings and Theories // Basic Processes in Reading: Visual Word Recognition. Abingdon: Routledge, 2012.

59

Zhong C. B., Liljenquist K. Washing Away Your Sins: Threatened Morality and Physical Cleansing. Science. 313, no. 5792 (2006): 1451–2.

60

Vohs K. D. et al. The Psychological Consequences of Money. Science. 314, no. 5802 (2006): 1154–6.

61

Там же.

62

Перевод “Школы перевода Баканова”.

63

Kahneman D. Thinking, Fast and Slow.

64

Насколько мне известно, термин происходит из статьи Пашлера и Вагенмэйкерса, которые не использовали словосочетание “кризис воспроизводимости” впрямую, но говорили о “кризисе доверия” в психологических исследованиях после серии неудавшихся повторений. Нельсон, Симмонс и Саймонсон обсуждали причины возникновения кризиса. См. Pashler H., Wagenmakers E.-J. Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? Perspectives on Psychological Science. 7, no. 6 (2012): 528–30; Nelson L. D. et al. Psychology’s Renaissance. Annual Review of Psychology. 69, no. 1 (2018): 511–34.

65

Bargh J. A. et al. Automaticity of Social Behavior: Direct Effects of Trait Construct and Stereotype Activation on Action. Journal of Personality and Social Psychology. 71, no. 2 (1996): 230–44.

66

Количество цитирований (точное число – 5208) дано по состоянию на январь 2020 года в соответствии с Google Scholar.

67

Doyen S. et al. Behavioral Priming: It’s All in the Mind, but Whose Mind? PLOS ONE. 7, no. 1 (2012): e29081.

68

Earp B. D. et al. Out, Damned Spot: Can the “Macbeth Effect” Be Replicated? Basic and Applied Social Psychology. 36, no. 1 (2014): 91–8. Эффект денежного прайминга: Klein R. A. et al. Investigating Variation in Replicability: A “Many Labs” Replication Project. Social Psychology. 45, no. 3 (2014): 142–52.

69

Исходное исследование: Williams L. E., Bargh J. A. Keeping One’s Distance: The Influence of Spatial Distance Cues on Affect and Evaluation. Psychological Science. 19, no. 3 (2008): 302–8. Повторение: Pashler H. et al. Priming of Social Distance? Failure to Replicate Effects on Social and Food Judgments. PLOS ONE. 7, no. 8 (2012): e42510.

70

Исходное исследование: Zarkadi T., Schnall S. “Black and White” Thinking: Visual Contrast Polarizes Moral Judgment. Journal of Experimental Social Psychology. 49, no. 3 (2013): 355–9. Повторение: IJzerman H., Laine P.-J. Does Background Color Affect Moral Judgment? Three Pre-Registered Replications of Zarkadi and Schnall’s (2012) Study 1. Preprint, PsyArXiv (30 July 2018).

71

Для прайминга “отвращением” экспериментаторы часто делали так, чтобы в помещении дурно пахло. Поэтому исследования на эту тему особенно примечательны: во многих статьях психологам приходилось с непроницаемым видом разглагольствовать об эффектах “спрея с запахом кишечных газов”, а в одной работе авторы невозмутимо обсуждали “патентованный одорант под названием «Жидкая задница»”. О средстве “Жидкая задница” см. Adams T. G. et al. The Effects of Cognitive and Affective Priming on Law of Contagion Appraisals. Journal of Experimental Psychopathology. 3, no. 3 (2012): 473. Обзор этого направления исследований: Landy J. F., Goodwin G. P. Does Incidental Disgust Amplify Moral Judgment? A Meta-Analytic Review of Experimental Evidence. Perspectives on Psychological Science. 10, no. 4 (2015): 518–36.

72

McCook A. “I Placed Too Much Faith in Underpowered Studies”: Nobel Prize Winner Admits Mistakes. Retraction Watch. 20 Feb. 2017. Еще Канеман написал открытое письмо, адресованное социальным психологам, в котором сообщил, что узрел “угрозу катастрофы”, и призвал их изменить свой подход к исследованиям; см. тут: https://go.nature.com/2T7A2NV.

73

Carney D. R. et al. Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance. Psychological Science. 21, no. 10 (2010): 1363–8.

74

На момент написания этой книги в феврале 2020 года общее количество просмотров на сайте TED составляло 56 миллионов, а на YouTube – еще 17,6 миллиона. Выступление исходно называлось “Язык тела формирует вашу личность”, но затем, когда грянул кризис воспроизводимости, оно было переименовано и стало называться “Язык тела может формировать вашу личность”. Cuddy A. Your Body Language May Shape Who You Are. TEDGlobal 2012. June 2012.

75

Cuddy A. J. C. Presence: Bringing Your Boldest Self to Your Biggest Challenges. New York: Little, Brown and Company, 2015. Цитаты взяты с издательского сайта: www.littlebrown.com/titles/amy-cuddy/presence/9780316256575.

76

Khaleeli H. A Body Language Lesson Gone Wrong: Why is George Osborne Standing like Beyoncé? The Guardian. 7 Oct. 2015.

77

Ranehill E. et al. Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women. Psychological Science. 26, no. 5 (2015): 653–6. С тех пор дебаты по поводу поз силы только набирали обороты. Авторы обзора 2017 года заключили, что эффекты поз силы – это “предположения, на данный момент не имеющие эмпирических обоснований”. См. Simmons J. P., Simonsohn U. Power Posing: P-Curving the Evidence. Psychological Science. 28, no. 5 (2017): 687–93. Кадди парировала своим собственным обзором, где отмечался-таки общий эффект, хотя позже и было показано, что – наряду с другими проблемами подобных исследований – большинство результатов в статьях, на которые она ссылалась, объяснялись, вероятно, отрицательным эффектом ссутуливания, нежели чем положительным воздействием поз силы. См. Cuddy A. J. C. et al. P-Curving a More Comprehensive Body of Research on Postural Feedback Reveals Clear Evidential Value for Power-Posing Effects: Reply to Simmons and Simonsohn (2017). Psychological Science. 29, no. 4 (2018): 656–66. Про ссутуливание см. Credé M. A Negative Effect of a Contractive Pose is not Evidence for the Positive Effect of an Expansive Pose: Commentary on Cuddy, Schultz, and Fosse (2018). SSRN. 2018.

78

Zimbardo P. The Lucifer Effect: How Good People Turn Evil. London: Rider, 2007. [Зимбардо Ф. Эффект Люцифера. Почему хорошие люди превращаются в злодеев. М.: АНФ, 2013.]

79

Milgram S. Behavioral Study of Obedience. Journal of Abnormal and Social Psychology. 67, no. 4 (1963): 371–8. Эксперименты Милгрэма тоже подвергались справедливой критике. Чем сильнее участники верили, что действительно бьют “учеников” током, тем с меньшей вероятностью повышали разряд. Об этом см., например: Perry G. et al. Credibility and Incredulity in Milgram’s Obedience Experiments: A Reanalysis of an Unpublished Test. Social Psychology Quarterly. 83, no. 1 (2020): 88–106.

80

Zimbardo P. Our inner heroes could stop another Abu Ghraib. The Guardian. 29 Feb. 2008.

81

Fromm E. The Anatomy of Human Destructiveness. New York: Holt, Rinehart and Winston, 1975. [Фромм Э. Анатомия человеческой деструктивности. М.: АСТ, 2004.]

82

Le Texier T. Debunking the Stanford Prison Experiment. American Psychologist. 74, no. 7 (2019): 823–39.

83

Дебаты продолжаются, и Зимбардо ответил на критику. См., например: Zimbardo P. Philip Zimbardo’s Response to Recent Criticisms of the Stanford Prison Experiment. 23 June 2018. См. также ответ Ле Тексье на более позднюю версию заявления Зимбардо (на момент написания этой книги – еще не опубликованную): Le Texier T. The SPE Remains Debunked: A Reply to Zimbardo and Haney (2020). Preprint, PsyArXiv (24 Jan. 2020).

84

Open Science Collaboration. Estimating the Reproducibility of Psychological Science. Science. 349, no. 6251 (2015): aac4716.

85

Camerer C. F. et al. Evaluating the Replicability of Social Science Experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour. 2, no. 9 (2018): 637–44.

86

Последнее число соответствует шести удачным попыткам воспроизвести шестнадцать исследований. Ebersole C. R. et al. Many Labs 3: Evaluating Participant Pool Quality across the Academic Semester via Replication. Journal of Experimental Social Psychology. 67 (2016): 68–82.

87

Тут некоторые критики могут возразить, что я сам попал в вырытую другим яму. Я подчеркивал важность надежных результатов, однако, заявляя, что разразился кризис воспроизводимости, полагаюсь на попытки воспроизвести разные исследования, которые не являются репрезентативной выборкой из всей научной литературы. Вывод о том, что лишь “около половины” опубликованных результатов воспроизводятся, возможно, нельзя обобщать на всю науку. Такой аргумент был приведен в критической заметке к одному из исследований, посвященных повторению других работ: Gilbert D. T. et al. Comment on “Estimating the Reproducibility of Psychological Science”. Science. 351, no. 6277 (2016): 1037. Хотя я не согласен со многими приведенными там аргументами (некоторые причины скепсиса описаны здесь: Lakens D. The Statistical Conclusions in Gilbert et al (2016) Are Completely Invalid. The 20 % Statistician. 6 March 2016), замечание насчет репрезентативности справедливо. Мы все еще плохо понимаем, какая именно часть результатов по всем научным направлениям воспроизводима, даже в областях вроде психологии, где были предприняты эти масштабные попытки повторить прежние результаты, – правда может оказаться пригляднее, чем показывают те исследования, или же наоборот. Но сам факт, что мы этого не знаем, – а также то, что столь много громких, нашумевших открытий рассыпалось в прах при более внимательном рассмотрении, – является, я убежден, поводом для немалого беспокойства. Ответы на другие критические замечания, оспаривающие идею, что разразился кризис, см. тут: Pashler H., Harris C. R. Is the Replicability Crisis Overblown? Three Arguments Examined. Perspectives on Psychological Science. 7, no. 6 (2012): 531–6.

88

Bird A. Understanding the Replication Crisis as a Base Rate Fallacy. British Journal for the Philosophy of Science. 13 Aug. 2018.

89

Разумеется, авторы исходной работы (те, чьи результаты не воспроизвелись) зачастую заявляли, что изменения были на самом деле значительными и серьезно испортили эксперимент. Каждый случай следует разбирать отдельно, однако подобный аргумент наводит на мысль о некой предвзятости.

90

Другая область, где все неплохо, – психология личности. Психолог Кристофер Сото провел масштабную работу по воспроизведению результатов исследований личности – корреляций личностных качеств, оцениваемых по опросникам, с такими показателями, как удовлетворенность жизнью и романтическими отношениями, религиозные и политические взгляды и карьерный успех. Доля успешно воспроизведенных результатов получилась 87 %, что весьма достойно по сравнению с другими областями, которые мы обсуждали. Soto C. J. How Replicable Are Links Between Personality Traits and Consequential Life Outcomes? The Life Outcomes of Personality Replication Project. Psychological Science. 30, no. 5 (2019): 711–27.

91

Camerer C. F. et al. Evaluating Replicability of Laboratory Experiments in Economics. Science. 351, no. 6280 (2016): 1433–6.

92

Turner B. O. et al. Small Sample Sizes Reduce the Replicability of Task-Based fMRI Studies. Communications Biology. 1, no. 1 (2018): 62.

93

Eklund A. et al. Cluster Failure: Why fMRI Inferences for Spatial Extent Have Inflated False-Positive Rates. Proceedings of the National Academy of Sciences. 113, no. 28 (2016): 7900–5; Eklund A. et al. Cluster Failure Revisited: Impact of First Level Design and Physiological Noise on Cluster False Positive Rates. Human Brain Mapping. 40, no. 7 (2019): 2017–32.

94

Lord K. A. et al. The History of Farm Foxes Undermines the Animal Domestication Syndrome. Trends in Ecology & Evolution. 35, no. 2 (2020): 125–36.

95

Зебровые амадины: Wang D. et al. Irreproducible Text-Book “Knowledge”: The Effects of Color Bands on Zebra Finch Fitness. Evolution. 72, no. 4 (2018): 961–76. См. также Law Y.-H. Replication Failures Highlight Biases in Ecology and Evolution Science. The Scientist. 31 July 2018. Воробьи: Sánchez-Tójar A. et al. Meta-analysis challenges a textbook example of status signalling and demonstrates publication bias. eLife. 7 (2008): e37385. Обыкновенные лазоревки: Parker T. H. What Do We Really Know about the Signalling Role of Plumage Colour in Blue Tits? A Case Study of Impediments to Progress in Evolutionary Biology. Biological Reviews. 88, no. 3 (2013): 511–36.

96

Clark T. D. et al. Ocean Acidification Does Not Impair the Behaviour of Coral Reef Fishes. Nature. 577, no. 7790 (2020): 370–5. См. также Enserink M. Analysis Challenges Slew of Studies Claiming Ocean Acidification Alters Fish Behavior. Science. 8 Jan. 2020. Как отмечается в этой второй статье, из того, что поведение рыб, похоже, не меняется, не следует, что нам нужно перестать беспокоиться о закислении океана, которое вызывает много других пагубных явлений. Позднее авторов исходных статей (двадцати двух штук) о закислении океана и поведении рыб обвинили в научном мошенничестве. См. Enserink M. Does Ocean Acidification Alter Fish Behavior? Fraud Allegations Create a Sea of Doubt. Science. 6 May 2021.

97

www.orgsyn.org/instructions.aspx. См. также Chawla D. S. Taking on Chemistry’s Reproducibility Problem. Chemistry World. 20 March 2017.

98

Поиск нужных статей проводился таким образом, что исследования, которые открыто не объявляли себя попытками воспроизвести предыдущие работы, могли оказаться неучтенными, поэтому итоговый процент, вероятно, на самом деле чуточку больше. Экономика: Mueller-Langer F. et al. Replication Studies in Economics – How Many and Which Papers Are Chosen for Replication and Why? Research Policy. 48, no. 1 (2019): 62–83. Психология: Makel M. C. et al. Replications in Psychology Research: How Often Do They Really Occur? Perspectives on Psychological Science. 7, no. 6 (2012): 537–42. Также обращаю ваше внимание: по поводу того, что считать попыткой воспроизвести исследование, ведутся споры. Некоторые ученые провели множество “содержательных” повторений, в целом похожих на исходное исследование, но в деталях иногда от него отличающихся. Это по-своему интересно, но это не “прямое” повторение, когда именно та же, насколько только возможно, работа проводится сызнова. Вот такого рода исследований-повторений и не хватает. См. Schmidt S. Shall We Really Do It Again? The Powerful Concept of Replication is Neglected in the Social Sciences. Review of General Psychology. 13, no. 2 (2009): 90–100.

99

Во избежание путаницы заметим, что в англоязычной специализированной литературе существуют два разных термина: “проблема сходимости результатов” (replicability или repeatability) и “проблема воспроизводимости результатов” (reproducibility). В русскоязычной же литературе обычно не делается различий между этими случаями и используется единый термин – “проблема воспроизводимости”. Учитывая, что и в английском языке применение двух разных терминов не строгое (на что, в частности, указывает и сам автор в примечании 49 к этой главе), в русском переводе данной книги используется только термин “воспроизводимость”, тем более что необходимые детали соответствующих исследований там, где они важны, поясняются автором отдельно. (Здесь и далее – прим. перев.)

100

Chang A. C., Li P. Is Economics Research Replicable? Sixty Published Papers from Thirteen Journals say “Usually Not”. Finance and Economics Discussion Series. 2015, no. 83 (2015): 1–26. Washington: Board of Governors of the Federal Reserve System. Подробный обзор проблемы воспроизводимости в экономике: Christensen G., Miguel E. Transparency, Reproducibility, and the Credibility of Economics Research. Working Paper no. 22989. National Bureau of Economic Research. 2016.

101

Konkol M. et al. Computational Reproducibility in Geoscientific Papers: Insights from a Series of Studies with Geoscientists and a Reproduction Study. International Journal of Geographical Information Science. 33, no. 2 (2019): 408–29.

102

И даже хуже: из этих семи статей в целых шести методы избыточны по сравнению с гораздо более простыми методами, которые были известны за много лет до того, как создавались эти новые алгоритмы. Dacrema M. F. et al. Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. RecSys 2019. Copenhagen, Denmark. См. также отчет по компьютерным наукам, который дает понять, что у новых исследователей не получается воспроизвести результаты применения нескольких классических алгоритмов – а это своего рода бомба замедленного действия, поскольку “молодые ученые не хотят выглядеть хулителями старших коллег”, публикуя статьи о провалившихся попытках воспроизвести действие алгоритмов, которые были разработаны старшими коллегами и на которых держится их репутация. Hutson M. Artificial Intelligence Faces Reproducibility Crisis. Science. 359, no. 6377 (2018): 725–6.

103

То есть в пробирке.

104

Begley C. G., Ellis L. M. Raise Standards for Preclinical Cancer Research. Nature. 483, no. 7391 (2012): 531–3.

105

Prinz F. et al. Believe It or Not: How Much Can We Rely on Published Data on Potential Drug Targets? Nature Reviews Drug Discovery. 10 (2011): 712. Обратите внимание, что приведенная в статье сотрудниками Bayer диаграмма включает только 70 % исследований рака – остальные 30 % связаны с женским здоровьем или сердечно-сосудистой системой.

106

Wong C. H. et al. Estimation of Clinical Trial Success Rates and Related Parameters. Biostatistics. 20, no. 2 (2019): 273–86. Из всех разнообразных лекарств доля тех, что добираются от доклинических испытаний до применения на людях, оценивается в данной работе в 13,8 %, так что с исследованиями рака все особенно плохо.

107

Nosek B. A., Errington T. M. Reproducibility in Cancer Biology: Making Sense of Replications. eLife. 6 (2017): e23383. В названии “Проект по проверке воспроизводимости: биология рака” термин “воспроизводимость” используется в том же смысле, в каком я использую слово “сходимость” (то есть попытка получить те же результаты на другой выборке). Я выбрал определения для этой книги таким образом, чтобы отразить сложившийся консенсус, однако стоит понимать, что не все придерживаются той же терминологии.

108

Repass J. et al. Replication Study: Fusobacterium Nucleatum Infection is Prevalent in Human Colorectal Carcinoma. eLife. 7 (2018): e25801.

109

Errington T. Reproducibility Project: Cancer Biology – Barriers to Replicability in the Process of Research. 2019. https://osf.io/x9p5s/

110

Baker M., Dolgin E. Cancer Reproducibility Project Releases First Results. Nature. 541, no. 7637 (2017): 269–70; Engber D. Cancer Research Is Broken. Slate. 19 April 2016.

111

Errington T. Reproducibility Project (см. слайд 11).

112

Kaiser J. The Cancer Test. Science. 348, no. 6242 (2015): 1411–3.

113

Iqbal S. A. et al. Reproducible Research Practices and Transparency across the Biomedical Literature. PLOS Biology. 14, no. 1 (2016): e1002333. Обратите внимание, что в полную выборку вошло 441 исследование, но только 268 из них содержали эмпирические данные.

114

Vasilevsky N. A. et al. On the Reproducibility of Science: Unique Identification of Research Resources in the Biomedical Literature. PeerJ. 1 (2013): e148. Проблемы, касающиеся недостаточно подробного написания статей, выходят за пределы биомедицины. О политологии, например, см. Wuttke A. Why Too Many Political Science Findings Cannot Be Trusted and What We Can Do About It: A Review of Meta-Scientific Research and a Call for Academic Reform. Politische Vierteljahresschrift. 60, no. 1 (2019): 1–19. Об экологии см. Parker T. H. et al. Transparency in Ecology and Evolution: Real Problems, Real Solutions. Trends in Ecology & Evolution. 31, no. 9 (2016): 711–9.

115

Kaiser J. Plan to Replicate 50 High-Impact Cancer Papers Shrinks to Just 18. Science. 31 July 2018. Обратите внимание, что в примечании 51 к этой главе (Errington T. Reproducibility Project) обсуждается пятьдесят одно исследование, а не пятьдесят.

116

Все о “Проекте по проверке воспроизводимости: биология рака” см. здесь: https://elifesciences.org/collections/9b1e83d1/reproducibility-project-cancer-biology.

117

Prasad V. K., Cifu A. S. Ending Medical Reversal: Improving Outcomes, Saving Lives. Baltimore: Johns Hopkins University Press, 2015.

118

Lang J. Awakening. The Atlantic. Feb. 2013.

119

Avidan M. S. et al. Anesthesia Awareness and the Bispectral Index. New England Journal of Medicine. 358, no. 11 (2008): 1097.

120

Herrera-Perez D. et al. A Comprehensive Review of Randomized Clinical Trials in Three Medical Journals Reveals 396 Medical Reversals. eLife. 8 (2019): e45183. Это было продолжением похожего исследования тех же авторов, когда обнаружилось 146 “медицинских реверсий”: Prasad V. et al. A Decade of Reversal: An Analysis of 146 Contradicted Medical Practices. Mayo Clinic Proceedings. 88, no. 8 (2013): 790–8.

121

Barrett J. F. R. et al. A Randomized Trial of Planned Cesarean or Vaginal Delivery for Twin Pregnancy. New England Journal of Medicine. 369, no. 14 (2013): 1295–1305.

122

Du Toit G. et al. Randomized Trial of Peanut Consumption in Infants at Risk for Peanut Allergy. New England Journal of Medicine. 372, no. 9 (2015): 803–13.

123

Kim F. et al. Effect of Prehospital Induction of Mild Hypothermia on Survival and Neurological Status Among Adults with Cardiac Arrest: A Randomized Clinical Trial. JAMA. 311, no. 1 (2014): 45–52.

124

AVERT Collaboration. Efficacy and Safety of Very Early Mobilisation within 24 h of Stroke Onset: A Randomised Controlled Trial. Lancet. 386, no. 9988 (2015): 46–55.

125

Baharoglu M. I. et al. Platelet Transfusion versus Standard Care after Acute Stroke Due to Spontaneous Cerebral Haemorrhage Associated with Antiplatelet Therapy (PATCH): A Randomised, Open-Label, Phase 3 Trial. Lancet. 387, no. 10038 (2016): 2605–13.