Сумма биотехнологии. Руководство по борьбе с мифами о генетической модификации растений, животных и людей

Глава 7 Так говорил Сералини. Математическая статистика в биологии, ошибки в исследованиях о вреде ГМО

“Статистика не всегда говорит правду, но может помочь понять результаты” – так ответил¹²⁴ французский исследователь Жиль-Эрик Сералини на один из ключевых пунктов критики, которая обрушилась на его статью о вреде генетически модифицированной кукурузы линии NK603¹²⁵. Пятнадцать^126–140 писем от независимых исследователей, в том числе от меня, указывали на различные ошибки в этой нашумевшей публикации в научном журнале Food and Chemical Toxicology.

“В этих результатах нет ничего, кроме случайной ошибки, и любой компетентный рецензент немедленно это увидел бы”, – писал один из критиков Сералини профессор Энтони Тревавас, молекулярный биолог из Эдинбургского университета. Поддержка у Сералини со стороны коллег тоже имелась, но ее выразили лишь в одном письме¹⁴¹. Тем временем Россия отреагировала на исследование введением временного запрета на импорт генетически модифицированной (ГМ) кукурузы.

Сералини утверждал, что крысы, употреблявшие ГМ кукурузу NK603, погибали чаще и имели больше опухолей, чем крысы из контрольной группы, которые ели обычную кукурузу. Большинство специалистов, глядя на опубликованные результаты, возражали, что этот вывод не обоснован. В такой ситуации обычному человеку сложно понять, кому доверять: Сералини или тем, кто его критикует. Для этого желательно узнать, в чем, собственно, заключалась критика.

В этой главе представлен обзор аргументов в пользу безопасности использования уже существующих генетически улучшенных организмов в качестве продуктов питания. Это необычный обзор, потому что я опираюсь исключительно на данные, полученные теми, кто писал о возможной опасности ГМО, в том числе и на данные, полученные Сералини.

В значительной части работ, в которых было заявлено негативное действие ГМО на животных, выводы не соответствуют результатам. Это связано с тем, что в них присутствует одна и та же ошибка, которая заключается в некорректном применении аппарата математической статистики. После ее устранения полученные данные перестают свидетельствовать в пользу того, что ГМО опаснее обычных организмов. Следуя завету Сералини, давайте разберемся в том, как статистика помогает понять результаты исследований. Но сначала попробуем понять саму статистику.

В статистике существует понятие, которое называется нулевая гипотеза. Это понятие отражает позицию по умолчанию, утверждающую, что между двумя явлениями нет никакой связи. Она говорит, что орел или решка на монете выпадают равновероятно и независимо от погоды. Что рак легких не связан с курением. Что цвет глаз человека не зависит от его пола. Что число пропавших в течение недели носков не зависит от того, наблюдалось ли на небе НЛО. Что токсичность картошки не зависит от того, генетически модифицирована она или нет, и так далее. В некоторых случаях нулевая гипотеза верна, в других – нет. До появления доказательств обратного нулевая гипотеза считается верной по умолчанию, поэтому научные эксперименты сводятся к тому, что нулевую гипотезу пытаются опровергнуть.

Статистические тесты позволяют оценить, насколько высока вероятность получить некий результат при условии, что нулевая гипотеза верна. Допустим, что мы провели эксперимент, в котором подкинули монетку десять раз и все десять раз выпала решка. В данном случае за нулевую гипотезу можно принять равную вероятность выпадения орла и решки. При таком допущении вероятность выкинуть решку десять раз из десяти равна ½ в десятой степени, то есть менее одной тысячной. Полученная вероятность называется P-значение, или просто P, и это вероятность получить такое же или более существенное отклонение результата эксперимента от ожидаемого. Полученное P сравнивается с пороговым значением, уровнем значимости, обозначаемым α (альфа). Общепринятыми значениями α являются либо 0,05, либо 0,01, либо 0,001. Отметим, что 0,05 – самый мягкий порог, который можно встретить в научной литературе, хотя это лишь некоторая условность.

Если полученное значение P меньше, чем пороговое значение, мы считаем, что нулевая гипотеза отвергнута и можно принять альтернативную гипотезу. В случае с монеткой получилось так, что P < 0,001, а значит, есть основания полагать, что решка выпадает чаще орла. Чем меньше порог α, тем меньше вероятность, что мы получим ложноположительный результат, найдем закономерность там, где ее нет. Чем больше порог α, тем меньше вероятность, что мы получим ложноотрицательный результат, то есть не найдем закономерности там, где она есть. Правильно подобранные пороги позволяют соблюсти баланс между этими двумя типами ошибок.

Статистику полезно знать еще и потому, что она помогает знакомиться с девушками (или молодыми людьми), и я сейчас продемонстрирую как. Загадайте целое число от 1 до 20. Сделайте это, прежде чем читать дальше. Помните, что если вы симпатичная девушка и я угадаю ваше число, то с вас билет в кино. Итак, перед вами умная книга, наподобие дневника Тома Редла из “Гарри Поттера”, и она заранее знает, какое число вы загадаете. Обратитесь к калькулятору и поделите 23101096 на 1358888. Убедитесь, что я угадал правильно.

Секрет фокуса прост. Он работает только в одном случае из двадцати, и, скорее всего, я ваше число не угадал. Девятнадцать читателей из двадцати не будут впечатлены, но, возможно, именно с вами мне повезло, и вы на секунду удивились. Если повторять этот фокус много раз, каждый раз с новой девушкой (или читателем), с кем-нибудь он неизбежно сработает. Вероятность угадать в одном испытании равна 5 %, но вероятность угадать хотя бы раз, имея двадцать попыток, уже превышает 64 %. При ста испытаниях трюк удастся хотя бы раз с вероятностью 99,4 %!

Проблема “множественных сравнений” (или множественных испытаний) возникает в статистике, когда мы проверяем не одну гипотезу, а множество похожих. Для ее иллюстрации используется простая формула Y = (1,00–0,95^N)×100 %, где N обозначает число сравнений, а Y – вероятность того, что по случайным причинам хотя бы в одном из них будет обнаружено статистически достоверное отличие при пороге значимости 0,05.

В 2012 году доктор Крейг Беннет получил Шнобелевскую премию за удивительную статью. Он искал у лосося участок мозга, отвечающий за распознавание человеческих эмоций. Для этого он показывал рыбе серию фотографий, на которых были изображены люди в разных социальных ситуациях, с разным эмоциональным оттенком, и анализировал активность мозга рыбы с помощью томографа. Оказалось, что мозг рыбы по-разному реагирует на разные фотографии людей! Этот результат особенно удивителен, если учесть, что лосось в исследовании был дохлым¹⁴².

На самом деле Беннет пытался привлечь внимание к важной проблеме. Стандартные приборы, измеряющие активность мозга, имеют погрешности в измерениях, шум. Если измерить активность мозга одновременно в огромном количестве независимых участков, в некоторых из них по случайным причинам может обнаружиться статистически достоверный сигнал, который можно ошибочно интерпретировать как признак мозговой активности (реакцию на изображения). Так Беннет продемонстрировал, что проблема множественных сравнений порой приводит к неожиданным биологическим результатам.

Самый простой способ учесть множественные сравнения – ввести поправку, названную в честь итальянского математика Карло Эмилио Бонферрони¹⁴³. Поправка гласит, что если экспериментатор проверяет не одну, а сразу n гипотез, ему следует проверять каждую гипотезу не против уровня значимости α, а против уровня значимости α/n. Есть и другие способы учесть множественные сравнения, но этот проще объяснить, а выводы, которые будут сделаны в этой главе, справедливы и при использовании других распространенных поправок.

Предположим, что пять девушек независимо загадали натуральное число от одного до сорока. И я, назвавшись экстрасенсом, угадал число одной из них. Можно ли отвергнуть нулевую гипотезу, что я не умею читать мысли, используя самый мягкий порог статистической значимости, α = 0,05? Без поправки Бонферрони мы получаем, что в случае с одной из девушек случилось событие, вероятность которого 1/40, – я угадал ее число. Эта вероятность меньше, чем α = 0,05, а значит, есть основания полагать, что я умею читать мысли. Но свои экстрасенсорные способности я опробовал на пяти девушках. Следовательно, мы имеем дело с пятью множественными сравнениями. Поэтому порог α = 0,05 мы делим на пять и получаем новый порог α = 0,01, что уже меньше, чем 1/40. Теперь мы приходим к выводу, что даже при самом мягком пороге статистической значимости нельзя исключить гипотезу, что мне просто повезло.

Поправка Бонферрони достаточно консервативна, то есть значительно снижает риск обнаружения ложноположительных результатов, но одновременно увеличивает количество ложноотрицательных. Мы рискуем пропустить какую-то важную закономерность, поэтому использовать ее нужно осторожно. Однако в примерах работ, которые я буду разбирать ниже, эта поправка оправдана по нескольким причинам¹⁴⁴.

Во-первых, из современных представлений в области молекулярной генетики не следует никаких рисков, связанных с употреблением ГМО. Поэтому непонятно, как именно ГМО должны влиять на организм животных и каким может быть биологический механизм такого воздействия. Нет никаких четких гипотез о том, какие биологические показатели должны измениться, как сильно и в какую сторону. Скептически настроенные к ГМО исследователи проверяют все подряд, и любые отличия между ГМО и их аналогами признают потенциально опасными. Увеличение толщины кишечника опасно, но уменьшение тоже вредно! Настораживает как снижение, так и увеличение содержания каких-нибудь микроэлементов в ГМО или бактерий в кишечнике организмов на диете с ГМО. Если рассмотреть множество параметров, отличия по некоторым из них обязательно найдутся.

Второй аргумент в пользу поправки заключается в том, что обнаружение любых отклонений у организмов, питающихся ГМ кормом, моментально становится сенсацией, даже если это предварительный и никем еще не воспроизведенный результат. Эти сенсации приводят к серьезным политическим решениям и экономическим последствиям, введению ограничений импорта и даже к попыткам изменения законодательства. Поэтому ложноположительные результаты крайне нежелательны как для развития биотехнологий, так и для формирования объективной научной картины мира.

Рассмотрим еще две истории про ошибки научного метода, показывающие, как маленькие недостатки эксперимента могут приводить к “потрясающим” результатам и насколько важно критически относиться к научным сенсациям. Среди биологов передается из уст в уста анекдотическая история о том, как в одном НИИ открыли телепатию. Исследователи брали крыс и сажали их парами в клетки, давая им возможность познакомиться. Через некоторое время клетки с парами крыс разделяли на две группы: экспериментальную и контрольную (для сравнения). Крыс из каждой пары изолировали друг от друга, чтобы они не могли видеть друг друга, обмениваться звуками и запахами. В экспериментальной группе одну крысу из пары заставляли голодать, а за второй крысой наблюдали, оценивая, сколько она ест в условиях неограниченного доступа к еде. В контрольной группе обеим крысам предоставляли неограниченный доступ к еде, за одной из крыс наблюдали. Оказалось, что напарница голодающей крысы ела больше, чем напарница сытой крысы, как будто чувство голода передавалось между крысами через неизвестный нам канал информации.