Обман в науке

13. Почему умные люди верят в глупости

Зачем нам нужна статистика, почему мы что-то измеряем и почему мы считаем? Если научный метод имеет какой-то авторитет или, как я предпочитаю говорить, ценность — это потому, что он представляет собой системный подход, и ценность его определяется тем, что все другие методы могут вводить в заблуждение. Когда мы рассуждаем неформально — называйте это интуицией, если хотите, — мы используем методы, основанные на практике, а не на науке (так называемые правила большого пальца), которые упрощают проблемы ради эффективности. Многие из этих упрощений характеризуются как «эвристические» методы (то есть методы догадок) и являются эффективными способами получения знания во многих обстоятельствах.

За удобство приходится платить заблуждениями, поскольку в этих методах есть уязвимые места. Это похоже на то, как в живописи эксплуатируются особенности нашего восприятия: отдаленные объекты кажутся маленькими, а перспектива может нас обмануть и заставить поверить в то, что мы видим три измерения вместо реальных двух. Но мы контролируем это, используя аппарат контроля глубины. Когда же познавательная система — аппарат верификации — сбита с толку, то так же, как мы видим глубину на плоской картине, мы приходим к ошибочным выводам об абстрактных вещах. Мы ошибочно принимаем нормальные сбои за значимые модели или приписываем причинную связь явлениям, в которых она отсутствует.

Это иллюзии познания, параллель с оптическими иллюзиями. Они могут также нас обманывать, и именно они заставляют нас заниматься наукой, а не основывать свои взгляды на интуиции или информации о сути предмета, почерпнутой из популярных СМИ, потому что окружающая действительность не предоставляет нам тщательно сведенные в таблицы данные по методам и исходам лечения. Вместо этого она дает нам время от времени случайные, разрозненные кусочки, и попытка построить широкую картину мира на основании памяти о вашем собственном опыте будет похожа на рассматривание потолка Сикстинской капеллы через длинную тонкую картонную трубку: вы можете запомнить отдельные фрагменты там и тут, но без системы и модели вы никогда не увидите целостную картину.

Давайте начнем.

Как человеческие существа, мы обладаем врожденной способностью делать что-нибудь из ничего. Мы видим фигуры, когда смотрим на облака, и человека, когда смотрим на луну; игроки в азартные игры убеждены, что у них есть «счастливые дорожки»; мы берем веселую музыкальную запись, поигрываем ее задом наперед и слышим скрытые послания о пришествии сатаны. Наша способность находить закономерности — это то, что позволяет нам понимать мир, но иногда, из-за нашего чрезмерного желания что-то найти, мы видим закономерности там, где их нет.

В науке, если вы хотите изучить явление, иногда полезно свести его к простейшей и наиболее контролируемой форме. Среди людей, занимающихся спортом, существует мнение, что у спортсменов, как и у игроков (только с большим основанием), есть свои «счастливые дорожки». Можно объяснять это по-разному: уверенностью в себе, лучшей подготовкой, хорошей разминкой; возможно, это существует в некоторых играх, однако статистики после некоторого анализа не нашли взаимосвязи между, скажем, удачной первой подачей и удачной следующей.

Поскольку «счастливая дорожка» или «полоса везения» — это очень популярные заблуждения, они представляют собой отличную модель для того, чтобы посмотреть, как мы воспринимаем случайную последовательность событий. Это было продемонстрировано американским социальным психологом Томасом Джиловичем в классическом эксперименте. Он показал баскетбольным болельщикам случайную последовательность, состоящую из символов О и X, объяснив, что они обозначают попадания и промахи игрока, а затем спросил, думают ли они, что эти последовательности демонстрируют «полосу везения». Перед вами случайная последовательность символов из этого эксперимента. Вы можете подумать, что она создана с помощью подбрасывания монеты несколько раз подряд.

ОХХХОХХХОХХОООХООХХОО

Участники эксперимента были убеждены, что эта последовательность является примером «полосы везения» или «счастливой дорожки», и легко видеть почему, если вы посмотрите внимательно: шесть из первых восьми ударов были в цель. Нет, подождите, восемь из первых одиннадцати. Не может быть, чтобы это была случайность.

Этот эксперимент показывает, насколько плохо мы умеем определять случайные последовательности. Мы ошибаемся в том, как они должны выглядеть: мы ожидаем большего чередования, поэтому по-настоящему случайные последовательности кажутся нам демонстрирующими какую-то закономерность. Наша интуиция в самых общих наблюдениях, например в попытке найти определенную модель в случайном шумовом фоне, часто нас подводит.

Это наш первый урок о том, насколько важно использовать статистику вместо интуиции. Это также отличная демонстрация того, насколько сильны параллели между иллюзиями познания и иллюзиями восприятия, с которыми мы знакомы лучше. Вы можете смотреть на зрительную иллюзию сколько хотите, говорить и думать о ней, но она все равно выглядит «неправильной». Точно так же вы можете смотреть на случайную последовательность настолько пристально, насколько сможете: она все равно будет выглядеть упорядоченной, несмотря на то что вы уже знаете.

Мы уже говорили о возврате к исходному уровню в главе о гомеопатии: когда какой-то параметр принимает крайние значения, то всегда есть вероятность, что он вернется к своему обычному значению, — это и есть возврат к исходному уровню.

Мы рассматривали это со ссылкой на проклятие журнала Sports Illustrated, но также применяли его к тому вопросу, который мы рассматриваем, а именно к самочувствию людей: мы рассказывали, что люди могут принимать меры, чтобы снять боль в спине, когда она находится на пике, например посещают гомеопатов, а потом боль проходит, а точнее, возвращается к исходному уровню, но они приписывают улучшение лечению.

Есть две отдельные вещи, происходящие в тот момент, когда мы становимся жертвами ошибочной интуиции. Во-первых, мы не узнаем простую закономерность — возврат к исходному уровню, а во-вторых, мы решаем, что что-то должно было вызвать эту иллюзорную закономерность, например гомеопатическое средство. Простой возврат к исходному уровню мы принимаем за причинно-следственную связь, и это, возможно, вполне естественно для таких животных, как люди, чье успешное существование в мире зависит от их способности обнаруживать причинные отношения быстро и интуитивно: мы изначально сверхчувствительны к ним.

В той степени, в которой мы обсуждали этот вопрос раньше, я полагался на вашу добрую волю и вероятность того, что, основываясь на вашем личном опыте, вы согласитесь, что объяснение разумно. Но это было продемонстрировано еще в одном оригинальном эксперименте, где все переменные контролировались, но люди все же наблюдали закономерность и видели причинную связь там, где ее не было.

Участники эксперимента играли роль учителя, который пытается заставить ребенка приходить в школу точно к 8:30 утра. Они сидели за компьютером, на котором каждый день, 15 дней подряд, было видно, что предполагаемый ребенок приходит в школу между 8:20 и 8:40; испытуемые не знали, что время прихода было случайным и было определено до начала эксперимента.

Тем не менее испытуемым, изображающим учителей, было разрешено использовать наказания за опоздания и поощрения за приход вовремя в любом порядке. Когда их попросили в конце эксперимента определить, что было более эффективным, 70 % отметили, что наказание действовало лучше, чем поощрение, в воспитании у ребенка пунктуальности.

Эти испытуемые были убеждены, что их вмешательство воздействовало на пунктуальность ребенка, несмотря на то что время прихода было случайным и представляло собой пример «возврата к исходному уровню». Точно так же люди убеждены, что гомеопатия помогает, хотя было показано экспериментально, что она действует не лучше, чем плацебо.

Повторим:

1. мы видим закономерность там, где есть только случайный шум;

2. мы видим причинные связи там, где их нет.

Это две достаточные причины, чтобы измерять результаты объективно. Плохие новости для интуиции. Могут ли они стать еще хуже?

Дальше — хуже. Кажется, что у нас есть врожденная тенденция выискивать и переоценивать данные, которые подтверждают нашу гипотезу. Чтобы устранить это явление из спорной области альтернативной медицины — или страхов по поводу MMR, — у нас, к счастью, есть еще несколько простых экспериментов, которые иллюстрируют нашу точку зрения.

Представьте стол с четырьмя карточками на нем, обозначенными А, В, 2 и 3. Каждая карточка на одной стороне имеет букву, а на другой цифру. Ваша задача — определить, имеют ли все карточки с гласной буквой на одной стороне четный номер на другой. Какие две карточки вы перевернете? Все выбирают карточку А, что очевидно, но, как многие люди, если вы не заставите себя как следует подумать об этом, вы, вероятно, выберете также карточку с цифрой 2. Вы сделаете это потому, что карточки содержат информацию, согласующуюся с гипотезой, которую вы собираетесь проверять. Но на самом деле карточки, которые вы должны перевернуть, — это А и 3, поскольку, если вы найдете гласную на обороте карточки 2, это ничего не скажет обо всех карточках, а только подтвердит, что «некоторые карточки с гласной буквой имеют четный номер на другой стороне», в то время как гласная на обороте карточки с тройкой опровергнет всю гипотезу. Это небольшое логическое упражнение демонстрирует нашу тенденцию интуитивно искать информацию, которая подтвердит гипотезу, и демонстрирует ее в нейтральной ситуации (без заинтересованности с нашей стороны).

Эта же самая тенденция была продемонстрирована в более сложных социально-психологических экспериментах. Если мы пытаемся определить, является ли человек экстравертом, например, многие будут задавать вопросы, положительный ответ на которые будет подтверждать гипотезу («Вы любите ходить на вечеринки?»), а не опровергать ее.

Мы можем проследить аналогичную тенденцию, если проанализируем информацию из нашей собственной памяти. В одном эксперименте испытуемые читали сообщение о женщине, которая иллюстрировала различные интравертные и экстравертные модели поведения. Затем испытуемых разделили на две группы. Одну группу попросили оценить, подходит ли эта женщина для работы библиотекарем, а другую — для работы в качестве агента по недвижимости. Представителей обеих групп попросили привести примеры интравертного и экстравертного поведения. Группа, которая определяла ее пригодность для работы библиотекарем, нашла больше примеров интравертного поведения, а группа, которая рассматривала ее как потенциального агента по недвижимости, — экстравертного.

Эта тенденция опасна, поскольку если вы спрашиваете только о том, что подтверждает вашу гипотезу, вы и выявите только эту информацию, создавая ложное впечатление об истинности предположения. Это также означает (в более широком контексте), что люди, которые задают вопросы, уже предполагают положительные ответы.

Итак, мы можем добавить к нашему списку познавательных иллюзий тенденциозность и ошибки интуиции:

3. мы переоцениваем значение информации, подтверждающей нашу гипотезу;

4. мы ищем информацию, подтверждающую любую данную гипотезу.

Это недостаток рассуждений, который всем хорошо известен, но даже если это наименее интересная из всех иллюзий познания, поскольку она очевидна, она была продемонстрирована в экспериментах, которые настолько точны, что вы можете посчитать их довольно интересными.

Классическая демонстрация предвзятости в силу наших предыдущих убеждений — это исследование мнения людей о смертной казни. Было собрано большое число сторонников и противников смертной казни. Им были представлены два свидетельства об устрашающем воздействии высшей меры: одно — подтверждающее это воздействие, а другое — доказывающее обратное.

Им показали следующие данные:

• сравнение статистики убийств в одном штате США до введения смертной казни и после;

• сравнение статистики убийств в разных штатах, в некоторых из которых существует смертная казнь.

Но был сделан очень умный ход: и сторонников, и противников высшей меры разделили на две подгруппы. Таким образом, половина противников и сторонников высшей меры имела подкрепление своей точки зрения в виде статистики до/после введения этой меры (первое свидетельство), но опровержение их мнения в виде статистики в разных штатах (второе свидетельство) и наоборот. Когда участников спросили о представленных доказательствах, они сообщили о недостатках в методах исследования, которые противоречили их мнению, но не заметили недостатков в исследовании, которое говорило в их пользу. Половина сторонников высшей меры, например, обнаружила недостатки в идее сравнения данных по разным штатам на основании методологических принципов, поскольку эти данные противоречили их точке зрения, в то время как данные по убийствам до и после введения смертной казни вызвали у них полное доверие; другая половина сторонников, напротив, раскритиковала данные до/после введения казни, поскольку в их случае эти данные противоречили их мнению, а данные по разным штатам поддерживали их точку зрения.

Если выразиться проще, доверие участников испытания к данным исследования было основано не на объективной оценке его методологии, а на том, подтверждали ли эти данные их точку зрения. Это явление достигает своего апогея у практиков альтернативной медицины — или обманщиков, — которые некритически воспринимают любые данные в свою пользу, но скрупулезно выискивают в любом крупном, хорошо проведенном исследовании малейшие недостатки, которые позволят им раскритиковать его результаты.

Вот почему нам необходимы четкие принципы для оценки данных, независимо от их вывода, и в этом состоит основная сила науки. В систематическом обзоре научной литературы исследователи иногда смотрят на качество раздела «методы» вслепую, не заглядывая в результаты, чтобы не быть предвзятыми в своей оценке. Аналогично в медицинских исследованиях существует иерархия доказательств: хорошо проведенное испытание более важно, чем данные опроса в большинстве контекстов, и т. д.

Мы можем дополнить наш список новых взглядов на недостатки интуиции еще одним пунктом:

5. наша оценка качества новых данных является предвзятой в силу наличия у нас предыдущих представлений.

Мы проводим жизнь, выискивая закономерности и собирая исключительные и интересные вещи. Вы не тратите умственных усилий каждый раз, когда входите в свой дом, на то, чтобы анализировать и замечать многочисленные вещи в визуально плотном пространстве вашей кухни. Но вы, безусловно, заметите разбитое окно или пропавший телевизор.

Когда информация становится более доступной, как говорят психологи, она становится непропорционально важной. Это происходит несколькими путями, и вы можете составить о них представление на основании нескольких известных психологических экспериментов. В одном из них испытуемым зачитывали список мужских и женских имен (количество их было одинаковым), а затем просили сказать, каких было больше; если мужские имена в списке звучали как Рональд Рейган, а женские имена были неизвестными, люди отвечали, что в списке было больше мужских имен, и наоборот.

Наше внимание всегда привлекает исключительное или необычное, и если у вас есть что-нибудь на продажу, разумно обратить внимание людей на те свойства, которые, по вашему мнению, должны быть ими замечены. Если вы выигрываете в игровые автоматы, они выбрасывают каждую монету с громким театральным звуком, так, чтобы все в зале это слышали; однако если вы проигрываете, они не привлекают к этому внимания. Лотерейные компании также делают все, чтобы люди, выигравшие крупные суммы, обязательно появились в СМИ, но, само собой разумеется, что, если вы проиграли, вы не услышите о своем проигрыше по телевизору.

Анекдотические истории об успехах альтернативной медицины — и трагические анекдоты о вакцине MMR — непропорционально выпячиваются и вводят в заблуждение, не только потому, что там отсутствуют статистические данные, но потому, что они доступны: драматичны, эмоциональны и подкреплены визуальными образами. Они конкретные, запоминающиеся, а не абстрактные. Не важно, что вы делаете со статистическими данными о риске или выздоровлении; ваши цифры не будут иметь такого психологического воздействия, как чудесные исцеления, медийные страшилки или расстроенные родители в новостях.

Благодаря «доступности» и нашей чувствительности к трагедиям люди больше боятся акул на пляже и езды по морским пирсам, чем перелетов во Флориду или путешествий на побережье. Это явление даже демонстрировалось в закономерностях прекращения курения среди врачей: вы можете подумать, что врачи, как люди разумные и образованные, немедленно бросят курить, как только прочтут об исследовании, показывающем стойкую связь между курением и раком легких. Они люди прикладной науки, в конце концов, которые могут каждый день переводить холодные цифры статистики в значимую информацию, заставляющую биться человеческие сердца.

Но на самом деле врачи, работающие в таких областях, как грудная хирургия и онкология — где они видят больных, умирающих от рака легких, собственными глазами, — с большей вероятностью готовы отказаться от курения, чем врачи других специальностей, которые не имеют возможности эмоционально реагировать на его трагические последствия.

Последним в нашем путешествии по иррациональному идет наиболее очевидный недостаток. Кажется, он слишком очевиден, чтобы даже говорить о нем, но на наши взгляды сильно влияют конформизм и наше окружение. Мы избирательно знакомимся с информацией, которая заставляет нас переоценить взгляды, отчасти из-за того, что мы большей частью находимся в ситуациях, где наши взгляды не подвергаются сомнению, отчасти потому, что мы задаем вопросы, которые (по причинам, описанным выше) дают нам подтверждающие ответы, а отчасти потому, что мы намеренно контактируем с людьми, которые разделяют наши взгляды.

Легко забыть о феноменальном влиянии конформизма. Вы, безусловно, считаете себя совершенно независимым человеком и всегда знаете, о чем думаете. Я бы предположил, что теми же самыми соображениями руководствовались и участники эксперимента Аша по социальному конформизму. Испытуемых поставили перед несколькими актерами, которые представились участниками эксперимента, хотя на самом, деле выполняли указания исследователей. Каждый участник получал две карточки, на одной из которых была одна линия, а на другой — три различной длины: шесть, восемь и десять дюймов.

Каждого вызывали по очереди и просили определить, какая из линий на второй карточке была равна по длине линии на первой. Для шести из 18 пар карточек испытуемые дали правильные ответы, в 12 других случаях ответ был неправильным и в четверти случаев участники соглашались с неправильным ответом, который им подсказывали из толпы, несмотря на то что это противоречило их собственным ощущениям.

Это экстремальный пример конформизма, но это явление присутствует повсеместно. «Влияние сообщества» — это процесс, благодаря которому утверждение превращается в стойкое убеждение, поскольку постоянно повторяется в сообществе. Этот процесс не зависит от того, является ли утверждение проверенным, поддержанным экспериментальными данными, достаточными, чтобы заставить поверить в него здравомыслящих людей.

Влияние сообщества объясняет, как религиозные убеждения передаются из поколения в поколение, а также почему заявления, сделанные в пределах сообщества врачами, психологами, знаменитостями, политиками, гостями ток-шоу, могут так глубоко укорениться и стать более влиятельными, чем научные данные.

Существует много других хорошо исследованных областей предвзятости. Мы имеем сильно преувеличенное мнение о себе, что приятно. Большинство людей думают, что они имеют более широкий кругозор, меньше предрассудков, более умны и более искусны в вождении автомобиля, чем среднестатистический гражданин[49].

Большинство из нас демонстрирует то, что можно назвать «атрибуционной предвзятостью»: мы считаем, что наши успехи — это результат наших собственных способностей, а наши неудачи обусловлены внешними факторами; в то время как в отношении других мы склонны придерживаться противоположного мнения и полагаем, что их успехи — это удачное стечение обстоятельств, а неудачи — результат их собственных промахов. Но мы все не можем быть правы.

И наконец, мы используем контекст и ожидания, чтобы склониться к определенному мнению о ситуации — потому что это единственный способ, которым мы можем думать. Исследования по искусственному интеллекту терпят неудачу в основном из-за «проблемы рамки»: вы можете объяснить компьютеру, как обрабатывать информацию, и дать все необходимые сведения, но как только вы поставите перед ним реальную задачу — например, предложение, которое нужно понять и отреагировать на него, — выяснится, что компьютер делает это гораздо хуже, чем мы могли ожидать, поскольку он не знает, какая информация имеет отношение к проблеме. Это то, что люди хорошо умеют — отфильтровывать ненужную информацию, — но это умение приходит ценой непропорционального преувеличения некоторых контекстуальных данных.

Мы склонны допустить, например, что положительные характеристики объединяются: привлекательные люди должны быть одновременно добрыми; люди, которые кажутся добрыми, должны быть умными и хорошо информированными. Даже это было продемонстрировано экспериментально: сообщения, написанные аккуратным почерком, получили больше баллов, чем идеи тичные по содержанию, но неряшливые; поведение спортивных команд, которые носят черную форму, считается более агрессивным и грубым, чем поведение спортсменов в белой форме.

И несмотря на все ваши усилия, иногда некоторые вещи противоречат интуиции, особенно в науке. Представьте, что в комнате находятся 23 человека. Каков шанс, что у двоих из них день рождения в один день? Один к двум[50].

Когда вы думаете об окружающем мире, у вас в распоряжении есть целый набор инструментов. Интуиция работает во многих ситуациях, особенно в социальной области: например, что вы думаете по поводу того, обманывает ли вас ваша девушка или можно ли доверять вашему партнеру по бизнесу. Но для математических проблем или оценки причинно-следственных связей она не годится, поскольку полагается на упрощения, которые помогают, когда нам нужно быстро решить сложные познавательные задачи, но допускают неточности, ошибки или неправильные оценки.

Небезопасно оставлять нашу интуицию и наши предрассудки непроверенными и неконтролируемыми: в наших интересах подвергнуть сомнению эти недостатки интуитивного рассуждения там, где мы можем, и для этого существуют методы науки и статистики. Их разумное применение — наше лучшее оружие в борьбе с ошибками, и остается только решить, какой из этих инструментов применять в том или ином случае, поскольку строить отношения с партнером на научной основе так же глупо, как руководствоваться интуицией в установлении причинно-следственных связей.

А теперь посмотрим, как журналисты обращаются со статистикой.