Эта книга сделает вас умнее

Статистически значимая разница в понимании научного процесса

ДАЙАН ХОЛПЕРН

Профессор психологии Клермонтского колледжа

«Статистически значимая разница» – простая фраза, но крайне важное для науки понятие, которое прочно вошло в лексикон образованных людей. Эти три слова передают базовое научное понимание процессов, случайных событий и статистических законов. Данный термин встречается везде, где обсуждают исследования, – в газетных статьях, рекламе «чудодейственных» диет, научных публикациях, лабораторных работах студентов и т. д. Эта условная абстракция отражает последовательность событий, включающих эксперимент (или другие исследования), определение нулевой и альтернативной гипотез, массив (числовых) данных, статистический анализ и вероятность маловероятного результата. И все это выражено в нескольких словах.

Будет сложно понять результат любых исследований, если вы совсем не понимаете, что означает обнаружение (или необнаружение) «статистически значимой разницы». К сожалению, старая поговорка «полузнание хуже незнания» уместна и здесь. Проблема заключается в том, что слово «значимость» в повседневной речи имеет совершенно другое значение, не то, в каком используется при описании результатов исследований.

Обычно это слово значит, что случилось что-то важное. Например, если врач говорит, что после операции вы почувствуете себя значительно лучше, вы справедливо заключите, что ваша боль ощутимо уменьшится. Но в выражении «статистически значимая разница» слово «значимая» означает, что результаты вряд ли объясняются случайностью (если нулевая гипотеза верна), при этом сами результаты необязательно должны быть важными. Более того, иногда вывод оказывается ошибочным, поскольку исследователи могут его подтвердить лишь с определенной долей вероятности. «Статистически значимая разница» – основная концепция исследований и статистики, но как хорошо знают все, кто изучал статистику, эту идею нельзя назвать интуитивно понятной.

Хотя термин «статистически значимая разница» несет кластер важных для науки идей, многие ученые мужи были бы рады удалить его из словаря, потому что его часто понимают неправильно. Этот термин подчеркивает связь науки и теории вероятности, но, несмотря на свою популярность (или вследствие нее), он временами подразумевает то, что подразумевать не должен, и это вводит общество в заблуждение. Даже специалисты часто заблуждаются. Возьмем гипотетический пример: в некоем основательном исследовании сравнивали эффективность двух лекарств по отношению к плацебо. Может получиться следующее: препарат «Х» статистически значимо отличается от плацебо, а препарат «У» – нет. И при этом между препаратами «Х» и «У» статистически значимой разницы нет. Такое возможно, если эффективность «Х» статистически значимо отличается от плацебо с вероятностью р<.04, а эффективность «У» статистически значимо отличается от плацебо лишь с вероятностью р<.06, что выше обычных принятых уровней проверки статистически значимой разницы. Если у вас от этих примеров болит голова, то вы относитесь к большинству, которое полагает, что понимает эту критически важную концепцию, лежащую в сердце научного метода, но на самом деле имеет о ней самое поверхностное представление.

Лучшее понимание связанных с этим термином ловушек сделало бы нас намного умнее. Этот термин подразумевает, что а) результаты могут быть неважными и б) выводы, основанные на наличии или отсутствии статистически значимой разницы, могут быть ошибочными. Использование статистически значимой разницы – основа научного метода, который (со всеми своими ограничениями и недопониманиями) намного превосходит любые альтернативные пути познания мира. Добавив этому понятию пару ключевых концепций, можно намного повысить уровень образованности общества.