Рональд Фишер, один из отцов современной статистики, заставил нервничать многих своих современников. Но если и есть причина, по которой следует злиться на Фишера сегодня, то это термин «статистическая значимость», который он ввел в оборот.
Эти два слова не обязательно означают, что результат важен, или что результат значителен. Они лишь означают, что эффект отчетливо виден. Главным образом «статистическая значимость» показывает, насколько вы уверены, что полученный результат не случаен.
В 2016 году Американская статистическая ассоциация выпустила заявление, которое предостерегает от чрезмерной зависимости от р-значений - величины, используемой при тестировании статистических гипотез. Исследователи, такие как Эндрю Гельман, Джон Иоаннидис и многие другие, продемонстрировали, как эти значения могут вводить заблуждение и заставлять поверить, что случайные результаты не случайны.
Но помимо методологии, идея статистической значимости вызвала некоторые проблемы в понимании того, как люди относятся к результатам научных исследований.
Во-первых, статистическая значимость не говорит вам, насколько силен эффект. Например, некоторые исследования обнаружили, что низкоквалифицированная иммиграция ведет к снижению заработной платы американских рабочих, не являющихся выпускниками колледжей. Этот вывод является статистически значимым. Копнув поглубже, можно выяснить, что приток 12 миллионов низкоквалифицированных работников сократит зарплаты американцев, закончивших одну лишь школу, лишь на несколько процентных пунктов. Этот эффект заслуживает внимания, конечно, но ситуация не так страшна, как ее представляют большинство противников иммиграции.
Как может такой маленький эффект быть статистически значимым? Ответ: обилие данных. В эпоху больших данных становится все легче и легче найти статистически значимые «иголки в стогах сена».
Фишер использовал слово «значимость», однако нет общепринятого термина для описания размера эффекта. Экономисты иногда называют его «экономическим значением», биологи - «биологическим значением», но все эти термины являются узкоспецифическими. В результате многие люди, читая о последних результатах исследований в новостях, не понимают, насколько ничтожны некоторые из приведенных выводов.
Вторая проблема возникает, когда люди путают статистическую значимость с объяснительной силой. Возьмем, например, вопрос, почему люди голосовали за Дональда Трампа - расовая обида, экономическая тревога, враждебный сексизм, авторитарные отношения? Каждая из этих причин имеет сторонников, которые считают, что это ключ к пониманию «трампизма». Каждый доказывает свою точку зрения, вооружившись результатами исследования, показывающего статистически значимые корреляции между их предпочтительным фактором и поддержкой Трампа.
Но при этом они редко упоминают о том, какой процент поддержки Трампа они объясняют. В статистике есть показатели того, насколько хорошо модель может объяснить наблюдаемые данные, самый известный из них называется R-квадрат. Если R-квадрат единица, модель объясняет все. Но если R-квадрат близок к нулю, большинство из причин того, что модель пытается объяснить, остается загадкой.
Нет такой модели, которая бы показала один критерий, обеспечивший Трампу победу. Таким образом люди, которые указывают на результаты исследования и говорят, что «сторонники Трампа авторитарные» или «сторонники Трампа расисты», должны понимать: есть много различных факторов, связанных с поддержкой нового президента, некоторые из которых даже никому не известны. Просто потому, что эти факторы являются статистически значимыми, не означает, что все дело в них.
Многие люди, которые делают статистические исследования в таких областях как экономика, учат игнорировать R-квадрат и другие меры объяснительной силы, и уделять больше внимания статистической значимости. Возможно, это отношение исходит из фармацевтического тестирования - если вы ищете лекарство, которое надежно уменьшает головную боль, вы в основном заинтересованы в проверке того, что оно помогает от указанной проблемы, чтобы начать продавать его клиентам. Это означает, что вы хотите сосредоточиться на статистической значимости. Но при попытке объяснить крупные социальные явления следует задаться вопросом, знает ли исследователь всю историю или только ее часть, что имеет решающее значение для объективности результатов.
Поэтому, когда вы читаете о результатах исследований, помните - статистическая значимость лишь часть того, что вам нужно знать.
