Статистика
P-value и статзначимость на пальцах
Что такое p-value и статистическая значимость простыми словами, что p-value НЕ означает, порог 0,05 и почему «значимый» результат не всегда важный или настоящий.
Коротко
- P-value — вероятность увидеть такой результат (или сильнее) чисто случайно, если эффекта на самом деле нет.
- Маленькое p-value (обычно < 0,05) значит «случайностью объяснить трудно», а не «эффект большой и важный».
- P-value НЕ говорит вероятность гипотезы и НЕ измеряет силу эффекта — частые заблуждения.
- «Статистически значимо» ≠ «практически важно»: на больших данных значимой становится и ерунда.
P-value — самая знаменитая и самая неправильно понимаемая цифра в статистике. На неё молятся в исследованиях, ею обосновывают выводы, и почти все понимают её неверно. Разберёмся, что она значит на самом деле, — на пальцах и без формул.
Что это такое
P-value отвечает на один узкий вопрос: «Если бы эффекта не было вообще, насколько вероятно получить такой результат случайно?»
Маленькое p-value (скажем, 0,01) значит: чисто случайно такое выпадает редко, поэтому объяснять результат случайностью неубедительно — вероятно, эффект есть. Большое p-value (0,4) значит: такое запросто бывает и без всякого эффекта, поэтому результат ни о чём не говорит.
Порог 0,05 — привычная граница «значимости»: ниже неё результат считают неслучайным. Но это соглашение, а не истина: 0,05 означает примерно один ложный сигнал на 20 проверок.
Чего p-value НЕ означает
Три главных заблуждения:
- Это НЕ вероятность того, что гипотеза верна. P-value считает вероятность данных при отсутствии эффекта, а не вероятность эффекта. Перевернуть логику нельзя.
- Это НЕ размер эффекта. Маленькое p-value не значит «эффект большой». Оно значит «эффект вряд ли случаен» — а сам эффект может быть ничтожным.
- Это НЕ гарантия. p=0,05 означает, что в одном случае из двадцати вы объявите эффект там, где его нет.
«Значимо» ≠ «важно»
Главная практическая ловушка. На большой выборке статистически значимым становится любое, даже микроскопическое различие. Лекарство, продлевающее жизнь в среднем на два часа, на миллионе пациентов даст p<0,001 — «высокозначимо» и практически бесполезно.
Поэтому p-value всегда читают в паре с размером эффекта и доверительным интервалом: значимость говорит «эффект, вероятно, реален», а размер эффекта — «и вот насколько он велик». Без второго первое вводит в заблуждение.
Почему это касается ИИ
В машинном обучении и A/B-тестах p-value решает, признать ли улучшение модели настоящим. Те же ловушки бьют и здесь: на огромных данных «значимым» окажется бесполезный прирост, а поклонение порогу 0,05 плодит ложные открытия. Понимание p-value — защита от того, чтобы принять шум за сигнал, что в анализе данных случается постоянно. Помните и про разницу корреляции и причины: значимая корреляция всё ещё не доказывает причинность.
Вопросы и ответы
Что такое p-value простыми словами?
Это вероятность получить наблюдаемый результат (или ещё более сильный) чисто случайно, при условии, что реального эффекта нет. Маленькое p-value означает, что случайностью такое объяснить трудно, — и это повод считать эффект неслучайным. Но это вероятность данных при отсутствии эффекта, а не вероятность самого эффекта.
Почему порог 0,05, а не другой?
Это соглашение, а не закон природы. 0,05 означает «в среднем один ложный сигнал на 20 проверок при отсутствии эффекта». Порог удобен, но произволен: результат с p=0,049 не «истина», а с p=0,051 не «ложь». Слепое поклонение порогу 0,05 — источник множества невоспроизводимых исследований.
«Статистически значимо» значит «важно»?
Нет. Значимость говорит лишь, что эффект вряд ли случаен, но ничего — о его размере. На больших выборках статистически значимым становится ничтожное различие, не имеющее практического смысла. Всегда смотрите на размер эффекта и доверительный интервал, а не только на p-value.
Источники и что почитать
- Определение и типичные заблуждения о p-value — по разъяснениям Американской статистической ассоциации (ASA statement on p-values).