Что такое p-value и как его правильно интерпретировать?
Короткий ответ
- Вероятность получить такой же или более экстремальный результат
- Считается в предположении, что нулевая гипотеза верна
- Это не вероятность того, что гипотеза верна
- Порог alpha (обычно 0.05) выбирают до эксперимента
- Малый p-value — повод отвергнуть нулевую гипотезу
- Статистическая значимость не равна практической важности
P-value — вероятность наблюдаемого или более экстремального результата при верной нулевой гипотезе, а не вероятность самой гипотезы.
Как сказать вслух
пример ответаP-value — это вероятность увидеть такой результат или ещё более сильный, если на самом деле эффекта нет. Если она меньше заранее выбранного порога, например пяти процентов, мы считаем результат статистически значимым. Важно, что это не вероятность того, что гипотеза верна, и не размер эффекта.
Подробный ответ
Основной ответ
P-value — это вероятность получить наблюдаемую статистику или более экстремальную при условии, что нулевая гипотеза (H0) верна. Если p-value меньше заранее выбранного уровня значимости alpha (обычно 0.05), результат называют статистически значимым и H0 отвергают. P-value не говорит о вероятности того, что H0 верна, и не измеряет величину эффекта: при большой выборке даже крошечный эффект даст малый p-value. Поэтому p-value всегда смотрят вместе с размером эффекта и доверительным интервалом, а порог фиксируют до начала эксперимента, чтобы не подгонять результат.
Ключевые моменты
- Условная вероятность. P-value считается при предположении, что H0 верна. Это P(данные | H0), а не P(H0 | данные).
- Порог выбирают заранее. Alpha фиксируют до эксперимента. Подбор порога после просмотра данных — p-hacking.
- Значимость против важности. На большой выборке значимым становится любой эффект. Нужно смотреть на размер эффекта и доверительный интервал.
- Множественные сравнения. При проверке многих гипотез растёт шанс ложных срабатываний — нужны поправки, например Бонферрони или FDR.
Практический контекст
Вопрос звучит почти на каждом собеседовании аналитика и дата-сайентиста, обычно в связке с A/B-тестами. Интервьюер проверяет, не скажет ли кандидат классическую ошибку — «вероятность того, что гипотеза верна». Сильный ответ упоминает ошибки первого и второго рода, мощность теста и то, почему нельзя останавливать тест, как только p-value опустился ниже 0.05.
Частые ошибки
- Говорят, что p-value — это вероятность того, что нулевая гипотеза верна
- Путают статистическую значимость с размером и важностью эффекта
- Не упоминают проблему подглядывания за тестом и множественных сравнений