P-value

P-value — вероятность получить наблюдаемый результат (или ещё более сильный) чисто случайно, при условии, что реального эффекта нет. Маленькое p-value (обычно порог 0,05) значит, что случайностью такое объяснить трудно, — повод считать эффект неслучайным.

Три частых заблуждения, чего p-value не означает:

• Это не вероятность того, что гипотеза верна.
• Это не размер эффекта — маленькое p-value не значит «эффект большой».
• «Статистически значимо» не значит «практически важно»: на большой выборке значимым становится любой пустяк.

Порог 0,05 — соглашение, а не закон природы. Читать p-value нужно в паре с доверительным интервалом и размером эффекта. Подробно — в статье «P-value на пальцах».