Ошибка выжившего: почему мы учимся не у тех

Во время Второй мировой войны инженеры изучали вернувшиеся с заданий самолёты, чтобы понять, где усилить броню. Пробоины концентрировались на крыльях и фюзеляже — логично бронировать их. Математик Абрахам Вальд сказал: наоборот. Укреплять надо места, где пробоин нет — двигатели и кабину. Почему? Потому что самолёты, получившие попадания туда, просто не вернулись. Их не было в данных.

Это ошибка выжившего — и она встречается куда чаще, чем кажется.

В чём суть

Ошибка выжившего — это вывод, сделанный только по тем, кто «дошёл до конца» и попал в поле зрения, при игнорировании тех, кто отсеялся и стал невидим. Погибшие самолёты, разорившиеся компании, бросившие спортсмены — их нет в данных, и поэтому картина систематически искажена.

Опасность в том, что данные выглядят полными. Вы видите все вернувшиеся самолёты, всех успешных предпринимателей — и не замечаете, что смотрите на отфильтрованную выборку, где фильтром был сам «успех».

Где это встречается

• «Секреты успеха». Изучают миллионеров и находят общее: рисковали, бросили институт, вставали в 5 утра. Но ровно то же делали тысячи разорившихся — их просто не спросили. Вывод «делай так — станешь богатым» игнорирует всех, кто делал так и проиграл.
• Старые вещи «делали на совесть». «Раньше техника работала десятилетиями!» До нас дошла только та, что выжила; сломавшееся давно выброшено. Мы сравниваем лучшие образцы прошлого со средними нынешними.
• Отзывы и рейтинги. Оценки ставят те, кто дошёл до конца пути; бросившие на полдороге молчат.

Как защититься

Один вопрос разоблачает ошибку выжившего: «Кого нет в моих данных?»

Кто отсеялся, разорился, не дошёл — и потому не попал в выборку? Если вы изучаете только успех, найдите и добавьте провалы. Полная картина требует и «выживших», и «погибших».

Связь с данными и ИИ

Для ИИ ошибка выжившего — частный, но коварный случай смещения данных (bias). Модель кредитного скоринга, обученная только на выданных кредитах, не видит тех, кому отказали, — и наследует прошлые предубеждения, не замечая этого. Модель учится на «выживших» и воспроизводит фильтр, который её создал.

Отсюда правило анализа данных: прежде чем доверять выводу, спросите не только «что показывают данные», но и «какие данные сюда не попали и почему». Это же лежит в основе разницы корреляции и причинности и честной оценки размера выборки.