Игнор выбросов как слепота: навигатор ведёт в стену, а прогноз — в иллюзию

Игнор выбросов как слепота: навигатор ведёт в стену, а прогноз — в иллюзию

Почему "средние пробки" навигатора и нули в данных опаснее, чем кажется

Представьте навигатор, который показывает «среднюю пробку» и ведёт вас прямо в затор, потому что алгоритм усреднил аварию с пустой дорогой. Или экономиста, который строит прогноз ВВП, получает идеальную модель с R² = 0.9999 — и не замечает, что её держит на себе один кризисный год. Это не редкий случай. Это повседневная цена игнора выбросов — точек, которые нельзя стирать, потому что они и есть сигнал.

Парадокс "средней пробки"

2ГИС официально описывает свою модель прогноза пробок как устойчивую к краткосрочным выбросам. В релизе сервиса прямо сказано: прогноз "ведёт себя гораздо стабильнее, потому что менее подвержен влиянию краткосрочных выбросов — светофоров и локальных краткосрочных заторов". На первый взгляд это разумно: водителю не нужен прогноз, который дёргается из-за каждой машины, притормозившей у светофора.

Но здесь кроется подвох. Если алгоритм систематически сглаживает локальные аномалии, он может "не увидеть" реальную аварию, которая формально выглядит как краткосрочный выброс скорости, но фактически блокирует дорогу на час.

Попадали в пробку, когда время движения по участку с красной линией показывало 16 минут, а через пять минут продвижения на первой/второй передаче, обновлялось время и показывало 22 минуты? У меня такое было.

Игнор выбросов как слепота: навигатор ведёт в стену, а прогноз — в иллюзию

Авария для алгоритма — это просто ещё одно отклонение скорости, которое нужно сгладить, а не событие, требующее перестройки маршрута.

Пользователь в итоге получает маршрут, который "в среднем" быстрый, но в конкретный момент может вести прямо в затор. Ирония в том, что 2 ГИС честно предупреждает: если пробка "глухая", маршрут будет в объезд . Но как алгоритм отличает "глухую" пробку от "краткосрочного выброса", если сама архитектура модели настроена на игнорирование выбросов?

Ловушка агрегатов

Прежде чем говорить о формальных критериях поиска выбросов, стоит вспомнить классический пример, который бьёт в саму привычку доверять числам вместо глаз - квартет Энскомба.

Это четыре набора данных, у которых совпадают агрегированные значения: средние, дисперсии, корреляция и даже линия регрессии (y = 3 + 0,5x).  
Это четыре набора данных, у которых совпадают агрегированные значения: средние, дисперсии, корреляция и даже линия регрессии (y = 3 + 0,5x).  

Если аналитик смотрит только на эти статистики, он сделает вывод: наборы идентичны.

Но стоит построить графики — и картина рассыпается. В третьем наборе (Dataset III) все точки лежат почти идеально на прямой, кроме одной-единственной точки-выброса. Именно она "сдвигает" регрессию и снижает корреляцию с почти 1,0 до 0,816. Уберите её — и связь станет почти функциональной.

График Dataset III показывает выброс
График Dataset III показывает выброс

Агрегаты не видят структуру. Среднее, дисперсия и коэффициент корреляции могут быть одинаковыми у совершенно разных данных. Если не посмотреть на график, вы построите модель, которая описывает не реальность, а артефакт одной строки. Выброс здесь — не "помеха", которую нужно стереть, а точка, которая держит на себе всю иллюзию.

Статистика, у которой есть скрытые условия

Классическая статистика учит: всё, что выходит за пределы трёх стандартных отклонений — аномалия. Вероятность такого отклонения для нормально распределённой величины ничтожна — около 0.27%

Но у правила есть жёсткие условия: данные должны соответствовать нормальному закону, а выборка — быть достаточно большой (n > 50), без них порог 3σ перестаёт быть границей "редкого события" и превращается в произвольное число.

Не буду грузить гауссовым распределением.

Реальные экономические и транспортные данные не гауссовы — у них тяжёлые хвосты, а выборки часто малы: годовые макропоказатели измеряются десятками, не сотнями. Если применять порог слепо, он теряет смысл. А при последовательном поиске, по одному, срабатывает эффект маскировки: найденные аномалии раздувают стандартное отклонение и прячут следующие.

Экономический пример: как один выброс обманул регрессию

Идеальная линейная зависимость
Идеальная линейная зависимость

Но есть подвох. Все годы, кроме одного, сбились в крошечное пятнышко у левого края графика. А одна точка — 2018 год, когда в Венесуэле цены выросли на тысячи процентов — улетела далеко вправо вверх. Именно она растянула график так, что остальные годы стали неразличимы, а линия "идеальной".

График после того, как убрали крайнюю точку
График после того, как убрали крайнюю точку

На этом графике убрали один 2018 год — и картина сразу рассыпалась. Точки разбрелись, идеальная прямая исчезла. Значит, "железная связь" предыдущем графике держалась не на всех данных, а на одном-единственном годе.

Вывод: если график выглядит слишком идеально — проверьте, не тянет ли его на себе одна точка. Уберите её — и увидите, есть ли связь на самом деле.

Ноль в данных — это сигнал

Отдельная слепота — игнорирование нулей. Ноль в таблице может означать три совершенно разные вещи:

  • значение действительно равно нулю
  • данные отсутствуют
  • данные скрыты

Если аналитик автоматически заменяет нули на среднее или просто выбрасывает строки, он уничтожает информацию.

В контексте выбросов ноль часто работает как антивыброс. В транспортных данных скорость ноль — это не "маленькая скорость", это остановка. Это либо пробка, либо светофор, либо ДТП, либо машина припаркована. Если алгоритм усредняет ноль с сорока километрами в час, он получает "двадцать" — и водитель едет в стену, стену из стоящих машин, которую алгоритм принял за медленное движение.

В корпоративной отчётности ноль часто означает не „нет расходов“, а „не раскрыли“. Если аналитик посчитает такой ноль реальным значением, выборка станет смещённой

Ноль не игнорируем
Ноль не игнорируем

Каждый аналитик сталкивался в нулями в источниках, были какие-то необычные инциденты? Поделитесь)

Что делать вместо игнорирования

Правильный подход к выбросам — не "удалить и забыть", а классифицировать и объяснить. Выброс может быть:

  1. Ошибкой измерения (десятичная запятая, сбой датчика) — тогда исправить.
  2. Реальным редким событием (кризис, авария, пандемия) — тогда оставить и использовать модель, устойчивую к выбросам, или анализировать выбросы отдельно.
  3. Сигналом о проблеме в данных (компания не раскрыла выбросы) — тогда разбираться в причине.

Есть методы, которые не ломаются от нескольких “плохих” точек. Самый простой — медиана вместо среднего: она показывает, где лежит основная масса данных, и один выброс её не сдвинет. Есть и более сложные аналоги — например, вместо стандартного отклонения берут меру, которая тоже не раздувается от аномалий. Смысл один: не выбрасывать выброс, а считать так, чтобы он не перекосил картину. А чтобы увидеть аномалию до того, как её “съест” алгоритм, нужна визуализация — диаграммы рассеяния и ящики с усами показывают выброс сразу, глазами.

Пример ящика с усами
Пример ящика с усами

Выводы

Игнорирование выбросов — это не "очистка данных". Это слепота по выбору. Навигатор, который сглаживает аварию, ведёт вас в пробку. Экономист, который усредняет кризис, строит прогноз на иллюзии. Аналитик, который выбрасывает нули, теряет часть реальности.

Выброс — это не мусор. Это точка, где модель ломается. И именно поэтому она интересна. Если ваша модель не может объяснить выброс, возможно, она не может объяснить и всё остальное, просто вы этого не видите, потому что среднее слишком удобно округляет правду.

Подписывайтесь на мой телеграмм канал

77