Один скачок — и весь прогноз в мусорке

Один скачок — и весь прогноз в мусорке

Когда линия тренда врёт

Представьте ряд: ровный шум, затем резкий скачок и дальше колебания на новом, более высоком уровне. Классическая ситуация для датчиков, финансов, телеметрии. Кажется, построй линию тренда по всему периоду и прогнозируй, но именно здесь кроется ловушка.

Линия, проведённая через весь ряд на самом деле является смесью двух режимов. Она "сглаживает" скачок, занижает наклон на новом участке и завышает на старом. Формально это omitted variable bias: мы оцениваем один тренд там, где их два. Прогноз такой линии систематически ошибается, и в сторону, и по наклону.

Скачок — это не всегда помеха

Ключевой вопрос: какова природа скачка? От ответа зависит всё.

Разовое структурное изменение (новая политика, смена поставщика, регламент), тогда старая динамика становится нерелевантной, приоритет у периода "после". Но точек там мало, и оценка нестабильна.

Часть регулярного паттерна (сезонность, цикл), когда необходима модель с явной компонентой, объясняющей "прыжки", а не борьба с ними.

Выбирать "или/или" не стоит, это ошибочное решение. Правильнее строить модель, где обозначить скачок как явный параметр, а не то, что нужно сгладить или отбросить.

Примеры, когда линия тренда уже соврала

1. Ставка ФРС и десятилетний тренд

Рынок растёт, ставки низкие, рисковые активы дорожают. Длинная линия тренда за десятилетие выглядела красиво. Но в 2022 году ФРС резко подняла ставку, режим сменился. Те, кто продолжал экстраполировать "докризисный" тренд, ошиблись в оценке портфелей. Линия усреднила два разных мира: "до" и "после" и перестала описывать реальность.

2. iOS 14 и стоимость трафика

После того как Apple ввела ATT (прозрачность отслеживания), стоимость привлечения пользователей скакнула. Маркетологи и основатели consumer-стартапов смотрели на средний CPL за два года и ошибались в юнит-экономике. Агрегированный график был ровным, но он смешивал два режима.

3. Пандемия и прогнозы заболеваемости

Самый яркий известный всем пример. Весной 2020 года модели прогнозировали по единому тренду и давали ошибку в разы, потому что режим сменился: локдауны, штаммы, вакцины.

Четыре подхода, которые стоит сравнить

1. Глобальный тренд по всему ряду — базовый, но смещённый при сдвиге.

Один скачок — и весь прогноз в мусорке

2. Сегментная модель — отдельно "до" и "после". Честно, но риск переобучения на малой выборке.

Один скачок — и весь прогноз в мусорке

3. Step-dummy: тренд + фиктивная переменная на скачок. Используются все данные, режимы не смешиваются — обычно лучший компромисс.

Step-dummy (ступенчатая фиктивная переменная) — это специальная переменная, которая принимает только два значения: 0 и 1. Она создаётся искусственно и добавляется в модель для того, чтобы "включить" или "выключить" влияние определённого фактора.

Разберём отдельно.

4. Байесовское обнаружение сдвига (BOCPD): метод, который не просто говорит "сдвиг был", а оценивает вероятность, насколько мы уверены, что он случился именно здесь.

Один скачок — и весь прогноз в мусорке

И прогноз он даёт не одной линией, а коридором: "скорее всего, будет так, но возможно и так". То есть он честно показывает, где мы не уверены. Байесовское обнаружение: даёт вероятность момента сдвига и прогноз с интервалом неопределённости режима.

Step-dummy: тренд + фиктивная переменная на скачок

Представьте, что у вас есть данные со скачком. Что произойдёт, если просто провести через них одну общую линию тренда? Ответ на этот вопрос мы проверили с помощью симуляции: создали ряд из 120 точек с явным сдвигом уровня в точке 80 и сравнили четыре способа прогнозирования. Метрика MAE (средняя абсолютная ошибка) покажет цену ошибки в цифрах, а график — в визуальной динамике.

Один скачок — и весь прогноз в мусорке

Наглядно: серая линия глобального тренда не успевает за резким изменением и дает систематическую ошибку.

Коричневая линия Step-dummy ломается ровно в точке скачка, идеально следуя за новым уровнем.

Один скачок — и весь прогноз в мусорке

Вывод: при явном скачке step-dummy выигрывает — он использует всю выборку, но не смешивает режимы. Сегментный подход хорош, когда "после" достаточно длинный. Глобальный тренд проигрывает всегда, когда сдвиг есть.

Парадокс окна

Допустим, что есть на график и надо решить: какой отрезок времени взять, чтобы предсказать, что будет дальше?

Взять короткий отрезок вроде бы хорошо: свежие данные, свежий режим. Но на малом числе точек шум сильнее, и оценка тренда "дрожит". Сегодня одно, завтра другое, как судить по трём звонкам за неделю, насколько шумный у вас телефон.

Возьмёте длинный, картина стабильная, шум сглаживается. Но есть другой риск: в этот период мог попасть скачок, и вы усредняете два разных мира. Линия тренда получается "средней температурой по больнице", и ни в одном из режимов она не верна

Один скачок — и весь прогноз в мусорке

Вот в чём парадокс: чем длиннее период, тем стабильнее оценка, но тем выше шанс смешать режимы. Чем короче период, тем чище режим, но тем сильнее шум. Единого "правильного" окна, которое решает обе проблемы, не существует. Это не вопрос настройки — это фундаментальный компромисс. Его не обойти выбором длины окна: он лишь перекладывает проблему с шума на смешение.

Решает только модель, в которой режим введён как явный параметр, а прогноз задан в интервале, а не точкой. Ведь прогноз в условиях скачка — это не проведение линии, а ответ на два вопроса: какой режим действует сейчас и насколько мы в этом уверены.

Чек-лист: как выбрать окно при скачке

  1. Подтверждён ли скачок? Не одна точка, а устойчивый новый уровень на 3-5 наблюдениях. Иначе получим выброс, не режим.
  2. Есть ли причина? Если знаете, что случилось, доверяйте данным "после", а если не знаете, будьте осторожнее.
  3. Хватает ли данных после? Меньше 20–30 точек, не режьте ряд, используйте Step-dummy, тот самый "переключатель", который равен 0 до скачка и 1 после.
  4. Что изменилось: высота или темп? Если просто прыжок вверх, тогда хватит Step-dummy. Если изменился темп роста, то нужна модель посложнее.
  5. Проверяйте только по времени. Не проверяйте на случайных кусках.
  6. Следите после запуска. Режим может смениться снова, в таких случаях нужен автоматический "сторож", онлайн-детектор.

Фреймворк прогноза

Один скачок — и весь прогноз в мусорке

Шаг 1. Проверить, есть ли сдвиг вообще. Прежде чем строить прогноз, убедиться, что "поломка" в данных реальна, а не плод случайных колебаний.

Шаг 2. Описать сдвиг явно. Самый аккуратный путь, добавить в модель Step-dummy: переменную, которая равна 0 до скачка и 1 после. Модель использует все данные, но знает, что после определённой точки закон меняется. Альтернативный вариант: разрезать ряд на два куска и строить модель для каждого отдельно. Проще, но опасно, если после скачка данных мало.

Шаг 3. Делать проверку честно. Нельзя проверять прогноз на случайных кусках, время идёт только вперёд.

Шаг 4. Дать прогноз и не один. Вместо одной цифры выделить три вещи: точку, лучшее предположение, коридор (честный диапазон, куда попадёт реальность) и сценарии: "если режим сохранится, то так; если вернётся к старому то, вот так".

Шаг 5. Поставить "сторожа". Настроить автоматический мониторинг, который подаст сигнал, если поведение данных снова изменится.

Что важно не перепутать

Скачок уровня != смена тренда. Визуально похожи, прогнозы разные. Сдвиг уровня — разовый переход, смена наклона — новая динамика.

Риск переобучения на выброс. Принять шум за смену режима, и прогноз уедет. Критерий различения: устойчивость нового уровня на нескольких точках после скачка, а не на одной.

Малая выборка после сдвига — главная практическая боль. Помогают байесовские приоры, иерархические модели, перенос с похожих рядов.

Вывод

Скрытый тренд в шуме — это чаще всего не один тренд, а несколько режимов, слитых в один ряд. Хороший прогноз начинается не с проведения линии, а с вопроса: сколько здесь режимов и где границы? Линия, игнорирующая этот вопрос, выглядит красиво и ошибается систематически.

Подписывайтесь на мой телеграмм канал

11