Что общего у мороженого и утопленников?

За окном осень, куртки, горячий чай, самое время оглянуться назад и вспомнить лето, только не через фотографии, а через данные, т.к. лето — это не только жара и отпуск, но и два очень показательных графика.

Продажи мороженого — вверх, число несчастных случаев на пляжах открытых водоёмов — вверх, напрашивается вывод: мороженое топит людей. Абсурд! Или… между этими переменными есть связь, которую нужно объяснить.

Но объяснять нечего. Потому что мороженое здесь ни при чём и утопленники ни при чём, обе линии растут, потому что на улице жарко. Это и есть ложная корреляция: статистическая связь, за которой не стоит причинности.

Ложная корреляция — это ситуация, когда две переменные статистически связаны, но:

Типичная ошибка: увидеть, что две переменные растут вместе, и сразу решить, что одна вызывает другую, это логическая ловушка.

Правильный вывод: мороженое и утопленники связаны статистически, но не причинно. Обе переменные — следствия жары.

С мороженым и утопленниками всё понятно — пример выбран абсурдный, но та же ошибка может появиться в отчётах, дашбордах и презентациях, где выглядит убедительно.

Пример 1. Сезонность, которую приняли за эффект. Компания запустила новую рекламную кампанию в мае, к августу выручка выросла на 40%, вывод: "Кампания работает". Но в этот же период у конкурентов выручка выросла на 35% без всякой кампании. Причина — сезонный спрос. Кампания и выручка росли вместе, но не потому, что одна тянула другую, а обе тянул сезон.

Пример 2. Два KPI, которые растут синхронно. В продуктовой команде средний чек и число обращений в поддержку растут одновременно. Вывод напрашивается: "Чем больше покупают, тем больше проблем", однако если добавить в анализ третий фактор — рост базы пользователей, то связь между чеком и обращениями нивелируется. Обе метрики растут потому, что растёт аудитория.

Пример 3. "Мы улучшили онбординг, и retention вырос". Команда переделала онбординг в июне, в июле retention вырос. Казалось бы, победа, но в июле также стартовал сезон отпусков, изменился состав трафика и вышел новый релиз конкурента. Если не проверить альтернативные объяснения, можно годами "улучшать онбординг" и не понимать, почему эффект не воспроизводится.

Что общего у всех трёх случаев.

Есть две переменные, которые движутся вместе.

Есть соблазн объявить одну причиной другой.

И есть третий фактор — сезон, рост базы, изменение рынка, который в анализ не попал.

Пока он не попал, связь кажется причинной. Как только попал, связь рассыпается.

Если хотя бы на один вопрос нет внятного ответа — это повод не делать вывод, а копать дальше, именно на этом шаге отсеивается большинство "инсайтов", которые на поверку оказываются сезонностью или совпадением.

Проект называется Spurious Correlations и представляет собой коллекцию случайных корреляций, "выловленных" из самых разных наборов данных и превращённых в линейные графики. Цель — наглядно показать опасность коррелирования без понимания причин.

Сайт был впервые опубликован в мае 2014 года, а в январе 2024 года получил большое обновление: добавили 25 000 новых переменных и улучшили функцию поиска. Проект не преследует коммерческой выгоды, Виген не показывает рекламу, не отслеживает посещения и разрешает использовать свои графики всем желающим по лицензии Creative Commons.

Пример, один из тех, что есть на сайте:

Главная мысль графика — корреляция не означает причинность, ключевые моменты:

График с "Теорией Большого взрыва" — один из сотен примеров на сайте Вигена, его цель — показать, как легко обмануться, увидев две совпадающие кривые. Сам автор, бывший аналитик военной разведки, а затем студент Гарвардской школы права, создал этот проект как "гиковский юмор", но с серьезным подтекстом: в эпоху больших данных ложные ассоциации находятся всё легче, и их легко принять за что-то значимое.

Проект не является предупреждением против доверия к исследованиям или корреляциям как таковым, это напоминание о том, что инструменты статистики полезны только при правильном использовании.

Все эти данные в его проекты взяты из официальных источников.

Первое правило: высокая корреляция не означает наличия причинно-следственной связи. Статистическая связь может быть случайной или возникнуть благодаря третьему фактору, не входящему в исследование. В примере с мороженым и утопленниками таким фактором является жаркая погода.

Второе правило: низкий коэффициент корреляции не означает отсутствия связи. Связь может быть тесной, но нелинейной, при этом коэффициент корреляции измеряет силу только линейной зависимости.

Для установления причинности требуются контролируемые эксперименты, позволяющие исключить влияние других факторов. Классический пример — доказательство связи курения и рака лёгких: учёные провели обширные медицинские исследования, контролируя другие потенциальные факторы, и доказали, что вредные вещества в сигаретах повреждают лёгочную ткань.

Если провести эксперимент невозможно, используются квазиэкспериментальные методы и статистические техники, такие как причинность по Грейнджеру

или метод convergent cross mapping, оба пытаются выявить направление влияния на основе временных рядов.

Идея: если X действительно влияет на Y, то в истории Y "записана" информация об X. Значит, по состоянию Y можно восстановить (предсказать) X.

Правило:

Обе ошибки: "вижу связь, значит, есть причина", и "связи нет, значит, ничего не происходит" одинаково дорого обходятся.

В первом случае рождаются сенсационные заголовки и неверные решения.

Во втором пропускается реальная зависимость, потому что она не легла в прямую линию на графике.

Поэтому проверка на причинность — это не формальность, а фильтр, который отделяет рабочие гипотезы от совпадений.

"Лето = мороженое + утопленники" — это формула для ситуации: "есть скрытая причина, из-за которой две переменные растут вместе".

Следующий раз, увидев заголовок "Учёные обнаружили связь между...", вспомните о мороженом.

Корреляция — это не причина, а иногда просто совпадение, которое выглядит убедительно на графике.

Подписывайтесь на мой телеграмм канал