ChatGPT vs аналитик данных: разбираемся, кто круче

Привет! Меня зовут Миша Серегин, я сооснователь karpov.courses.

Учёные подсчитали, что каждые тридцать секунд в karpov.courses отвечают на вопрос: «Заменит ли ChatGPT аналитиков?» В статье подробно разобрали, что именно делает аналитик и может ли нейросеть выполнить эту работу.

Ещё я приведу реальный пример из своей работы без красивых данных и расскажу про нужный уровень знаний в коде.

Для удобства разделим обычную абстрактную задачу аналитика на три этапа: понимание проблемы, поиск ответа в данных, упаковка решения.

Что будет в статье:

• Этап первый: понять, какую проблему нужно решить
• Этап второй: найти ответ в данных
  
• Этап третий: упаковать ответ в понятный вид
  
• Пример работы аналитика: оцениваем рекламу на маршрутках
  
• Код аналитика: что нужно уметь
  
• Итоги: каких аналитиков можно заменить нейросетью?
  

Аналитик — специалист по работе с данными. Но это не означает крутить цифры на экране самым сложным из возможных способов. На основе данных аналитик может помочь людям, принимающим решения в бизнесе — ЛПР.

Бизнес-заказчик может плохо понимать, как сформулировать свою потребность и что вообще можно узнать, поэтому основная работа аналитика происходит именно на этом этапе. Аналитик должен понять: «Какая проблема у ЛПР и как могут помочь данные?»

В реальности решение часто уже принято, и аналитик должен его подтвердить, защитить или опровергнуть. Выбор того, вступать ли в конфронтацию с существующим решением, каждый должен принимать самостоятельно.

Чего делать точно не стоит — готовить гигантский дашборд по поводу уже принятого решения. Потому что тогда вы не успеете сделать действительно нужную работу — найти и достать важные для принятия решения показатели. Вытащить даже один может быть сложно.

Иногда данные ничего не говорят о проблеме. Однажды я работал с продуктом, который хотели вывести на рынки США с аббревиатурой STD. Вместо данных нужен был эксперт, который знал, что STD — это Sexually Transmitted Diseases.

На этапе понимания задачи не поможет никакая нейросеть, потому что нейросеть не учили распознавать, что человек на самом деле имеет в виду под сказанным.

Этот этап технический, и он тоже делится на две части.

Первый шаг — спроектировать решение. Аналитик должен понять, как найти ответ самым быстрым и наименее трудозатратным способом.

Например, компания хочет раздать подарки топовым пользователям. Чтобы определить их, можно собрать данные по всем пользователям или только по тем, кто был онлайн последний месяц. Эти данные лежат в разных базах данных с разной скоростью работы.

Если попросить ChatGPT помочь с проектированием подобного решения, есть риск погрязнуть в объяснениях. Такой запрос будет похож на что-то вроде: «Из первой базы мне нужно достать X-данные, из второй Y-данные. После этого нужно связать их между собой вот таким способом...»

В большинстве случае такую задачу проще сделать самостоятельно, чем полностью прописывать текстом. Многие вещи выражать словами сложно, но в голове мы легко их держим в виде схем.

Чтобы нейросеть посоветовала что-то дельное, придётся объяснять ей всё:

• Выдать GPT всю информацию о базе, которой чаще всего нет в текстовом виде и которую вам рассказал один из разработчиков.
• Точно объяснить, что нужно сделать с данными. Тут тоже нужно учесть некоторые тонкости, например, не использовать в прогнозах продаж данные за 8 марта, если вы продаёте цветы.

Второй шаг — воплотить решение. Написать код, собрать дашборд, сходить к кому-то, чтобы понять, как работает БД или другие сложные вещи, например, геоданные.

После спроектированной логики уже несложно написать самому всё остальное. Обычно достаточно даже общего понимания языка запросов SQL. Это строгий язык, в котором нет сложноподчинённых предложений или тонкостей пунктуации вроде Oxford Comma — поэтому нет риска написать двусмысленное или нечеткое указание.

ChatGPT может помочь с отдельными техническими вопросами. Например, написать регулярное выражение, формулу для поиска слова или фразы в тексте.

Это не самый трудозатратный, но самый ответственный этап. Если на основе ваших данных не будет принято решение, вся предыдущая работа прошла впустую.

Найденный в данных ответ нужно упаковать и донести до ЛПР на понятном ему языке. ЛПР может быть молодым стартапером, матёрым продажником с 30 годами опыта в ритейле или бывшим ML-инженером. На этом этапе аналитик будет руководствоваться жизненным опытом и чутьём, искать подход. Это чисто человеческая работа.

Решение должно иметь удобный вид в зависимости от остальных обстоятельств: обновляемый дашборд, презентация, просто один фактоид. На этом этапе ChatGPT особенно не поможет — хотя он способен накидать идей, которые могут на что-то натолкнуть.

Допустим, поступает задача: составить прогноз пользователей на следующий год. Аналитик обязан понять:

• Что именно должно быть в этом прогнозе?
• Какое решение он должен помочь принять?
• Кто будет смотреть на этот прогноз?
• Какова цена ошибки?

Идеальных данных не бывает. Ну, почти.

Когда-то я работал в стартапе, который набирал линейный персонал. Компания запустила наружную рекламу на куче маршруток в разных городах. Нужно было посчитать эффективность рекламы и ответить на вопрос: «Будем ли запускать её снова?»

Что мог бы посоветовать ChatGPT

Давайте представим, что могла бы сказать по этому поводу нейросеть:

Группы «до запуска рекламы и после» называются экспериментальными и контрольными. Но запуск уже случился, поздно что-то придумывать задним числом. Если начать учить CEO дизайну эксперимента, он просто попросит другого аналитика.

Что сделал я: проектирование решения

Первая мысль, которая пришла в голову мне, — выделить контрольную и экспериментальную группы постфактум. Да-да, это очень неправильно и вообще. Но если вы думаете, что основу работы аналитика составляет обработка хорошо подготовленных данных, вас ждёт грустный сюрприз.

Я уточнил детали и выяснил, в каких городах мы давали рекламу.

Потом попробовал объединить все города с рекламой в одну группу и сэмплировать данные из остальных городов, чтобы получить группу, похожую по размеру. После этого начал искать пару каждому городу, в котором была реклама. Получалось это с трудом. Единственная закономерность оказалась в похожести речных городов между собой.

В итоге получилось что-то похожее на контрольную и экспериментальную группы.

Что сделал я: реализация

С технической стороны мне понадобилось:

• Написать код для сравнения городов.
• Визуализацию результатов для удобства выбора пары. Я рисовал график в Python. Мне это не нравилось, но было удобнее работать в нём, потому что графиков надо было сразу много.
• Работать с геоданными. Чтобы понять, как они устроены, я просил помочь разработчиков.
• Выбрать метод математической статистики, которым я буду сравнивать группы. И тут не было ни одного правильного варианта, потому что это ненастоящие экспериментальная и контрольная группы.

ChatGPT мог бы помочь с кодом для поиска пар городов, графиками или геоданными. Но с уточнениями: близко расположенные друг от друга города (например, подмосковные) для нужд нашей задачи считаются как один. Причина — люди из одного города ищут работу в другом и перемещаются между ними на маршрутках.

Чаще всего код аналитика отрабатывает один раз, и больше им никто никогда не пользуется. Если руководитель делает из своих аналитиков профессионалов-разработчиков, он зря тратит время.

Код аналитика совершенно не похож на код, который пишут разработчики для сервисов пользователей. Такие продукты должны работать чисто и быстро. Запросы в данных могут позволить себе быть во много раз медленнее, если выполняют свою задачу.

Можно подумать, что с быстрым хорошим кодом вы ускорите свою работу. Но основная часть работы проходит на этапе понимания проблемы и упаковки решения. На полное понимание задачи может уйти не один час и даже не день. И гораздо менее важно, сколько выполняется сам код — полтора часа или десять минут.

За время работы придётся разобраться в разных вещах: работа баз данных, другие языки программирования, финансовые нюансы. В большинстве из них не нужно становиться специалистом.

Когда аналитик хорошо разобрался в проблеме и понимает, как спроектировать поиск ответа в данных, с отдельными моментами ему очень даже поможет ChatGPT. Но всё же придётся думать своей головой.

Если специалист может понять проблему, найти ответ в данных и донести решение — это как минимум мидл-аналитик. Его никакая нейросеть не заменит.

ChatGPT может решать задачи только на уровне джуна, при этом сделает это быстрее. А значит, уровень сложности задач для новичков через 1–2 года повысится. Поэтому, если хотите начать свой путь в аналитике, не тяните.