Не на кофейной гуще: как большие данные и искусственный интеллект помогают строить более точные прогнозы для бизнеса

Какие преимущества в планировании и стратегическом управлении — проектом или компанией — дает прогнозирование и как его внедрить без риска зря потратить бюджет — рассказываю на базе личного опыта. Меня зовут Дмитрий Тонких, я занимаюсь направлением искусственного интеллекта в компании «DатаРу Консалтинг», подразделении российского вендора технологических решений и сервисов DатаРу.

Успех бизнеса зависит от способности компании адаптироваться к изменениям рынка, принимать взвешенные решения и строить долгосрочные стратегии развития. Внедрение передовых технологий — машинного обучения и анализа больших массивов данных — помогают давать еще более точные прогнозы. А значит — получать больше возможностей для роста и роста прибыльности компании.

Почему прогнозирование так важно?

Прогнозирование помогает компаниям быть гибкими и быстрее реагировать на новые предложения конкурентов, изменения в потребительских предпочтениях или макроэкономических условий. Обладая обоснованным представлением о будущих трендах, компании могут идентифицировать потенциальные угрозы и находить неочевидные точки роста. А также — более эффективно распределять свои ресурсы, сокращать затраты на неэффективные проекты и инвестировать в перспективные направления. Например, через анализ трендов и предвосхищение запросов потребителей разрабатывать инновационные продукты и услуги.

Анализ данных и прогнозирование позволяют заблаговременно выявлять направления и потенциал совершенствования текущих бизнес-процессов. Это актуально для множества областей — формирования складских запасов, управления цепочками поставок, оперативного планирования, учета сезонных факторов, номенклатуры товарных и нематериальных позиций, продажи готовой продукции и услуг.

Через инструменты прогнозирования компания может добиться значительного сокращения операционных затрат и разработать стратегии минимизации рисков и максимизации прибыли.

Добавим интеллекта

Искусственный интеллект, машинное обучение и Big Data поднимают прогнозирование на новый уровень. Так, алгоритмы машинного обучения могут анализировать колоссальные объемы данных. Это дает возможность выявить скрытые взаимосвязи внешне разрозненных переменных, что необходимо для построения более точных моделей прогнозирования.

При этом методы симуляционного моделирования позволяют проигрывать различные сценарии развития будущих событий и оценивать их вероятные последствия. А автоматизация рутинных задач не только открывает более полную картину, но и значительно сокращает время, необходимое для анализа данных, построения прогнозов и принятия оперативных управленческих решений.

На российском рынке есть решения, где уже реализованы современные методы прогнозирования. Например, экосистема бизнес-аналитики Loginom, с которой мы активно работаем. Решение построено на базе высокоскоростной low-code платформы, где собран готовый и совместимый инструментарий для решения сложных аналитических задач. Пользователям доступна оперативная аналитическая обработка, очистка и консолидация данных, оптимизация и моделирование бизнес-процессов, клиентская аналитика, логистика товарных запасов и многое другое.

Технологии углубленного анализа данных вместе с интеграцией искусственного интеллекта, машинного обучения и инструментов визуализации позволяют создавать сложные модели, способные учитывать множество факторов и переменных.

Примеры использования прогнозирования в бизнесе

Компании из разных отраслей применяют прогнозирование для решения множества задач.

Кейс: как мы считали рейтинг телепрограмм

Для эффективного распределения рекламного бюджета на ТВ важно понимать рейтинги программ и количество потенциальных зрителей каждой трансляции. Для предсказания этих показателей мы использовали два метода прогнозирования — машинное обучение и прогнозирование временных рядов (классический статистический метод). Было любопытно узнать, какая технология больше подходит для анализа телевизионных рейтингов, имеющих выраженную временную структуру.

Для создания прогнозных моделей в библиотеке Loginom доступны несколько алгоритмов:

- Extra Trees Regressor;

- Random Forest Regressor;

- Decision Tree Regressor;

- Gradient Boosting Regressor;

- XgBoost.

Мы тестировали модели на данных трех каналов с разным размером аудитории. Поставщик данных собирает их с помощью специализированную приставку к телевизору. По всем метрикам лидировала модель Extra Trees Regressor. Для нее мы оптимизировали гиперпараметры, что позволило улучшить точность прогноза.

Проведенный анализ и подготовка данных позволили построить качественные модели прогнозирования. Наш вывод: инструменты машинного обучения для прогнозирования рейтингов телевизионных программ помогают оптимизировать распределение рекламного бюджета с учетом предпочтений аудитории.

Анализ временных рядов позволяет изучить, как значение рейтинга ТВ-программы или количество зрителей менялось с течением времени. В экосистеме Loginom представлено четыре модели с встроенными алгоритмами анализа и прогнозирования временных рядов (ARIMA, ARIMAX, SARIMA и LOESS). Эти алгоритмы используют математические формулы для поиска закономерностей в общем массиве данных. Например, позволяют провести ретроспективный анализ данных для предсказания будущих результатов. Или построить прогнозную модель с учетом несистемных изменений внешней среды, которые могут повлиять на рейтинги ТВ-программ, таких как государственные праздники или крупные спортивные мероприятия. Возможны варианты решения с учетом сезонных факторов, таких как дневные, недельные и годовые циклы.

Как и в машинном обучении, качество прогноза зависит не только от выбора алгоритма, но и от качества исходных данных и их предварительной обработки. Кроме того, для улучшения прогнозов может потребоваться комбинирование нескольких моделей или использование ансамблевых методов.

Сравнивая оба подхода, можно отметить: использование алгоритмов прогнозирования временных рядов может предоставить более глубокое понимание структуры данных и динамики изменения рейтингов телепрограмм. Этот метод кажется более естественным для анализа данных с четкой временной зависимостью. Он позволяет учесть такие аспекты, как сезонность и тренды, которые сложно уловить с помощью традиционных алгоритмов машинного обучения.

Что может пойти не так при внедрении прогнозирования

Прогнозирование — это не только возможности, но и риски. Например, внешние факторы, которые сложно учесть, напрямую воздействуют на отраслевые рынки. Это снижает время жизнеспособности ранее используемых моделей прогнозирования, которые необходимо регулярно обновлять и адаптировать к новым рыночным условиям.

Достаточно часто компании сталкиваются с проблемой недостатка данных или наличием противоречивой информации. Более того, для построения точных прогнозов необходимо анализировать огромные объемы данных, что требует узкоспециализированных инструментов обработки информационных массивов. Необходим также экспертный уровень знаний и навыков в области статистики, математики, экономики и других дисциплин.

Прогнозирование — это комплексная задача, требующая от специалистов глубокого погружения и понимания как внутренних, так и внешних факторов, влияющих на бизнес-процессы. Многие компании не имеют достаточных внутренних ресурсов и компетенций для проведения сложных аналитических исследований и построения моделей. Кроме этого, создание собственной системы прогнозирования требует от компании значительных временных и финансовых затрат.

В теории компания может попытаться построить систему бизнес-прогнозов собственными силами. Однако без наличия в штате сотрудников, обладающих компетенциями в области обработки аналитической информации, а также специализированного программного комплекса, позволяющего осуществлять ее сбор и обработку, вероятность успеха и жизнеспособность такого проекта вызывает сомнение.

В этом случае привлечь внешних экспертов, которые помогут внедрить готовую систему бизнес-прогнозирования, может быть более экономически выгодным решением. Привлеченная команда более объективна, так как не связана внутренними корпоративными интересами. При внедрении готовой системы после нескольких недель обучения и практики сотрудники компании могут оперировать аналитическими данными на уровне экспертов, а архитектура решения позволит масштабироваться при расширении бизнеса.

Будущее прогнозирования

Однако развитие технологий сможет устранить целый ряд рисков и вызовов, с которыми компании сталкиваются сегодня. Искусственный интеллект и анализ больших данных откроют новый этап, на котором будут иметь значение несколько трендов, зарождающихся уже сейчас, а прогнозы в целом станут глубже, детализированнее и доступнее.

Во-первых, с появлением ИИ-технологий все увеличивающийся объем данных начинает иметь ключевое значение в эффективном управлении бизнесом, производством и любыми другими процессами. Формирование прогноза на еще большем разнообразии данных повлияет на качество принятия стратегических решений, которые будут опираться на реальное положение дел на проекте.

Во-вторых, возрастет степень автоматизации процессов. Если сегодня подготовка качественных данных на начальном этапе, а также выстраивание data-driven подходов занимает много времени, то постепенное внедрение современных сервисов и решений для этого ускорит, а затем превратит прогнозирование в естественный и незаменимый этап принятия решений.

В-третьих, синхронизация процесса прогнозирования с углубленным анализом данных и решений для визуализации упрощает интерпретацию результатов, а значит сделает выводы пользователя более мотивированными.

Наконец, в-четвертых, на рынке появятся адаптивные модели прогнозирования, которые будут реагировать на изменения в реальном времени. Бизнес станет не только более устойчивым к любым новым вызовам, но и не упустит новые открывающиеся возможности.

***

Прогнозирование в бизнес-процессах не ограничивается алгоритмами и технологическими решениями. Его внедрение становится новым стратегическим шагом, направленным на повышение качества управления компанией, а также роста ее конкурентоспособности на рынке. Возможность посмотреть в будущее с опорой на данные - действенный рецепт, который убережет бизнес от необдуманных решений и проектов в условиях быстро меняющегося мира.