Машинное обучение vs математическая оптимизация. Что общего и в чем различия?

В статье даны основные понятия машинного обучения и математического моделирования, их точки соприкосновения и различия.

Машинное обучение (англ. machine learning, далее «ML») — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение за счёт применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, математического анализа, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.

Область возможного использования технологии ML распространяется на объекты, явления и события, для которых имеются накопленные данные, и которые демонстрируют устойчивость своих характеристик во времени. Например, технология ML может распознать лицо человека по тому, что оно слабо изменяется с течением времени.

Использование ML для анализа и прогноза поведения экономических (относительно динамичных) систем, объектов и процессов подвержено наличию различной степени ошибочности. В основном, причинами ошибочности являются следующие факторы:

• Анализируемые ML исторические данные могут уже содержать в себе ошибки и имевшую место в прошлом неэффективность деятельности. В конкурентной борьбе, бизнес вынужден постоянно самосовершенствоваться. Поэтому, анализ данных 2-х летней давности сам по себе уже несет неточности, так как многое уже изменилось в самой компании и на рынке. Накопленные бизнес-данные компании, во многом отражают специфику реакции самой компании и ее менеджмента на внешнюю конъюнктуру.
• Наличие фазовых состояний деятельности компании и рынка. Смена фазовых состояний работы компании может быть вызвана внутренними (техническими, экономическими, административными и др.) или внешними (законодательные, конъюнктурные) причинами, и сопряжена с существенным изменением условий, подходов и результатов деятельности. В случае отсутствия исторических данных о деятельности компании в новом фазовом состоянии, алгоритм ML не сможет разработать эффективное решение для новых условий.
• Инерционность прогнозов ML от траектории предшествующего развития. Решения ML сильно зависят от статистических данных, что значительно снижает чувствительность данного инструмента к происходящим изменениям.

Подводя итог вышесказанного, можно сделать вывод, что технология ML – подходит для анализа небольшого количества реальных экономических систем, процессов и объектов, которые работают в относительно постоянных условиях и демонстрируют устойчивость своих характеристик на протяжении длительного времени.

Точность прогнозов ML напрямую зависит от наличия и степени влияния вышеуказанных факторов.

Технология математической оптимизации или как ее еще называют математическое программирование либо экономико-математическое моделирование (далее «MO») начинает свой отсчет с 1939 года, с работ советского академика, лауреата Нобелевской премии (1975) Л. В. Канторовича.

Математическая оптимизация – это процесс выбора лучшего значения (по какому-то критерию) из некоторого набора доступных альтернатив. Проблемы оптимизации возникают во всех точных дисциплинах, от информатики и инженерии до исследования операций и экономики. (Статья: Использование математической оптимизации в бизнесе )

МО реализуется через математическую модель реального объекта (процесса). Созданная математическая модель включает в себя все важные свойства реального объекта (процесса) и отношения между его отдельными элементами и внешним миром. Такой подход позволяет без ущерба для моделируемого объекта, относительно быстро и без существенных затрат исследовать свойства и прогнозировать поведение и состояние исследуемого объекта в интересующих нас условиях. Использование МО позволяет синхронизировать все уровни / направления / сферы деятельности, выявить и задействовать имеющиеся внутренние (технологические, организационные, экономические и др.) резервы и благоприятные факторы внешней конъюнктуры, увеличивая тем самым эффективность рассматриваемого реального объекта (процесса).

МО имеет в своем распоряжении большой набор инструментов и практик для описания финансово-экономических характеристик рассматриваемых объектов (процессов) и их отношений с внешней средой и внутренними элементами. Модель МО может включать в себя и учитывать информацию об ограничениях, целях, и фазовых состояниях рассматриваемого объекта (процесса). MO, являясь точным количественным инструментом лишена влияния исторических ошибок на результаты расчетов. Прогнозные данные, и данные об эластичности исследуемого объекта (процесса) MO получает из внешних систем (например machine learning, ERP и Business Intelligence систем).

Основным недостатком технологии MO можно назвать, невозможность учета в модели всех факторов, так или иначе оказывающих влияние на результат. Модель включает в себя наиболее важные из них. В связи с этим, результат реализации решения МО, в большинстве случаев, незначительно отличается от его расчетных значений. Однако, данная проблема может быть минимизирована, введением в модель статистических поправочных коэффициентов в процессе эксплуатации модели.

Учитывая диаметральность сильных и слабых сторон рассматриваемых технологий, можно сделать вывод, что Математическая Оптимизация и Машинное Обучение скорее дополняющие друг друга, нежели конкурирующие технологии, а их совместное использование позволяет расширить спектр решаемых прикладных задач.