«Отвращение к алгоритму» полностью меняет подход к использованию алгоритмов в коммерческой аналитике
Издание FT освещает знаменательное исследование Gertjan Verdickt и Francesco Stradi о том, как применение алгоритмов с ИИ в прогнозах финансового рынка влияет на доверие и поведение инвесторов. Как выяснилось, термин «отвращение к алгоритму» очень даже влияет на принятие решений инвесторов. Несмотря на то, что все хотят использовать ИИ, никто ему не верит. Инвесторы не доверяют прогнозам алгоритма и не меняют своих ожиданий о доходности на основе аналитики, сделанной алгоритмом. Кроме того, чем сложнее была ИИ модель, тем меньше доверия она вызывала у инвесторов. Такие результаты позволяют предположить, что применение технологии ИИ в коммерческих прогнозах для финансового рынка, которые покупают инвесторы, не такая уж хорошая идея.
Десять лет назад три исследователя из Университета Пенсильвании придумали термин «отвращение к алгоритму» (“algorithm aversion”). Этим термином они описывали состояние, когда люди мгновенно теряли доверие к предсказаниям погоды, которое делала программа, как только программа совершала ошибку. При этом доверие исчезало, даже если прогнозы алгоритма были более точные прогнозы, чем человека.
Этот термин никогда не исчезал из статей и обсуждений FT о том, сможет ли ChatGPT заниматься торговлей на бирже, сдавать экзамен CFA, сдавать экзамен на получение бакалавра по экономике, расшифровывать банковский жаргон или получить работу аналитика.
Другими словами, пока мы продолжаем задавать вопрос, сможет ли ИИ делать все эти вещи, мы ему не доверяем. Над этим стоит подумать, особенно принимая во внимание, какие непомерные суммы компании тратят на ИИ инфраструктуру. А не потратят ли компании эти деньги впустую, если люди не будут доверять или им просто будет не нравиться результат работы ИИ, даже если технология будет хороша и точна?
Вот поэтому новая работа Gertjan Verdickt и Francesco Stradi так интересна. О чем их статья:
«Верят ли инвесторы прогнозам алгоритмов-аналитиков? Мы исследовали этот вопрос в четырех экспериментах, в которых приняли участие 3 600 американцев. Мы выяснили, что хотя инвесторы меняют свои ожидания о доходности после получения данных от аналитиков, но если прогноз от ИИ, то инвесторы с меньшей вероятностью меняют свои ожидания. Такой низкий уровень доверия появился из-за недоверия в прогнозы алгоритма. Причем есть нюансы: если инвесторы женщины, демократы и обладают более высоким уровнем грамотности в области ИИ, то они чуть больше доверяют прогнозам алгоритмов. Сложные ИИ модели снижают доверие к прогнозам. Поставщики алгоритмов не меняют контент продукта в зависимости от реакции пользователей. В целом, выводы бросают вызов представлениям об ИИ в принятии решений в финансовом секторе».
Gertjan Verdickt и Francesco Stradi разделили респондентов на три группы на основании их веры в прогнозы на рынке акций: первая группа верила только аналитикам Goldman Sachs, вторая – только алгоритмам с применением ИИ, третья – «аналитикам из Goldman Sachs, которые используют продвинутые ИИ модели».
Исследователи изучили, как прогнозы влияют на ожидания участников эксперимента. Оказалось, что прогнозы от алгоритма или созданные частично с помощью алгоритма оказывают меньшее влияния, чем прогнозы, сделанные человеком.
При этом выяснились интересные нюансы.
Женщины, демократы и люди, знакомые с ИИ областью, с большей вероятностью меняли свои ожидания, если они сильно противоречили прогнозам алгоритма:
«В среднем, женщины проявляли большую склонность доверять прогнозам алгоритма, особенно, если изначально их представления были ошибочны. Обычный инвестор меньше доверял прогнозам ИИ, инвесторы-женщины больше ориентировались на отчеты, написанные машиной.
Демократы с большей вероятностью меняют свои ожидания о доходности после получения прогнозов алгоритма, особенно если прогнозы последнего сильно отличаются от их первичных представлений.
И наконец, инвесторы, хорошо знакомые с технологией ИИ, больше всего склонны менять свои ожидания после получения прогнозов, сгенерированных человеком и алгоритмом».
Интересно и то, что люди меньше доверяли алгоритмам, если ИИ модель была очень сложной. Обычная регрессия вызывала больше доверия, чем методы глубокого обучения или лучший линейный несмещенный прогноз (best linear unbiased estimator).
Другими словами, если вы собираетесь использовать ИИ для создания исследований на продажу, то не стоит громко заявлять об использовании алгоритмов.
Ссылка на статью:
Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err.: https://repository.upenn.edu/server/api/core/bitstreams/4d24c079-228b-47bd-ba8c-166eeddee8de/content
Работа Gertjan Verdickt и Francesco Stradi «Man vs. Machine: The Influence of AI Forecasts on Investor Beliefs» : https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4952791