«А разговоров-то было», или сказ о том, как мы генеративный ИИ встраивали

Всем привет! Прошел месяц с момента выпуска последней статьи, самое время рассказать, как обстоят дела с генеративным ИИ и новыми кейсами его применения в Directum RX — интеллектуальной ECM/BPM-системе.

Сегодня будет статья формата «ожидание и реальность» — о применении и адаптации LLM-моделей под запросы бизнеса. Расскажу про результаты нашего CustDev, коридорного тестирования, промпт-инжиниринга, а также про сложности с железом у заказчиков.

Спойлер – мы всё преодолели, но путь прошли интересный.

Ранее я уже делился кейсами применения ИИ в интересах бизнеса. Некоторые из этих вариантов придуманы на хакатоне, другие сформировались по итогам проводимых нашей командой исследований.

Время идет, мы продолжаем искать фичи, которые упростят работу с документами и процессами. И в ходе поисков мы «вскрыли» один интересный факт. Я думаю, многие из тех, кто занимается ИИ, тоже приходили к этому выводу:

Все в прошлом году побаловались с ChatGPT, и на этом всё. Несмотря на популярность технологии, очень малый процент пользователей представляет возможности LLM-моделей, знает, как с ними работать и получать пользу.

Более того, в одном исследовании приводится цифра, что 38% опрошенных используют ChatGPT для поиска информации и фактов! А он не ищет факты... И в этом есть парадокс, так как согласно данным ВЦИОМ, 55% людей доверяет ИИ-технологиям. Выходит, доверяют, но пользоваться ими не умеют.

Мы это четко видим при проведении проблемных интервью. Например, когда наша команда исследовала, есть ли потребность в создании аннотации к документам перед их отправкой на согласование, некоторые респонденты даже не думали, что это можно делать. Соответственно, они не могли определить ценность этой функции.

Учитывая, что мы ориентируемся на реальные запросы рынка, не хотелось бы добавлять фичи, которые не будут нужны пользователям. Но точно также сотрудники могут не знать о других элементах оптимизации, которые делают работу удобнее.

Приходится искать альтернативные пути и учитывать разные сценарии работы. Так мы поступили с тем же аннотированием документов — сделали кнопку, при нажатии которой вставляется краткая выжимка. Сотрудники компаний, где этой функцией пользуются, мгновенно получат ускорение процесса. А кто не делал этого раньше, сможет попробовать и получить в распоряжение новый инструмент с потенциальной ценностью. А я ещё не видел людей, которые бы познакомились с удобным сервисом и отказались от него.

Со второй сложностью мы столкнулись при коридорном тестировании свободно распространяемых LLM-моделей. Оказалось, что не существует универсального промпт-запроса, его всегда надо адаптировать под модель.

Напомню, что ранее мы проводили исследование, выясняя отношение бизнеса к локальным и облачным онлайн-моделям. В результате порядка 85% опрошенных компаний высказались в пользу размещения искусственного интеллекта в контуре организации. И вот при тестировании локальных моделей выясняется, что для каждой из них промпт-запрос надо менять: дополнять критериями, условиями, либо расписывать задачу по-другому.

Это открытие сильно затормозило разработку, так как для получения контента рабочего качества потребовалась не одна итерация подбора запросов. Как же нам помог в этом вопросе промпт-инженер! Благодаря ему мы составили такие запросы, чтобы каждая из моделей выдавала рабочий результат.

Поэтому я часто говорю в своих статьях и докладах, что следующий этап развития — это распространение мультимодального искусственного интеллекта. Каждая встроенная в него модель будет сильна в конкретных узких задачах, а проблема «правильного» запроса исчезнет — сервис сам будет определять самую релевантную промпту мод

«Технология есть, а применить ее сложно» — с этой фразы началась наша встреча с одной из компаний, планирующей протестировать наше решение с генеративным ИИ.

Речь шла о графических ускорителях (видеокартах), которые необходимы для работы больших языковых моделей в локальной поставке. Еще пару месяцев назад можно было найти на маркетплейсах Nvidia А100 по цене в районе 800 тыс. рублей с доставкой в течении двух недель, сейчас эта видеокарта стоит от 1,5 млн. рублей.

Это дополнительные затраты для компании, которые не пройдут по статье ОРЕХ (постоянные расходы на обеспечение работы компании). Такие крупные покупки проходят по статьям САРЕХ (затраты на покупку и модернизацию основных средств) и требуют длительного согласования.

Проблема с железом на дает компаниям стартовать проект внедрения в кратчайшие сроки, быстро оценить применимость, эффект и перейти из пилота в промышленную эксплуатацию.

Но и тут есть выход:

Любой из этих вариантов позволит быстро внедрить ИИ в процессы компании, которая видят ценность в языковых моделях.

«Тяжела и неказиста…» работа команды с ИИ-сервисами, но мы со всеми сложностями справились!

Если следите за моими статьями, то помните, что мы анонсировали презентацию решения с LLM-моделью, встроенной в Directum RX. Эти работы уже на финальной стадии, так что скоро расскажу, какие функции мы выпустим в первой версии.

Поделитесь, что думаете об озвученных в статье проблемах, какие советы можете дать или, возможно, поделитесь своим опытом?