От пилота к системному запуску ИИ-проектов: чек-лист от VK Tech

Как избежать разочарований от запуска ИИ-проектов и сделать так, чтобы любой пилот приносил компании измеримую пользу? Рассказываем, как системный цикл работы с ИИ-проектами помогает нам добиваться результата.

Автор: Азамат Исмагулов, Эксперт по продукту VK AI Space, VK Tech. Отвечает за развитие общих сервисов и управление мультиагентными сценариями. Развивает платформу VK AI Space и инструменты, которые помогают компаниям строить агентные решения и автоматизировать рабочие процессы на базе ИИ.

В самом начале мы определяем, какие именно характеристики и параметры процессов хотим улучшить. Например, сократить время обработки заявок или документов, снизить стоимость операции, увеличить производительность сотрудников, уменьшить число ошибок и т. п. Еще до запуска первого пилотного проекта фиксируем базовое и целевое значение метрики, способ измерения и период оценки. Если заранее не будут сформулированы критерии оценки, то не с чем будет и сравнивать результат.

Область применения также формулируются максимально предметно. Не «хотим внедрить ИИ в поддержку», а «хотим автоматизировать определенную часть процесса». Таким образом мы переводим ИИ-проект из исследовательской плоскости в инженерную, где уже появляется понимание, как из точки А перейти в точку Б, и можно ставить четкие цели по бюджетам и срокам.

В VK Tech мы используем в работе организационный чек-лист из шести пунктов, который помогает ответить на вопросы: «готовы ли мы к успешному внедрению?» и «какой путь еще предстоит пройти?».

У любого ИИ-проекта должен быть бизнес-владелец или спонсор, который отвечает не за сам факт внедрения технологии, а за достижение конкретного бизнес-эффекта. Инициатива может исходить от сотрудников или ИТ-подразделения, однако без владельца бизнес-результата проект легко превращается в технологический эксперимент без ценности. Такой человек понимает, на какие показатели бизнеса должно повлиять решение, готов выделить на это ресурсы – время команды, бюджет или доступ к данным. Ключевой критерий – личная вовлеченность и ответственность за достижение заранее определенного результата.

Важно определиться с тем, каких показателей мы хотим достичь в рамках проекта. Для этого выбираем измеряемую метрику, фиксируем ее текущее значение и определяем, какого показателя необходимо достичь. Например, если ИИ используется для обработки обращений клиентов, целью может быть сокращение среднего времени обработки при сохранении качества ответов. Заранее определенные критерии позволяют понять, успешен ли пилот, требует ли он доработки или его стоит остановить.

Также после полноценного запуска важно отслеживать, стало ли решение частью повседневной работы. Количество созданных и внедренных агентов само по себе не показывает ценность внедрения. Полезно оценивать регулярность использования в разрезе команд и функций, а затем сопоставлять ее с изменением рабочих показателей. Если сотрудники попробовали инструмент, но не возвращаются к нему, стоит выяснить причину: недостаточное качество, неудобство, нехватка обучения или отсутствие подходящих задач.

Результат ИИ-проекта зависит не только от выбранной модели, но и от качества контекста, в котором она работает. Чем лучше подготовлен контекст, точнее сформулированы инструкции и понятнее структура данных, тем выше качество результата. На старте важно оценить, достаточно ли существующих данных и готовы ли они к использованию, и если контекста не хватает, его доработку стоит включить в план пилотного проекта.

Для первого пилота лучше выбирать конкретный, четко очерченный процесс или участок работы. Чем понятнее его границы и текущие показатели, тем проще оценить эффект от внедрения. Особенно подходят процессы, где можно сравнить результаты до и после запуска или провести A/B-тестирование.

Не менее важна команда проекта. Для успешного запуска нужны люди, способные довести поставленную задачу до искомого результата. У нас в команду ИИ-проекта с самого начала входят как минимум три роли: автоматизатор, бизнес-оунер и представитель функции безопасности. Такой состав позволяет одновременно учитывать технологические возможности, бизнес-эффект и ИБ-требования.

Для корпоративных внедрений, особенно когда речь идет об автономных ИИ-агентах, это отдельный большой вопрос. На пилоте цена ошибки низкая, можно чем-то пожертвовать. А вот при полноценном запуске уже должны быть заранее ясны ролевая модель прав, ограничения в автономности агента, работа с персональными данными и зоны ответственности человека. Без этого корпоративный запуск невозможен.

Ограничения автономности лучше фиксировать не в промпте, а в самой платформе. В VK AI Space для этого есть хуки: контрольные точки, в которых агент прерывает самостоятельную работу и выполняет заранее прописанное действие, например хук не даст раскрыть персональные данные или предложить клиенту скидку сверх лимита. Чем четче заданы такие границы, тем больше самостоятельности можно безопасно доверить агенту.

Проверяем, достаточно ли имеющихся инструментов и инфраструктуры для быстрого старта или потребуется дополнительное время на их развертывание.

Задача пилота не столько проверить технологию, сколько научиться с ней работать на конкретном процессе. Даже если проект не взлетает, он дает возможность разобраться, где именно возникли проблемы.

После каждого пилота мы разбираем результат по нескольким направлениям – правильно ли был выбран процесс, хватило ли данных, насколько реалистичными были ожидания, была ли понятная метрика успеха, удалось ли встроить ИИ в текущий процесс, какие ограничения возникли с точки зрения безопасности и чего не хватило команде или инфраструктуре.

Важно не просто зафиксировать ошибки, а превратить выводы в требование к следующей итерации. Например, в первых проектах мы столкнулись с тем, что критерии успеха были сформулированы слишком размыто. Этот опыт изменил наш подход, и в следующих пилотах мы заранее фиксировали измеримый результат и условия, при которых его можно считать достигнутым. Так каждый следующий проект начинался уже с учетом опыта предыдущего.

При этом такой разбор помогает определить и границы применения ИИ – какие задачи можно передать системе, где нужен дополнительный контроль, а где решение по-прежнему должен принимать человек. ИИ берет на себя рутинные операции, снижает нагрузку и помогает работать с большими объемами информации, но ответственность за результат остается у команды.

В итоге пилот помогает определить, где ИИ действительно дает эффект, где нужен человеческий контроль и какие условия необходимы для его применения в рабочем процессе. Эти выводы становятся основой для следующей итерации и позволяют последовательно улучшать результат.