Как мы запустили для Geltek первый в СНГ AI-сервис по подбору косметических продуктов

Всем привет! На связи Захар, основатель digital-агентства Kaizen. Сегодня расскажем, как вместе с химиками сделали AI-сервис, заменивший косметологов и собравший более 5 000 пользователей за первые недели.

Мы Kaizen — агентство дизайна и разработки web-сервисов с упором на AI и выделяющиеся механики. Наша сила в запуске сервисов под ключ: от продуктовой идеи до релиза и развития продукта. А еще недавно мы сами стали резидентами Сколково с ИИ-продуктом, который без вариантов порвет рынок AI-разработки :)

Среди кейсов агентства — «Конструктор Джокера» для ведущего часового мастера СНГ Константина Чайкина, анимированный сайт для австрийской строительной компании «Neppos», веб-сервис для Политеха и а также сотрудничество с Яндексом. А за последний год мы поработали с бизнесом из США, Швейцарии, Австрии, Казахстана и даже Африки.

Следите за обновлениями в нашем тг-канале - совсем скоро расскажем о громком проекте с Русланом Усачевым!

Бренд Geltek производит уходовую косметику премиум сегмента. Средства продаются по всей России на полках самых крупных сетей - Ривгош, Летуаль, Золотое яблоко и крупных маркетплейсах!

Ребята из Geltek также производят гели для медицинских исследований и аппаратной косметологии. В лаборатории химики тестируют продукцию в несколько этапов, и только потом косметика оказывается в руках потребителя.

Компания работает уже более 30 лет, а за 2023 год продали 1 миллион единиц средств – одно удовольствие работать с успешными и амбициозными брендами.

Бренд активно продвигают Ксения Собчак, Эльдар Джарахов, Гоблин, а в 2024 на многих каналах ТВ Елена Летучая рассказывала про достоинства бренда.

А здесь Артемий уже ссылается на статью CNews и рассказывает про еще один наш проект – Geltek Skin Assistant, расскажем подробнее о нем в следующий раз, так как проект достоин отдельной статьи! ;)

Мы познакомились с Geltek в декабре 2023 года, а уже в январе поучаствовали в тендере, презентовав свое решение. В него входило предпроектное исследование, проектирование сервиса, дизайн и непосредственно разработка - каждый из этапов был запланирован по 2-ух недельным спринтам для гибкого управления проектом.

Заявленная цель сервиса – приносить пользу клиентам, а с помощью автоматизированных консультаций наращивать продажи косметики.

Сервис нацелен на две группы людей:

Сервис за короткое время должен анализировать потребность клиента, текущие уходовые средства, а потом – подбирать аналог и дополнения из продуктовой линейки Geltek. Естественно, всё на базе искусственного интеллекта)

Сервис не просто продвигает продукты Geltek. Он рассказывает клиенту, что ему действительно необходимо, подбирает нужное средство и дополнительный уход, основываясь на составе и экспертных знаниях лаборантов и химиков из Geltek.

Общий флоу пользователя задумывался (и остался) таким:

Шаг 1: Выбираете потребности кожи (например, увлажнение и глубокое очищение) и пол

Шаг 2: Загружаете фото с вашим средством любого бренда, которое вы используете для ухода за лицом

После анализа вам нужно подтвердить, что название средства распозналось корректно, либо отредактировать его вручную.

Шаг 3: Меньше чем за минуту вы получаете подробный отчет, а именно – состав и активные ингредиенты средства, а также то, насколько ваше средство соответствует выбранным целям.

Главный раздел отчета показывает, чем можно заменить или дополнить ваше средство из продуктовой линейки Geltek, чтобы ваша цель по уходу выполнялась эффективнее.

Флоу звучит достаточно просто, но для его создания мы написали ТЗ на 70 страниц и месяц рисовали дизайн-макеты такими, чтобы они соответствовали фирменному стилю компании и лучшему пользовательскому опыту. Забавно - только мы разработали сервис, а брендбук Geltek глобально изменился. Так что скоро сервис ожидает редизайн)

Проектирование, UX/UI дизайн и frontend-разработка сервиса прошли быстро – мы справились примерно за 3 месяца.

Самый долгий этап ждал нас при разработке бэка и работе с данными. А их было ОЧЕНЬ МНОГО. Бэкенд обеспечивает отработку основной логики сервиса. Один микросервис отвечает за часть с распознаванием фото, второй микросервис – за работу с данными.

Когда завершили бэкенд и начали кропотливое тестирование - поняли, что изначальная гипотеза (основанная на использовании экспертных данных) не сработала - сервис подбирает неподходящие аналоги.

Перепроверив все исходные данные, пришли к новой архитектуре решения, в основу которого легла большая языковая модель от OpenAI.

Полтора месяца непрерывного тестирования, и сейчас сервис работает ровно так, как задумывали эксперты.

Мы собрали два датасета (наборы данных) и написали автотесты. Уже по результатам прогонов датасета мы итеративно улучшали результаты за счет prompt-engineering, оптимизации и доработки архитектуры решения.

Удалось кратно улучшить качество распознавания за счет добавления изображения средства вместе с промптом в LLM, а еще улучшить качество извлекаемой информации с сайтов за счет ранжирования и фильтрации ссылок с помощью LLM.

Первый датасет состоял из качественных фото, взятых в интернете: 73 фото средств от Geltek и 95 других брендов. Второй датасет состоял, наоборот, из фото от реальных пользователей: 84 средств фото от Geltek и 96 других брендов. Тесты проводили по 10 раз на каждое средство, после чего рассчитывали среднее значение точности.

Удалось добиться высокой точности распознавания для средств Geltek и других брендов. Изначально точность для продуктов Geltek была около 71%, для других брендов около 44%.

В итоге, для Geltek удалось добиться точности – 99,45%, для других брендов – 89%!

Вместе с командой Geltek у нас получилось сделать уникальный сервис с необычной механикой. Сервисом уже активно пользуется, мы получаем полезные данные из сервисов аналитики, которые приведут к апдейтам продукта - но это будет немного попозже.

Если вы планируете запускать сервисы, привлекая аутсорс ИТ-команды, обязательно напишите нам. Мы реализуем проект под ключ - централизованно, лишив вас головной боли, а перед этим погрузим в разные модели запуска ИТ-продуктов

ТГ канал для связи:

Ссылка на продукт: