NeoRail: Переосмысливая онлайн-примерку одежды
Мы — команда NeoRail, и мы создаем инструменты, которые превратят онлайн-шопинг в точный и удобный опыт. Наша небольшая, но страстная команда из ML-инженеров в области компьютерного зрения с физтеха верит, что примерка одежды в цифровом мире должна быть такой же естественной, как в примерочной.
Глобальные подходы и наши эксперименты
В мире онлайн-примерки есть два основных пути:
- 2D-примерка — относительно легко реализуемая на приемлемом уровне, но требует много вычислительных ресурсов, а также несколько других проблем, о которых будет рассказано ниже
- 3D-физическая симуляция — реалистичная, но сложная в реализации, зато требует не так много вычислительных ресурсов, как качественная 2D-примерка
Мы развиваем оба направления. 2D-подход позволяет быстро внедрять решения, а 3D — это будущее, где ткань ведет себя как в реальности (здесь мы плотно работаем с технологиями NVIDIA). Но пока 3D — это горизонт на 2–3 года, а 2D — то, что работает уже сегодня.
Что не так с текущими 2D-решениями?
Большинство моделей плохо учитывают размеры тела, а артефакты на стыках это вообще не редкость. Мы решили атаковать эту проблему с двух сторон:
- Определение размеров по фото: Наш алгоритм анализирует две фотографии (спереди и сбоку), чтобы восстановить пропорции тела. Да, пока он не идеален (например, экстремальные несоответствия размеров одежды и человека вызывают артефакты), но в 82–83% случаев помогает лучший подходящий размер среди 2–3 вариантов.
- Гибкий режим рендеринга: Выбирайте между скоростью и качеством. Хотите быстро прикинуть, как сидит платье? Или важно рассмотреть каждую складку? NeoRail адаптируется под ваши задачи.
Мы уже реализовали прототип 2D-примерки с выбором детальности примерки. Это стало возможным благодаря оптимизации архитектуры нейросетей (отключаем «лишние» нейроны) и техникам квантизации. Подробности раскроем в следующей статье — там мы расскажем про некоторые технические SOTA-решения, которые дают нам преимущество перед конкурентами.
Планы на ближайшие месяцы:
- Примерка по одной фотографии + ручной ввод параметров (только 2–3 ключевых размера — никаких анкет в 20 полей!). Это не только удобно для пользователей, которым лень прикреплять несколько фотографий, но и даст нам данные для обучения моделей и улучшения нашего продукта.
- Улучшение 3D-симуляции. Здесь мы продвигаемся не так быстро, как в 2D-примерке, поскольку это намного сложнее. Много времени уходит на ресерч.
Почему NeoRail?
Мы не гонимся за "вау-эффектом" любой ценой. Наша цель — сделать примерку полезной здесь и сейчас, даже если это промежуточные решения. Каждый наш прототип — это шаг к идеалу, и мы открыто делиться прогрессом (и провалами!) с комьюнити. Мы открыты к критике и вашим предложениям! Тг для сотрудничества: @ilia_bobrov