{"id":10530,"title":"\u041d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u043e\u043a\u0443\u043f\u0438\u0442\u0441\u044f \u043b\u0438 \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0430? \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435","url":"\/redirect?component=advertising&id=10530&url=https:\/\/tjournal.ru\/promo\/493659-paket&placeBit=1&hash=21e9897fa2c4413eaf0027879dc444619807aff99c7d503404c07996cb9ca644","isPaidAndBannersEnabled":false}
Machine learning
AGIMA

Как подружить технологию и пользовательский опыт

3 марта мы организовали онлайн-конференцию Machine Learning в Digital-продуктах с участием спикеров из Тинькофф, СБЕРа, МТС, Checklens GmbH, Brickit, Epoch8 и AGIMA. В рамках онлайн-конференции Леонид Александров из компании Brickit рассказал про приложение, которое помогает детям построить что-то новое из их горы деталей LEGO. Для тех, кто любит читать, мы сделали печатную версию докладов.

Стартап в мире LEGO

Сейчас хочу рассказать небольшую предысторию. Раньше я часто покупал своим детям игрушки, которые быстро становились неинтересными для них. В какой-то момент я понял, что нужно приобретать LEGO, поскольку эти игрушки не только развивают способности ребенка, но и дольше привлекают его внимание. К сожалению, счастье было недолгим, а LEGO становилось все больше и больше.

Проанализировав рынок, я понял, что с этой проблемой столкнулись многие родители и дети. Так родился проект, который помогает людям построить что-то новое из кучи деталей LEGO. В основе приложения лежит нейронная сеть, задача которой найти нужную деталь среди горы подобных.

Как это применить в жизни пользователя?

Шаг 1: Человек наводит телефон на гору деталей и в реальном времени получает подсказки, где лежат нужные детали, обводя их по контуру. Для этого мы используем технологии, которые с помощью алгоритмов находят подходящие детали.

Шаг 2: При создании мы столкнулись с рядом проблем: дорогая разметка, слишком большое разнообразие деталей (больше 5000) и нехватка реальных данных для обучения. Проанализировав базу, мы вывели детали, которые встречаются чаще всего во всех конструкциях. У нас получилось интересное наблюдение: 300 типов деталей вписываются в 80% всех наборов LEGO. Мы приняли решение сократить количество деталей, на которых обучаем нейронную сеть, а также перешли на технологию вписывания деталей в прямоугольник.

В итоге пользовательский опыт почти не изменился, но сама технология была упрощена.

Шаг 3: Мы решили попробовать новый алгоритм, который, возможно, будет медленный, но при этом более эффективный.

Мы ограничили работу сервис-сток на мощных устройствах, а также разработали новую архитектуру нейронных сетей. Теперь у нас есть две мощные нейронные сети! Одна из них занимается поиском деталей, а другая пытается распознать нужные. Алгоритм стал лучше, но не справлялся с большим количеством плотно лежащих деталей.

Шаг 4:Мы создали алгоритм с улучшенным распознаванием. Теперь он понимает, к примеру, что эта деталь не относится к списку часто используемых, поэтому стал ошибаться гораздо меньше. Другой алгоритм поиска на данном этапе находит практически все нужные нам детали. Несмотря на значительные улучшения, мы столкнулись с проблемой визуализации. Нахождение деталей в реальном времени происходило с большой задержкой.

Шаг 5:Проверили работу над созданием еще одного алгоритма между поиском и классификацией.

Сначала поиск находит все детали LEGO, потом включается детектор, который старается между кадрами сохранить позицию каждой детали, а в это же время классификатор последовательно разбирает эти детали. Нам удалось предотвратить перегруз телефона.

Технология, действительно, принесла свои результаты, но было нарушено наше главное правило — изменение пользовательского опыта. В результате искать каждую деталь было очень трудно.

Шаг 6:На этом этапе мы решили освободить руки пользователя, предоставив ему возможность искать детали по карте. Процесс выглядит так: человек один раз делает снимок деталей LEGO, алгоритм его распознает и на каждом шаге нашей карты показывает, в каком месте лежит деталь.

Мы добились того, что необходимо делать всего один снимок на всю сборку. Руки пользователя полностью освобождаются, он уже занимается сборкой деталей и не отвлекается на другие задачи. Эта идея, действительно, облегчает процесс, но запускаться все равно было рано. Пока что приложение умеет искать только те детали, которые входят в первоначальную группу (300 классов из 5000).

Поэтому мы решили, что из тех деталей, которые наша технология может распознать, пользователю сразу будут предложены готовые решения по предметам. Далее из предложенного перечня он выбирает тот предмет, который хочет собрать и получает подробную инструкцию от нас.

Выученные уроки

  • Всегда надо ставить ограничения по времени на эксперименты (первые попытки почти бесконечные, действуйте ограниченными экспериментами: если гипотеза не подтверждается, не пытайтесь доработать ее, создавайте что-то новое).
  • Делать прототипы (невозможно предугадать, как все будет на самом деле, поэтому необходимо проверять гипотезы, чтобы ощутить пользовательский опыт и двигаться дальше).

  • Не влюбляться в идею (всегда беспристрастно смотрите на пользовательскую боль, это поможет найти эффективное и быстрое решение проблемы).

Вот так мы решили проблему с ненужными деталями LEGO.

Как подружить технологию и пользовательский опыт

В предыдущей серии:

0
2 комментария
Популярные
По порядку
Д Хб

Сразу вопрос частично по теме: новые наборы как проектируются? Рисуется модель, потом дробится на детали компьютером? Как они хитро учитывают совпадения цветов, чтоб в инструкции было всё понятно (не сливается в одно пятно)?

Какое максимальное количество деталей было в ваших фигурах?

Ответить
0
Развернуть ветку
Леонид Александров

Наборы сейчас являются частями официальных наборов Лего. Скоро добавятся еще и поделки пользователей. Все они размечаются по деталям вручную.

Цвета не учитываем, для большего охвата. Его надо подобрать или заменить самому пользователю, как и детали, которых может не хватать. Это элемент творчества.

Сейчас в базе самый большой предмет для сборки размером в 347 деталей. Но большинство предметов гораздо меньше, в среднем 89 деталей. Так проще и интереснее собирать с детьми. 

Ответить
1
Развернуть ветку
Читать все 2 комментария
Почему нам пришлось создать «ещё один» текстовый редактор

По многолетнему опыту работы со СМИ мы знаем, что удобство и функциональность важны не только для пользователей публичной части сайта, но и для тех, кто создаёт контент. Основу админки составляет текстовый редактор. Он должен быть WYSIWYG (хотя других сейчас не бывает), позволять легко реализовать любое необходимое оформление и при этом работать…

Так выглядит окно редактора в Editorica.
Что нового в онлайн-торговле в России

В этом году в правилах ведения онлайн-торговли появились некоторые существенные изменения. Если вы ведете бизнес онлайн, посмотрите краткий обзор нововведений от генерального директора PayBox.money в России Никиты Видякина.

Сектор нефти и газа. Как оценить «топливные» бумаги
Digital Horizon вложился в поставщика инфраструктуры для инвестиционных решений WealthKernel в раунде A+ на $ 7 млн

Привлеченные средства компания использует для выхода на европейские рынки, запуск внутридневной торговли и дальнейшее развитие API-инфраструктуры.

Команда WealthKernel
«Сгоревшая» мечта о финансовой свободе

Я слесарь-сварщик, который работает на «дядю» в цеху по изготовлению металлических изделий. Вот как я попробовал заняться своим проектом.

Делегируй, властвуй, разделяй: как правильно выполнять задачи

Правильно ставить задачи и общаться с коллегами — это только половина дела! В этой статье Алена Максимова, Senior Traffic Manager в Go Mobile, расскажет, как грамотно выполнять поставленные задачи.

Анализ производительности инструментов Computer Vision в процессе кадрирования видео

В век высоких технологий анализ огромного объема видео осуществляется с применением различных IT инструментов, в ходе которого на первом этапе производятся действия по кадрированию (формированию фреймов) видео.

Образование, путешествия и благотворительность: на что тратились россияне в новогодние каникулы

Новогодние праздники — один из самых расточительных периодов года. Аналитики CloudPayments выяснили, какие категории товаров были самыми популярными в онлайне с 31 декабря по 9 января.

Заявление в суд. Продолжение истории с ООО "Интернет Решения" (Озон). Часть 3

Всем привет) С Новым Годом и Рождеством, с Новым Счастьем, с Крещением)

«Яндекс» запустит доставку роботами-курьерами в Сеуле Статьи редакции

Сейчас роверы возят заказы в России и США, компания готовится к запуску в Дубае.

Минцифры предложило Lenovo, HP и Acer выпустить ноутбуки с российскими процессорами Статьи редакции

По словам источников, в устройствах используют процессоры «Байкал».

null