{"id":9185,"title":"\u0427\u0435\u0440\u043d\u0438\u043b\u0430 \u0438\u0437 \u0432\u044b\u0445\u043b\u043e\u043f\u043d\u044b\u0445 \u0433\u0430\u0437\u043e\u0432: \u043c\u0438\u0444 \u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c?","url":"\/redirect?component=advertising&id=9185&url=https:\/\/vc.ru\/promo\/316632-odezhda-kotoraya-rastet-vmeste-s-rebenkom-biotoplivo-i-bizhuteriya-iz-chaynogo-griba&placeBit=1&hash=a88533bf78285d41072084482619c82803fd6598d1bcc2e142642ff721574ad7","isPaidAndBannersEnabled":false}
Machine learning
AGIMA

Как подружить технологию и пользовательский опыт

3 марта мы организовали онлайн-конференцию Machine Learning в Digital-продуктах с участием спикеров из Тинькофф, СБЕРа, МТС, Checklens GmbH, Brickit, Epoch8 и AGIMA. В рамках онлайн-конференции Леонид Александров из компании Brickit рассказал про приложение, которое помогает детям построить что-то новое из их горы деталей LEGO. Для тех, кто любит читать, мы сделали печатную версию докладов.

Стартап в мире LEGO

Сейчас хочу рассказать небольшую предысторию. Раньше я часто покупал своим детям игрушки, которые быстро становились неинтересными для них. В какой-то момент я понял, что нужно приобретать LEGO, поскольку эти игрушки не только развивают способности ребенка, но и дольше привлекают его внимание. К сожалению, счастье было недолгим, а LEGO становилось все больше и больше.

Проанализировав рынок, я понял, что с этой проблемой столкнулись многие родители и дети. Так родился проект, который помогает людям построить что-то новое из кучи деталей LEGO. В основе приложения лежит нейронная сеть, задача которой найти нужную деталь среди горы подобных.

Как это применить в жизни пользователя?

Шаг 1: Человек наводит телефон на гору деталей и в реальном времени получает подсказки, где лежат нужные детали, обводя их по контуру. Для этого мы используем технологии, которые с помощью алгоритмов находят подходящие детали.

Шаг 2: При создании мы столкнулись с рядом проблем: дорогая разметка, слишком большое разнообразие деталей (больше 5000) и нехватка реальных данных для обучения. Проанализировав базу, мы вывели детали, которые встречаются чаще всего во всех конструкциях. У нас получилось интересное наблюдение: 300 типов деталей вписываются в 80% всех наборов LEGO. Мы приняли решение сократить количество деталей, на которых обучаем нейронную сеть, а также перешли на технологию вписывания деталей в прямоугольник.

В итоге пользовательский опыт почти не изменился, но сама технология была упрощена.

Шаг 3: Мы решили попробовать новый алгоритм, который, возможно, будет медленный, но при этом более эффективный.

Мы ограничили работу сервис-сток на мощных устройствах, а также разработали новую архитектуру нейронных сетей. Теперь у нас есть две мощные нейронные сети! Одна из них занимается поиском деталей, а другая пытается распознать нужные. Алгоритм стал лучше, но не справлялся с большим количеством плотно лежащих деталей.

Шаг 4:Мы создали алгоритм с улучшенным распознаванием. Теперь он понимает, к примеру, что эта деталь не относится к списку часто используемых, поэтому стал ошибаться гораздо меньше. Другой алгоритм поиска на данном этапе находит практически все нужные нам детали. Несмотря на значительные улучшения, мы столкнулись с проблемой визуализации. Нахождение деталей в реальном времени происходило с большой задержкой.

Шаг 5:Проверили работу над созданием еще одного алгоритма между поиском и классификацией.

Сначала поиск находит все детали LEGO, потом включается детектор, который старается между кадрами сохранить позицию каждой детали, а в это же время классификатор последовательно разбирает эти детали. Нам удалось предотвратить перегруз телефона.

Технология, действительно, принесла свои результаты, но было нарушено наше главное правило — изменение пользовательского опыта. В результате искать каждую деталь было очень трудно.

Шаг 6:На этом этапе мы решили освободить руки пользователя, предоставив ему возможность искать детали по карте. Процесс выглядит так: человек один раз делает снимок деталей LEGO, алгоритм его распознает и на каждом шаге нашей карты показывает, в каком месте лежит деталь.

Мы добились того, что необходимо делать всего один снимок на всю сборку. Руки пользователя полностью освобождаются, он уже занимается сборкой деталей и не отвлекается на другие задачи. Эта идея, действительно, облегчает процесс, но запускаться все равно было рано. Пока что приложение умеет искать только те детали, которые входят в первоначальную группу (300 классов из 5000).

Поэтому мы решили, что из тех деталей, которые наша технология может распознать, пользователю сразу будут предложены готовые решения по предметам. Далее из предложенного перечня он выбирает тот предмет, который хочет собрать и получает подробную инструкцию от нас.

Выученные уроки

  • Всегда надо ставить ограничения по времени на эксперименты (первые попытки почти бесконечные, действуйте ограниченными экспериментами: если гипотеза не подтверждается, не пытайтесь доработать ее, создавайте что-то новое).
  • Делать прототипы (невозможно предугадать, как все будет на самом деле, поэтому необходимо проверять гипотезы, чтобы ощутить пользовательский опыт и двигаться дальше).

  • Не влюбляться в идею (всегда беспристрастно смотрите на пользовательскую боль, это поможет найти эффективное и быстрое решение проблемы).

Вот так мы решили проблему с ненужными деталями LEGO.

Как подружить технологию и пользовательский опыт

В предыдущей серии:

0
2 комментария
Популярные
По порядку

Сразу вопрос частично по теме: новые наборы как проектируются? Рисуется модель, потом дробится на детали компьютером? Как они хитро учитывают совпадения цветов, чтоб в инструкции было всё понятно (не сливается в одно пятно)?

Какое максимальное количество деталей было в ваших фигурах?

0

Наборы сейчас являются частями официальных наборов Лего. Скоро добавятся еще и поделки пользователей. Все они размечаются по деталям вручную.

Цвета не учитываем, для большего охвата. Его надо подобрать или заменить самому пользователю, как и детали, которых может не хватать. Это элемент творчества.

Сейчас в базе самый большой предмет для сборки размером в 347 деталей. Но большинство предметов гораздо меньше, в среднем 89 деталей. Так проще и интереснее собирать с детьми. 

1
Читать все 2 комментария
«Вы говорите, а мы слушаем»: айдентика для онлайн-сервиса психологической помощи YouTalk

Привет, на связи команда Логомашины. Забота о ментальном здоровье — это важный тренд последних лет. В этой статье рассказываем, как мы разработали айдентику для YouTalk — сервиса, который уже три года помогает людям из более чем 50 стран справляться с психологическими проблемами.

Время входа

Управляющий активами Дмитрий Космодемьянский — о том, что происходит с рынком облигаций.

В «Чёрную пятницу» объем трафика Yota на сайты ритейлеров вырос более, чем на треть

По данным Yota, в «Чёрную пятницу» объем трафика и число переходов на сайты различных ритейлеров среди пользователей оператора выросли более чем на 30% по сравнению с 29 октября, последней пятницей прошлого месяца.

IKEA начала сдавать в Токио квартиры в 10 м² за $0,86 в месяц, чтобы показать, что в них тоже можно жить Статьи редакции

Внутри есть мини-спальня, рабочая зона, диван, стиральная машина и другое.

Помощь друга: какие новые программы психологической поддержки внедряют компании

Опыт Технологического Центра Дойче Банка, Skyeng и MediaСom

Кейс «АнтиШколы»: мы впустую потратили два года на разработку своей платформы и выжили в пандемию благодаря Edvibe

После вуза мы с партнером запустили неформальную АнтиШколу по английскому — с кофе, печеньками, играми и атмосферой антикафе. Но столкнулись с проблемой в онлайне: два года разрабатывали приложение для студентов и потратили порядка $40 тысяч в никуда. Рассказываю, как это было.

Так мы занимаемся английским на крыше! Никаких унылых парт

«Как иронично, что фирме в сфере психического здоровья плевать на психическое здоровье собственных работников» Статьи редакции

Сотрудники Spring Health жалуются на соучредительницу Эйприл Го: она запугивает их, увольняет при всех, вынуждает работать по 70 часов в неделю и не нанимает тех, кто спрашивает про переработки. Го объясняет: «Мы носимся как безголовые цыплята, потому что на кону человеческие жизни».

Эйприл Го — на ноябрь 2021 года самая молодая женщина-директор компании с оценкой более $1 млрд Slush
Юбилей кешбэка: как в 130 лет выглядеть «на все сто»

Кешбэк — возврат определенного процента наличных на карточный счет клиента после покупок в магазинах-партнерах банка или полетах на самолетах авиакомпаний-партнеров-банка или вообще за любые покупки в конкретный период времени — очень популярен в народе. Он выглядит как современная модная финансовая фишка

Факап на 45 млн рублей, выгорание и новый стартап

Это история моего прошлого проекта: ошибок, выводов и опыта, который я применил при создании нового стартапа.

Это я (слева) и Саша (аккаунт менеджер), гуляем по Москве, ждем встречи с партнерами
Зачем приложению банка игры, в которые играют миллионы? Опыт Альфа-Банка
Зимний набор на оплачиваемую стажировку в Тинькофф Старт: какие задачи решают стажеры

С 1 декабря 2021 года начинается зимний набор в Тинькофф Старт — программу оплачиваемых стажировок от Тинькофф.

null