{"id":7683,"title":"\u041a\u0430\u043a \u043d\u0430\u0439\u0442\u0438 \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430 \u0432 \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438","url":"\/redirect?component=advertising&id=7683&url=https:\/\/vc.ru\/promo\/303922-korotko-servis-dlya-analiza-investicionnogo-portfelya&placeBit=1&hash=9949277ba20bce980299ffc9707868bf0a4e8244a0a0603096cd0d81905cdd42","isPaidAndBannersEnabled":false}
Machine learning
Marina Glayboroda

Система оценивания на базе компьютерного зрения

Вроде, элементарная штука, и должна быть в открытом доступе. Но ни один из существующих алгоритмов не подходил под нашу задачу, и мы решили сделать его самостоятельно.

Мы компания, которая разрабатывает различные решения с использованием технологий искусственного интеллекта. Для реализации одного проекта нам потребовалась система компьютерного зрения, умеющая распознавать жесты «палец вверх» и «палец вниз».

Проект Rate Me основан на компактной нейронной сети для обнаружения объектов Tiny-YOLO 3. Тренировали сеть с помощью фреймворка Darknet. Чтобы запустить алгоритм на на языке программирования Python, мы использовали DNN модуль библиотеки OpenCV. Сеть имеет mAP = 0,851941 или 85,19%, а также среднее IoU = 73,89%. Rate Me работает со скоростью 6-7 кадров в секунду на процессоре Intel Core TM i5-4300M при частоте 2.60 ГГц.

Изначально обучающий датасет состоял из 50 картинок, размеченных с помощью инструмента LabelImg. Но после тренировки он детектил лайки и дизлайки только правой руки и только мужские. Для него вот здесь ничего не было:

Погуглив, мы собрали еще 200 фото, которых тоже оказалось недостаточно. В ход пошли офисные и вне офисные фотосессии коллег на разных фонах и в разной одежде. У нас получилось еще 1500 картинок. Казалось бы, что этого должно быть достаточно. Однако теперь образовалась новая проблема: алгоритм считал, что если оттопырен палец вверх или вниз, значит лайк или дизлайк соответственно. Мы снова отправились собирать датасет, только теперь с другими жестами или вообще без них. В итоге, у нас получился набор, который состоит из 3 000 размеченных фотографий, сделанных с разных ракурсов и на различных фонах, где люди показывают большой палец вверх, вниз или что-то другое.

Теперь любой желающий может встроить алгоритм в свой проект и автоматизировать процесс оценивая чего-либо или кого-либо. Например, с помощью Rate Me можно:

  • Оценить музыку на сервисе YouTube Music, когда неудобно нажимать на кнопки, чтобы пропустить песню или поставить ей лайк

  • Подсчитать голоса на различных конкурсах для определения победителя

  • Оценить напитки или блюда, которые понравились или не понравились во время их дегустации

Мы, в свою очередь, задачу с помощью Rate Me решили и успешно применили его в проекте, о котором вам расскажем чуточку позже. А пока протестировать работу алгоритма можно, скачав его с GitHub.

{ "author_name": "Marina Glayboroda", "author_type": "self", "tags": ["python","machinelearning","github","cv","ai"], "comments": 3, "likes": 3, "favorites": 5, "is_advertisement": false, "subsite_label": "ml", "id": 74090, "is_wide": true, "is_ugc": true, "date": "Thu, 04 Jul 2019 16:51:55 +0300", "is_special": false }
0
3 комментария
Популярные
По порядку
Командный американец
2

Выглядит как тренировочное задание на курсе по CV.
Зачем было всех мучать и делать на чистом питоне, когда есть TF, Keras?
Удивились про то, что работает только на мужских руках и на изображениях? Про оверфиттинг не слышали?
Не проще ли было кропнуть изображения и прогонять само изображение лайка или дизлайка не собирать различные фоны , разную одежду итд.

1

Зачем было всех мучать и делать на чистом питоне, когда есть TF, Keras?

Мы никого не мучали) О второй части вопроса могу сказать, что Darknet – это отдельный фрэймворк, например. С его помощью была натренировна модель Tiny-YOLO 3, которая быстрее многих сетей на TF/Keras. Нам была важна скорость. В самой программе архитектура и веса загружаются с помощью OpenCV.

Удивились про то, что работает только на мужских руках и на изображениях? Про оверфиттинг не слышали?

Слышали, не он)

Не проще ли было кропнуть изображения и прогонять само изображение лайка или дизлайка не собирать различные фоны, разную одежду итд.

Проще, но это другая задача.

0
Читать все 3 комментария
МТТ обеспечит бизнес бесплатными минутами

Провайдер интеллектуальных решений для бизнеса АО «МТТ» объявляет о специальных условиях для бизнеса в период ограничений, связанных с ростом заболеваемости COVID-19, и предлагает новым абонентам тысячи бесплатных минут.

«Мы же не можем круглыми сутками размышлять о мире во всём мире​»: как рок-звезда Боно из U2 стал венчурным инвестором Статьи редакции

Музыкант пока что не накопил миллиард, как полагали многие издания, но стремится к этому. С 1990-х он инвестирует в коммерческую недвижимость, производство одежды, техкомпании вроде Facebook и Dropbox, проекты для помощи африканским странам и сотрудничает с Apple, Amazon и Nike.

Пол «Боно» Хьюсон Vatican News
Первый в России ПИФ на блокчейн
Онлайн-кинотеатр IVI объявил дату премьеры сериала «Везёт» с Евгением Цыгановым​
Купил квартиру под офис компании

Меня зовут Евгений, сейчас моя компания занимается разработкой экологического стартапа и разработкой проектной документации по экологии с 2012 года. Тогда мне было 23 года, все это время мы платили за аренду и были привязаны к условиям и ограничениям. В 2021 году мы с женой купили квартиру площадью 70 м2 на первом этаже жилого дома и разместили…

Как имиджевый проект о безопасном вождении привлёк лиды и расширил маркетинговую воронку страховой компании

А игра с виртуальной фарфоровой статуэткой помогла 6,5 тысячам водителей не превышать скорость.

Власти Москвы потребовали от винных магазинов закрыться на время локдауна — в ответ бизнес предложил торговать крупой Статьи редакции

Под ограничения могут попасть 200 магазинов, но не крупные сети алкомаркетов.

Как QIWI наладила прозрачный коннект бизнеса с самозанятыми

Рассказываем про нашу работу с одним из самых интересных развивающихся рынков — самозанятыми.

Три года в Долине строил мессенджер и закрыл его: что сделал не так Юрий Лифшиц и какие уроки вынес из провала Статьи редакции

Теперь он работает над проектом для DAO и уже привлёк $1 млн на свою идею.

Как превратить звонки в продажи?

В прошлой статье мы разбирали проблему отсутствия интернет-продаж с технической точки зрения - из-за некорректного тестирования и настройки рекламных кампаний. Сегодня мы поговорим о человеческом факторе, и почему у вас не покупают клиенты.

5 ошибок при разработке MVP, которые не приведут вас к цели

Необходимость разработки MVP может вызывать дискуссии в среде профессионалов, так как на то, стоит ли применять его в проекте, влияет много условий. Если бизнесу нужна внутренняя система (например, CRM для управления взаимоотношениями с клиентами), потребность в которой очевидна и понятна, можно не тратить ресурсы на проверку её жизнеспособности,…

null