Редактирование волейбольных видео при помощи искуственного интеллекта

Какое-то время назад я написал сервис vball.io, который использует компьютерное зрение и машинного обучение, чтобы следить за движением мяча, выделять траектории движения и трактовать эти траектории как волейбольные действия (подача, пас, атака).

Первоначальные достижение я описал в своей прошлой статье, сейчас хочу рассказать про новые возможности.

Это для людей, которым приходится иметь дело с волейбольными видео:

Допустим, есть видео на youtube, например, эта запись игры, 40 минут длиной (40 минут еще ничего, можно посмотреть, а что если это два часа, и игра не одна?)

Youtube-cсылку передаем на сайт. Загруженное видео разбирается computer vision и machine learning, которые по итогу выдают нарезку игры на розыгрыши, а розыгрышей - на действия.

Система автоматически генерит дайджест игры (Получилось 10 минут вместо 40).

Дайджест можно скачать, чтобы потом залить обатно на Youtube или еще куда.

В игре обнаружилось 56 розыгрышей (каждый сопровождается демо-гифкой) и видео-файлом, который также можно скачать.

Внутри каждого розыгрыша - информация об игровых действиях (каждое действие - тоже с гифкой)

Можно зайти в Экшн-центр

Где есть доступ ко всем игровым действиям по типу (подача, атака) и стороне площадки.

Можем посмотреть, например, все атаки с дальней площадки:

Иногда человек может быть не согласен с машиной, и чтобы добиться желаемого, результат работы алгоритма можно подправить.

У каждого розыгрыша есть кнопка с мусорной корзиной

После нажатия на странице игры появляется кнопка Generate, которая запускает новую генерацию дайджеста игры с учетом удаленных фрагментов.

Правда эта операция доступна только тому, кто загрузил видео на сайт.

Каждая игра состоит из нескольких сотен игровых действий, возможно зрителю интересны только какие-то из них - например только атакующие удары, или действия определенного игрока.

Можно нажать на звездочку, то выбранное игровое действие попадает в фавориты.

Эта операция доступна всем зарегистированным пользователям, не только владельцу игры.

По завершению процесса отбора, генерируется нарезка в оригинальном качестве из выбранного (или нескольких) момента(ов).

Такие фрагменты сохраняются в разделе Favorites и могут быть просмотрены или скачаны в любой момент. Они будут храниться, даже если исходная игра была удалена владельцем.

Алгоритм не идеален, и может упускать какие-то детали. Если действие было не распознано, но попало в запись, его можно добавить (и потом включить в фавориты).

Сервис vball.io определенно поможет любителям волейбола сконцентироваться на самых интересных моментах из игровых записей а редакторам видео сэкономит время, взяв на себя тривиальную работу.