Эксклюзивное интервью. Интеллектуальное кадрирование в новых камерах Poly, совместимость и планы на будущее

Задали несколько вопросов компании Poly про вышедшее недавно оборудование и его программную начинку. Речь про камеру Studio E70 и видеобар Studio X70.

Специально для В+К рецептами и алгоритмами делился специалист по маркетингу Гэвин Сир (Gavin Sear), который отвечает за запуск и поддержку гарнитур, видео и голосовых решений.

Интеллектуальная ePTZ-камера Poly Studio E70 с двумя 4K-объективами и 20-мегапиксельными сенсорами предназначена для больших конференц-залов. Стартовая стоимость заявлена $3499.

Выше видеобар Poly Studio X70. У него тоже два 4K-объектива со шторкой, кроме того, стереозвук, MEMS-микрофоны с радиусом действия 7,6 м, шумоподавление NoiseBlockAI, Acoustic Fence для ограничения зоны захвата звука. Встроена поддержка разных провайдеров облачной видеосвязи наряду с Zoom. Будет стоить от $7760.

Вы наверное уже слышали про интеллектуальное кадрирование. Это модная фишка, которая показывает вам участников собрания по ту сторону кадра не всех вместе, заседающих за большим столом, а только говорящих, но значительно ближе и крупнее. Поскольку оператор — дорогостоящее развлечение, разработчики научили камеры переключаться между спикерами.

Интеллектуальное отслеживание спикеров, автонаведение и кадрирование в линейке Poly обеспечивает технология Poly DirectorAI. Ниже зададим Гэвину несколько вопросов и попытаемся узнать, как на самом деле это работает.

Видео+Конференция: Есть одно узкое место. Если разговор оживленный, а спикеров, например, 5 человек, камера вынуждена будет постоянно отъезжать-наезжать и прыгать, переключаясь между перебивающими друг друга людьми. Как эту задачу решает алгоритм Poly Director AI?

Poly: У моделей Poly Studio E70 и X70 по два объектива: узкий с углом обзора 70° и широкий с углом обзора 120°. Камера плавно переключаются между ними, что помогает корректно снимать переговорщиков, сидящих как далеко, так и близко к камере.

Софт устраняет искажения типа "рыбий глаз", которые дает широкоугольный объектив. Количество людей в кадре определяется по лицам. По ним же программа обнаруживает вновь прибывших, в том числе в масках, так как ориентируется по глазам. Может игнорировать неподвижные объекты типа портрета основателя компании на стене.

Зеленым обозначаются обнаруженные лица. Синяя рамка — так называемая зона интереса, которая захватывает всех участников. Голубая вертикальная линия — детектор звука, перемещается туда где говорит спикер. Это, конечно, закадровый алгоритм, зрители видят красивый результат без рамок и полосок.

Есть общий кадр, в который попадают все участники встречи, и есть 2 виртуальные камеры, которые постоянно наводятся на активно говорящего. Также есть кадр с предыдущим спикером.

Камера не будет метаться от одного человека к другому. Если они сидят рядом, она отъедет и покажет на экране обоих на время активного диалога. Если к разговору присоединяется кто-то на другом конце переговорной, камера, снимавшая предыдущего спикера, переключится на нового собеседника простой сменой кадра, без затяжных переездов через всю комнату. Таким образом, в зоне внимания всегда минимум два активных участника обсуждения.

Видео+Конференция: Данные для наведения и автофокусировки обрабатываются непосредственно в камере? Или сырое изображение отдается в кодек/на ПК, где драйвера производят обработку за счет драгоценных ресурсов системы?

Poly: Нет, вся обработка происходит в камере, никуда не делегируется, никакой дополнительный софт не требуется. Для любого сервиса видеосвязи вы получите одинаковый результат. Камера выдает уже все готовое.

Видео+Конференция: В технической документации написано, что Studio E70 работает только с кодеком G7500 и ПО Teams Rooms для Windows. Подключить камеру как USB-периферию к любому компьютеру не получится?

На самом деле в процессе нашего разговора собеседники используют камеру как USB-девайс, подключенный к ПК, на котором установлен обычный клиент Microsoft Teams, а не специальный для переговорных комнат. Вы тоже можете так делать, но пока без гарантий со стороны Poly, потому что это "completely unsupported".

Poly: Приоритетом является совместимость с популярными экосистемами и специальным оборудованием, которое позволяет в полной мере использовать возможности камеры и искусственного интеллекта. Для персонального использования есть более подходящие продукты — Poly Studio USB, Poly Studio P15. По мере прохождения тестов информация о совместимых ПК будет обновляться.

Видео+Конференция: Какие операционные системы будет поддерживать Studio E70?

Poly: Microsoft Teams Rooms и Poly VideoOS на базе Android в рамках системы G7500. Что-то наверняка работает, но пока без гарантии.

Нашему упоминанию Linux собеседники удивились и даже поинтересовались, неужели он так популярен в России, что возникает отдельный вопрос.

Google и Microsoft активно продвигают новые идеи для гибридной работы. Люди дома и в офисе, по их мнению, присоединяясь к одному и тому же собранию, чувствуют себя по-разному. Для "выравнивания" их опыта вендоры предлагают сажать всех полукругом, размещать изображения собеседников адекватного размера на уровне глаз, совмещать источник звука с изображением говорящего и так далее.

Видео+Конференция: Что думает Poly? Есть ли рекомендации по расстановке мебели и оборудования? Может быть, в планах новые функции софта, кодеков, камер?

Poly: Мы видим перспективу в трансляции с разных ракурсов. Работаем над тем, чтобы последовательно подключать несколько камер в переговорной и эффективно передавать с них звук и видео, создавая ощущение присутствия.

Эта идея пересекается с популярным сейчас кадрированием по типу Smart Gallery, когда собеседников показывают каждого отдельно, приближая лица и выравнивая их по размеру. Идея Poly в том чтобы показывать не только лица, но и позы, жесты. Это сильно облегчает восприятие и обработку невербальной информации, большую часть которой мы теряем в процессе видеосвязи.

Для заботы о здоровье переговорщиков Poly оснастила камеры датчиками CO2 и VOC (первые про углекислый газ, вторые про вредную летучую органику в воздухе).

Представители Poly в России говорят, что Studio E70 появится у нас в начале февраля 2022 года, по цене можно ориентироваться примерно на $3500 без учета налогов.

Studio X70 будет в конце марта. Стоить будет от $7760, в комплекте с управляющим тачскрином TC8 — $8314, это тоже без налогов.

_________

Все изображения предоставлены компанией Poly

Ранее публиковалось тут:

#интервью #видеоконференция #камера #poly #видеосвязь #ai #искуственный_интеллект