Больше света, меньше потерь: новая технология может изменить камеры смартфонов

Источник - PetaPixel.com
Источник - PetaPixel.com

Metalenz приобрела израильский стартап PxE Imaging, разработавший альтернативу фильтру Байера. По заявлению компании, технология позволяет доставить до матрицы в 2,5 раза больше света и одновременно получать информацию о цвете и глубине сцены.

Камеры смартфонов становятся умнее с каждым годом. Они объединяют несколько кадров, подавляют шум и вытягивают детали из теней. Но у всей этой вычислительной магии есть предел: если свет не добрался до матрицы, программам уже нечего обрабатывать.

Именно эту проблему обещает решить PxE Imaging. Израильский стартап, который приобрела компания Metalenz, разработал технологию Holocoder — потенциальную замену фильтру Байера, используемому в традиционных цифровых камерах.

В пресс-релизе Metalenz говорится, что Holocoder «устраняет необходимость в фильтре Байера и разделяет свет без поглощения, увеличивая количество света, поступающего на стандартную матрицу, в 2,5 раза».

Если при прочих равных матрица действительно будет получать настолько больше света, выигрыш может оказаться существенным и при ночной съёмке, и в хорошо освещённых сценах.

Больше света, меньше потерь: новая технология может изменить камеры смартфонов

Не поглощать свет, а направлять его

Чтобы понять идею PxE, нужно вспомнить, как обычная цифровая камера получает цветное изображение. Над светочувствительной матрицей располагается фильтр Байера: его элементы пропускают определённые цветовые составляющие света. По полученным данным камера затем восстанавливает полноцветный кадр.

У такого подхода есть недостаток. По оценке Metalenz, фильтр поглощает около 60% поступающего света.

В традиционной камере между объективом и CMOS-матрицей расположен фильтр Байера.

Holocoder предлагает другой принцип: вместо поглощения света специальный слой на матрице перераспределяет его, используя волновые свойства.

Больше света, меньше потерь: новая технология может изменить камеры смартфонов

В конструкции PxE место фильтра Байера занимает слой Holocoder, который перенаправляет свет и повышает эффективность его использования.

Для Metalenz этот подход вполне органичен. Компания уже несколько лет развивает оптику на основе метаповерхностей — сверхтонких структур, которые можно изготавливать методами, похожими на производство полупроводниковых пластин. Их главное отличие от привычных линз в том, как именно они изменяют направление света.

Holocoder тоже использует управление светом на физическом уровне. Как объясняет компания, технология «задействует волновую природу света, чтобы физически выделять информацию, в том числе о длине волны и глубине, позволяя одной камере одновременно получать данные о цвете и глубине в одном изображении».

Иными словами, речь идёт не только о более светочувствительной камере. Один сенсор сможет собирать более богатую информацию о сцене.

Не только фотографии, но и машинное зрение

Благодаря приобретению PxE компания Metalenz рассчитывает дополнить данные о материалах и поверхностях, которые уже получают её устройства, информацией о цвете и глубине. При этом, по её утверждению, существенно усложнять производство или наращивать вычислительные ресурсы не потребуется.

«Metalenz последовательно расширяла свой портфель интеллектуальной собственности: от уникального оборудования до комплексных аппаратно-программных решений, разработанных совместно с нашими метаповерхностями», — говорит сооснователь и генеральный директор Metalenz Роб Девлин.

По его словам, компания уже внедрила свои разработки в устройства с самыми строгими требованиями, выстроила цепочку поставок для массового производства и создала программную платформу, которая проводит данные весь путь, от сенсора до решений искусственного интеллекта.

Больше света, меньше потерь: новая технология может изменить камеры смартфонов

«С технологией и командой PxE мы расширяем наши возможности в видимом диапазоне. Мы решаем давнюю проблему съёмки при недостаточном освещении и одновременно отвечаем на новую задачу физического ИИ: получать более содержательные данные, чем обычные RGB-изображения», — продолжает Девлин.

Здесь его интерес выходит далеко за пределы мобильной фотографии. Камерам, которыми пользуются люди, нужны хорошие снимки. Машинам же требуется как можно больше сведений о том, что находится перед ними.

«Собственное оборудование, которое даёт сенсорам новую информацию – вот настоящее конкурентное преимущество при создании отличающихся от других моделей ИИ. Объединение наших возможностей с PxE распространяет этот принцип на всё машинное зрение: люди и машины смогут видеть и понимать больше, не полагаясь на тяжёлые вычисления».

Сооснователь и генеральный директор PxE Imaging Йоав Берлацки описывает исходную задачу команды так:

«Мы разработали Holocoder, чтобы извлекать из света информацию, которую обычные сенсоры отбрасывают или не способны увидеть. Это даёт камерам более высокую светочувствительность и возможность одновременно фиксировать цвет и глубину».

По словам Берлацки, присоединение к Metalenz открывает доступ к производственной платформе и рынку, необходимым для появления технологии в повседневных устройствах.

«Вместе мы сможем дать людям более качественные изображения, а машинам — более глубокое понимание мира».

Финансовые условия сделки не раскрываются.

Почему алгоритмы не решают всё

В разговоре с WIRED Девлин подробнее объяснил, почему Metalenz заинтересовалась разработкой PxE.

«Apple, Samsung, Google — все каждый год борются за улучшение обычной камеры, верно?» — говорит он.

Значительная часть этой борьбы, по его словам, сводится к инвестициям в программную обработку.

«Они вкладывают сотни миллионов долларов в софт, пытаясь улучшить изображение. Но проблема в том, что, когда информация потеряна из-за поглощения света, вернуть её уже нельзя, сколько бы программных средств вы ни задействовали».

Именно здесь проходит принципиальная граница между улучшением обработки и изменением самого способа получения изображения. Holocoder нацелен на этап до обработки: сохранить больше полезного света ещё до того, как алгоритмы начнут работать с кадром.

Когда технология доберётся до устройств

Пока Metalenz не может напрямую объединить Holocoder со своей уже выпускаемой оптикой. В долгосрочной перспективе, однако, компания рассматривает такую возможность.

Сама технология PxE благодаря производственным мощностям Metalenz может выйти на рынок уже к концу 2027 года. Это пока возможный срок, а не подтверждённая дата появления конкретных устройств.

Областей применения немало. Например, в автономном транспорте, где важны компактные камеры, возможность получать больше света без увеличения размеров выглядит особенно привлекательно.

Ещё более очевидный кандидат — смартфоны. Их камеры сталкиваются с той же физической задачей, что и любые другие: собрать как можно больше полезной информации о свете.

Фильтр Байера стал выдающимся инженерным решением и надолго определил устройство цифровой фотографии. Но технология уже далеко не молода. Если обещания PxE подтвердятся, следующий заметный шаг в качестве снимков может быть связан не с очередным алгоритмом — а с тем, что камера перестанет терять столько света ещё до начала обработки.