Больше света, меньше потерь: новая технология может изменить камеры смартфонов
Metalenz приобрела израильский стартап PxE Imaging, разработавший альтернативу фильтру Байера. По заявлению компании, технология позволяет доставить до матрицы в 2,5 раза больше света и одновременно получать информацию о цвете и глубине сцены.
Камеры смартфонов становятся умнее с каждым годом. Они объединяют несколько кадров, подавляют шум и вытягивают детали из теней. Но у всей этой вычислительной магии есть предел: если свет не добрался до матрицы, программам уже нечего обрабатывать.
Именно эту проблему обещает решить PxE Imaging. Израильский стартап, который приобрела компания Metalenz, разработал технологию Holocoder — потенциальную замену фильтру Байера, используемому в традиционных цифровых камерах.
В пресс-релизе Metalenz говорится, что Holocoder «устраняет необходимость в фильтре Байера и разделяет свет без поглощения, увеличивая количество света, поступающего на стандартную матрицу, в 2,5 раза».
Если при прочих равных матрица действительно будет получать настолько больше света, выигрыш может оказаться существенным и при ночной съёмке, и в хорошо освещённых сценах.
Не поглощать свет, а направлять его
Чтобы понять идею PxE, нужно вспомнить, как обычная цифровая камера получает цветное изображение. Над светочувствительной матрицей располагается фильтр Байера: его элементы пропускают определённые цветовые составляющие света. По полученным данным камера затем восстанавливает полноцветный кадр.
У такого подхода есть недостаток. По оценке Metalenz, фильтр поглощает около 60% поступающего света.
В традиционной камере между объективом и CMOS-матрицей расположен фильтр Байера.
Holocoder предлагает другой принцип: вместо поглощения света специальный слой на матрице перераспределяет его, используя волновые свойства.
В конструкции PxE место фильтра Байера занимает слой Holocoder, который перенаправляет свет и повышает эффективность его использования.
Для Metalenz этот подход вполне органичен. Компания уже несколько лет развивает оптику на основе метаповерхностей — сверхтонких структур, которые можно изготавливать методами, похожими на производство полупроводниковых пластин. Их главное отличие от привычных линз в том, как именно они изменяют направление света.
Holocoder тоже использует управление светом на физическом уровне. Как объясняет компания, технология «задействует волновую природу света, чтобы физически выделять информацию, в том числе о длине волны и глубине, позволяя одной камере одновременно получать данные о цвете и глубине в одном изображении».
Иными словами, речь идёт не только о более светочувствительной камере. Один сенсор сможет собирать более богатую информацию о сцене.
Не только фотографии, но и машинное зрение
Благодаря приобретению PxE компания Metalenz рассчитывает дополнить данные о материалах и поверхностях, которые уже получают её устройства, информацией о цвете и глубине. При этом, по её утверждению, существенно усложнять производство или наращивать вычислительные ресурсы не потребуется.
«Metalenz последовательно расширяла свой портфель интеллектуальной собственности: от уникального оборудования до комплексных аппаратно-программных решений, разработанных совместно с нашими метаповерхностями», — говорит сооснователь и генеральный директор Metalenz Роб Девлин.
По его словам, компания уже внедрила свои разработки в устройства с самыми строгими требованиями, выстроила цепочку поставок для массового производства и создала программную платформу, которая проводит данные весь путь, от сенсора до решений искусственного интеллекта.
«С технологией и командой PxE мы расширяем наши возможности в видимом диапазоне. Мы решаем давнюю проблему съёмки при недостаточном освещении и одновременно отвечаем на новую задачу физического ИИ: получать более содержательные данные, чем обычные RGB-изображения», — продолжает Девлин.
Здесь его интерес выходит далеко за пределы мобильной фотографии. Камерам, которыми пользуются люди, нужны хорошие снимки. Машинам же требуется как можно больше сведений о том, что находится перед ними.
«Собственное оборудование, которое даёт сенсорам новую информацию – вот настоящее конкурентное преимущество при создании отличающихся от других моделей ИИ. Объединение наших возможностей с PxE распространяет этот принцип на всё машинное зрение: люди и машины смогут видеть и понимать больше, не полагаясь на тяжёлые вычисления».
Сооснователь и генеральный директор PxE Imaging Йоав Берлацки описывает исходную задачу команды так:
«Мы разработали Holocoder, чтобы извлекать из света информацию, которую обычные сенсоры отбрасывают или не способны увидеть. Это даёт камерам более высокую светочувствительность и возможность одновременно фиксировать цвет и глубину».
По словам Берлацки, присоединение к Metalenz открывает доступ к производственной платформе и рынку, необходимым для появления технологии в повседневных устройствах.
«Вместе мы сможем дать людям более качественные изображения, а машинам — более глубокое понимание мира».
Финансовые условия сделки не раскрываются.
Почему алгоритмы не решают всё
В разговоре с WIRED Девлин подробнее объяснил, почему Metalenz заинтересовалась разработкой PxE.
«Apple, Samsung, Google — все каждый год борются за улучшение обычной камеры, верно?» — говорит он.
Значительная часть этой борьбы, по его словам, сводится к инвестициям в программную обработку.
«Они вкладывают сотни миллионов долларов в софт, пытаясь улучшить изображение. Но проблема в том, что, когда информация потеряна из-за поглощения света, вернуть её уже нельзя, сколько бы программных средств вы ни задействовали».
Именно здесь проходит принципиальная граница между улучшением обработки и изменением самого способа получения изображения. Holocoder нацелен на этап до обработки: сохранить больше полезного света ещё до того, как алгоритмы начнут работать с кадром.
Когда технология доберётся до устройств
Пока Metalenz не может напрямую объединить Holocoder со своей уже выпускаемой оптикой. В долгосрочной перспективе, однако, компания рассматривает такую возможность.
Сама технология PxE благодаря производственным мощностям Metalenz может выйти на рынок уже к концу 2027 года. Это пока возможный срок, а не подтверждённая дата появления конкретных устройств.
Областей применения немало. Например, в автономном транспорте, где важны компактные камеры, возможность получать больше света без увеличения размеров выглядит особенно привлекательно.
Ещё более очевидный кандидат — смартфоны. Их камеры сталкиваются с той же физической задачей, что и любые другие: собрать как можно больше полезной информации о свете.
Фильтр Байера стал выдающимся инженерным решением и надолго определил устройство цифровой фотографии. Но технология уже далеко не молода. Если обещания PxE подтвердятся, следующий заметный шаг в качестве снимков может быть связан не с очередным алгоритмом — а с тем, что камера перестанет терять столько света ещё до начала обработки.