Инженер собрал прототип камеры без объектива, которая создаёт изображения с помощью ИИ и параметров времени и места

Есть физическое устройство и сайт, где можно сделать «снимок».

Проект Бьорна Карманна называется Paragraphica. Камера предлагает «способ познания окружающего мира, который не ограничивается только визуальным восприятием».
Paragraphica использует данные о местоположении и искусственный интеллект для визуализации определенного места в конкретный момент. Карманн запустил сайт, на котором можно протестировать технологию.
Камера с помощью открытых API собирает данные о местоположении — адрес, погоду, время суток и близлежащие места. Объектива нет, устройству нужен доступ в интернет. На дисплее с обратной стороны отображаются полученные данные. С помощью API преобразования текста в изображение камера создаёт визуализацию.

Здесь и далее слева: снимок местоположения камеры; посередине: данные о местоположении; справа: изображение, созданное ИИ

На камере есть три физических крутящихся регулятора для настройки части параметров запроса, который получит ИИ. С помощью первого можно определить радиус в метрах, в пределах которого алгоритм будет искать объекты, чтобы подставить их в промпт (текстовое описание для генерации картинки) — например, «парковка» или «студия йоги». Это своеобразное фокусное расстояние линзы.
Второй позволяет выбрать зерно случайной последовательности: такое число, с помощью которого нейросеть генерирует случайные числа, когда они ей нужны. Если выставить определённое значение, получить картинку и не менять его при генерации следующей с таким же промптом — результат изменится, но будет в целом похож на предыдущий. Автор изобретения сравнивает поворот регулятора со сменой зернистости на кадре плёночного фотоаппарата.
Третий регулятор ограничивает «свободу» алгоритмов при выполнении запроса — это то, насколько ИИ вправе или, наоборот, не может отклоняться от пользовательского промпта. Как если бы фотограф настраивал резкость или размытость будущего изображения.

Карманн использовал для физического прототипа Raspberry Pi 4, сенсорный экран, напечатанный на 3D-принтере корпус, а для ПО — Noodl и Stable Diffusion API.