ИИ захватывает временные данные вместо света: новая веха 3D-изображений

Фотография — это буквально «рисование светом». Суть процесса заключается в том, что изображение записывается на светочувствительном материале (светоприемнике) посредством регистрации оптического излучения от объекта и последующей обработки. Учитывается интенсивность излучения, цвет светового потока, законы линейной перспективы и другие параметры. В результате мы видим двухмерное изображение. Чтобы создать трехмерное изображение, нужно собрать пространственные данные об объекте — проще говоря, сфотографировать его под разными углами, с разных позиций и т.п.

Международная команда ученых из Великобритании, Италии и Нидерландов поставила эксперимент: они решили вместо пространственных координат использовать временные данные фотонов. Результаты этого опыта опубликованы в журнале Optica.

Новый способ подразумевает получение трехмерного движущегося изображения без захвата света. Это может использоваться в мобильных девайсах, мониторах и другой технике

В эксперименте использовался простой одноточечный датчик. Он фиксировал, сколько времени требуется фотонам, произведенным импульсным лазерным светом за доли секунды, чтобы отразиться от каждого объекта в конкретном изображении и достичь датчика. После этого полученные временные данные преобразовали в трехмерное изображение с помощью сложного алгоритма нейронной сети.

Разработчики предварительно «обучили» алгоритм, показав ему тысячи фотографий, на которых они сами перемещают объекты по лаборатории. Также алгоритму сообщили временные данные, полученные в это время  одноточечным датчиком.

В результате нейросеть соотнесла временные данные с фотографиями и смогла создавать высокоточные изображения только на основе временных данных, причем итоговые изображения были трехмерными и анимированными.

Формирование трехмерного изображения с помощью одноточечных датчиков происходило в два этапа: а) этап сбора данных и б) этап развертывания. Изображение: Alex Turpin, Gabriella Musarra, Valentin Kapitany et al./ Optica, 2020

В итоге этого эксперимента ученые фактически получили новый способ превращения одномерных данных в движущееся трехмерное изображение. Что примечательно, такой подход не требует сложного лабораторного оборудования.

Сейчас создатели нового метода генерации трехмерных изображений уверены, что его можно адаптировать к любой системе, которая способна исследовать сцену короткими импульсами и точно измерять отраженное «эхо». Разработчики говорят, что изобретенный ими способ — это только первые шаги в совершенно новой методике визуализации окружающего мира с использованием временных данных вместо света.

Авторы разработки планируют продолжить исследование ее потенциала. Следующий шаг — работа над автономной портативной системой (наподобие фотоаппарата), причем ученые говорят о возможном переводе технологии на коммерческие рельсы, но пока об этом думать рано.