1. Введение
Камерные датчики времени пролёта (ToF) предоставляют быстрый и удобный метод получения 3D-информации об окружающей среде путём измерения времени прохождения активно излучаемого света до объекта и обратно. В данной статье представлена комплексная процедура симуляции для оценки производительности и точности датчика, а также для понимания экспериментально наблюдаемых эффектов, с основным фокусом на детальном моделировании оптического сигнала.
2. Принципы измерения времени пролёта
Датчики ToF рассчитывают расстояние для каждого пикселя, измеряя время, за которое свет проходит от источника до объекта и обратно к детектору.
2.1 Прямое время пролёта (D-ToF)
Прямое измерение времени прохождения туда и обратно с использованием очень коротких импульсов (наносекундный диапазон). Хотя концептуально этот метод прост, он страдает от низкого отношения сигнал/шум (SNR) из-за требуемой высокоскоростной электроники (диапазон ГГц), как отмечают Jarabo и др. (2017). Расстояние $d$ рассчитывается просто как $d = \frac{c \cdot \Delta t}{2}$, где $c$ — скорость света, а $\Delta t$ — измеренное время.
2.2 Корреляционное время пролёта (C-ToF/P-ToF)
Преобладающий метод в коммерческих датчиках. Используется амплитудно-модулированная непрерывная волна (AMCW). Измеряется фазовый сдвиг $\phi$ между излучаемым и принимаемым модулированными сигналами, и глубина выводится из него: $d = \frac{c \cdot \phi}{4\pi f_{mod}}$, где $f_{mod}$ — частота модуляции (обычно в МГц). Это реализуется с использованием устройств смешения фотонов (PMD) на каждый пиксель и синхронного демодулирования (Schwarte и др., 1997; Lange, 2000).
3. Предлагаемая процедура симуляции
Ключевой вклад — это основанная на трассировке лучей структура симуляции, которая использует оптическую длину пути в качестве основного параметра для расчёта глубины, выходя за рамки упрощённых моделей «точка-точка».
3.1 Подход на основе оптической длины пути с трассировкой лучей
Вместо симуляции только путей прямого отражения, метод отслеживает лучи через сложные оптические пути. Общая оптическая длина пути (OPL) для луча задаётся как $OPL = \int_{}^{} n(s) \, ds$, где $n$ — показатель преломления вдоль пути $s$. Эта OPL напрямую связана с фазовым сдвигом, измеряемым в системах C-ToF.
3.2 Реализация в Zemax OpticStudio и Python
Оптическая трассировка лучей выполняется в Zemax OpticStudio для моделирования объективов, источников и взаимодействия с объектами с высокой точностью. Бэкенд на Python обрабатывает данные лучей (длины путей, интенсивности, точки взаимодействия) для симуляции процесса демодуляции датчика и генерации итоговых карт глубины и сырых данных.
3.3 Поддерживаемые оптические эффекты
- Многопутевые помехи (MPI): Моделирует лучи, которые претерпевают множественные отражения между объектами перед попаданием на датчик — основной источник ошибок в реальных системах ToF.
- Полупрозрачные/объёмные объекты: Учитывает подповерхностное рассеяние и перенос света внутри материалов.
- Аберрации объектива: Моделирует дисторсию, виньетирование и другие несовершенства объектива, влияющие на угол падения и интенсивность света на каждом пикселе.
- Расширенные и множественные источники света: Позволяет реалистично моделировать схемы освещения, выходящие за рамки точечных источников.
4. Технические детали и математические основы
Симуляция моделирует корреляционный процесс, лежащий в основе C-ToF. Для частоты модуляции $f_{mod}$ принимаемый сигнал в пикселе $(i,j)$ коррелирует с опорными сигналами. Фаза $\phi_{i,j}$ извлекается из корреляционных отсчётов, часто с использованием метода четырёхфазной выборки: $\phi_{i,j} = \arctan\left(\frac{Q_3 - Q_1}{Q_0 - Q_2}\right)$ где $Q_0$ до $Q_3$ — значения корреляции при фазовых сдвигах 0°, 90°, 180° и 270°. Смоделированная OPL напрямую влияет на эти корреляционные значения.
5. Экспериментальные результаты и демонстрация
В статье демонстрируется работа структуры на простой 3D тестовой сцене. Ключевые результаты включают:
- Сравнение с эталоном: Смоделированная карта глубины показала высокое соответствие с геометрически ожидаемыми значениями для прямых путей.
- Генерация артефактов MPI: Симуляция успешно сгенерировала характерные для многопутевых помех паттерны ошибок глубины, которые часто видны как «призрачные» или искажённые поверхности в углах.
- Визуализация эффектов объектива: Смоделированные изображения показали радиальную дисторсию и виньетирование, что позволило проанализировать их влияние на равномерность глубины по полю зрения.
Эта валидация доказывает полезность процедуры для диагностики и понимания неидеальностей до создания физического прототипа.
6. Аналитическая структура: Ключевая идея и критика
Ключевая идея
Эта работа — не просто очередной инструмент симуляции; это стратегический мост между идеализированным оптическим проектированием и сложной реальностью ToF-сенсорики. Выдвигая оптическую длину пути в качестве фундаментальной переменной симуляции, авторы верно определяют, что большинство ошибок ToF — это не электронный шум, а систематические оптические артефакты — MPI, подповерхностное рассеяние, аберрации объектива, — которые «впекаются» в сигнал ещё до попадания на детектор. Это смещает фокус оптимизации с чисто схемотехнического проектирования на целостное оптоэлектронное совместное проектирование.
Логическая последовательность
Логика убедительна: 1) Признать, что перенос света в реальном мире сложен (многократные отражения, объёмные эффекты). 2) Осознать, что стандартная трассировка лучей для интенсивности (как в компьютерной графике) недостаточна для фазового измерения. 3) Следовательно, отслеживать и суммировать оптические длины путей, а не только интенсивности, для каждого луча. 4) Использовать эти физически точные данные OPL для управления корреляционной/демодуляционной моделью. Этот конвейер точнее отражает реальную физику, чем методы, добавляющие оптические эффекты как фильтры постобработки к идеальной карте глубины.
Сильные стороны и недостатки
Сильные стороны: Главное достоинство подхода — его универсальность. Разделяя оптическую симуляцию (Zemax) и модель датчика (Python), он может адаптироваться к различным типам ToF (D-ToF, C-ToF) и даже к новым техникам, таким как transient imaging, как отмечают авторы. Это гораздо гибче, чем проприетарные симуляторы, заточенные под конкретный датчик. Поддержка сложной геометрии и материалов критически важна для автомобильных и робототехнических применений, где датчики сталкиваются со сложными сценами.
Критический недостаток: «Слон в комнате» — это вычислительная стоимость. В статье кратко упоминается «простая 3D тестовая сцена». Высокоточная трассировка миллионов лучей в плотных сценариях с множественными отражениями непомерно дорога для итеративных циклов проектирования. Хотя такие инструменты, как NVIDIA OptiX, революционно улучшили производительность трассировки лучей, их интеграция здесь не обсуждается. Более того, модель, по-видимому, в основном работает в рамках геометрической оптики. Для миниатюрных датчиков ToF (например, в смартфонах) дифракционные эффекты и волновая оптика на краях апертуры могут стать значимыми, что является ограничением, аналогичным тем, с которыми сталкиваются при моделировании сенсоров изображения с малыми пикселями.
Практические выводы
1. Для проектировщиков систем ToF: Используйте эту методологию на ранней архитектурной стадии. Прежде чем утверждать спецификации объектива или паттерны освещения, проведите симуляцию для количественной оценки бюджета ошибок MPI для ваших целевых сцен (например, салон автомобиля). Это может сформировать требования к многочастотным техникам или продвинутым алгоритмам для борьбы с MPI.
2. Для разработчиков алгоритмов: Этот симулятор — идеальная платформа для генерации больших, физически точных синтетических наборов данных для обучения моделей глубокого обучения по удалению MPI и других артефактов, аналогично тому, как сети в стиле CycleGAN используются для трансляции изображений в компьютерном зрении. Отсутствие такого разнообразного реального данных с эталонными метками — серьёзное узкое место.
3. Императив для будущих работ: Сообщество должно работать над созданием стандартизированной, открытой структуры симуляции ToF, которая балансирует физическую точность и скорость — возможно, используя нейронные поля излучения (NeRF) или другие дифференцируемые техники рендеринга для создания более быстрой, обучаемой прямой модели формирования ToF-изображения.
7. Перспективы применения и направления развития
Структура симуляции открывает возможности для нескольких продвинутых применений:
- Автономные системы: Предварительная валидация производительности датчиков ToF в экстремальных граничных случаях (туман, сильный дождь, зеркальные поверхности) для автомобильного LiDAR и навигации роботов.
- Биометрия и здравоохранение: Моделирование взаимодействия света с человеческими тканями для физиологического мониторинга (например, частота сердечных сокращений через микровибрации) с использованием принципов ToF.
- Дополненная/виртуальная реальность (AR/VR): Проектирование миниатюрных датчиков ToF для точного отслеживания рук и картографирования окружения в гарнитурах, симуляция производительности при различных условиях освещения и материалах.
- Промышленная метрология: Высокоточная симуляция для роботов-инспекторов, работающих в высокоотражающих или загромождённых средах.
Будущие исследования должны быть сосредоточены на интеграции волновой оптики, ускорении вычислений с помощью GPU/облачной трассировки лучей и создании прямой связи с моделями электронного шума (например, дробовой шум, тепловой шум) для истинного сквозного прогнозирования отношения сигнал/шум (SNR).
8. Список литературы
- Baumgart, M., Druml, N., & Consani, C. (2018). Procedure Enabling Simulation and In-Depth Analysis of Optical Effects in Camera-Based Time-of-Flight Sensors. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-2, 83-90.
- Druml, N. et al. (2015). REAL3™ 3D Image Sensor. Infineon Technologies.
- Jarabo, A., et al. (2017). A Framework for Transient Rendering. ACM Computing Surveys.
- Lange, R. (2000). 3D Time-of-Flight Distance Measurement with Custom Solid-State Image Sensors in CMOS/CCD-Technology. PhD Thesis, University of Siegen.
- Remondino, F., & Stoppa, D. (Eds.). (2013). TOF Range-Imaging Cameras. Springer.
- Schwarte, R., et al. (1997). A New Electrooptical Mixing and Correlating Sensor: Facilities and Applications of the Photonic Mixer Device (PMD). Proc. SPIE.
- Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV). (Ссылка на CycleGAN для генерации синтетических данных).
- NVIDIA OptiX Ray Tracing Engine. (n.d.). Retrieved from developer.nvidia.com/optix.