1. 引言
基于摄像头的飞行时间传感器通过测量主动发射光的往返时间，提供了一种快速便捷获取三维环境信息的方法。本文提出了一种全面的仿真流程，用于评估传感器性能、精度，并理解实验观测到的效应，主要侧重于详细的光学信号仿真。
2. 飞行时间测量原理
飞行时间传感器通过测量光从光源到物体再返回探测器的时间来计算每个像素的距离。
2.1 直接飞行时间测量
使用极短脉冲直接测量往返时间。虽然概念上简单直接，但由于所需的高速电子器件，其信噪比较低。距离 $d$ 的计算公式为 $d = \frac{c \cdot \Delta t}{2}$，其中 $c$ 是光速，$\Delta t$ 是测量到的时间。
2.2 基于相关性的飞行时间测量
这是商用传感器中的主流方法。它使用振幅调制连续波光源。测量发射和接收调制信号之间的相位差 $\phi$，并由此推导深度：$d = \frac{c \cdot \phi}{4\pi f_{mod}}$，其中 $f_{mod}$ 是调制频率。这通过每个像素的光子混合器件和锁相解调技术实现。
3. 提出的仿真流程
核心贡献是一个基于光线追迹的仿真框架，该框架使用光程作为深度计算的主参数，超越了简单的点对点模型。
3.1 基于光线追迹的光程方法
该方法不仅模拟直接反射路径，还追踪光线通过复杂的光学路径。光线的总光程由 $OPL = \int_{}^{} n(s) \, ds$ 给出，其中 $n$ 是沿路径 $s$ 的折射率。该OPL与C-ToF系统中测量的相位差直接相关。
3.2 在Zemax OpticStudio和Python中的实现
光学光线追迹在Zemax OpticStudio中进行，以高保真度建模镜头、光源和物体交互。Python后端处理光线数据，模拟传感器的解调过程，并生成最终的深度图和原始数据。
3.3 支持的光学效应
- 多径干扰： 模拟在到达传感器前在物体间经历多次反射的光线，这是实际ToF系统中的主要误差源。
- 半透明/体积物体： 考虑材料内部的次表面散射和光传输。
- 镜头像差： 建模影响每个像素上光线入射角和强度的畸变、渐晕和其他镜头缺陷。
- 扩展及多光源： 允许超越单点光源的真实照明设置。
4. 技术细节与数学基础
仿真模拟了C-ToF核心的相关过程。对于调制频率 $f_{mod}$，像素 $(i,j)$ 处的接收信号与参考信号相关。相位 $\phi_{i,j}$ 从相关采样中提取，通常使用四相采样法： $\phi_{i,j} = \arctan\left(\frac{Q_3 - Q_1}{Q_0 - Q_2}\right)$ 其中 $Q_0$ 到 $Q_3$ 是在相位偏移0°、90°、180°和270°处的相关值。模拟的OPL直接影响这些相关值。
5. 实验结果与演示
论文在一个简单的3D测试场景上演示了该框架。主要成果包括：
- 与真实值对比： 对于直接路径，模拟的深度图与几何预期值高度一致。
- MPI伪影生成： 仿真成功生成了多径干扰特有的深度误差模式，这些模式在角落处常表现为“重影”或扭曲的表面。
- 镜头效应可视化： 模拟图像显示了径向畸变和渐晕，便于分析它们对视场内深度均匀性的影响。
这一验证证明了该流程在物理原型制作前诊断和理解非理想特性的实用性。
6. 分析框架：核心见解与评述
核心见解
这项工作不仅仅是一个仿真工具；它是理想化光学设计与混乱的ToF传感现实之间的战略桥梁。通过倡导将光程作为基本仿真变量，作者正确地指出，大多数ToF误差并非电子噪声，而是系统性的光学伪影——如MPI、次表面散射、镜头像差——这些伪影在信号到达探测器之前就已嵌入其中。这将优化重点从纯电路设计转向了整体的光电协同设计。
逻辑流程
逻辑是严密的：1) 承认现实世界的光传输是复杂的。2) 认识到用于光强的标准光线追迹对于基于相位的传感是不够的。3) 因此，追踪并累加每条光线路径的光程，而不仅仅是光强。4) 使用这种物理上精确的OPL数据来驱动相关/解调模型。与将光学效应作为后处理滤波器添加到理想深度图的方法相比，此流程更贴近实际物理过程。
优势与不足
优势： 该方法最大的优势在于其通用性。通过将光学仿真与传感器模型解耦，它可以适应不同的ToF类型，甚至新兴技术。这比专有的、特定于传感器的仿真器灵活得多。对复杂几何和材料的支持对于面临挑战性场景的汽车和机器人应用至关重要。
关键不足： 一个不容忽视的问题是计算成本。论文简要提到了一个“简单的3D测试场景”。在密集、多次反射场景中对数百万条光线进行高保真光线追迹，对于迭代设计周期来说成本过高。此外，该模型似乎主要在几何光学范畴内运行。对于微型化的ToF传感器，衍射效应和孔径边缘的波动光学可能变得显著，这是一个类似于建模小像素图像传感器时面临的限制。
可操作的见解
1. 对于ToF系统设计者： 在早期架构阶段使用此方法。在确定镜头规格或照明模式之前，通过仿真量化目标场景的MPI误差预算。这可以推动对多频技术或先进算法的需求以对抗MPI。
2. 对于算法开发者： 该仿真器是生成大规模、物理精确的合成数据集的绝佳平台，用于训练深度学习模型以消除MPI和其他伪影。缺乏这种多样化、带有真实标签的真实数据是一个主要瓶颈。
3. 未来工作的必要性： 业界必须致力于开发一个标准化的、开源的ToF仿真框架，在物理精度和速度之间取得平衡——或许可以利用神经辐射场或其他可微分渲染技术来创建更快、可学习的ToF图像形成前向模型。
7. 应用前景与未来方向
该仿真框架为多个高级应用开辟了道路：
- 自主系统： 在极端边缘情况下预验证ToF传感器性能，用于汽车激光雷达和机器人导航。
- 生物识别与医疗保健： 利用ToF原理，模拟光与人体组织的相互作用，用于生理监测。
- 增强/虚拟现实： 为头戴设备中的精确手部追踪和环境映射设计微型化ToF传感器，模拟不同光照和材料条件下的性能。
- 工业计量： 为在高反射或杂乱环境中工作的检测机器人提供高精度仿真。
未来研究应侧重于集成波动光学、通过GPU/云端光线追迹加速计算，并建立与电子噪声模型的直接联系，以实现真正的端到端信噪比预测。
8. 参考文献
- Baumgart, M., Druml, N., & Consani, C. (2018). Procedure Enabling Simulation and In-Depth Analysis of Optical Effects in Camera-Based Time-of-Flight Sensors. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-2, 83-90.
- Druml, N. et al. (2015). REAL3™ 3D Image Sensor. Infineon Technologies.
- Jarabo, A., et al. (2017). A Framework for Transient Rendering. ACM Computing Surveys.
- Lange, R. (2000). 3D Time-of-Flight Distance Measurement with Custom Solid-State Image Sensors in CMOS/CCD-Technology. PhD Thesis, University of Siegen.
- Remondino, F., & Stoppa, D. (Eds.). (2013). TOF Range-Imaging Cameras. Springer.
- Schwarte, R., et al. (1997). A New Electrooptical Mixing and Correlating Sensor: Facilities and Applications of the Photonic Mixer Device (PMD). Proc. SPIE.
- Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV). (CycleGAN reference for synthetic data generation).
- NVIDIA OptiX Ray Tracing Engine. (n.d.). Retrieved from developer.nvidia.com/optix.