新型“可见光+近红外”视觉融合传感器，助力复杂场景的自动驾驶
据麦姆斯咨询报道，近日，湖南大学联合香港理工大学的研究团队采用视觉融合方法，整合了Al₂O₃/二维Ruddlesden-Popper钙钛矿（2D PVK）异质结构介质和MoS₂/BP/MoS₂异质结构通道架构，实现了在极端光照条件下超越人类视觉系统的处理能力。该视觉融合系统通过整合可见光和近红外光谱来提升环境感知能力。所采用的新型视觉传感器具备非易失性正负光电导特性，能够在不同光照条件下实现高效的图像感知和融合。通过实验验证，该系统在理想和非理想光照条件下均展现出高准确率和低误差率，为自动驾驶领域提供了一种创新的视觉解决方案。这项研究以“Rational design of a vision fusion system with visible and near-infrared spectral integration for improved environmental perception”为题发表在National Science Review期刊上。
图1 用于图像融合的视觉传感器及其工作原理
为了更深入地了解该视觉传感器的基本光电特性，研究人员使用波长为532 nm和1064 nm的光源分别模拟可见光和近红外光环境，相关实验结果如图2所示。实验结果表明，该视觉传感器在532 nm和1064 nm的光照下展现出波长依赖的正负光响应行为。
图2 视觉传感器的光响应特性
考虑到与波长相关的光响应特性，研究人员使用交叉开关配置来形成为图像感知、特征提取和边缘信息处理量身定制的传感器内阵列。每个光传感单元由三个并联互连的器件组成，如图3a所示。图3展示了基于视觉传感器的图像边缘特征提取的边缘提取计算电路。
图3 基于视觉传感器的图像边缘特征提取的边缘提取计算电路
最后，研究人员根据人脑机制的启示引入了传感器内视觉系统，专为驾驶员辅助系统内的安全监控而设计，以促进辅助安全驾驶，相关方案设置及模拟结果如图4所示。
论文链接：
https://doi.org/10.1093/nsr/nwaf204