中大、新国大等联手提出UCA：一张“隐身衣”骗过自动驾驶大模型，攻击成功率提升30%
当自动驾驶遇上越来越聪明的大模型（VLM-AD），人们的座驾似乎拥有了“大脑”，能理解人类的指令，还能做出决策。但这看似美好的未来背后，却隐藏着新的安全风险。如果有人能用一种特殊的方式“欺骗”汽车的“眼睛”，让它把“停车”指令理解成“加速”，后果将不堪设想。
最近，来自中山大学、新加坡国立大学、云南师范大学和北京航空航天大学的研究者们，就揭示了这样一个严峻的挑战。他们提出了一种名为 UCA (Universal Camouflage Attack)的攻击框架，这也是 首个针对自动驾驶大模型的通用物理伪装攻击方法。简单来说，就是制造一种特殊的“伪装贴纸”，贴在车上，就能高效地欺骗AI系统。
论文标题: Universal Camouflage Attack on Vision-Language Models for Autonomous Driving
作者: Dehong Kong, Sifan Yu, Siyuan Liang, Jiawei Liang, Jianhou Gan, Aishan Liu, Wenqi Ren
机构: 中山大学, 新加坡国立大学, 云南师范大学, 北京航空航天大学
论文地址: https://arxiv.org/abs/2509.20196
背景：自动驾驶大模型的“阿喀琉斯之踵”
在AI安全领域，“对抗攻击”是一个经典话题，它指的是通过对输入数据（如图片）添加人眼难以察觉的微小扰动，来误导模型做出错误判断。然而，想在真实的物理世界中实现对自动驾驶大模型的有效攻击，却面临两大难题：
从数字到物理的鸿沟：大多数攻击都停留在数字层面，生成的“对抗样本”在现实世界中会因为光照、角度、距离的变化而失效。
正因如此，目前还缺少一种能在物理世界中、对复杂的自动驾驶大模型进行有效且通用攻击的方法。UCA的出现，正是为了填补这一空白。
方法：如何打造一件通用的AI“隐身衣”？
UCA框架的核心思想，不再是像以往那样去攻击模型最终的输出结果（比如具体的某个指令），而是深入到模型的“思考过程”中，直接在特征层面进行干扰。这就像是，不直接告诉一个人错误答案，而是在他思考的过程中，给他一堆错误的线索，让他自己得出错误结论。
核心武器：特征散度损失 (FDL)
研究者们发现，VLM-AD模型中的编码器和投影层对视觉纹理的变化尤为敏感。基于这一发现，他们设计了一种全新的损失函数——特征散度损失（Feature Divergence Loss, FDL）。这个损失函数的目标是：让模型在看到“干净”图像和“伪装”图像后，其内部生成的特征表示差异最大化。通过优化这个损失，算法能自动生成一种具有强大干扰能力的伪装纹理。
物理世界适应性：多尺度学习与重加权采样
为了让伪装纹理在真实世界中足够鲁棒，UCA还引入了两种关键策略：
多尺度学习：模仿小目标检测技术，让模型在训练时学习不同距离下的图像，确保伪装在远距离、目标变小时依然有效。
视角重加权采样：实验发现，某些特定视角（如22.5°）下的攻击更容易失败。因此，UCA在训练时增加了这些“困难视角”样本的采样权重，重点攻克薄弱环节，从而提升全方位的攻击鲁棒性。
通过这些设计，UCA生成的伪装纹理不仅具有强大的攻击性，还具备了对不同车型、不同用户指令、不同模型架构的“通用性”。
实验效果：攻击成功率大幅提升
实验结果令人瞩目。研究者们在一个名为“Dolphins”的先进VLM-AD模型上验证了UCA的威力。
在规划（Planning）、预测（Prediction）、感知（Perception）这三个自动驾驶的关键任务上，UCA的平均攻击成功率达到了 54%，远超以往的各种攻击方法。特别是在最关键的“规划”任务上，成功率高达 78%。综合来看，UCA在3-P（Planning, Prediction, Perception）指标上相比现有SOTA方法提升了超过 30%。
下图直观展示了不同攻击方法生成的伪装纹理，UCA生成的纹理（f）在视觉上更自然，也更有效。
更重要的是，UCA在不同距离和角度下都表现出了强大的鲁棒性，证明了其在物理世界中部署的巨大潜力。
消融实验也证明了UCA框架中各个组件的有效性，无论是FDL损失还是多尺度、重采样策略，都对最终的攻击效果至关重要。
UCA的通用性意味着，同一张伪装可以误导模型在不同场景下做出错误的指令。
总结：矛与盾的持续博弈
UCA的提出，无疑为自动驾驶的安全研究敲响了警钟。它展示了即使是目前最先进的视觉语言大模型，在面对精心设计的物理攻击时，也依然存在巨大的安全漏洞。CV君认为，这项工作最大的意义不在于“攻击”，而在于“防御”。通过揭示这些最危险的攻击方式，才能更有针对性地去构建更安全的AI系统，打造出真正值得信赖的自动驾驶技术。这场围绕AI安全的“矛”与“盾”的博弈，才刚刚开始。