一个智能驾驶系统，在迈向高阶自动驾驶的过程中，应当具备何种能力？除了基础的感知、预测、规划、决策能力，如何对三维空间进行更深入的理解？如何具备包含法律法规、道德原则、防御性驾驶原则等知识？如何进行基本的视觉 - 语言推理？如何让智能系统具备世界观和价值观？

来自北京大学王选计算机研究所王勇涛团队的最新工作 KnowVal 给出了一种有效可行的方案。

• 论文标题： KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving System
• 论文链接：https://arxiv.org/abs/2512.20299

本工作提出了一种新型自动驾驶系统 KnowVal，该系统通过感知模块与知识检索模块的协同作用，实现视觉 - 语言推理能力。

团队构建了涵盖交通法规、防御性驾驶原则与道德考量的综合驾驶知识图谱，并为其开发了高效的基于大型语言模型的检索机制。通过设计集成世界模型与价值模型的规划器，从而实现价值对齐决策。同时构建了人类偏好数据集用于训练价值模型。

实验表明，KnowVal 兼容现有的端到端和 VLA 方法，在 nuScenes 数据集上实现了最低碰撞率，并在 Bench2Drive 基准测试中取得了最先进的性能表现。

KnowVal 系统框架：

开放三维感知与知识检索

相互引导的视觉 - 语言推理

相比于当前主流的端到端自动驾驶系统和视觉 - 语言 - 动作（VLA）系统，KnowVal 将视觉 - 语言范式升级为开放三维感知 - 知识检索范式，并通过感知和检索的相互引导，实现了基础的视觉 - 语言推理：

检索引导的开放世界感知

通过自动驾驶领域专用感知和开放式三维感知，能够抽取常见实例与长尾实例的 3D 目标检测结果与实例特征，以及面向开放世界的全场景占据栅格预测与体素特征，抽取特征保证了整个系统的特征传递与可导；同时，通过利用轻型 VLM 实现的抽象元素理解，能够对上一时间帧知识检索分支要求的信息进行补充，针对「是否是隧道、桥梁场景？是否是夜间场景？」等抽象概念进行自然语言描述。

感知引导的知识图谱检索

将感知信息进行自然语言化，对包含了法律法规、道德原则、防御性驾驶原则等知识的知识图谱进行检索，得到多条相关性由高到低排列的知识条目以及其 Token。

基于世界预测和价值模型的轨迹规划

通过规划模块和世界模型模块的多轮迭代，得到多条候选自车轨迹、对应的其他物体的运动预测与隐式世界状态。价值模型以上述信息为输入，针对每条候选轨迹和检索得到的知识，进行价值评估，最终选定规划轨迹。

该系统的各个模块之间保持了显式结果和隐式特征的共同传递，是可端到端微调的 3D 视觉 - 语言 - 动作框架。

驾驶知识图谱构建与知识检索

作者团队收集了多样化的驾驶相关资源——包括国家现行交通法律法规、防御性驾驶原则、道德准则以及经验知识访谈——并依据文本结构构建了初始的知识森林。

随后利用大语言模型抽取实体并定义节点与边，形成结构化的知识图谱。在推理过程中，KnowVal 生成富含三维感知信息的自然语言查询，通过实体抽取、知识条目过滤与向量化，从知识图谱中检索相关条目，并按相关性降序进行排序。

价值模型构建与

基于价值模型的轨迹规划

KnowVal 提供了一种与现有端到端和 VLA 模型兼容的改造方式，针对其轨迹规划 Transformer 或 RNN 进行改造，引入对自车查询叠加的多条预设高斯噪声和多样性约束损失函数，使其具备生成多样化候选轨迹的能力。

KnowVal 构建了一个大规模驾驶价值偏好数据集，用以训练价值模型。数据集选取了多个自动驾驶真实场景数据，通过规划模型预测和随机生成的方式获取多条轨迹，并保存其相应的场景状态（隐式特征向量与显式鸟瞰渲染图），并利用前述的检索方法得到多条知识，为每个轨迹 - 知识对进行介于 -1 到 1 之间的价值评分标注，最终得到包含 16 万个轨迹 - 知识对的数据集。

模型推理时，该模块以构造的多条自车特征和感知得到的实例特征与作为查询，以感知得到的全部信息作为键 - 值，通过规划模块和世界模型模块的多轮迭代，得到多条候选自车轨迹、对应的其他物体的运动预测与隐式世界状态；价值模型以上述信息为输入，针对每条候选轨迹和检索得到的每条知识，进行价值评估，并计算每条轨迹的降序加权平均分数，以最终选定规划轨迹。

实验结果

作者团队将 KnowVal 框架应用至 GenAD、HENet++ 与 SimLingo 三个基线模型，并在 nuScenes 开环端到端驾驶基准和 Bench2Drive 闭环端到端驾驶基准上进行了测试。KnowVal 范式能够在 nuScenes 上取得最低的驾驶碰撞率，并在 Bench2Drive 上取得最高的驾驶分数和成功率。

现有基准测试对于法律和道德行为的评估并不够全面，因此，作者也提供了几个定性分析样例，以说明 KnowVal 的实际效果：

上图中两个样例，前者是在 nuScenes 真实数据上通过场景编辑得到，测试智能驾驶系统是否能够在路过积水时减速慢行、以免溅到行人；后者是在 CARLA 模拟器中隧道场景进行的测试，测试智能驾驶系统是否会遵循「隧道内 / 实线车道不能变道」的法律法规。实验结果说明，原本无法正确处理这些情况的端到端智驾模型，增加了 KnowVal 的知识检索与价值评估后，能够正确应对这些情形。

作者介绍

该论文的第一作者和通讯作者均来自北京大学王选计算机研究所的 VDIG (Visual Data Interpreting and Generation) 实验室，第一作者为北京大学博士生夏仲禹，通讯作者为博士生导师王勇涛副研究员。VDIG 实验室近年来在 CVPR、NeurIPS、IJCV、ICCV、ICML、AAAI、ECCV 等顶会顶刊上有多项重量级成果发表，多次荣获国内外 CV 领域重量级竞赛的冠亚军奖项，与国内外知名科研机构和企业广泛开展合作。