机器人安全

摘要：Yoav Hollander 是芯片验证领域的世界级专家，他创立的 Foretellix 把覆盖驱动验证（Coverage-Driven Verification, CDV）带进了自动驾驶。最近，他写了一篇文章，把这套方法论推到了更大的范围：AI 对齐。本文从我的研究领域出发，结合 SOTIF 四象限、Robot SOTIF 的树状结构和中国的标准语境，解读 CDV 的跨领域迁移。核心问题只有一个：你怎么知道你不知道什么？ 几个月前，Yoav Hollander（Foretellix 联合创始人/CTO）给我发了一封邮件。 他是芯片验证领域世界级专家，发明了通用验证方法论（Universal Verification Methodology，UVM）的前身“e”语言，创办的 Verisity 被 Cadence 收购后，又创立了 Foretellix——做自动驾驶覆盖驱动验证（Coverage-Driven Verification, CDV），拿了 NVIDIA、沃尔沃和淡马锡的 C+ 轮融资。 Yoav 读了我几篇关于端到端安全、基于场景测评、SOTIF 的文章后，我们通过邮件和线上会议聊了几轮。最近，他写了一篇文章，把问题推到了更大的范围：AI 对齐。 经过 Yoav 本人许可，我把那篇文章翻译成了中文：[译] 覆盖驱动对齐：Teaching Claude Why 能从自动驾驶验证中借鉴什么。英文原文在这里：Coverage-driven alignment – What ‘Teaching Claude Why’ can borrow from AV verification。 下面从我的研究领域出发，对 CDV 跨领域迁移进行一些解读和延伸——结合 SOTIF 的实际情况，看看 CDV 在中国语境下意味着什么。 两条线的交汇 Yoav 在邮件里说过一句： “I am at heart a V&V guy, thinking about ‘how to achieve best risk reduction per week for the SUT, given fixed resources’. I feel much less confident regarding safety standards and ‘how to build a safety case’.” ...

摘要：2026年6月2日，《机器人预期功能安全实施指南》国家标准项目进入公示，公示截止日期为2026年7月2日。我把这个方向放进 OpenTopic，作为第二个开放研究专题：Robot SOTIF。它不是把自动驾驶 SOTIF 简单搬到机器人上，而是尝试建立一条从标准、ODD、场景、触发条件、物理交互、LLM/VLA 决策安全到 safety case 的证据链。 我最近看到一个标准项目公示，觉得必须认真记一笔。 2026年6月2日，国家标准项目《机器人预期功能安全实施指南》进入公示。项目周期18个月，归口全国机器人标准化技术委员会，公示截止日期是2026年7月2日。 这个标题里最值得关注的词，不是“机器人”。 而是“预期功能安全”。 英文不要逐词硬译。这个领域对应的是 SOTIF，也就是 Safety of the Intended Functionality。 它问的不是“零部件坏了怎么办”。 它问的是： 如果系统没有发生故障，功能也在按设计运行，但在某个复杂开放场景中仍然做出了不安全行为，我们该如何识别、量化、验证和缓解？ 这个问题，自动驾驶行业已经痛苦地讨论了很多年。现在，它开始正式进入机器人标准化语境。 一、为什么这是一个重要信号 传统机器人安全，很多时候围绕隔离、防护、急停、限力、限速和协作应用展开。 这些当然重要。ISO 10218、ISO/TS 15066、ISO 13482 这些标准，给工业机器人、协作机器人和个人护理机器人提供了很重要的安全基础。 但机器人正在变。 它不再只在围栏里面工作，也不再只在结构化产线里重复动作。移动服务机器人、清洁消杀机器人、安防巡检机器人、物流配送机器人、养老医疗机器人，都会进入开放环境，面对普通用户、复杂任务和不稳定场景。 更关键的是，大模型和 VLA 让机器人决策系统从规则逻辑，走向语义理解、任务分解和端到端动作生成。 这时，安全问题就不再只是“有没有撞上人”。 还包括： 机器人是否理解错了用户意图？ 是否在 ODD 边界外仍然继续执行？ 是否为了完成任务而靠得太近、走得太急、停得太突然？ 是否在长时序任务里一步步积累风险？ 是否能把拒绝执行、回退、人工介入和运行日志变成可审查证据？ 这就是机器人 SOTIF 的价值。 二、为什么我把它放进 OpenTopic OpenTopic 的初衷，是把研究思路也像数据集一样开源。 说来惭愧，我手里其实一直有一些可以继续做深的材料。之前已经整理过三份关于具身智能安全、物理交互安全、LLM/VLA 决策安全的报告。但这些报告如果只是留在文件夹里，价值很有限。 这次标准项目公示出来以后，我重新看了一遍，觉得最合适的处理方式不是再写一篇普通评论，而是把它开放成一个可持续维护的问题入口。 所以我在 OpenTopic 里新增了第二个话题： Robot SOTIF：机器人预期功能安全开放研究专题 专题下面先放了三条线索： 机器人 SOTIF 的标准地图与证据链 通用移动物理 AI 的物理交互安全 LLM/VLA 机器人决策安全 我的处理原则很保守：标准只引用官方来源；没有逐条核验的 SOTA 论文和实验数字，先作为研究线索，不写成事实结论。 ...