近日，武汉多辆“萝卜快跑”无人驾驶（885736）出租车在道路上停驶，引发部分路段交通拥堵。这一事件揭示了自动驾驶技术规模化落地过程中需要面对和解决的风险问题。
与当前市售的智能驾驶辅助系统不同，无人驾驶（885736）出租车主要依赖“云端大脑”进行集中控制，以实现规模化运营。然而，一旦云端系统发生故障，所有受其控制的车辆可能给道路安全带来相应的隐患。
AI系统已不再是单纯的工具，而是逐步演变为在物理世界或认知空间中自主行动的“代理”。当代理出错，就可能在真实道路上产生安全问题，或在信息流中输出不可控的结果。此次事故提醒我们，AI不是被动工具，而是环境中的“总代理”，负责行驶过程中的各类信息处理与执行。传统软件出错，通常只是信息流动的中断；而AI代理出错，则会在真实的物理与社会空间中产生实质性后果。因此，对其安全冗余的要求必须远高于传统系统。
从发展AI的目的来看，无人驾驶（885736）出租车意在替代人力、提升经济效率。为确保AI不出错，在当前阶段仍然需要投入一定规模的人力进行监控、标注、干预与客服；而一旦出现系统错误，也需要大量人员参与现场的物理处置。
因此，在自动驾驶从测试迈向商用的进程中，应重视安全建设与公共责任，践行“有克制的技术进取与场景应用”。应建立类似金融系统的多模型、多云备份与自动熔断机制，确保在主模型出现故障时，备用模型或规则引擎能够无缝接管，保证服务的连续性。或者，每辆无人驾驶（885736）汽车都应具备独立的、本地化的“安全模式”，使其能够在异常情况下自动驶入安全区域停靠。
监管部门也应对涉及公共安全的AI系统(如自动驾驶、医疗诊断、金融风控等)实施强制性的红队测试与极限场景认证，模拟云端失联、传感器（885946）遮挡、极端天气等条件下的系统处置能力，只有通过测试方可投入运营。此外，对于类似的事故，谁来承担事故责任？乘客的权益如何保障？这些法律问题应尽快明确，立法的必要性已刻不容缓。
“十五五”规划纲要提出，完善人工智能（885728）领域法律法规、政策制度、应用规范、伦理准则，健全算法备案、透明度管理、安全评估等制度，探索建立人工智能（885728）生成物权利归属和开发者经营者使用者权责认定规则。此外，中央还提出推动建立人工智能（885728）全生命周期（883436）风险管理制度，健全覆盖安全监测、风险预警、应急响应的风险防控体系。
此次偶发故障是AI产业从实验室走向真实社会场景过程中的一次阵痛，也是技术进步的必经试错。但它同样提醒我们：在将大量资源投入AI技术和算力的同时，必须同等重视系统的鲁棒性(系统在异常、干扰或不确定条件下仍能正常运行的能力)与确定性。技术可以快跑，但安全的护栏必须同步跟进。
AI的真正成熟，不在于它在理想条件下跑得多快、答得多妙，而在于它犯错时——因为它终将犯错——能够最大限度减少代价，并让人类能够及时、安全地接过控制权。人工智能（885728）赋能千行百业的时代正在到来，应以更大力度统筹兼顾促进发展和规范管理，加强人工智能（885728）治理，营造有益、安全的发展环境。
