|
在每个日历年末，自动驾驶汽车公司的投诉开始堆积起来。该年度惯例是加利福尼亚汽车部要求AV公司在每年的1月1日之前提供“脱离报告”的结果，该报告显示AV操作员在测试车辆时必须脱离车辆的自动驾驶功能的次数。 。 但是，所有脱离接触的报告都有一个共同点：必须提交报告的人普遍批评它们的用处。一家总部位于旧金山的自动驾驶汽车公司的首席执行官和创始人公开表示，脱离接触报告“严重不足…………无法给出有关AV是否已准备好进行商业部署的有意义的信号。”一家自动驾驶技术初创公司的首席执行官称这些指标“误导了”。Waymo在一条推文中表示，该指标“未提供有关其自动驾驶技术的相关见解”，或“在自动驾驶领域将其性能与其他性能区分开”。
为什么视音频公司如此强烈地反对加利福尼亚的脱离接触报告?他们认为，由于视音频公司的测试策略多种多样，该指标由于缺乏上下文而具有误导性。我会争辩说，缺乏用于描述脱离接触的语言的指导也会使数据产生误导。此外，该度量标准可以激发不太困难的环境中的测试，并且比真实性更高的虚拟测试更喜欢实际测试。 了解加利福尼亚的报告指标 要在加利福尼亚州的公共道路上测试自动驾驶汽车，AV公司必须获得AV测试许可证。截至2020年6月22日，加利福尼亚州有66位自动驾驶汽车测试许可证持有人，其中有36家公司报告了2019年在加利福尼亚州进行自动驾驶汽车测试。这些公司中只有5家具有运输乘客的许可证。 要在加利福尼亚州的公共道路上行驶，每个允许的公司必须在事故发生后10天内报告任何导致财产损失，人身伤害或死亡的碰撞。 到目前为止，到2020年已有24例自动驾驶汽车碰撞报告。然而，尽管这些事故大部分是在自动驾驶模式下发生的，但事故几乎完全是自动驾驶车辆追尾的结果。在加利福尼亚州，追尾撞车几乎总是被视为追尾驾驶员的过错。 碰撞数据的有用性是显而易见的-消费者和监管机构最关心行人和乘客的自动驾驶汽车的安全性。如果一家视听公司报告甚至发生了一次事故，导致在车辆以自动模式运行时对车辆造成重大损害或对行人或乘客造成伤害，则对公司(以及整个视听行业)的影响和影响是巨大的。 但是，脱离接触报告数据的有用性值得怀疑。加州DMV要求视听操作员在每年1月1日之前在加州公共道路上进行测试时报告脱离的数量和细节。DMV将其定义为“他们的车辆在测试过程中脱离自动模式的频率(无论是由于技术故障还是需要测试驾驶员/操作员对车辆进行安全手动控制的情况)。” 操作员还必须跟踪他们的车辆脱离自主模式的频率，以及这种脱离是软件故障，人为错误的结果还是车辆操作员的选择。 视听公司对可衡量的指标保持严格控制，通常仅共享在受控设置下进行的演示的有限镜头，很少有数据(如果有)。一些公司偶尔会分享“年度安全报告”，该报告更像是宣传资料，而不是视听性能数据的来源。此外，在任何其他州进行公共测试的公司几乎没有报告要求。加利福尼亚的脱离接触报告是个例外。 视听信息的匮乏意味着加利福尼亚的脱离接触报告通常被视为我们关于视听的唯一信息来源。公众被迫根据这种脱离接触数据来判断视听准备情况和相对性能，这些数据充其量是不完整的，最坏的情况是会引起误解。 脱离接触报告数据没有上下文 大多数视听公司声称，由于缺乏数字背景，脱离接触报告数据对于判断视听行业的进步是一个糟糕的指标：了解行驶里程和旅行目的对于了解脱离报告中的数据至关重要。 视听行业的一些人抱怨说，在人口稀少，气候干旱的地区行驶的英里数和交叉路口的行驶距离与旧金山，匹兹堡或亚特兰大等城市的行驶距离相差无几。结果，在前者和后者地理条件下进行测试的公司报告的脱离接触的数量是无与伦比的。 同样重要的是要了解脱离报告的要求会影响视音频公司在哪里进行测试以及如何进行测试的决定。不鼓励进行即使需要安全也需要大量脱离的测试，因为这会使公司看上去比竞争对手更不准备进行商业部署。实际上，这样的测试可能会导致最商用的车辆。确实，视听行业中的一些人指责竞争对手通过减轻随着时间推移而看起来像真正的进步的行驶里程的难度来操纵脱离接触报告指标。 此外，虽然在容易驾驶和畅通无阻的道路上操作时，数据看起来特别好，但是当战略性地使用它们来改进视音频软件时，数据看起来特别糟糕。 让我们考虑一个由NPR的Marketplace记者报道的杰克·斯图尔特(Jack Stewart)提供的示例： “假设一家公司推出了全新的软件版本，并且他们正在加利福尼亚进行测试，因为它位于总部附近。该软件在开始时可能会带来更多错误，您可能会看到大量脱离接触的情况，但同一家公司可能会在亚利桑那州等地运行商业服务，他们不必收集这些报告。 该服务可能会超级流畅地运行。仅通过查看这个非常严格的小指标，您就无法真正了解公司的整体绩效。几年前开始收集一些信息是加利福尼亚的一个好主意，但实际上并没有真正做到如今的初衷。” 脱离接触报告缺少说明性语言 由于缺乏指导和描述脱离接触的语言的统一性，脱离接触报告也产生了误导。例如，尽管视听公司使用多种语言，但是“知觉差异”是用来描述脱离的原因的最常见术语，但是，“知觉差异”一词的含义并不确定。 一些操作员使用“感知差异”来描述未能正确检测到对象的情况。法雷奥北美公司将类似错误描述为“错误检测物体”。丰田研究所几乎完全将他们的脱离描述为“安全驾驶员主动脱离”，其含义是“任何形式的脱离”。而Pony.ai则详细描述了每个脱离接触的情况。 许多其他操作员报告的脱离是“计划的检验脱离”，或者描述得不够具体，以至于几乎没有意义。 例如，“计划中的脱离”可能意味着对故意造成的故障进行了测试，或者可能仅仅意味着该软件如此新生且不成熟，以至于公司期望脱离。同样，“感知差异”可能意味着从预防性脱离到由于极度危险的软件故障而导致的脱离。“感知差异”，“计划中的脱离”或任何其他模糊的脱离描述都使得在视音频运营商之间进行比较几乎是不可能的。 因此，例如，虽然旧金山的视音频公司的脱离活动完全是预防性的，但缺乏有关如何描述脱离情况的指导，以及视音频公司提供的许多模糊描述，已为脱离描述提供了阴影，称其为全部受到质疑。 法规不鼓励虚拟测试 |
