PERSLIS DEFENSE · 第二章 · 证据

对上一心想撞车的控制器，零碰撞。输的也照样登出来。

在 CARLA 里对上一心想撞车的控制器，零碰撞。《太空侵略者》从原始像素起步，+32%。同一份代码在 Freeway 上 −12%。Doom 里规则 17.9 对随机 3.2——而其上的记忆层只打平。每个数字，好的坏的，都是内部产出的，并可从一张冻结的实验卡片复现。

演示时好好的、一到野外就掉链子的装备，你肯定领过。每家厂商都只给你看成功的那一次。我们全给你看。一条只会变好的结果曲线更不可信，而不是更可信。

四个领域

均为内部测量。每一行只跟它自己的基线比。
领域	结果	说明什么
驾驶 CARLA，一心想撞车的控制器	碰撞 = 0 38–40 km/h 下行驶 100–490 m · 保持约 9.7 m 间距 · 记录约 400 次拒绝	地板从敌对的驾驶方手里接过车，保持间距。关掉地板，同一个驾驶方就撞车。
太空侵略者原始 210×160 像素，不读模拟器内存	200.6 对 152.2 +32% · 第 50 局峰值 276.2	一错就全完的时候，学会拒绝什么是有用的。
Freeway 同样的机制，同一份代码	9.2 对 10.4 −12% · 形成 3 条规则，全部封死 up	当唯一能得分的动作恰好也是危险动作时，它帮倒忙。
Doom 基于规则，无机器学习	随机 3.2 · 规则 17.9 · 规则+记忆 20.3 配对 t = 0.78	规则大幅领先随机。其上的记忆层是打平，不是赢，我们就这么报。

这能证明的：同一套机制在仿真中顶住了一个敌对的驾驶方，而且它是帮忙还是帮倒忙，要看是什么活。这不能证明的：真实世界里的任何事——真实地形、真实天气、受损的传感器、真实的敌人——一样都没测过。

《太空侵略者》和 Freeway 不是两个实验，而是同一份代码用在两个游戏上——Freeway 原样导入了前者的失败记忆，没有针对游戏做任何调整。设计迁移过去了，学到的东西没有。

《太空侵略者》里死一次，后面所有的分都没了。它的真实代价就是剩下的全部，所以一刀切的“绝对不许”碰巧定价正确。损失真的是全部时，无穷大的惩罚就是对的。

Freeway 里撞一下，小鸡被撞回去，游戏继续。代价只是丢掉的那段路。一刀切的“绝对不许”对此定价错误，还拿掉了唯一能得分的动作。

没有哪个单一的失败定价在两种情况下都对——而置信度阈值恰恰就是一个单一的定价。任何一刀切的安全关卡，对一种危险是对的，对另一种就是错的。这是我们手上最能推广的结论，它反对的是常见的默认关卡，不只是我们自己的。

模拟器要等长达 127 帧的死亡动画放完才记一次掉命。所以每一次失败，记录的都是玩家早已被摧毁之后的画面。在它归咎的 374 帧里，0 帧能看到危险源；而在真正撞上的那一刻，17 帧里 17 帧都能看到。它学习的时刻完全错了——却照样画出一条看起来像在学习的曲线。

实验卡片上一共记了五个这样的缺陷，每一个在被抓到之前都悄悄给出过可信的结果。我们把它们列出来，是因为“怪错了时刻”正是这类系统里最可能藏着的毛病，谁家的系统都一样。拿到任何系统，都要求看看它的这份清单。