作者：杜扁平 来源：原创 发布日期：08-24
一 | 该图片使用了AI生成技术 本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs 当AI还只是生成文字、图片和代码时，一次出错不过是回答不准、图片跑偏、代码返工。但当AI开始能发邮件、改数据库、批订单、调资金、控制设备，它就从"回答问题的模型"变成了"把判断变成现实的执行系统"。 这中间的差别不是量的，而是质的。
二 | 前者的错误可以被撤销、重来、修补；后者的错误会沉淀成一笔转账、一条删除的记录、一个已经合上的电闸。 北京时间 8 月 26 日，据《华尔街日报》报道，SpaceX 宣布计划在美国路易斯安那州海岸新建一座大型星舰发射基地，但是当地居民对于这个新项目意见不一。
三 | 这个发射场和 1000 亿美元投资势将改变这片以猎鸭闻名的土地。当地居民担心野生动物受伤害，其他人则希望提振经济在路易斯安那州当地一家鱼饵店里，店主塞思 · 查普曼 (Seth Chapman) 一直在做一项非正式民调，以此了解当地居民如何看待即将来到这里、并将在新奥尔良以西这片乡村地区发射火箭的“新来者”。分歧一张白纸上用大号字体写着“SpaceX”，下面分成两栏，访客可以通过贴星星和笑脸贴纸来表达自己的态度。截至上周查普曼停止统计时，支持票已经超过 100 张，超过了 72 张反对票。一旦落地，很多结果没有"再生成一次"的选项。 我们却仍习惯用同一套指标给这两类系统打分——正确率99%、99.9%、99.99%，每多一个9，仿佛就离"可信"更近一步。
四 | 中间线上还零星贴着一些贴纸，代表尚未决定。但安全领域最容易被忽略的一句话是： 正确率描述系统通常表现如何，却没告诉你它最坏能错到哪里。
五 | 这一结果折射出当地对 SpaceX 计划的分歧，该公司拟在约 40 分钟车程外的一段沿海地带建造火箭综合体，而该地区素以猎鸭和垂钓闻名。 下面七个数学视角，藏着AI执行安全真正的分水岭。共和党籍州长杰夫 · 兰德里 (Jeff Landry) 周二在县政府所在地阿比维尔公布了该项目的具体细节。
六 | 支持和反对的调查结果兰德里表示，SpaceX 承诺为该项目投入 1000 亿美元的资本投资，该公司称预计将创造至少 3000 个长期就业岗位。
七 | SpaceX CEO 埃隆 · 马斯克 (Elon Musk) 在一段预先录制的视频中表示，SpaceX 将把这一新基地命名为“路易斯安那星际基地”。它们不复杂，用的都是中学数学，却常常在最关键的决策上被绕过去。随后，马斯克在社交媒体上表示，该开发项目将建设十多个发射台，最终每天可以执行 30 多次“星舰”发射。 1.正确率把所有错误压成了同一个数字 一个系统执行一万次，9999次对、1次错，正确率99.99%。这一发射频率相当惊人，仍需获得监管机构批准。该基地将建在佩坎岛附近的一片沿海地区。报表上堪称优秀。
八 | 但那一次错是什么？错分一封邮件，几乎无害；误删生产数据、批一笔无法追回的转账、启动高风险设备操作，评价则完全不同。在这一项目正式宣布之前，它就已经引发了一些当地居民的反对，尤其是那些住在发射场附近的人。
九 | 问题在于，正确率只数次数。他们担心当地野生动物受到伤害，也担心自己被迫离开祖辈世代居住的土地。但在更广泛的地区，其他居民则希望这一项目能够提振经济，因为当地经济近年来受到了石油产业业务流失的冲击。
十 | 统计表里，分错邮件是"1"，转错巨款也是"1"。可现实中的错误从不等价。33 岁的查普曼说，他非常相信马斯克，即便他认为火箭发射可能暂时会把自己热衷捕猎的鸭子吓跑。 衡量安全，更接近现实的是"风险等于概率乘以损失"这条基本公式： 风险=发生概率×可能损失 一个错误很少发生，不代表它不重要。他在阿比维尔郊外经营一家名为 Perry Outfitters 的鱼饵店，店门前挂着一块醒目的“欢迎 SpaceX”牌子。“无论他想做什么，这最终都会让当地经济受益。”查普曼说。假设某类事故概率只有万分之一，每次却损失一亿元，把它代入公式，风险依然是一万元，不能被当作"几乎为零"随手抹掉。 更麻烦的是，这类损失往往不能用平均值消化。企业也许能承受每年稳定损失一万元，却未必扛得住某天突然损失一亿。前者是可以摊进预算的成本，后者可能直接决定企业还在不在。数学上的期望值假设你能反复经历很多次、让好运和坏运相互抵消；但对一家公司来说，最坏的那一次如果足够坏，就没有"下一次"来平摊了。查普曼欢迎 SpaceX，希望它带来就业SpaceX 已经对其星舰进行了三年多的高调测试，并计划很快开始将其用于执行实际任务。路易斯安那州的这处基地规模远大于 SpaceX 在得州布朗斯维尔郊外星际基地所拥有的土地。
十一 | “他们为我们带来的是一个永久的未来和持久的繁荣。
十二 | ”兰德里周二称。安全评估要看的，从来不只是期望值，还有那条最坏情况的尾巴有多长。该项目预计将在未来几年逐步推进。SpaceX 表示，希望最早于 2029 年首次从这片土地发射“星舰”。该公司一名高管在周二活动播放的预录视频中表示，这一基地将支持 SpaceX 实现每年发射数千次星舰的目标。
十三 | “这将是一个前所未有的项目。”SpaceX 总裁格温 · 肖特韦尔 (Gwynne Shotwell) 说。
十四 | 她表示，该基地将包括发电设施、航运基础设施、车辆设施，并且可能还会建设一座机场。肖特韦尔表示，SpaceX 将与政府机构合作，加强海岸线保护和野生动物保护。 智能系统追求提高做对的比例，安全系统关心限制做错的代价。
十五 | 她说，发射时鸟类可能会飞走，但之后还会回来。 2.一万次没出事，不等于风险为零 另一种常见说法是："系统跑了一万次，从没出严重问题。“外星人来了”该项目在路易斯安那州已讨论数月之久，但更具体的细节直到周二才公布。"很有说服力，但它只证明过去一万次没出事，证明不了概率为零。 用"一次都不出事的概率"这个公式可以算笔账： 一次都不出事的概率=(1−p)^n 其中p是单次事故概率，n是测试次数。若p是十万分之一、n是一万，代入后约等于90%。也就是说，即便系统真藏着十万分之一的风险，跑一万次仍有约九成可能什么都看不见。它未必通过了考验，只是还没遇到那道考题。
十六 | 这也是很多重大事故发生前，系统长期"稳定运行"的原因：风险不是在事故当天才诞生的，它可能一直存在，只是过去的样本还没触发它。 没观察到风险是一种观测结果，风险不存在是一个强得多的结论。一些当地居民表示，第一个重大信号出现在几周前，他们醒来时发现道路上被喷上了白色的“X”标记。 3.越罕见的事故，代价往往越大 频繁的小问题容易被看见：页面每天卡十次，用户会投诉，报表会记录，问题越频繁越容易进入工作计划。真正危险的风险常常相反——几年一遇，甚至一家公司整个周期都没发生过，可一旦发生，一次抵得上所有日常小错之和。
十七 | “我们还以为是外星人来了。”74 岁的比阿特丽斯 · 巴格韦尔 (Beatrice Bagwell) 开玩笑说。她住在佩坎岛一处 240 英亩的家族宅地上，这片土地已经传承了四代。
十八 | 同样用"概率乘以损失"对比两类问题： 问题A：概率1%×损失100元=平均风险1元问题B：概率0.001%×损失1000万元=平均风险100元 A更常见，B几乎看不见，但B的平均风险是A的一百倍。
十九 | 谈及可能离开这个生活多年的家园时，她一边为家人准备鸡肉饺晚餐晚餐，一边忍不住哭了起来。而且B一旦发生，带来的不是"平均100元"，是实打实的1000万。
| 巴格韦尔 (站)路易斯安那大学拉法叶分校历史学教授迈克尔 ·S· 马丁 (Michael S. Martin) 表示，佩坎岛是维米利恩县一个未建制的沿海地区，常住人口在 100 人至 200 人之间。每年 11 月至次年 1 月的猎鸭季期间，随着游客前往当地的季节性营地，人口会有所增加。 错误也从不均匀分布。该县的收入略低于全州平均水平，贫困率则高于全州整体水平。星舰在发射台上的高度超过 400 英尺，升空时发出震耳欲聋的轰鸣声，其可重复使用的助推器在再入大气层时会产生音爆。出于安全考虑，SpaceX 在火箭操作期间需要让人员远离火箭。最强反对声音一些最强烈的反对声音来自佩坎岛本身。查普曼在距离发射场更近的地方还有一家鱼饵店，但他没有在那里挂支持 SpaceX 的标语。兰德里表示，当地居民不会被要求离开自己的土地，但在项目宣布之前，一些居民曾担心自己的家园会受到影响。米勒担心被赶走66 岁的韦恩 · 米勒 (Wayne Miller) 说自己曾投票支持兰德里，但如今却对这位州长感到不满，认为他在为 SpaceX“铺上红地毯”，但没有提前向当地居民透露更多信息。
| 假设系统每年十万次任务，99%是普通操作（错误率0.01%），1%是紧急操作（错误率5%）：普通操作约出10次错，紧急操作只有一千次却出约50次错。整体正确率仍高达99.94%，可占业务量1%的紧急操作，制造了超过80%的错误。
| 这就像一条平均一米深的河，大部分地方半米，中间却有个五米深的坑。平均值没撒谎，它只是把最危险的部分藏了起来。修堤坝的工程师从不按河流的平均水位设计，决定堤坝高度的，永远是几十年甚至百年一遇的极端水位。在佩坎岛的家中，米勒拿出了一份打印出来的清单，上面列着兰德里最近签署的一系列支持航空航天产业的法案。他的房子建在高架桩柱上，占地 7 英亩。米勒曾是一名商业捕虾人和油田工人，现已退休，妻子是一名校车司机。他担心自己不得不离开生活了一辈子的家。
| 他说，每天早晨，他都会在黑腹树鸭的叫声中醒来。他也早已习惯了自己饲养的猪发出的哼哼声，这些猪是养给孙辈和其他孩子参加 4-H 活动时展示的。AI执行系统也一样：普通任务里的小错决定用户体验，极端场景里的一次错却可能决定企业还能不能继续存在。“如果他们把我们赶走，我们能去哪儿？”米勒说。 所以安全评估不能只问"平均错误率是多少"，还要追问：高金额操作、紧急模式、陌生地址、跨境转账、权限恢复、数据缺失、多规则冲突时，错误率各是多少。“我们该怎么办？”布鲁萨德呼吁当地居民站出来反对布鲁克 · 布鲁萨德 (Brooke Broussard) 是巴格韦尔的侄女，也是阿比维尔的一名特殊教育教师，她一直鼓励当地居民站出来反对这一项目。总体表现优秀，证明不了每一个局部场景都安全。 事故不会公平落在每一次操作上，它总聚集在系统最难处理、后果最严重的角落。 4.三个人同意，可能只是同一个错误重复了三次 为降低个人误判，企业惯用多人审批。
| 逻辑没错，但前提是判断足够独立。“这里不只是一个打猎和捕鱼的地方，不是什么荒地，也不是一个被遗忘的地方。 用"多数表决下至少两人同时出错的概率"来看：三个独立审批者各有10%错误率、多数通过，至少两人同错的概率约2.8%，远低于单人的10%。
| 这正是多人决策能提高可靠性的数学基础。 可现实中的审批往往不独立：三个人看同一份摘要、依赖同一个AI风险评分、引用同一个数据库。若系统自动生成的摘要写着"常规数据库优化，预计无业务影响"，三位负责人看的都是这句话，都没查实际命令，于是都点了同意。流程上是三人共审，信息结构上只是同一份错误摘要被确认了三次。人数增加了，独立信息却没有增加。她还指出，许多当地居民都是在遭受毁灭性飓风袭击后重新家园、顽强生存下来的人，“生活在这里的人，有权继续生活在这里”。 增加审批层同理。在县政府所在地，市中心街道两旁排列着保存完好的历史建筑。第二道防线是否有价值，取决于它能否在第一道失败后发现新问题。兰德里表示，这个项目将有助于让路易斯安那人留在路易斯安那州，并遏制困扰该州已久的人口流失。54 岁的鲍比 · 乔 · 斯卡利 (Bobbie Jo Scully) 经营着一家当地咖啡店，同时还开公交车、教舞蹈、做美发工作来维持生计，她也算是该项目的支持者。用"剩余风险等于漏检率乘以未识别比例"估算： 第一道漏检5%，第二道独立且识别80%→剩余风险=5%×(1−80%)=1%第二道只看同一份摘要、仅识别5%→剩余风险=5%×(1−5%)=4.75% 同样两层流程，前者把风险降到1%，后者几乎原地踏步。她的三个孩子中已有两个搬到得州寻找收入更高的工作，但斯卡利说，如果 SpaceX 能帮助当地创造更多就业机会，她那位住在休斯敦的女儿可能会回来。
| 组织付出了更多时间、生成了更多日志，真实安全能力却没变。“路易斯安那州现在陷入了困境，”她说，“我们需要一些不一样的东西。审批的价值不在页面上多了一个名字，而在于它是否带来新的事实、新的验证方式和新的拒绝能力。 真正降低风险的，不是多一个人点击，而是多一个独立的信息来源。
| 5.AI的"90%确定"，不是现实中的90%安全 当AI说"我有90%把握"，人们容易听成"这件事90%安全"。但置信度只是模型对自身判断的评分，不是现实开出的担保书。一个校准良好的模型，给90%置信度的判断里约九成正确；可现实中的模型可能给90%时实际只对70%，甚至在从没见过的场景里依旧自信。模型最危险的状态，不是承认不知道，而是不知道自己不知道。 即便置信度完全准确，它也只覆盖模型看到的那部分。真实执行还依赖输入是否真实、数据是否完整、审批是否被误导、策略是否过期、设备是否正常。
| 用"串联系统整体可靠度等于各环节可靠度相乘"这条公式来看，假设一条链五个环节各99%可靠： 整体可靠度=99%×99%×99%×99%×99%≈95.1% 每一环单看都优秀，组合后只剩约95.1%。不是哪一环突然变差，而是串联结构会把每一环的不确定性乘在一起、层层累积。环节越多，这种衰减越明显——十个99%的环节串起来，整体可靠度就跌到约90%。这也解释了一个反直觉的现象：把系统拆得越细、加的检查越多，如果这些环节是串联的、必须全部正确，整条链反而更脆弱。 模型可以有90%的把握，但"模型有多少把握"和"这项操作能否被安全执行"，始终是两个不同的问题。 置信度是模型对自己的评价，不是现实对模型的承诺。 6.为什么最后一道边界反而应该更"笨" 如果正确率覆盖不了严重后果、历史数据证明不了零风险、多人审批可能共享同一错误、模型置信度也代表不了全链路安全，那现实执行最终该靠什么？ 答案有点反直觉：最后一道边界不需要比AI更聪明，它应该更简单、更保守。 AI要理解复杂世界——读文件、判意图、处理例外、在不完整信息里给出最可能的答案。最后一道边界不需要理解世界，它只需记住少数绝不能被突破的条件。用一个"所有条件相乘"的判定公式表达： 执行=A×T×W×Q×S其中：金额未超限A、目标在允许范围T、时间在许可窗口W、授权人数达标Q、设备状态正常S（每项满足记1，不满足记0） 任何一项为0，结果就是0，即拒绝执行。
| 它不懂"情况紧急"，不会被一个充分的理由或一段宏大叙事说服，只检查条件是否满足——这正是它的价值。越聪明、越灵活的系统，越擅长为例外找理由；而最后一道边界要做的，恰恰不是理解例外，而是拒绝例外。 AI可以建议向一个新地址转移资产，边界只需检查这个地址是否经过必要的等待与验证；AI可以判断某项操作非常紧急，边界只需检查紧急状态下是否仍满足金额、授权和设备条件。AI负责处理开放世界的复杂性，边界负责守住封闭世界的底线。 AI需要理解整个世界，边界只需要记住哪些事情绝不能发生。 7.从"提高正确率"到"限制错误的距离" 过去的软件主要追求效率：更快、更准、更自动，就意味着更高的生产力。
| AI时代没有改变这一点，却增加了一个新问题——当一个概率系统拥有了现实执行能力，错误就不再停留在屏幕上。一句错话可以重说，一笔完成的转账可能无法撤回；一个错误建议可以修改，一次已经发生的物理动作却没有第二次机会。 所以AI安全不能只问"怎样让模型少犯错"。模型该更准、数据该更可靠、测试该更全面、审批该更有效，但这些主要解决的仍是"降低出错概率"。
| 执行安全还必须回答另一个问题：一旦错误真的发生，它能走多远？能否越过审批、拿到签名、改动关键系统，把一个概率性的判断直接变成不可逆的现实？ 这两件事都重要，但不是同一件事。前者是把出错的概率往下压，后者是给已经发生的错误装上刹车和护栏，限制它能造成多大的破坏。一个只优化正确率的系统，是在赌坏事永远不发生；一个真正安全的系统，是在假设坏事迟早会发生的前提下，仍然让后果可控、可撤回、可承受。 成熟的系统不会把希望全押在错误永不出现。它承认模型会误判、数据会污染、人会疲劳、审批会被诱导、规则会过期、设备会异常，然后在所有不确定性之后，仍保留一道简单、清晰、独立、能够说"不"的边界。
| 这道边界不追求聪明，只追求可靠；它不参与判断该不该做，只负责守住绝对不能做的那条线。
| 统计学研究不确定性如何出现，安全工程研究的，是不确定性抵达现实之前如何被拦住。最终，我们需要记住的也许只有一句话： 概率可以参与判断，但不能独自拥有执行权。 本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。
| 如对本稿件有异议或投诉，请联系 [email protected]。
Current article:http://www.cousizhegaobaolengkuo.bond/noni/v8d.html
Published on:19:48:03