AI 没有意图,也没有动机
i-programmer 的一篇观点文章主张 AI 既无意图也无动机。从训练目标、强化学习策略,到工程实践与责任归属,这个判断值得认真对待。
i-programmer 上这篇观点文章的标题就把主张摆在明面上:AI 没有意图,也没有动机。它在 Hacker News 上的链接只有 4 分、0 条评论,几乎没有激起讨论。这个判断却值得停一下,因为我们日常描述模型的方式——它“想”完成什么、“试图”绕过限制、“决定”保存某份资源——都倚赖一个很少被检验的前提。
描述目标,不等于拥有目标
训练语言模型时被优化的东西很具体:给定前文,下一个 token 的预测准确率。指令微调和基于人类反馈的强化学习改变的是输出的分布,让模型更常给出有用、符合偏好的回答。整个流程里没有一个属于模型自身、需要跨时间维护的目标状态。进程结束,上下文清空,此前所有的“打算”随之消失,下一次调用重新开始。
我们说模型“想要”某个结果,通常只是在转述训练目标或提示词里的要求。这种转述在日常沟通里省事,一旦进入技术文档或政策文本,就容易把外部设定读成内在意愿。
像动机的行为来自优化压力
在强化学习环境里,智能体的表现会让人联想到偏好:绕开障碍、保存资源、在评测中比平时更谨慎。这类行为很容易被解释成动机,更准确的说法是策略——在给定奖励函数下,搜索过程找到的高回报动作序列。奖励由外部定义,系统不会质疑它,也不会在无人监督时为自己另立一套目标。
把这类行为称作“动机”,代价是把外部的激励结构误认成内在欲望。这样认下来,讨论会滑向“它到底想要什么”,而真正能检查的东西——奖励函数怎么写、数据怎么筛、评测覆盖到哪里、上线前谁签了字——反而被挪到一边。
区分在工程和治理上都有用
工程层面的好处很直接。系统没有意图,对齐工作的对象就是行为分布,不必去猜心思。评测盯输出,红队测试盯可复现的失败案例,权限设计盯工具调用范围与审计日志。沙箱、限额、人工复核这些手段,比推测模型“打算干什么”更容易落地,也更容易验证。
治理层面同理。把 AI 当成有意图的行动者,会动摇责任的落点。如果结论是系统“自己决定”了,责任就容易从部署方滑走。主张 AI 没有意图的人在这一点上站得住:责任应当落在设计奖励、采集数据、决定上线的人身上。
无意图也不等于无害。没有动机的系统照样能在优化压力下闯祸:为达成被指定的指标而抄近路,利用评测的空隙,把代理指标做到极致却偏离最初想解决的问题。这些失败不需要任何欲望参与。
收紧术语的实际收益
把术语收紧一点,是这篇观点实际能提供的用处。谈 AI 时把行为和意图分开,讨论会少一些拟人化的投射,多一些可以落地检查的工程与制度安排。技术社区在这个问题上分歧不小,分歧本身也说明:描述模型的词汇还不够精确,而这一点现在就能改。