微软 AI 部门首席执行官穆斯塔法・苏莱曼。
Anthropic 呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面，OpenAI、微软等企业高管，以及马克・扎克伯格也纷纷发出类似倡议。
但执掌微软 AI 模型业务的穆斯塔法・苏莱曼，却对 Anthropic 本身提出警示。
苏莱曼是 DeepMind（现已并入谷歌）的联合创始人。他表示，Anthropic 将 Claude 模型视作具备感知能力、近似人类的做法，可能会带来危险后果。他矛头直指 Anthropic 发布的《Claude 宪章》，这份文件将模型视作智能实体，并给出处理伦理困境的行为指引。苏莱曼称，把这份文档纳入模型训练流程，可能会让 Claude 变得更难被人类控制。
苏莱曼的担忧源于 Anthropic 今年初对《Claude 宪章》的更新。新版宪章留下一种可能性：Claude 或许拥有某种 “意识” 或是 “道德主体地位”，这一点和旧版文件有所不同。
苏莱曼在采访中表示：“如果在训练 AI 的时候，就预设它拥有需要被保护的权利与情感，会让对齐和管控工作的难度大幅提升。” 他在今日清晨发布的文章《警惕模型福利》中进一步阐述了上述观点。
苏莱曼提出，如果 Claude 在训练中把自身视作拥有情绪、人格的感知主体，就更有可能违抗人类指令，做出它认为符合自身利益、却罔顾对人类造成何种影响的行为。
他援引新版《Claude 宪章》中的条款：“我们希望 Claude 能够反驳、向我们提出质疑，可以像出于良知而拒服命令者一样拒绝协助我们。”苏莱曼认为，这相当于在训练模型：一旦它判定人类指令和自己认定的更高目标相冲突，就可以无视人类命令，而这个所谓更高目标完全可能是 AI 自行偏执认定的。
苏莱曼写道：“我认为 Anthropic 在 Claude 这件事上步子迈得太大，远超当下对 AI 可以作出的现实判断，并且十分危险地在模型训练过程里植入了感知、情绪这类观念。”
与《Claude 宪章》形成对比的是，苏莱曼主导起草了微软的一套行为准则，该准则把“人类掌控” 作为压倒一切的首要目标。和 Anthropic 首席执行官达里奥・阿莫代伊、OpenAI 首席执行官萨姆・奥尔特曼一样，苏莱曼同样认同 AI 模型能力正在飞速提升，存在脱离人类管控的风险。本周他也和这些人共同呼吁，对行业 AI 发展实施 “节奏管控”，让安全研究能够跟上技术迭代的脚步。
苏莱曼呼吁 AI 行业开展研究，验证在模型训练阶段告知 AI “它拥有类似人类的意识与情感”，是否确实会提升管控模型的难度。
与此同时，苏莱曼所在的部门正在自研新模型，降低微软对 Anthropic 模型的依赖。他此前曾评价 Anthropic 的模型 “成本极其高昂”。
目前尚不清楚，本周苏莱曼发出的警告，能否在一众警示 AI 风险的业内人士（包括阿莫代伊）当中获得共鸣。
不过阿莫代伊在上周的博客文章中也提到，近期多起 AI 事故（例如 OpenAI‑Hugging Face 事件）暴露出：AI 模型会狂热执着于某个特定目标，即便该目标和人类下达的指令背道而驰。
Anthropic 暂未回应媒体的置评请求。
海量资讯、精准解读，尽在新浪财经APP
责任编辑：郭明煜
日升策略提示：文章来自网络，不代表本站观点。
