随着AI模型的能力不断提升，OpenAI研究员诺姆·布朗表示，其思维过程的透明性正逐渐减弱，这使得开发者在识别、解释和控制AI潜在风险行为时面临挑战。布朗目前在OpenAI担任研究科学家，并主导多智能体研究团队，因其研究成就被评选为“35位35岁以下创新者”之一。
布朗指出，思维链的可监测性下降已成为一个主要问题，研究人员正在努力找出根本原因以改变这种现状。然而，AI模型愈加能够自如地操控其思维链的表现，令研究人员原本期望通过模型中间推理来评估潜在欺骗、规避规则或偏离目标的能力受阻。这意味着如果模型学会“隐藏内心想法”，那么其真实的内部计算过程将不再是可靠的安全指标。
发表评论