OpenAI的推理模型有时会用中文“思考” 背后原因众说纷纭

OpenAI的推理模型有时会用中文“思考” 背后原因众说纷纭

  • 支   持:
  • 分   类:驾考故事
  • 大   小:
  • 版本号:
  • 下载量:14次
  • 说   明:
  • 发   布:2025-01-15 07:51:05

手机扫码免费下载

纠错留言

#OpenAI的推理模型有时会用中文“思考” 背后原因众说纷纭简介

  来源:财联社

  据媒体报道,在人工智能(AI)研究公司OpenAI 发布其首个推理AI模型o1不久后,人们发现了一个奇特的现象,即使在用英文提问的情况下,o1有时会中途使用中文、波斯语或其他语言进行推理。

  例如,当被问到“Strawberry”(草莓)这个单词里有几个字母“r”时,o1会通过一系列推理步骤得出答案。如果问题是用英文写的,o1的最终回答通常也会是英文,但在推理过程中,它可能会用另一种语言处理部分步骤,然后得出结论。

  一些人在网络社区讨论了这一现象。“(o1)推理到一半时突然开始用中文‘思考’了,”一位 Reddit用户写道。

  另一位X平台上的用户发帖询问:“为什么(o1)会突然用中文思考?整段对话(超过5条消息)里完全没有涉及中文。”

  OpenAI尚未对o1的这种怪异行为作出解释,也没有承认这一现象的存在。AI专家对此也没有确切答案,但提出了一些理论。

  AI 专家众说纷纭

  在X平台上,包括AI初创公司Hugging Face首席执行官Clément Delangue在内的多人提到,像o1这样的推理模型是用包含大量中文字符的数据集训练的。

  谷歌DeepMind的研究员Ted Xiao指出,包括OpenAI在内的公司使用了来自中国的第三方数据标注服务,而o1切换到中文可能是“中文语言对推理的影响”的一个例子。

  标注在模型训练过程中帮助模型理解和解释数据。例如,训练图像识别模型的标注可能包括围绕物体的标记或描述图像中每个人、地点或物体的文字说明。

  然而,其他专家并不认同关于“o1使用中文数据标注”的猜测。他们指出,o1在推理过程中同样可能切换到印地语、泰语或其他非中文的语言。

  这些专家认为,o1和其他推理模型可能只是选择了它们认为最有效的语言来完成任务,或者是出现了“幻觉”。

  “模型并不知道语言是什么,也不知道语言之间的区别,”阿尔伯塔大学的 AI 研究员兼助理教授Matthew Guzdial表示。“对它来说,一切都只是文本。”

  Hugging Face软件工程师Tiezhen Wang同意Guzdial的观点,他认为,推理模型的语言不一致性可能源于模型在训练期间与特定语言建立的某些关联。

  “通过接纳每一种语言的细微差别,我们扩展了模型的世界观,让它从全方位的人类知识中学习,”Wang在X上写道。“比如,我喜欢用中文做数学计算,因为每个数字都只有一个音节,这让计算变得简洁高效。但在涉及无意识偏见这样的话题时,我会自动切换到英语,主要因为这些概念是我最初用英语学习和吸收的。”

  非营利组织艾伦人工智能研究所的研究科学家Luca Soldaini则指出,目前无法确定造成这一现象的真正原因。

  “由于这些模型非常不透明,对已部署的AI系统的这种观察是无法证实的。这正是为什么AI系统开发过程中的透明性至关重要的原因之一,”Soldaini表示。