前特斯拉AI总监、OpenAI创始成员安德烈·卡帕西在近日一场长达2.5小时的深度访谈中，发表诸多挑战主流认知的观点，分享对AI现状与未来的深刻洞察，其观点涵盖AI智能体发展瓶颈、大语言模型缺陷、强化学习弊端等，访谈内容在外网广泛传播，引发网友热议。
打造可靠AI智能体需十年
当业内热议“智能体之年”时，卡帕西提出这将是“智能体的十年”。他指出，要打造出像实习生一样能可靠工作的AI智能体，仍需攻克多模态、持续学习、使用计算机等核心瓶颈。在他看来，目前的智能体不够智能，存在认知能力不足等问题，而解决这些问题大概需要十年时间。他凭借个人直觉及近二十年在AI领域的经验推断，当下问题虽可解决，但颇具难度，综合权衡约需十年攻克。
大语言模型的“认知缺陷”
10月14日，卡帕西开源nanochat项目，该项目号称能用不到100美元（约合人民币711.5元）训练出“简易版ChatGPT”，一经发布便在GitHub上获得5.6k星。然而，在构建nanochat代码库时，卡帕西发现当前AI编程助手存在明显局限。他表示，现在人们与代码的交互方式主要有完全拒绝大语言模型、使用模型中的自动完成功能辅助编写以及氛围编程。但在nanochat这个智力密集型且需精确编写的独特代码库场景中，编程模型存在很多认知缺陷。例如，模型会因过度记忆互联网上典型做事方式，误解卡帕西未采用常规方式编写的代码，还试图搞乱代码风格，防御性过强地构建不必要的生产代码库。
对强化学习的犀利批评
对于推动大模型迭代的主流方法————强化学习，卡帕西批评尤为犀利。他形象地将其比喻为“用吸管吸监督信号”，认为这种方法本质上是艰难地将最终结果的单一信号分摊到整个复杂行动过程中，既低效又荒谬。
当前大模型训练的关键缺陷
通过与人类学习方式对比，卡帕西指出当前大模型训练存在“模型坍缩/模型崩溃（model collapse）”与“过度记忆”两个关键缺陷。“模型坍缩”导致生成内容多样性枯竭，“过度记忆”阻碍模型像人类一样发现通用模式，形成用模型生成的数据训练新模型，结果却越来越狭隘的死循环。有趣的是，卡帕西认为人类同样会“崩溃”并固守陈规，而大脑或许通过“做梦”引入随机性（熵）来对抗这一趋势。
衡量AI进展的标准及对AGI的预判
在衡量AI进展时，卡帕西认为应更关注其在具体经济任务中的实际表现，而非抽象指标。他预判，AGI对宏观经济增长的推动将是缓慢而持续的，会像计算机、手机等技术一样，悄然融入并延续原有的约2%的GDP增长态势。
坚信处于“智能爆炸”之中
尽管AGI前景漫长，但卡帕西坚信我们早已处于“智能爆炸”之中。他从宏大视角阐述，这场变革从历史尺度看犹如一场“烟花盛宴”，而我们正以慢动作见证它的发生。该访谈内容在外网广泛传播，社交平台X上很多网友评价“必看”“每一分钟都弥足珍贵”“绝对值得一看”。
以上文章由 AI 总结生成