Newshot

Nvidia 研究人员认为超大 AI 上下文窗口是死路一条

AI summary

Nvidia 研究人员认为,语言模型往往并不需要完整的上下文窗口——这种做法速度慢、成本高且容易出错,并提出了一种替代方案。在测试中,定期摘要与定向关键词搜索通常能以极低的成本达到完整上下文的效果。该团队甚至提出了一类新模型,以短笔记而非长上下文来工作。

Translation(model translation, not the source's own text)

Nvidia 研究人员认为超大的 AI 上下文窗口是死路一条

图片说明
图片说明

语言模型如今可以一次性处理整部小说。一个 Nvidia 研究团队表示,这往往是过度设计且代价高昂。在许多测试中,定期摘要和定向查找的效果大致相当。

语言模型的上下文窗口就是它的工作记忆,涵盖它在生成回复时所关注的全部内容。在过去几年里,这个窗口迅速扩大。GPT-4 于 2023 年 3 月发布,拥有 8,192 个 token。如今,GPT 5.6 Sol 可处理约一百万个 token,约为前者的 120 倍,足以容纳托尔斯泰的《战争与和平》。

THE DECODER+

通过 THE DECODER+ 继续阅读

  • 所有 Plus 文章及完整存档
  • 无广告横幅
  • Frontier Radar:每年 6 篇深度解析

已是订阅用户?登录 返回首页

Only about 479 characters could be extracted — the rest did not come through (common on sites that need scrolling or a login). Read the original for the full piece.

Published by The Decoder
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗