MIT研究人员攻克上下文窗口极限
MIT研究人员推出的递归语言模型(RLM)技术,彻底打破了大语言模型的上下文窗口限制,可处理超过1000万token的超长提示词,且无需修改模型权重。其核心思路是将长上下文作为外部环境存储,赋予模型搜索工具使其能主动检索并递归探索相关信息。实验表明,在6-1100万token输入场景下,RLM相比直接喂入上下文的方式性能提升29%,成本降低至三分之一。该技术是模型无关的推理策略,展现出「更便宜且更好」的双重优势,被视为AI基础设施的重大突破。
MIT研究人员推出的递归语言模型(RLM)技术,彻底打破了大语言模型的上下文窗口限制,可处理超过1000万token的超长提示词,且无需修改模型权重。其核心思路是将长上下文作为外部环境存储,赋予模型搜索工具使其能主动检索并递归探索相关信息。实验表明,在6-1100万token输入场景下,RLM相比直接喂入上下文的方式性能提升29%,成本降低至三分之一。该技术是模型无关的推理策略,展现出「更便宜且更好」的双重优势,被视为AI基础设施的重大突破。