网站整站开发,杭州做网站博客,哪里有给网站做360,成都市广告制作公司本文是LLM系列文章#xff0c;针对《Adapting Language Models to Compress Contexts》的翻译。 使语言模型适应上下文压缩 摘要1 引言2 相关工作3 方法4 实验5 上下文学习6 压缩检索语料库实现高效推理7 结论不足 摘要
1 引言
2 相关工作
3 方法
4 实验
5 上下文学习
…本文是LLM系列文章针对《Adapting Language Models to Compress Contexts》的翻译。 使语言模型适应上下文压缩 摘要1 引言2 相关工作3 方法4 实验5 上下文学习6 压缩检索语料库实现高效推理7 结论不足 摘要
1 引言
2 相关工作
3 方法
4 实验
5 上下文学习
6 压缩检索语料库实现高效推理
7 结论
我们引入了一种训练策略用于将预训练的LMs调整为自动压缩器自动压缩器将上下文递归压缩为摘要向量。我们的实验表明摘要向量保留了重要的上下文信息用于改进语言建模、上下文演示中的编码以及评估文章与用户查询的相关性。这表明我们的无监督训练策略可以带来多用途的应用。摘要矢量可以预先计算、缓存和重复使用。这承诺通过减小注意力窗口的大小来提高实际的效率。未来还有大量工作要做将自动压缩器扩展到更大的模型并提高摘要向量的质量以进一步缩小差距同时充分关注长期上下文。
不足
我们只将AutoCompressors应用于参数高达2.7B的OPT型号。未来的工作需要确定自动压缩器在大型模型中的表现但随着摘要向量维度的增长每个向量可以保留更多信息。我们还质疑其他具有不同体系结构特征的预训练模型族如未绑定的输入输出嵌入是否更难适应自动压缩器。我们的研究结果表明摘要向量忽略了一些通过充分关注可以获得的有用信息。此外模型并不总是从增加汇总向量的数量中受益。我们怀疑用于有效学习摘要向量的训练信号可能会受到预训练模型的限制该模型非常善于根据当前片段中的纯文本标记进行预测。未来的工作需要改进这种优化。摘要积累仍然会随着分段数量的增加而导致二次复杂度尽管其速率远低于完全注意力。未来的工作可能会探索更有效地组合许多摘要向量的方法。
