RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation

https://papers.cool/arxiv/2310.04408

Authors: Fangyuan Xu ; Weijia Shi ; Eunsol Choi

Summary: Retrieving documents and prepending them in-context at inference time improves performance of language model (LMs) on a wide range of tasks. However, these documents, often spanning hundreds of words, make inference substantially more expensive. We propose compressing the retrieved documents into textual summaries prior to in-context integration. This not only reduces the computational costs but also relieves the burden of LMs to identify relevant information in long retrieved documents. We present two compressors -- an extractive compressor which selects useful sentences from retrieved documents and an abstractive compressor which generates summaries by synthesizing information from multiple documents. Both compressors are trained to improve LMs' performance on end tasks when the generated summaries are prepended to the LMs' input, while keeping the summary concise.If the retrieved documents are irrelevant to the input or offer no additional information to LM, our compressor can return an empty string, implementing selective augmentation.We evaluate our approach on language modeling task and open domain question answering task. We achieve a compression rate of as low as 6% with minimal loss in performance for both tasks, significantly outperforming the off-the-shelf summarization models. We show that our compressors trained for one LM can transfer to other LMs on the language modeling task and provide summaries largely faithful to the retrieved documents.

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何提高检索增强型语言模型（Retrieval-Augmented Language Models, RALMs）在推理时的性能和效率。具体来说，论文关注以下几个关键问题：

1. 推理成本：在推理时，将检索到的文档（通常包含数百个词）前置到语言模型（LMs）的输入中，虽然可以提高模型在各种任务上的性能，但这种做法显著增加了计算成本。
2. 信息过载：即使能够适应更长上下文的LMs，这些模型也难以有效利用上下文中的所有信息，经常忽略中间部分的信息。
3. 无关信息：在上下文中前置大量文档可能会引入无关信息，从而降低模型性能。

为了克服这些限制，论文提出了RECOMP（Retrieve, Compress, Prepend）方法，它在上下文增强之前，将检索到的文档压缩成文本摘要。这样做不仅减少了计算成本，还减轻了LMs在长文档中识别相关信息的负担。RECOMP方法包括两种压缩器：提取式压缩器（从检索到的文档中选择有用的句子）和抽象式压缩器（通过合成多个文档的信息生成摘要）。这两种压缩器都旨在在生成的摘要前置到LMs输入时，提高端任务的性能，同时保持摘要的简洁性。如果检索到的文档与输入无关或对LM没有额外信息提供，压缩器可以返回一个空字符串，实现选择性增强。

Q: 有哪些相关研究？

A: 论文中提到了与RECOMP方法相关的几个研究领域和具体工作，包括：

1. 检索增强型语言模型 (RALMs)：这类模型通过检索文档并将其与输入一起提供给语言模型来提高性能。相关工作包括Khandelwal等人（2019）、Izacard等人（2022）、Lewis等人（2020）和Borgeaud等人（2022）的研究。
2. 知识密集型任务：RALMs在这类任务上表现出色，如Kwiatkowski等人（2019）和Petroni等人（2021）的工作。
3. 长文档处理：Beltagy等人（2020）和Zaheer等人（2020）研究了如何使LMs有效地处理长文档。
4. 上下文信息使用：Liu等人（2023）研究了LMs如何在上下文中使用信息，特别是它们如何处理中间部分的信息。
5. 选择性增强：Mallen等人（2022）和Shi等人（2023a）探讨了在上下文中引入无关信息对模型性能的影响。
6. 文本摘要：与RECOMP方法中的压缩器相关的工作包括Xu和Lapata（2020）的多文档查询聚焦摘要研究，以及Goyal等人（2022）、Chen等人（2023）和Potluri等人（2023）关于极端规模语言模型（如GPT-3）的摘要性能研究。