Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP

https://papers.cool/arxiv/2212.14024

Authors: Omar Khattab ; Keshav Santhanam ; Xiang Lisa Li ; David Hall ; Percy Liang ; Christopher Potts ; Matei Zaharia

Summary: Retrieval-augmented in-context learning has emerged as a powerful approach for addressing knowledge-intensive tasks using frozen language models (LM) and retrieval models (RM). Existing work has combined these in simple "retrieve-then-read" pipelines in which the RM retrieves passages that are inserted into the LM prompt. To begin to fully realize the potential of frozen LMs and RMs, we propose Demonstrate-Search-Predict (DSP), a framework that relies on passing natural language texts in sophisticated pipelines between an LM and an RM. DSP can express high-level programs that bootstrap pipeline-aware demonstrations, search for relevant passages, and generate grounded predictions, systematically breaking down problems into small transformations that the LM and RM can handle more reliably. We have written novel DSP programs for answering questions in open-domain, multi-hop, and conversational settings, establishing in early evaluations new state-of-the-art in-context learning results and delivering 37-120%, 8-39%, and 80-290% relative gains against the vanilla LM (GPT-3.5), a standard retrieve-then-read pipeline, and a contemporaneous self-ask pipeline, respectively. We release DSP at https://github.com/stanfordnlp/dsp

Q: 这篇论文试图解决什么问题？

A: 这篇论文提出了一个名为DEMONSTRATE–SEARCH–PREDICT (DSP) 的框架，旨在解决以下问题：

1. 知识密集型任务的挑战：对于知识密集型任务，如问答、事实核查和信息寻求对话，现有的基于冻结语言模型（LM）的方法往往依赖于检索模型（RM）来增强提示。然而，这些方法通常采用简单的“检索然后阅读”（retrieve-then-read）流程，这限制了模型的潜力。
2. 检索增强的上下文学习：论文指出，现有的检索增强的上下文学习方法在处理复杂问题时存在局限性，因为它们不能有效地利用检索到的信息来生成准确的回答。
3. 模型交互的复杂性：论文认为，由于LM和RM都处理自然语言文本，这为它们之间的更复杂交互提供了机会。DSP框架旨在充分利用这种交互，通过在LM和RM之间传递文本来解决复杂问题。
4. 模块化和可组合性：DSP框架通过一系列可组合的函数，允许开发者构建复杂的程序来解决特定任务，而不是仅仅依赖于端到端的提示。这提高了系统的模块化和可扩展性。
5. 性能提升：通过DSP框架，论文展示了在开放领域问答、多跳问答和对话问答等任务中，相对于传统的LM和检索增强方法，DSP程序能够实现显著的性能提升。
6. 减少对标注数据的依赖：DSP框架通过弱监督的方式自动为复杂流程生成示例，减少了对手工标注数据的依赖，降低了开发成本。

总的来说，DSP框架试图通过更智能地结合检索和语言模型，提高知识密集型自然语言处理（NLP）任务的性能，同时简化模型开发过程。

Q: 有哪些相关研究？

A: 这篇论文提到了多项相关研究，以下是一些主要的相关工作：

1. 检索增强的上下文学习：
   • Lazaridou et al. (2022)：展示了检索增强的上下文学习在简单“检索然后阅读”（retrieve-then-read）流程中的有效性。
   • Press et al. (2022)：提出了“self-ask”技术，这是一种检索增强的上下文学习方法，通过拦截和发送LM生成的后续问题到搜索引擎。
2. 多跳问答（Multi-hop QA）：
   • Xiong et al. (2020)：研究了多跳搜索管道，这些系统通常需要大量手工标注的查询重写或分解。
   • Khattab et al. (2021a)：介绍了一种多跳推理管道，该管道通过弱监督训练，允许系统自动发现最佳“跳”顺序。
3. 对话问答（Conversational QA）：
   • Del Tredici et al. (2021) 和 Raposo et al. (2022)：探讨了对话问答中的搜索策略，这些策略需要考虑对话的上下文信息。
4. 检索模型（RM）：
   • ColBERTv2：由Santhanam et al. (2022b) 提出的高效检索模型，基于晚期交互（late interaction）。