这篇文章的标题是 "1-PAGER: One Pass Answer Generation and Evidence Retrieval",作者是 Palak Jain, Livio Baldini Soares, 和 Tom Kwiatkowski,来自 Google Research 和 Google Deepmind。文章介绍了一个名为 1-PAGER 的系统,它是一个基于 Transformer 的模型,能够在单一的解码过程中回答问题并检索证据。以下是文章的主要部分概述:
Motivation(动机):
- 传统的问答系统通常采用 "检索-阅读"(retrieve-and-read)的方法,这种方法将检索和答案生成模块分开处理,虽然可以提供直接的段落级归因,但依赖于难以协同训练的异构模型混合。
- 作者提出,大型语言模型已经能够回答问题、预测支持答案的文档标识符,或者生成包含并解释答案的文本。因此,他们提出了一种新的替代方法,即 1-PAGER,它依赖于单一的 Transformer 模型来迭代地分割证据文档的语料库,通过生成搜索路径来识别相关文档和答案字符串。
方法(Methods):
- 1-PAGER 使用受限的解码过程来选择文档和答案字符串,通过迭代地分割检索语料库。
- 该系统在检索和答案准确性指标上与可比较的检索-阅读替代方案竞争。
- 1-PAGER 还通过在证据语料库中定位预测来超越等效的 "闭卷"(closed-book)问答模型。
- 作者展示了如何使用 FM-index(一种压缩的基于标记的索引)来实现有效的受限解码,并通过实验比较了 1-PAGER 与现有的问答系统。



实验(Experiments):
- 作者使用 Open-NQ、WebQuestions 和 CuratedTREC 数据集进行实验,以评估 1-PAGER 的性能。
- 他们将 1-PAGER 与闭卷问答系统(CBQA)和检索-阅读系统进行了比较,包括使用不同的检索器和基于 Transformer 的答案生成模块。
- 实验结果表明,1-PAGER 在检索和答案生成方面与现有的管道系统具有竞争力,并且在某些情况下优于它们。
结论(Conclusion):
- 1-PAGER 是第一个能够在单一语言模型中执行问答和段落检索的系统,它通过受限解码器迭代地分割检索语料库,然后生成答案。
- 尽管 1-PAGER 在准确性方面尚未达到最佳检索或开放域问答系统的水平,但它展示了如何将检索集成到当前在自然语言处理(NLP)中占主导地位的序列到序列范式中,为可归因生成提供了重要的一步。
- 作者还讨论了 1-PAGER 的局限性,例如它不适用于检索大量文档,并且在没有丰富结构的语料库或没有中心实体的查询上的表现还有待研究。