Q: 这篇论文试图解决什么问题？
A: 这篇论文试图解决的问题是如何提高大型语言模型（LMs）在知识密集型任务中的泛化能力，特别是在零样本（zero-shot）场景下。尽管大型LMs拥有数十亿参数并能够捕捉大量人类知识，但它们在效率、准确性和可解释性方面存在局限性。此外，大型LMs的高计算成本也影响了它们的实用性。为了克服这些挑战，论文提出了一种名为Augmentation-Adapted Retriever (AAR) 的方法，旨在通过检索增强（retrieval augmentation）来辅助LMs，而无需对LMs进行微调（fine-tuning）。
AAR的核心思想是创建一个通用的检索插件，它可以与未知的或无法共同微调的LMs配合使用。通过使用一个小型的源LM来提供LM偏好的信号，AAR能够在训练过程中学习这些偏好，并在不直接微调目标LM的情况下，通过检索到的文档来增强目标LM的性能。这种方法允许AAR作为一个通用插件，服务于各种不同的目标LM，从而提高了LMs在零样本任务中的泛化能力。
Q: 有哪些相关研究？
A: 相关研究主要集中在以下几个方面：
- 检索增强（Retrieval Augmentation）：
- 先前的研究探索了如何通过检索器从外部语料库中检索知识来增强LMs。例如，Guu et al. (2020) 和 Lewis et al. (2020) 展示了检索增强在多种知识密集型任务上的有效性。这些方法通常需要对LM进行端到端的微调，以适应检索器并处理特定的下游任务。
- 零样本学习和推理（Zero-shot Learning and Reasoning）：
- 大规模的无监督预训练LMs，如GPT-3 (Brown et al., 2020) 和 GPT-4 (OpenAI, 2023)，能够在推理时执行零样本学习。这些模型通过在推理时提供任务描述来执行多种下游任务。
- Instruction-finetuned LMs，如Sanh et al. (2022) 和 Chung et al. (2022)，通过使用人类指导在多个监督任务上进行预训练，也展现出了强大的零样本学习能力。
- 检索器与LM的解耦（Decoupling Retriever and LM）：
- Rubin et al. (2022) 和 Lin et al. (2022) 提出了独立于LM的检索器训练方法，这些方法允许在不微调LM的情况下进行检索增强。
- 其他研究，如Shi et al. (2023)，使用LM的似然度来训练检索器，以满足黑盒LM的偏好。
- 零样本检索增强（Zero-shot Retrieval Augmentation）：
- 最近的研究，如Ouyang et al. (2022)，探索了不微调LM的零样本检索增强方法。这些方法可以受益于实体中心的问题回答、思维链推理和多跳问题回答。
- 知识注入（Knowledge Injection）：
- 通过映射网络（Zhang et al., 2023）或文档编码（Xiao et al., 2023）来增强LMs的零样本性能，这是一种即插即用的知识注入方法。
这些相关研究为AAR方法提供了理论基础和技术背景，AAR在此基础上进一步探索了如何通过源LM的偏好来训练检索器，以便在不直接微调目标LM的情况下提高其泛化能力。
Q: 论文如何解决这个问题？
A: 论文通过提出一种名为Augmentation-Adapted Retriever (AAR) 的方法来解决这个问题，具体步骤如下：
- 源LM的选择：
- 选择一个小型的编码器-解码器语言模型（如Flan-T5Base）作为源LM，用于提供LM偏好的信号。
- LM偏好的获取：
- 使用源LM的融合在解码器中的注意力分数（fusion-in-decoder attention scores）来注释LM偏好的文档。这些文档被视为正面文档集的一部分。
- 正面和负面文档集的构建：
- 结合人类偏好的正面文档集（即地面真相）和LM偏好的文档，形成训练检索器的正面文档集。
- 使用ANCE（Xiong et al., 2021）技术挖掘负面文档，这些文档不会被检索器检索到。
- 检索器的微调：
- 使用上述构建的正面和负面文档集对检索器进行微调，使其能够检索出对目标LM有用的文档。