1. 摘要 (Abstract) 这篇论文介绍了一种名为CHAIN-OF-NOTE (CON) 的新方法，旨在提高检索增强型语言模型（RALMs）的鲁棒性。RALMs 通过利用外部知识源来减少事实性幻觉，但检索到的信息可靠性并不总是有保障。CON 通过为检索到的文档生成连续的阅读笔记，使模型能够全面评估这些文档与给定问题的相关性，并整合这些信息来形成最终答案。实验表明，配备 CON 的 RALMs 在处理嘈杂、不相关的文档和未知场景时表现显著优于标准 RALMs。
  2. 动机 (Motivation) 当前的 RALMs 存在一些问题，如无法保证检索到的信息总是最相关或可信的，检索到不相关的数据可能导致误导性的回答，并且可能使模型忽视其固有知识。此外，现有的大型语言模型（LLMs）在处理面向事实的问题时常常产生幻觉，这可能导致风险并使用户失去信心。因此，需要一种方法来提高 RALMs 在这些方面的鲁棒性。
  3. 方法 (Method) CON 方法的核心是为检索到的文档生成一系列阅读笔记，这不仅评估了每个文档与查询的相关性，还确定了其中最关键和可靠的信息。这个过程有效地过滤掉了不相关或不太可信的内容，从而产生了更精确和上下文相关的回答。CON 还增强了 RALM 处理超出其训练数据范围的查询的能力。

Untitled

Untitled

  1. 实验 (Experiments) 实验使用了四个开放域问答基准数据集：Natural Questions (NQ)、TriviaQA、WebQ 和 RealTimeQA。实验比较了标准 RALMs 和配备 CON 的 RALMs 的性能。基线方法包括不使用 IR 的 LLaMa-2 模型、仅使用检索的 DPR + LLaMa-2 模型，以及在训练过程中生成阅读笔记的 DPR + LLaMa-2 with CHAIN-OF-NOTE 模型。
  2. 结论 (Conclusion) CON 框架显著提高了 RALMs 的鲁棒性，特别是在处理嘈杂文档和未知场景时。实验结果表明，CON 在完全嘈杂的检索文档中平均提高了 +7.9 的精确匹配得分，并且在实时问题上提高了 +10.5 的拒绝率。
  3. 创新点 (Innovation) CON 的创新之处在于其生成阅读笔记的方法，这种方法模仿了人类解决问题的方式，通过将复杂问题分解为一系列中间步骤来处理。这种方法不仅提高了模型对检索到的信息的评估能力，还增强了模型在面对未知问题时的拒绝能力，从而提高了模型的可靠性。此外，CON 通过结构化的笔记过程，提高了模型处理复杂问题时的透明度和可解释性。