根据论文内容,其结合检索和推理的目的属于推理增强检索,主要解决了以下问题:
解决的问题:
通过多步迭代的生成(推理过程)优化检索质量,弥补初始查询与文档内容之间的语义鸿沟。具体来说,复杂问题(如多跳问答)的初始检索可能无法直接命中所需信息,而模型生成的中间结果(如部分答案或上下文)为后续检索提供了更精准的查询意图,从而缩小了问题与文档的匹配差异。
核心机制:
举例说明:
在论文的案例中,问题“2015年AFL新星奖得主的身高是多少?”需要先检索“获奖者身份”,再检索“身高信息”。传统单次检索可能无法直接关联两个信息点,而ITER-RETGEN通过首轮生成“获奖者是Jesse Hogan”作为新检索词,使第二轮检索命中包含其身高的文档,从而完成多步推理。这体现了推理过程对检索意图的解析优化。
ITER-RETGEN的核心推理过程是迭代式检索与生成的协同,最小迭代单元为:
生成(基于当前检索结果)→ 生成增强检索(基于生成内容扩展查询)→ 检索(新查询)→ 再生成(基于全量检索结果)。
具体流程:
• 初始迭代:用原始问题 \( q \) 检索文档 \( \mathcal{D}q \),生成初步回答 \( y_1 \)。 • 后续迭代:将 \( y{t-1} \) 与 \( q \) 拼接为新查询,检索更相关文档 \( \mathcal{D}{y{t-1} \| q} \),并基于累积的检索结果生成改进回答 \( y_t \)。 • 终止条件:达到预设迭代次数 \( T \),输出最终回答 \( y_T \)。
该过程通过生成内容动态修正检索目标,逐步缩小语义鸿沟,最终提升回答质量。
ITER-RETGEN属于预定义的多步推理流程,其显著特征为: