Seven Failure Points When Engineering a Retrieval Augmented Generation System

https://papers.cool/arxiv/2401.05856

Authors: Scott Barnett ; Stefanus Kurniawan ; Srikanth Thudumu ; Zach Brannelly ; Mohamed Abdelrazek

Summary: Software engineers are increasingly adding semantic search capabilities to applications using a strategy known as Retrieval Augmented Generation (RAG). A RAG system involves finding documents that semantically match a query and then passing the documents to a large language model (LLM) such as ChatGPT to extract the right answer using an LLM. RAG systems aim to: a) reduce the problem of hallucinated responses from LLMs, b) link sources/references to generated responses, and c) remove the need for annotating documents with meta-data. However, RAG systems suffer from limitations inherent to information retrieval systems and from reliance on LLMs. In this paper, we present an experience report on the failure points of RAG systems from three case studies from separate domains: research, education, and biomedical. We share the lessons learned and present 7 failure points to consider when designing a RAG system. The two key takeaways arising from our work are: 1) validation of a RAG system is only feasible during operation, and 2) the robustness of a RAG system evolves rather than designed in at the start. We conclude with a list of potential research directions on RAG systems for the software engineering community.

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是：在构建检索增强生成（Retrieval Augmented Generation, RAG）系统时，软件工程师面临的失败点和挑战。RAG系统结合了信息检索能力和大型语言模型（LLMs）的生成能力，旨在通过检索与用户查询语义匹配的文档，然后利用这些文档作为上下文生成答案，以减少LLMs生成错误响应的问题，链接生成响应的来源/参考，并消除对文档进行元数据标注的需求。

论文通过三个不同领域的案例研究（研究、教育和生物医学），探讨了RAG系统在实际应用中遇到的失败点，并分享了从中学到的教训。主要发现包括：RAG系统的验证仅在运行时可行，且系统的健壮性是随着时间的推移而逐渐演化而非一开始就设计好的。论文最后提出了针对RAG系统软件工程社区的潜在研究方向。

Q: 有哪些相关研究？

A: 相关研究主要集中在以下几个方面：

1. 检索增强生成（RAG）系统：研究者们探讨了如何使用文档来增强大型语言模型（LLMs）在预训练和推理时的表现。由于计算成本、数据准备时间和所需资源，不进行训练或微调的RAG系统是一个有吸引力的提议。
2. 大型语言模型在RAG管道中的应用：最近的调查表明，大型语言模型被用于RAG管道的各个阶段，包括检索器、数据生成、重写器和阅读器。
3. RAG系统基准测试：尽管有新兴的工作在评估RAG系统的性能，但关于实施过程中出现的失败的研究并不多。
4. RAG系统在软件工程任务中的应用：软件工程研究已经调查了RAG系统在与代码相关的任务中的应用，但RAG系统的应用范围比软件工程任务更广泛。
5. 信息检索系统中的错误和失败：RAG系统的错误和失败与其他信息检索系统有重叠，包括查询重写的度量、文档重新排名和有效的内容摘要。
6. 大型语言模型的语义和生成性质：研究中的独特方面与大型语言模型的语义和生成性质有关，包括评估事实准确性。
7. RAG系统在不同领域的应用：论文通过三个案例研究，展示了在实施RAG系统时面临的挑战和获得的见解，这与现有的工作相补充，因为现有的工作主要集中在软件工程任务上。

这些研究为理解RAG系统的工作原理、挑战以及如何有效地将它们应用于不同领域提供了基础。