Authors: Yang Zhang; Fuli Feng ;Jizhi Zhang ;Keqin Bao ;Qifan Wang; Xiangnan He

Summary:

Leveraging Large Language Models as Recommenders (LLMRec) has gained significant attention and introduced fresh perspectives in user preference modeling. Existing LLMRec approaches prioritize text semantics, usually neglecting the valuable collaborative information from user-item interactions in recommendations. While these text-emphasizing approaches excel in cold-start scenarios, they may yield sub-optimal performance in warm-start situations. In pursuit of superior recommendations for both cold and warm start scenarios, we introduce CoLLM, an innovative LLMRec methodology that seamlessly incorporates collaborative information into LLMs for recommendation. CoLLM captures collaborative information through an external traditional model and maps it to the input token embedding space of LLM, forming collaborative embeddings for LLM usage. Through this external integration of collaborative information, CoLLM ensures effective modeling of collaborative information without modifying the LLM itself, providing the flexibility to employ various collaborative information modeling techniques. Extensive experiments validate that CoLLM adeptly integrates collaborative information into LLMs, resulting in enhanced recommendation performance. We release the code and data at https://github.com/zyang1580/CoLLM.

Q : 这篇论文试图解决什么问题？

A : 这篇论文试图解决的问题是如何有效地将协作信息整合到大型语言模型（LLMs）中，以提高推荐系统的性能。 具体来说，论文指出现有的利用大型语言模型作为推荐器（LLMRec）的方法主要关注文本语义，通常忽略了用户-项目交互中的有价值的协作信息。 虽然这些侧重于文本的方法在冷启动场景下表现良好，但在暖启动情况下可能会产生次优的性能。 为了在冷启动和暖启动场景下都能提供更好的推荐，论文提出了CoLLM（Collaborative Embeddings into Large Language Models），这是一种新颖的LLMRec方法，它通过外部传统模型捕获协作信息，并将其映射到LLM的输入标记嵌入空间中，形成协作嵌入供LLM使用。通过这种外部整合协作信息的方式，CoLLM确保了在不修改LLM本身的情况下有效建模协作信息，同时提供了灵活使用各种协作信息建模技术的灵活性。 论文通过广泛的实验验证了CoLLM能够有效地整合协作信息到LLMs中，从而提高了推荐性能。

Q ： 有哪些相关研究？

A : 这篇论文中提到的相关研究主要集中在以下几个方面：

1. LLMRec (Large Language Models for Recommendation) : 近期随着大型语言模型（LLMs）的显著发展，研究者开始探索将这些复杂的模型与推荐系统相结合。 一些研究采用In-context Learning的方法，依赖于LLMs的自然语言理解和生成能力来进行推荐。 然而，这些方法通常在没有针对推荐任务的特定训练下表现不佳。
2. 多模态LLM (Multimodal Large Language Models) : 与本文工作最相关的研究是探索多模态LLMs，例如结合视觉编码器和语言模型的研究，以及将连续的传感器输入整合到语言模型中，创建与感官信息相连接的具身语言模型。
3. 结合语言模型和协作模型的方法 : 一些研究集中在将语言模型（LMs）与协作模型结合起来，通常使用LM的语义信息作为协作模型的一个特征。 例如，CTRL方法通过对比学习将LM的语义信息提炼到协作模型中，然后对传统模型进行微调。
4. 协作推荐方法 : 论文还提到了一些传统的协作推荐方法，如基于潜在因子的模型（例如，矩阵分解MF和LightGCN），这些方法通常使用潜在因子（也称为嵌入）来表示用户和项目，并通过各种操作（例如，LightGCN中的邻域聚合）来更好地建模协作信息。

这些相关研究为CoLLM的提出提供了背景和对比，论文通过与这些方法的比较来展示CoLLM在整合协作信息方面的优势。

Q : 论文如何解决这个问题？

A : 论文提出了CoLLM（Collaborative Embeddings into Large Language Models）方法来解决有效整合协作信息到大型语言模型（LLMs）以提高推荐系统性能的问题。 CoLLM方法的核心步骤如下：

1. 外部协作信息捕获 ：CoLLM通过外部传统模型（如矩阵分解MF、LightGCN等）捕获用户-项目交互中的协作信息。 这种方法允许使用成熟的协作过滤技术，而不直接修改LLM。
2. 协作嵌入映射 ：CoLLM使用一个多层感知机（MLP）作为映射层，将外部模型捕获的协作信息映射到LLM的输入标记嵌入空间中。 这样，协作信息就可以以LLM能够理解和利用的形式存在。
3. 两步微调过程 ：
   • 第一步 ：使用语言信息对LLM进行微调，以学习推荐任务。 在这一步中，CoLLM排除了包含协作信息的提示部分，仅使用文本提示来训练LoRA模块，以提高LLM在冷启动场景下的推荐能力。
   • 第二步 ：在保持其他组件不变的情况下，调整映射层（CIE模块），使其能够有效地提取和映射协作信息，以供LLM在推荐中使用。 这一步使用包含协作信息的完整提示来生成预测，并最小化预测误差。
4. 模型架构 ：CoLLM的模型架构由三个主要部分组成：提示构建、混合编码和LLM预测。 在提示构建阶段，除了文本描述外，还添加了用户/项目ID字段以表示协作信息。 在混合编码阶段，使用LLM的内置标记化和嵌入机制来处理文本内容，同时使用CIE模块来处理用户/项目ID字段，并将协作信息嵌入映射到LLM的嵌入空间中。 最后，在LLM预测阶段，将输入提示转换为嵌入序列，LLM利用这些嵌入生成预测。