论文主题内容介绍

研究背景

顺序推荐系统往往由于数据稀疏问题而无法准确地进行个性化推荐。现有的工作使用变分编码器和生成对抗网络方法来丰富稀疏的数据。然而，他们往往会忽视潜在数据分布中的多样性，这阻碍了模型的生成能力。基于生成的方法的这一特点在很多情况下会引入额外的噪声。此外，在生成过程中保留用户的个性化信息仍然是一个挑战。

解决方案

（1）设计了一种新颖的基于扩散增强和引导去噪的联邦推荐系统框架DGFedRS，该框架可以捕获潜在的用户个性化偏好信息并扩展离散空间中稀疏的用户项目交互。 （2）为了生成高质量的样本数据，设计了可以指引逆向过程生成样本的引导去噪策略。此外，为了减轻噪声对用户个性化信息的损害，我们为DGFedRS设计了噪声控制策略和阶梯式安排策略。

设计概述

（1）DGFedRS框架：DGFedRS遵循标准的联邦学习架构，如图1所示。每个参与方对应一个个人设备，该设备保存用户的隐私数据，并将模型参数上传给中央服务器参与联邦过程。在联邦学习的初始阶段，中央服务器向参与方发送一个全局模型的参数。参与方接收到全局模型参数后，在本地设备上进行模型的进一步训练。参与方训练完本地模型后，将更新后的模型参数上传至中央服务器。中央服务器聚合所有参与方的参数，并将更新后的模型参数下发给各个参与方。之后经过扩散训练获得扩散生成的样本，以此来丰富历史交互序列。最后使用扩散增强策略生成的历史交互序列训练顺序推荐模型。其中我们使用引导去噪策略来确保生成样本的真实性。此外，为了减轻潜在扩散过程中噪声的影响，设计了一种stepwise scheduling strategy来有效利用生成的交互序列。而且，在前向过程和逆向过程中设计了噪声控制策略来保留一些用户的个性化信息。

图1

（2）扩散训练:DGFedRS的扩散训练过程包括交互向量的压缩编码、正向过程、逆向过程、低维向量解码以及编码器和解码器的训练。扩散训练的目标是获得一个可以生成用户项目交互的预先训练好的扩散模型，它的主要任务是生成逼真的用户项目交互数据，并确保其在统计和特征分布上与真实数据一致，以此来为顺序推荐器提供个性化的生成数据。

图2：DGFedRS扩散训练过程概述

（3）引导去噪策略：逆向过程的主要挑战是如何预测高质量的原始输入。为了提升逆向过程中预测的原始输入的信息保留程度，在逆向过程中使用引导去噪策略。

图3

实验结果

与当前最先进的方法相比，我们提出的DGFedRS在三个数据集上均表现出最优秀的效果。特别是，在Amazon Beauty、Movielens-1M和Yelp上HR@10的性能改进比最佳基线分别提高了12.79%、9.18%和7.42%，NDCG@10的性能改进比最佳基线分别提高了11.62%、10.6%和9.04%。显著的性能提升表明了所提出的DGFedRS使用扩散增强策略和引导去噪策略生成丰富的样本数据来增强顺序推荐的有效性。我们进一步验证了DGFedRS的可拔插性，在基线推荐模型上均表现出较大幅度的提升。

狄奕成个人介绍

  • 本科毕业院校：江苏大学
  • 研究方向：联邦学习、扩散模型、推荐系统
  • 荣誉奖励：
    • 2021-2022学年校一等奖学金
    • 2021-2022学年校优秀研究生
    • 2022-2023学年校一等奖学金
    • 2022-2023学年校优秀研究生干部
    • 2022-2023学年校五四优秀团员