GenRank: 小红书大规模生成式排序探索-CSDN博客

本文链接：https://blog.csdn.net/Python_cocola/article/details/148960219

TLDR: 生成式推荐作为一种新兴范式，在信息检索领域展现出巨大潜力。然而，生成式排序系统在大规模工业环境中的有效性和可行性仍待深入研究。本文通过在小红书的“发现页”推荐系统中进行实验，提出了GenRank架构，显著提升了用户满意度，同时保持了与现有生产系统相当的计算资源消耗。

论文：https://arxiv.org/pdf/2505.04180

在当今的信息爆炸时代，推荐系统已成为社交媒体平台的核心组件，帮助用户在海量信息中发现个性化的内容。小红书的“发现页”作为一款服务于数亿用户的产品，面临着如何在保持高效率的同时提升推荐效果的挑战。本文将深入探讨生成式排序系统在大规模工业场景中的应用，并介绍GenRank架构如何在这一领域取得突破。

生成式排序的挑战与机遇

推荐系统通常采用级联管道架构，包括检索、预排序、排序和策略四个阶段。在排序阶段，系统需要对每个候选项目进行精确预测。传统的排序方法主要依赖于多层感知机和嵌入范式，而生成式推荐则将推荐问题转化为序列生成任务，直接从用户历史行为中预测目标行为。

工业级推荐系统的级联架构

尽管生成式推荐在理论上具有优势，但在大规模工业环境中，其有效性和可行性仍面临诸多挑战。一方面，生成式架构需要处理海量数据，对计算资源和存储资源提出了极高的要求；另一方面，如何在保持性能的同时优化计算效率，是生成式排序系统亟待解决的问题。

问题设置

本文研究的是生成式推荐在排序阶段的应用。在这个阶段，推荐系统需要对一组预定义的任务进行预测，例如预测用户点击某个候选项目的概率，或者用户在看到候选项目时预期停留的时间。为了构建用于离线实验的数据集，从小红书的“发现页”收集了15天内数百亿条项目曝光日志。输入特征包括以下三种类型：

分类特征：用户ID、项目ID、用户历史行为、标签等。
数值特征：用户年龄、项目发布时间、作者粉丝数等。
冻结嵌入：多模态项目嵌入、基于图的作者嵌入等。

数值特征通过预定义的边界进行离散化，分类特征则通过嵌入表转换为稠密嵌入。由预训练模型提供的冻结嵌入作为辅助信息，为相关特征提供先验知识。使用ROC曲线下面积（AUC）作为离线评估指标。值得注意的是，在本文的设置中，AUC的绝对增加0.0010被认为是显著的，因为它通常会在在线环境中为数亿用户带来0.5%的指标提升。

生成式范式的关键机制

生成式推荐与传统范式的主要区别在于其独特的序列交互方式和训练样本的组织方式。生成式排序采用自回归的方式进行序列交互，即模型在预测下一个动作时，只依赖于之前的历史行为和候选项目。这种自回归方式在生成式排序中至关重要，因为它能够保留模型在预训练阶段学到的能力，即使在没有预训练的情况下也能保持有效性。

此外，生成式排序将用户在一段时间内的行为分组为一个训练样本，而不是像传统方法那样将每个行为日志作为一个独立的样本。这种组织方式有助于提高梯度估计的稳定性，并减少信息泄露的风险。然而，实验结果表明，生成式推荐的有效性主要来源于其架构，而不是训练样本的组织方式。

GenRank架构

为了解决上述问题，提出了GenRank架构。GenRank的核心创新在于将项目视为位置信息，专注于迭代预测用户行为，从而显著提高了系统的效率。

GenRank模型架构，与HSTU采用面向项目（Item）的组织不同，其采用面向行动（Action）的组织。

具体来说，GenRank采用了以下关键技术：

行为导向的序列组织

传统的序列推荐方法将项目作为基本单位，而GenRank则将动作作为序列生成的基本单位，项目则作为上下文信号引导生成过程。这种设计将注意力机制的输入序列长度减少了一半，大幅降低了计算成本。

位置与时间偏差

为了进一步优化计算效率，GenRank引入了新的位置和时间嵌入设计。这些嵌入只需要线性I/O操作，显著减少了系统开销。此外，GenRank采用了无参数的ALiBi偏差作为注意力机制中的相对位置和时间偏差，进一步降低了计算成本。

输入表示和候选掩码。(a) GenRank的输入表示包含五种嵌入。(b)候选掩码：用一个历史行为和两个候选项来描述用户序列的掩码结构。

实验验证与结果

通过在线A/B实验验证了GenRank的有效性和可行性。实验结果表明，GenRank在用户满意度方面取得了显著提升，同时在计算资源消耗上与现有生产系统相当。具体来说，GenRank在冷启动项目上的表现尤为突出，这得益于其对内容嵌入的增强利用。

发现页场景下的在线A/B测试结果

下表总结了在训练性能方面的结果。使用HSTU作为基线方法。利用行动为导向的组织速度提高了78.7%，而采用提出的位置和时间偏差方法速度提高了25.0%。总的来说，GenRank在训练过程中实现了总加速比94.8%，在测试集上的AUC略有提高。

GenRank的提出为生成式排序系统在大规模工业环境中的应用提供了新的思路。通过创新的架构设计和高效的计算策略，GenRank不仅提升了推荐效果，还为未来推荐系统的发展提供了宝贵的实践经验。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述