首页 > 生活分享 > 生活分享 > 多模态对齐在小红书推荐的研究及应用

多模态对齐在小红书推荐的研究及应用

发布时间:2024-09-24 16:52:42来源: 13041198719

在 CIKM 2024 上,小红书中台算法团队提出了一种创新的联合训练框架 AlignRec,用于对齐多模态表征学习模型和个性化推荐模型。本文指出,由于多模态模型与推荐模型在训练过程中存在步调不一致问题,导致联合训练被推荐信号主导,从而丢失大量多模态信息。AlignRec 通过分阶段对齐的方式,设计了三种针对性的优化损失函数,使得联合训练能够同时兼顾多模态信息和推荐信息。实验结果表明,AlignRec 在多个数据集上的性能超过了现有的 SOTA(state-of-the-art)模型。此外,AlignRec 还提供了在当前广泛使用的公开数据集亚马逊上的预处理特征,这些特征的效果显著优于现有的开源特征。


最近多模态是个非常热门的话题,尤其是在大模型以及 AIGC 领域,多模态基建和技术是走向未来商业化的奠基石。在过去的多模态大模型研究方向上,模态的“对齐”已经被验证非常重要,分布的不一致损害不同模态的理解,我们此次要讨论的核心问题是多模态在推荐中的对齐问题;

 

在具体介绍论文工作之前,我们先来介绍下我们过去在推荐和电商中的实践工作:

 

推荐实践


上述方法是我们对 BM3论文进行改进 上线的方案,该方案实际上做的是通过损失函数来实现“对齐”工作。我们的对模型的期望也是保留个性化的同时,能够对齐行为和多模态的空间,进一步增加长尾的个性化分发能力。先说效果:

 

该模型实验在推荐发现页取得时长、曝光、点击等核心指标收益,除此之外,在长尾分发上,0 粉作者笔记点击和曝光获得大幅增长,整个召回路增加了全局可分发笔记数 6%,分发笔记集中在 1k-5k 的笔记曝光集合;同时,我们的方法也被复用在了电商场景,分发长尾同时,获得 DGMV 等核心指标收益。

 

很显然,从上述可以看出,“对齐”的效果立竿见影,在业界应用上我们已经取得实质性进展,但本质上这样的设计方案依然并没有完全解决多模态推荐问题,因为我们的多模态模型和推荐模型是相对割裂的,等同于直接拿表征来使用,这样的设计打通了应用范式,却无法判断多模态模型本身能力对效果的上限,对于选择合适多模态表征存在一定的难度。但如果我们引入文本/图等 Encoder(Transformer)等进行联合训练,会引入如下的问题:

 

在大规模的数据下,分布式训练引入图文 Encoder 会造成资源和性能问题,尤其是注重高时效性的 Streaming Data;
训练步调不一致,往往多模态模型需要大量数据甚至多个 Epoch 才能收敛,但推荐模型通常采取单轮训练,这也导致多模态模型训练不充分;

所以我们设计联合训练模型,通过设计分阶段对齐的方式和中间指标评估,解决上述联合训练问题,并且引入了三种针对性的优化损失函数,使得联合训练能够同时兼顾多模态信息和推荐信息,解决联合训练中的“对齐”问题,提升效果上限。

 

下面我们从相关工作,核心挑战,模型设计介绍整体工作。

 

我们在这里通过 (a), (b), (c) 描述了在过往的学术界目前多模态推荐方向的相关工作,总结主要的发展路径:

图(a),直接利用,比如把 embedding,多模态特征作为信号输入网络;
图(b),利用图等方式聚合,希望能得到更丰富的多模态信息表达,这本质上也是增加多模态侧信息的召回率;
图(c),联合优化,把模态损失和行为损失共同优化,但这忽略了本身笔记侧的多模态学习。
在工业界,现阶段推荐系统主要还是依赖于 ID 特征的学习, 大多数多模态推荐把多模态信息作为 sideinfo 去辅助 ID 特征的学习。但是, 多模态之间以及 ID 模型与多模态之间都存在着语义鸿沟, 直接使用甚至可能适得其反。

 

核心挑战

为了贴合业界实际,设计一款有效的多模态与推荐联合训练模型会遇到如下的挑战:

 

挑战1: 如何对齐多模态表征。包括内容模态之间(如图文)的对齐,以及内容模态与 ID 模态之间的对齐;
挑战2: 如何平衡好内容模态和 ID 模态之间的学习速度问题。内容模态可能需要超大规模的数据和时间去训练, 而 ID 模态的学习更新可能只需要几个 epoch。
挑战3: 如何评估多模态特征对推荐系统的影响。引入不合适的多模态信息可能需要更多的精力去做纠正, 甚至可能影响推荐系统的性能。

我们所提出的方法命名为 AlignRec,整体框架如下图所示, 主要包含3个模块: Multimodal Encoder Module, Aggregation Module, 以及 Fusion Module, 下面分别进行介绍。


Multimodal Encoder Module

 

生活分享更多>>

2025年盘锦市委党校招聘教师公告 2024年海珠区委统战部关于招聘雇员的公告(1人) 2024年阿坝州人力资源和社会保障局茂县招聘紧缺学科教师公告 2024年德州职业技术学院博士研究生引进公告 2024年广元市剑阁县自然资源局招聘工作人员(临聘)公告 2024年威海经济技术开发区面向社区党组织书记招聘事业单位工作人员简章 2024年北京市大兴区新兴产业促进服务中心临时辅助用工人员招聘公告(3人) 2024年呼和浩特清水河县竞聘中小学、幼儿园 校(园)长(含副职)公告 9.98万一口价起售的日产逍客·荣誉,其实诚意还是略显不足 坚持走纯电路线的蔚来汽车,已经连续两周销量排名下降 更适合家用MPV应该是什么样子?刚上市的极氪MIX告诉你答案 韩系豪华车品牌捷尼赛思还在“硬撑” 捷达版速腾要来了,定名VA7,或11月10日预售 捷途山海T1上市,主打方盒子设计,15.48万起 奶爸神车后继有人?豪华大六座零跑C16玩的就是舒适 海豚又一个对手来了,埃安打造,广州车展亮相 发布价3399元,突降1511元,跌至1888元,荣耀降价也太猛了 华为Mate 60 Pro、荣耀Magic7 Pro该怎么选?对比8点就懂了 双11手机推荐指南,各个价位段精选汇总 TCL洗衣机洗净的秘诀到底是什么?央视主持人现身探秘 家用更优解,荣威iMAX8 DMH新陆尊比传祺E8香多了? 比亚迪“百万级核心技术”被攻破,五菱干成了10万级! 长安汽车 10 月销量为 25.08 万辆,同比增长 4.07% 为何奔驰是BBA老大哥?BMW粉香港看车有感 2024年最畅销20款电动车榜单:Model Y第一,比亚迪宋第二 丰田中国品牌沟通部部长徐一鸣:加大智能化电动化研发 打造适应中国消费者需求产品 开了5000公里,发现奥迪A6L和奔驰E300,差距太大不在一个档次 双11平板选购指南,华为平板全系列机型推荐 平板电脑怎么选?目前公认值得入手的五款平板,轻松用十年 三星又一三折叠手机专利获批:提高屏幕耐用性、添加防反射层