首页 > 财税知识 > 财税知识 > 小红书技术副总裁王晓博:大模型让AI越来越像人,更懂小红书的内容与用户

小红书技术副总裁王晓博:大模型让AI越来越像人,更懂小红书的内容与用户

发布时间:2024-07-07 16:00:33来源: 15210273549

2024世界人工智能大会暨人工智能全球治理高级别会议7月4日-6日在上海举行。

7月5日下午,由中国信息通信研究院承办的WAIC 2024 “迈向AGI:大模型焕新与产业赋能”论坛在上海徐汇西岸拉开帷幕。小红书技术副总裁王晓博在论坛上发表主题演讲,分享了小红书在大模型领域的最新布局与探索。

目前小红书社区拥有超过三亿的月活用户,越来越多新一代年轻人因为共同的兴趣爱好在这里相聚,小红书上海量的UGC构成了一部丰富的生活指南。

在演讲中,王晓博从“搜”、“推”、“创”、“美”、“伴”等多个技术应用场景阐述了大模型将如何助力小红书这本“生活指南”更便捷、更鲜活、更美好。

王晓博指出:”我们希望通过多模大模型的能力增强,让AI能够越来越像人一样,能够理解小红书的内容,不仅仅可以看懂笔记,看懂图片和文字,能够进行内容的整理和问答,也能够辅助用户进行更便捷的内容创作,同时通过对内容和用户的深度理解,更好地建立内容和用户之间的关联和匹配效率。“

搜索一直是用户在小红书上高频使用的功能,70%的小红书活跃用户有主动搜索行为。小红书目前正在探索将大模型引入搜索的技术链路,未来能够给用户带来更便捷的搜索体验。

据王晓博介绍,在日常使用中,用户查询一些复杂问题时,往往需要多步搜索才能获得想要的答案。而有了大模型的加持之后,小红书将使用Search Agent来模拟用户的多次搜索过程,通过大模型代理用户的查询过程,直接交付答案给用户,大大提升了搜索效率。

在推荐上,大模型则可以帮助小红书更好地理解内容和用户兴趣。王晓博表示,传统推荐系统依赖行为数据对用户和内容进行建模,会导致新笔记分发难,缺乏推理能力导致信息茧房等问题。

在小红书的推荐系统中,率先将大模型作为笔记的语义编码器来使用,通过语义压缩提示词(prompt)结合对比学习技术,让大模型能够把笔记转化为推荐系统可理解的向量表征,在新笔记分发上取得了非常大的提升。同时,大语言模型(LLM)的推理能力能够更好地建模用户兴趣,小红书通过让大模型从历史行为中推理用户潜在的新兴趣,有效的缓解了信息茧房问题,提升了用户留存。

AI智能创作同样是小红书与大模型擦出火花的重要探索领域。今年小红书内部孵化的创新项目InstantID,通过人脸ID注入方式,成功在技术上兼顾了风格的保持和人脸ID的一致性,它不仅风格多样,同时无需模型训练,实现秒级出图,为用户提供了“发现不一样的自己”的创作方式。

目前,该项目已向业界开源,为商业应用如电子商务、广告和娱乐产业创造了新的可能性。

此外,王晓博还认为,大模型不仅可以为用户提供信息和创意,也可以提供很多情绪价值。为此,小红书在宠物世界、社区群聊、官号私信这几个主要场景下,分别搭建了AI宠物、AI群聊、AI助手这一类聊天BOT产品,为用户提供泛娱乐功能。

以AI宠物为例,每位用户都可以领养一个虚拟宠物,通过对话的方式与它交互,在线上互动中获得乐趣与情感陪伴。在群聊场景,AI 通过角色扮演的方式将自有性格生动的表达,AI助手也可以将生硬的官方活动信息幽默有趣的传递给用户。

“针对陪伴类聊天应用里记忆、人格情绪等技术难点,小红书采取了基于记忆网络、世界体系和驱动飞轮等技术相结合的解决方案。通过精细化记忆建模,对历史对话进行语义分析、重要性判断、节点因子建模,从而深入理解用户行为,构建个性化互动,实现越交互越聪明,越聪明越交互的良性循环。”王晓博说道。

在演讲中,王晓博也指出,应用场景的落地离不开基础能力的建设。

目前,小红书技术团队同时针对语言模型和多模态能力进行了综合研发,结合小红书自身的业务场景和需求,更早做了视觉理解大模型方向的技术攻关:在多模模型架构、多模态alignment和整个数据体系和视觉感知能力上,都做了一定的探索和优化;并基于多种类型的图文数据,通过端到端多模态训练和优化,训练了对业务场景跟友好的视觉理解大模型,兼顾了图像分辨率、OCR、长尾语义识别等能力。

目前小红书在引擎技术上逐步完备布局,在训练方面对于大模型的工程体系做了完备建设,包括预训练、SFT、RLHF都做了针对模型和硬件的改造加速,自研了推理框架,对量化压缩、投机采样等技术都做了进一步优化。”

其中,比较有亮点的前沿技术,一是在MoE框架下,做了5D并行的高效率训练,同时自研了RLHF框架,相较于开源框架性能和收敛稳定性都有提升。推理上我们做了W4A8模型压缩,结合算子优化整体性能超过开源框架20%左右。“王晓博介绍道。

最后,王晓博表示:“人工智能技术在多模态、Agent、算力层都有望持续进步,小红书也将借助大模型的能力,进一步拉近社区链接的距离,更好赋能小红书之城的用户们。”

小红书于2013年在上海创立,以“Inspire Lives”为使命,形成了内容社区、商业广告和电商交易三大业务板块。截至2023年底,小红书月活用户数量超过3亿,超50%用户为95后;同时,小红书社区拥有超过1亿分享者,他们在小红书上分享经验、记录生活。自成立以来,小红书一直以技术为驱动力,目前持有和申请中的专利、商标、版权超过4000项,自研的“珠玑”大模型也已通过算法备案。

举报
评论 0
 

财税知识更多>>

理想 L6 深度剖析:25 万级中大型 SUV 的实力担当? 新款雪铁龙 C3 Aircross ——喜欢他的理由有很多 东风风行星海S7再出新版,配置新调整,纯电续航555公里 红旗P301项目首台验证样车下线!预计2026年5月正式投产 长城汽车2025新车巡礼:从越野悍将到百万豪车,总有一款让你心动 长安汽车2月9日举行开年第一场发布会,深蓝S09有望亮相 问了DeepSeek,哈弗和坦克,以及长城汽车的一些问题 吉利银河L6混动和秦PLUS在NVH和舒适性的比较 新风口来袭——DeepSeek AI牵手吉利,共启智能驾驭新时代 小鹏汽车上涨2.93%,报17.035美元/股 小鹏确认:新X9纯视觉智驾,全系取消激光雷达价格能否带来惊喜? 蔚来汽车在中国的第 3,100 个换电站上线 8万起的埃安UT,凭啥敢称“A级颜霸”? “鼠标模式”实锤?任天堂专利透露了Joy-Con的新功能 电脑软件:硬盘信息检测工具 HD Tune Pro v6.00 介绍和使用教程 解码拼多多“新质供给”:产业带高质量转型的新电商实验 上海二手房买卖最新费率:个税,增值税,契税一览 房价若继续下跌,41.5%家庭或迎来“4大难关”,今明两年情况如何? 2025一季度最具性价比的国产手机推荐 下一代宝马X5测试突生意外,深陷雪堆,揭秘新一代豪华SUV的设计 选车不纠结!日产轩逸、丰田雷凌、卡罗拉全方位大对比 2024年北上广最爱买什么车型?特斯拉Model Y成最大赢家 比亚迪多车已支持 博主:双枪充电含金量在25年会不断提升 乐道汽车春节服务:将有1200座换电站投入运营 法媒:关税也不能影响中国电动车成为冠军 品牌年度销量TOP10榜,都说合资不行了,为何自主才4家? 车型年度终端销量排行:SUV、轿车前十油车占四席,MPV油车势危 全新林肯领航员亮相北美车展,车长近5.4米,配48英寸贯穿屏 上汽奥迪A5L路试曝光,溜背轿跑造型亮眼,还有无框车门? 体量惊人但没有像素灯,问界M8无伪装实车曝光,会是爆款吗?