奥飞寺的鱼和羊

量子比特 | 官方账号

小红书变了。

你以为还是关于“美丽”和“时尚”的，但现在社交媒体上，很多关于小红书的评论让人有些吃惊。

看上去有点“搜索引擎”的味道。

发生了什么？

我们翻看数据发现，去年小红书科技与数字内容同比增长500%，体育赛事同比增长1140%，食品消费的DAU甚至一度超过美妆产品。

在小红书的首页，下拉菜单中有超过30个分类标签，烹饪教程、家居攻略、户外露营、旅游攻略、考研、公务员，甚至还有创业，内容之丰富，早已超越了它赖以生存的美妆行业。

一个比较有意思的数据是，小红书此前披露，高达30%的用户进入小红书后会直接进行搜索。

换言之，日益泛化的UGC内容正在不断冲击、突破小红书的社区内容领地，而由此引发的用户行为与外界对小红书的固有想象完全不同。

从外部来看，小红书的变化很大，从内部技术来看，它面临的挑战其实是成倍增加的。

内容的泛化、高频搜索，以及图片、文字、视频等不同模态内容的混杂，对搜索和推荐的优化提出了更高的要求。

此外，网民对于内容品质的要求日益提高，对平台和机器进一步把握用户心理的需求也越来越大。

那么，我们该如何应对背后日益复杂的搜索和推荐机制呢？

内容社区中的多模式挑战

作为国内为数不多的包含大量图片、文字和短视频混合的内容社区，小红书给出的关键词是：多模态学习。

所谓多模态，是指文本、图像、声音等不同的信息呈现形式。

多模态学习的目的在于建立一个能够结合不同类型信息的统一模型。

简单来说，一旦AI能够整合图像、文字等不同形式的信息，那么“理解”就更进了一步。

这还会达到以下效果：

让AI按照“天空中的天使，虚幻引擎效果”的提示进行绘制，它会给出如下的答案。

如果AI读文、画图还让人感觉“意犹未尽，却印象深刻”，那么多模态技术对于互联网产品来说更现实的意义又在哪里呢？

近日，小红书技术团队举办了一场AI公开课，分享了对多模态算法的探索。这是一次很好的机会，可以一睹目前学术界大热的“多模态学习”与海量UGC内容的内容社区之间会产生怎样的化学反应。

多模态搜索

我们先来看一下搜索。

当打开小红书搜索结果页时，App还会向用户推荐更多相关搜索词：

过去，这些查询词都是纯文本的形式。

在应用多模态技术之后，这些查询词现在有了更美观、更相关的“背景”，也就是说，AI会自动选取与查询词相匹配的模式，在搜索结果界面展示给用户。

可别小看这个简单的改变，小红书多模态算法组负责人唐申透露，加入该功能后，（独立访客点击率）和（页面浏览点击率）提升了2-3倍。

此外，多模态技术在搜索中的另一个关键体现是图像搜索。

搜索商品、植物、花卉等具体物品的图片并不罕见，但如果用户想搜索某种氛围或整体风格该怎么办？

这实际上对AI提出了一个新的挑战：复杂环境下的物体检测和识别。

△搜索表情符号

为了解决这个问题，小红书技术团队实现了离线构建和在线索引的能力，核心模块有三大块：

在前端模块，技术团队开发了多种多模态标签，涵盖目标检测、主体识别、商品属性、人体属性等多个维度。

在特征模块中，技术团队通过基于Norm的多任务学习解决了召回结果类别不一致的问题。

在分类模块中，技术团队利用从标题中提取的品牌词等OCR、NLP相关信息，整合多模态信息，大幅提升了检索准确率。

内容质量评估体系

如果说搜索方面的变化比较容易看出，那么多模态技术在内容质量评价上的应用则在更深层次上影响着小红书的整体“风格”。

从去年七八月份开始，在对各类笔记进行分类标注、构建纯分类多模态体系的基础上，小红书技术团队开始更加注重笔记内容质量评价体系的建立。

也就是说，让AI学会判断什么样的笔记更“有用”、更有审美价值。

为此，小红书技术团队列出了两个核心基础原子能力：

前文提到的搜索推荐词背景图其实就是基于这个基础能力实现的，另外依托这个内容质量评估体系还可以实现图片、文字、视频等不同类型笔记的结构化，搜索结果页去重等优化功能。

说了这么多，我简单总结一下，多模态技术在业务场景中的应用，对小红书的影响最大：让优质内容更容易被有需要的人看到，提升了呈现给用户的整体风格和内容美感。

这样，对于基于UGC的社区来说，用户和内容生产者之间会更容易实现正向循环，这对于整体的社区氛围无疑是有益的。

这也是其笔记内容越来越丰富，用户构成也越来越多元化的关键。

小红书为何改变？

前面提到，小红书“风格”的优化与整个互联网行业的新技术趋势息息相关。

如今，图文内容、短视频内容已经成为社交媒体的主流，传统的单一模式显然无法完整描述文字、图像、声音相互交叉的信息。

多模态特征信息的融合逐渐成为各类实际应用场景的新挑战小红书搜索下拉词，特别是在搜索、推荐等对内容理解要求较高的领域。

从场景和业务来看，小红书本身已经具备关键条件和迫切需求。

首先，从场景来看，小红书发布的内容以图片、文字和视频为主，天然蕴含着海量的多模态数据。

而且，这些多模态数据的背后，还有丰富的用户反馈数据。

其次，业务快速发展的小红书会面临各种各样的情况，比如用户发布的内容不仅涵盖美食、美妆、家居、科技产品等多个不同品类，还可能包括只有图片没有文字的笔记、有图片和音乐的笔记、没有标题的短视频等等。

这些新的挑战和独特的多模态应用场景也为多模态技术的实施提供了充足的空间。

从满足内部业务需求到出口到外部客户

事实上，为了应对用户需求的变化，小红书很早就开始了内部的技术积累，如今已经从内部满足业务需求，发展到了对外实现技术输出的新阶段。

比如今年小红书技术团队就获得了两篇CVPR论文，一篇涉及视频检索，另一篇涉及视频内容理解。

而且就在这两天，小红书还对外开放了“AI公开课”，来自上海交通大学、北京航空航天大学、上海科技大学的博士生导师、教授均参与其中，着实引起了学术界的极大关注。

本次以“我们来了”为主题的线上直播，重点关注多模态在学术界和产业界的最新发展趋势。

在4月20日的活动上半场，北京航空航天大学教授、博士生导师刘思，上海科技大学信息学院副教授、博士生导师高胜华，上海交通大学电子信息与电气工程学院副教授、博士生导师谢伟迪，小红书多模态算法组负责人唐申等分别就多模态内容理解相关技术进行了分享。

除了前文提到的小红书多模态技术实践细节外，还有《AI+音乐》、《跨模态图像内容理解与视频生成》、《自监督学习在多模态内容理解中的技术与应用》等多场实践分享。

专家们还针对多模态研究中产学研合作的现状分享了许多精彩的观点。

谢维迪老师表示：

“每种模态都包含不同的不变性和共存性。例如，在文本中，当我们提到“吉他”时，它可能在视觉上对应着成千上万种不同的吉他。当我们听到狗叫时，有很大概率我们也会在视觉上看到这只狗。”

因此合理利用不同模态数据的特点进行协同训练，可以实现更高效的表征学习，并推广到下游的推理任务。”

“弱相关的数据集只是相关性问题。没有所谓的弱相关性。如果你做机器学习，它必须从输入到输出，你只是在中间学习一些东西。”

“模式之间的错位一定不能是弱相关性，一定要有强相关性，否则网络就学不到。当然，我们现在尝试做因果关系，我们想到的因果关系大部分都是由相关性决定的。”

当然，除了内容理解之外，随着多模态学习研究的蓬勃发展，AI内容创作，也就是包括数字人技术在内的多模态人机交互也备受关注。

比如最近一款名为“by”的AI文本阅读和图形绘制工具，连续多日位居图形设计领域榜单首位。

这也是小红书正在探索的另一个多模态技术方向。

因此《Here 》下半场的技术分享将围绕“多模态的理解与创作”展开。

有兴趣的话，4月27日一起加入【小红书技术团队】视频号的直播吧~

-超过-

量子比特

追踪人工智能技术和产品的新趋势

一键三击“分享”、“点赞”、“观看”

科技每天都在进步~