社区指南：本文是美丽说技术团队对搜索关键词提示的算法和技术实践，你会发现它和基础的Ajax有着本质的区别。

搜索下拉框又叫搜索提示、搜索下拉推荐、QAC（） 。本质上是指搜索引擎系统根据用户当前的输入，自动提供一个候选列表给用户选择。这些推荐一般会从日志中挖掘出大量的候选词，保持前缀不变，然后按照一定的规则给候选词计算一个评分，最后选取前10个作为最终结果。

搜索下拉框已经是搜索引擎、广告竞价平台的标配产品，可以帮助用户明确搜索意图，减少用户输入节省搜索时间，对提升搜索体验起到重要作用。各个搜索系统中下拉推荐的处理流程基本相同，区别主要在于后台候选生成机制不同。下面介绍几种常用的下拉推荐算法：基于全量日志的自动补全模型、基于时间序列的自动补全模型、基于用户信息的自动补全模型、基于上下文的自动补全模型。

1.常用算法介绍

1 基于全量日志的自动补全模型

最常见的算法是MPC算法，又称Most。算法流程如下：

构建好索引之后，如何排序呢？简单的逻辑就是按照搜索次数排序，这也符合大多数人的习惯。计算公式如下：

但是这种方法有一个很大的缺陷，推荐结果往往集中在少数热门的上面，长尾得不到展现的机会。在蘑菇街的应用中，我们前期对这种方法进行了修改，在海量日志中，统计一段时间内每篇的PV、点击量等数据，一是根据搜索次数、GMV变化率、点击率、多日数据的贝叶斯平滑等指标做加权融合。二是考虑静态得分，那么什么是静态得分呢？静态得分是一个综合的质量指标，这个指标拟合了各个维度的知识：比如PV、CTR、交易转化率、交易笔数、交易金额、召回商品数等。由此，建立了以转化率为目标，以用户行为为特征的LR模型。该方法不仅考虑了用户的历史点击信息，还考虑了用户的交易信息，使得具有良好交易行为的用户获得更多的展示机会，大大降低了低质、作弊展示的概率。

2 时间敏感的自动完成模型

考虑时间敏感推荐的原因是用户的搜索行为是随时间变化的，不同的用户在搜索时有不同的侧重点，即用户在不同时间点有不同的查询倾向（其实不同用户在同一时间点的查询倾向也是不同的）。分析时间因素对用户搜索行为的影响，为用户提供符合时间趋势、季节性、周期性的查询词，将大大提高用户搜索效率和用户搜索满意度。主要方法是利用时间序列进行预测，例如Holt-指数平滑模型：

这里考虑了水平、趋势和季节的影响。

是时间 t 时的值，

表示预测的频次值，需要注意的是，大部分电商词汇的时效性不是很强，一般在换季期间比较热门，我们主要分析用户的自主搜索，相对熵和新词的计算是基于用户一周内的自主搜索记录，作为时效性词汇的补充。

3 基于用户信息的自动补全模型

这里需要结合用户的一些信息进行推荐。根据用户的行为，识别用户的意图并对用户进行分析和建模。比如识别用户的年龄，性别，购买力，短期和长期的偏好。结合前面的初步排序结果，再次进行个性化的建模和推荐。这里有两个步骤：1）计算用户和的相关个性化特征。2）建立合理的评价机制，学习并计算这些特征的权重。我们这里采用的模型是LR，评价指标是AUC。需要注意的是，用户行为往往是稀疏的，需要挖掘更多其他场景下的用户行为进行计算。这里遇到的问题是蘑菇街用户的性别比例特别不同，年龄段比较集中，购买力差不多，风格也大多相似，所以这些个性化的信息并不能达到很好的效果。更有价值的是用户的点击反馈和其他场景搜索记录，从而获得用户对的喜好程度。另外一个需要解决的问题就是过度个性化的问题，很容易陷入搜索的闭环，这里我们并没有做过多的分析，基本上是综合了其他一些模型来规避这个问题。

4 基于上下文的自动完成模型

通常会考虑用户的上下文，而上下文通常是相关的。所以一个简单的想法就是将用户的上下文和候选词映射到一定的空间，然后计算每次初选和上下文的相似度，越相似越能表示当前用户的搜索意图，得分越高排名就越靠前。问题是：1）如何将上下文和候选词映射到同一个空间？2）映射之后，如何计算他们的相似度？类似搜索引擎，我们把 视为 ，而候选词视为 ，那么这个问题其实就是一个匹配问题。因此 和 可以表示为词向量，而相似度的计算就可以使用最简单的计算来进行。问题是如何获取向量呢？我们主要使用分词法，就不详细讲解了。

比如用户搜索‘nike ’，我们计算出nike 和的相关性最高，那么用户下次输入的时候应该会提示，这跟我们的预期是一致的。同时，如果我们观察用户的数据，需求基本都是一些带有趋势性的意图。当然，除了以上这些上下文相关的方法，也应用了一些深度学习的方法，具体可以参考下面的问题，这些方法的对比如下：

在实际应用中，我们一般会把多种策略算法结合在一起使用。

二、一些做法和问题

1 下拉框的数据流

目前蘑菇街下拉框的数据流程如下：

我们将数据生成过程分为三个阶段：召回、模型排序、个性化。三层解决不同的问题。召回层主要解决丰富度问题，排序层解决模型匹配和相关性问题，个性化解决语义重复和个性化偏好问题。在召回中，我们首先根据过去一周的表现计算一个转化率得分，形成候选集。

同时，我们引入了一些新的长尾词和趋势词到池子里，这些词覆盖了绝大多数叶子类目和流量。因为下拉框的作用是提供搜索提示，常用的规则是前缀匹配，根据用户的搜索意图完成，由于不同的用户搜索词，结果不一样，这就涉及到一个匹配的问题。我们搭建了一个索引结构。

扁平的存储结构涵盖了用户拼音、汉字、拼音+汉字+缩写等搜索习惯的千万级搜索结果，这些结果明显是稀疏集，至于为什么要用这些结构，一个好处就是查询方便。

我们尝试了几种方法来对模型进行排序。主要思想是

挖掘出相应的特征，特征和索引特征，可以得到搜索和点击相关的统计特征，还有一些文本特征，比如索引和编辑距离，DBOW向量等，可以转换成格式来调用并计算排序。尝试过-mart- -grid 等多模型优化，现在用得比较多的是根据hred模型计算不同条件下的文本相关性得分，对已有的得分进行加权融合排序。

个性化层做了两点尝试，语义过滤是为了解决推荐结果意图重复的问题，根据重复的召回结果、同义词、子串进行过滤；个性化排序则是根据用户偏好、文本相关性进行重新排序。

2 一些问题和想法

这里我把我遇到的一些问题和想法列出来，可以作为讨论的切入点，具体细节就不多说了，欢迎大家交流。

2.1 搜索和候选人有什么联系？

目前和之间的联系仅仅是他们的前缀相同，这种简单的动态特征并没有将和紧密结合起来，静态特征和动态特征的结合都是基于线性加权的。为了建立两者之间的联系，我们考虑了和的一些特征，在模型中经历了从 到 ()的转变。下拉提示结果是一个列表，当用户选择点击下面时，认为这个词更能满足用户的需求，因此上面的推荐可以作为负样本，从而利用模型进行计算。另外一个考虑文本相关度的联系。用用户记录将词表示为向量，这里参考了模型，计算用户搜索词和推荐的相关度，并进行加权下拉框搜索词，调整已有结果的排序。这两者都可以实现一定的好处。

2.2 如何创建索引？

什么是索引？索引就是同一个搜索前缀下，具有相同前缀的推荐结果的集合。索引的用途就是前缀匹配的应用。由于用户搜索结果是未知的，我们本质上需要给出所有的推荐结果。由于支持拼音、中文和缩写输入和混合，索引结构会非常庞大，存储和计算会占用很大的开销。实际上，用户经常搜索的词是有限的，所以索引集会非常稀疏。最重要的是如果索引很大，同一个前缀下的推荐结果会非常多，匹配效率会降低。为了解决这个问题，我们需要更好的索引形式，比如trie树。但之所以还是采用并行对索引结构，是因为词数有限，构建样本和后续计算更方便。当然，除了前缀匹配，还有其他的触发逻辑可以选择，淘宝就做过长尾模糊匹配的触发器。在整个下拉框项目中，索引的建立是至关重要的环节，不仅能满足用户的需求，还能提高匹配效率。

2.3 相关性和语义问题？

在实践中下拉框搜索词，无论采用哪种方法，我们总会遇到推荐结果词比较集中的情况。比如搜索白鞋，推荐的词是女白鞋、女童白鞋。本质上，这个结果有重复语义，浪费了一个位置，我们需要做出选择，进行过滤。目前的方法有同义词计算、编辑距离、引擎召回商品判断等。还有一个需要考虑的问题是，推荐是否需要增量出现？需要分析用户的意图是否明显？如果不明显，增量后缀能不能代表用户的需求？因为如果下拉框中前几个词太长，后面很短，会不会影响体验和用户选择？

2.4 深度学习在下拉框中的应用

随着深度学习的火爆，一些算法比如RNN，CNN也开始涌现出来。在下拉框中的应用主要有两种，第一种是文本表示，计算相似度和文本相关度来构建向量。第二种是我们参考了A-for-，利用信息计算和上下文匹配点对结果进行排序。结构上采用了目前比较流行的GRU变种百度搜索联想词每个人一样吗★64xl.com下拉技术教程，百度搜索框下拉，我们花了一周的时间进行模型训练，迭代了数百万次，从效果上看，对提高点击率有一定的作用，推荐结果也比较合理，具体可以参考这篇文章。

2.5 结果衡量与目标调整？

对于前缀和，同一个前缀下的结果本身就保证了一定的相关性。对于操作性评估，无法量化哪个排在第一位或者最后一位。在评估一些推荐结果时，我们无法给出最优的集合。按照定义，ndcg本身是有偏的。另外根据前缀是否被点击或者交易，本身稀疏性就特别大，一些没有出现的结果就没有曝光机会，造成偏差。从全局来看，它代表了一定的趋势，但是

弱化了以下几个功能，好的样本影响最终的优化方向和评价，以下需要根据CTR、CVR或者GMV率来评估和设计。

2.6 是否需要个性化的移动搜索？

用户在搜索的时候，肯定会有一些个性化的需求，有些是内含的，比如女长裙，里面包含了季节、性别、喜好、商品词等需求，有些是隐含在之前的搜索记录和反馈中的。对用户来说个性化无非就是考虑用户之前的行为，理解并转化用户的搜索意图。我们在这方面做了一些尝试，大概的思路是在初步结果的基础上，融入个性化的信息，常见的例子就是淘宝对用户搜索历史的权重。需要注意的是，个性化引导是否会导致过度个性化？

2.7 搜索的封闭性和丰富性？

从用户角度来说，搜索结果应该包含用户所有的搜索意图，类别越丰富越好。而对于整个推荐结果来说，我们的推荐结果是不是越来越集中了呢？所以需要考虑用户的流量和分布，以及它们之间的转化。这些监控指标可以帮助平台更好更健康的发展。

参考

[1]CH - 和 M.. 登录。在 -EDBT 2004、2005。

[2],.时间自动机[A].第35届ACM会议[C].:ACM,2012.601-610.

[3],. 第20届万维网[A].[C].:ACM,201.107-16.

[4]M. . to auto-. In '13, 103–112, 2013.

[5]B. . 和 . 在第 38 届 ACM 上和 中，3-12。ACM，2015 年。

[6]A.、Y.、H.、C.、J. Grue 和 J.-Y.Nie。A-for-。第 24 届 ACM 论文集，553–562 页。ACM，2015 年。