作者：王春明，现任京东搜索平台部负责人，2011年加入京东搜索团队，期间一直负责京东搜索引擎的研发工作，主导过多次搜索架构升级，确保满足京东发展需求，擅长搜索引擎、高性能服务开发、分布式系统架构等。

京东购物搜索介绍

目前的京东商品搜索引擎是搜索与推荐部门自主研发的商品搜索引擎，主要功能是为海量京东用户提供精准、快速的购物体验，主要包括PC/手机/微信/QQ搜索、手机列表页、店铺搜索、店铺列表等。虽然上线才几年，但系统已经可以支撑日均PV过亿的请求，并在618店庆、双11等大促期间经过多次测试。

与人们日常使用的大型搜索引擎（或“全文搜索”）如、百度相比，京东的商品搜索引擎既有“覆盖海量数据”“超高并发查询”“超快请求响应时间”等相似之处，也有自己显著的业务特点：

因为需要兼顾大型搜索引擎的通用需求，同时符合京东的业务特点，所以我们将系统架构分为四个部分：1.爬虫系统，2.离线信息处理系统，3.索引系统，4.搜索服务系统。

为了让读者能够深入了解京东商品搜索引擎的架构，本文首先介绍了商品搜索的整体架构，然后依次介绍了爬虫系统、离线信息处理系统等各个部分，并展望了搜索技术的最新研究方向，希望对读者有所帮助。

总体架构

京东商品搜索引擎整体架构如下图所示：

从上到下共分为3层：

最上层是搜索前端UI层，负责页面展现。

中间层由搜索索引服务、SUG搜索、相关搜索、词语标记服务和备份服务组成。其中SUG搜索提供输入框下拉提示词语的功能；相关搜索提供其他相关搜索词语服务；词语标记服务提供移除部分词语的功能；备份服务用于在索引服务出现异常时提供备份，保证用户基本搜索可用。

最底层是索引生产端，主要功能是连接商品、库存、价格、促销、仓储等诸多外部系统，整合相关数据生产全量和增量数据索引，为在线检索服务集群提供全量索引和实时索引数据。

履带系统

商品搜索引擎的核心是构建商品索引，这需要详细的商品信息数据。我们利用大数据平台的数据库抽取接口和中间件系统，实现了站内商品爬虫系统，从数据库中提取商品信息，及时发现商品信息的变化。从实际使用效果来看，爬虫系统非常稳定可靠。

离线信息处理系统

离线信息处理系统的主要功能是为商品搜索引擎建立待索引数据，包括全量待索引数据和增量待索引数据。

目前，全量待索引商品数据是每日更新的，一部分是商品基础属性信息，如商品sku、商品名称、颜色、规格、款式、材质等，这些信息比较稳定，短时间内不会发生变化；另一部分是商品销售信息，如商品销量、销售额、评论等，这些信息属于可变数据。这些数据分散在多个系统中，使用不同的存储，因此需要将这些分散的数据在商品维度上进行合并，生成“全量待索引宽表”。我们建立的全量待索引宽表不仅用于搜索引擎服务，还可用于个性化推荐等其他商品服务。但仅仅生成宽表并不能满足搜索引擎的索引需求，所以我们利用/计算框架对宽表数据进行清洗，并根据离线业务逻辑规则对数据进行二次“加工”，最终生成全量待索引数据。

有些商品信息，如“价格”、“库存”、“上架下架”等，是经常变化的，全量索引无法满足商品搜索引擎的需求。为了满足数据实时性的强需求，我们建立了增量索引作为全量索引的补充。在具体细节上，采用与全量索引类似的方法处理数据，生成待索引的增量数据。为了保证增量数据的时效性和准确性，离线信息处理系统会实时调用各个商品信息接口获取数据，完成待索引增量数据的在线组装和制作。

索引系统

索引系统是商品搜索引擎的核心，主要作用是将商品维度存储的待索引数据转换为关键词维度存储的数据，供搜索引擎上层服务调用。这里的待索引数据是指全量待索引数据和前期离线信息处理系统产生的增量待索引数据。

本系统对全量数据和增量数据的处理方式相同，只是处理的数据量不同。一般全量数据索引由于数据量较大，使用 / 进行；实时数据较少，所以使用单机进行索引制作。

为了满足分布式检索的需求，索引系统还会对索引数据进行分片（），即将索引数据按照一定的策略拆分成更小的索引碎片，以供搜索服务系统调用使用。

搜索服务系统

搜索索引服务系统的主要功能是接受用户请求并进行响应，返回搜索结果。搜索服务系统的发展也经历了从无到有，从简单到丰富的过程。主要分为以下几个阶段：

完整的搜索索引服务架构如下图所示：

搜索请求流程如下：

外部请求通过vip到达；

调用QP，QP调用运营平台，其中运营平台主要负责服务日常运营数据，QP负责分析；

同时请求和其他垂直搜索服务；

调用获取用户标签信息；

向每一列发送请求；

每件召回的产品均退回；

将多列的结果进行合并，确定需要输出的商品，并请求对应的商品信息进行包装；

包装产品信息返回；

将包装好的货物退回至；

返回的结果和其他垂直搜索结果合并，最终返回到前端。

、 、 是整个系统的核心组件，它们之间的调用关系通过 进行管理。各个模块将自己的服务注册到 ，同时通过订阅其调用模块的信息来确定实际的调用关系。

简要的搜索服务流程如下图（搜索服务系统内部处理流程）：

图中的术语解释如下：

用户请求发送到 ，先解析参数，若页面命中则直接返回给用户，若不命中则调用运营平台服务（OP）和QP，传递给 ，会检查Attr是否命中，若命中且只请求属性汇总结果则直接返回给 ，否则进一步检查页面是否命中，若命中则直接调用封装返回给 ，若不命中则调用User获取用户标签传递给 （限于篇幅，图中只列出了一个，实际有多个）。 收到请求后判断doc是否命中，若命中doc则拉取增量结果；若不命中doc cahe则拉取全量和增量结果。然后依次进行排序和在线业务处理B站下拉框★64xl.com顶下拉删下拉，必应下拉框，并将结果返回给 。将多个结果进行合并、排序、在线业务处理，最后调用封装，最后将结果返回给，并将多个搜索结果合并返回给用户。

作为高并发系统，为了保证高召回率和低响应延迟，我们将整个搜索服务流程放到内存中进行计算。同时处理多个并发处理请求，同时采用内部单线程池技术，即所有线程共享倒排索引和商品属性信息，提高内存使用效率；每个查询采用独立线程串行执行，保证多个并发查询线程互不影响。另外，通过合理设置线程池大小，可以保证系统的CPU资源得到充分利用。在对系统进行以上两方面优化后，整个搜索服务系统的稳定性、召回率、内存使用率、计算速度等指标都有了很大的提升。但是，我们并没有停止对系统的改进，因为通过实践，我们发现基于内存和线程池的搜索服务还存在几个瓶颈需要解决，主要包括：倒排索引的拉取、排序和在线业务处理。针对这些问题，我们进行了二次优化，主要包括以下措施：

1.多级缓存策略

页面：由于搜索遵循互联网的80/20规则，20%热点查询的出现频率非常高，占到了每日搜索请求的80%。针对这个特点，一级搜索缓存以查询请求为key，将页面作为key返回给用户，对于相同的请求，则直接从缓存中返回结果。在刚上线页面缓存策略的时候，缓存命中率接近30%，基本解决了当时的性能问题。

页面：随着业务的发展，排序结果需要针对不同的用户做个性化设置，这就意味着请求中会包含用户pin。如果直接把用户pin作为key放进缓存，key的数量会剧增，不仅需要非常大的缓存空间，而且缓存命中率会极低，最终导致在线个性化服务的体验满意度下降。为了解决这个问题，会添加key，但是只保存排序后的商品ID，这样需要的缓存空间就小很多。当缓存命中时，再进行调用，直接打包结果。为了进一步提高缓存命中率，利用用户翻页的搜索习惯，即离线统计用户的翻页次数，然后将这些页面涉及的商品ID全部缓存到缓存中。从实际效果来看，用户后续的翻页请求大部分都会命中。

经过深入分析业务和排序需求，我们发现拉取倒排结果只和“查询词&过滤条件”相关，和用户无关，因此可以以“查询词&过滤条件”为key进行缓存。

虽然拉取倒排结果缓存这个关键问题很快就解决了，但是在解决存储问题时，我们遇到了两个问题：1）需要拉取的倒排结果太多，导致缓存过大；2）缓存这些结果会降低实时索引的时效性。

针对问题1），我们分析了业务后，精简了需要缓存的信息，并使用了压缩存储，最终将一条查询的缓存大小控制在0.5M以下。

针对问题2）我们将倒排结果拉取分为两部分，第一部分是从全量索引拉取的倒排结果，第二部分是从实时索引拉取的倒排结果。为了和全量索引的更新频率保持同步，我们将第一部分数据的缓存周期设置为1天。对于第二部分数据，由于增量结果远少于全量结果（一般增量小于全量的5%）百度移动端下拉词技术，因此每次缓存时都会进行实时计算，这就是图3中的doc机制。从实用角度来看，命中doc的响应时间比缺失要低1-2个数量级。后续随着增量结果的积累，如果实时拉取倒排结果成为性能瓶颈，也可以将增量索引分段进行缓存。

2. 截断策略

对于一些热门查询，结果非常多，比如“男装”、“鞋子”，原始查询结果有几千万条，如果一条一条处理这些结果，性能会非常差。同时从用户角度看，一个查询只有靠前的结果对用户才有意义，通过分析用户翻页次数，我们可以得到截断保留的topN个结果。如何保证截断不影响用户体验呢？首先我们为商品建立一个离线模型，即为每个商品计算一个质量分数据。然后在索引阶段，将所有商品按照质量分降序排列百度移动端下拉词技术，保证倒排链中前面的商品质量分始终高于后面的商品。在从前向后在线拉倒排链过程中，如果结果数达到10*topN，则停止拉倒排链。然后计算结果的文本相关度，再根据文本相关度选取topN，截断算法上线前后，虽然KPI指标没有明显变化，但是大结果查询的性能提升了一个数量级。

3. 均匀分片策略

从整体架构图上我们可以看到，如果我们将某个 term 的倒排索引均匀划分，那么对应 term 的倒排索引也会均匀分布到各个列上。由于各个列是并行计算的，这样的均分操作可以大大降低每个查询的平均响应时间。理论上，我们采用的均匀分片策略对于拉取倒排索引、排序、在线业务处理等 CPU 密集型任务也是有效的。但是分片的增加会导致硬件成本的增加，集群节点间的通信成本也会增加，需要进一步权衡。

4.业务优化

京东的搜索业务不仅仅基于上面介绍的策略和工程逻辑，还需要融入很多的业务逻辑。由于几乎每一次搜索都会召回很多结果，如果业务逻辑处理不好，也会导致搜索体验不好。这个问题没有通用的解决方案，但是通过实践我们总结出了一个基本原则：尽量将业务逻辑在离线阶段完成，减少线上计算量！比如在进行搜索排序时，我们需要根据用户的搜索历史（浏览、点击、购买等）来调整召回结果的排序。在工程实现中，我们会先统计每个展示商品下所有用户在同一订单下的线下行为，然后建立模型计算该订单下每个商品的权重并以哈希结构存储；在线排序时，直接以+商品id作为key，取出权重作为反馈特征参与综合排序。

搜索技术的新发展

基于目前的架构，我们正在进行一些新的探索，比如场景搜索、图像搜索等。

场景搜索

随着京东业务的拓展，用户可能不仅仅搜索商品，还会搜索促销信息。为了满足这些新的需求，我们将促销体系的数据融入到了现在的商品索引中，先在搜索引擎中加入对应意图的识别，再将促销数据转化为索引数据，只要识别到用户的查询意图，就会返回对应的结果。

图片搜索

传统的搜索只针对文本，但电商系统中的产品图像非常重要，很多购买决策都依赖于此。目前我们利用深度技术离线训练图像特征，并制作成索引。当用户使用真实照片或在线图片进行搜索时，同样采用方法提取特征，然后从索引中调出最相似的产品返回给用户。