京东购物搜索介绍

京东商品搜索引擎是搜索与推荐部门自主研发的商品搜索引擎（注：与雅虎渊源颇深），主要功能是为海量京东用户提供精准、快速的购物体验。目前主要入口包括PC/手机/微信/QQ搜索、手机列表页、店铺搜索、店铺列表等。虽然才上线没几年，但系统已经可以支撑日均PV过亿的请求，并在618店庆、双11等大促期间经过多次测试。

与人们日常使用的百度搜索引擎相比，京东的商品搜索引擎既有“覆盖海量数据”“超高并发查询”“超快请求响应时间”等相似之处，也有自己显著的业务特点：

因为需要兼顾大型搜索引擎的通用需求，同时又要满足京东的业务特点，所以我们将系统架构分为四个部分：1.爬虫系统，2.离线信息处理系统，3.索引系统，4.搜索服务系统。

为了使大家能够深入了解京东商品搜索引擎的架构，本文首先介绍了商品搜索的整体架构，然后对爬虫系统、离线信息处理系统等各个部分进行了介绍，并展望了搜索技术的最新研究方向，希望对读者有所帮助。

各位来宾，你们就看这些吧，接下来我要开始展示我的先进技术了，你们可以直接坐电梯到楼下看成果。

************************优雅的分割线****************************

我们的电商服务平台合作伙伴京东搜索技术负责人陶涛：

总体架构

京东商品搜索引擎整体架构从上到下分为三层，最上层为搜索前端UI层，负责页面展现。

中间层由搜索索引服务、SUG搜索、相关搜索、词语标记服务和备份服务组成。其中SUG搜索提供输入框下拉提示词语的功能；相关搜索提供其他相关搜索词语服务；词语标记服务提供移除部分词语的功能；备份服务用于在索引服务出现异常时提供备份，保证用户基本搜索可用。

最底层是索引生产端，主要功能是连接商品、库存、价格、促销、仓储等诸多外部系统，整合相关数据生产全量和增量数据索引，为在线检索服务集群提供全量索引和实时索引数据。

履带系统

商品搜索引擎的核心是构建商品索引，这需要详细的商品信息数据。我们利用大数据平台的数据库抽取接口和中间件系统，实现了站内商品爬虫系统，从数据库中提取商品信息，及时发现商品信息的变化。从实际使用效果来看，爬虫系统非常稳定可靠。

离线信息处理系统

离线信息处理系统的主要功能是为商品搜索引擎建立待索引数据，包括全量待索引数据和增量待索引数据。

目前，全量待索引商品数据是每日更新的，一部分是商品基础属性信息，如商品sku、商品名称、颜色、规格、款式、材质等，这些信息比较稳定，短时间内不会发生变化；另一部分是商品销售信息，如商品销量、销售额、评论等，这些信息属于可变数据。这些数据分散在多个系统中，使用不同的存储，因此需要将这些分散的数据在商品维度上进行合并，生成“全量待索引宽表”。我们建立的全量待索引宽表不仅用于搜索引擎服务，还可用于个性化推荐等其他商品服务。但仅仅生成宽表并不能满足搜索引擎的索引需求，所以我们利用/计算框架对宽表数据进行清洗，并根据离线业务逻辑规则对数据进行二次“加工”，最终生成全量待索引数据。

有些商品信息，如“价格”、“库存”、“上架下架”等，是经常变化的，全量索引无法满足商品搜索引擎的需求。为了满足数据实时性的强需求，我们建立了增量索引作为全量索引的补充。在具体细节上，采用与全量索引类似的方法处理数据，生成待索引的增量数据。为了保证增量数据的时效性和准确性，离线信息处理系统会实时调用各个商品信息接口获取数据，完成待索引增量数据的在线组装和制作。

索引系统

索引系统是商品搜索引擎的核心，主要作用是将商品维度存储的待索引数据转换为关键词维度存储的数据，供搜索引擎上层服务调用。这里的待索引数据是指全量待索引数据和前期离线信息处理系统产生的增量待索引数据。

本系统对全量数据和增量数据的处理方式相同，只是处理的数据量不同。一般全量数据索引由于数据量较大，使用 / 进行；实时数据较少，所以使用单机进行索引制作。

为了满足分布式检索的需求，索引系统还会对索引数据进行分片（），即将索引数据按照一定的策略拆分成更小的索引碎片，以供搜索服务系统调用使用。

搜索服务系统

搜索索引服务系统的主要功能是接受用户请求并进行响应，返回搜索结果。搜索服务系统的发展也经历了从无到有，从简单到丰富的过程。主要分为以下几个阶段：

作为高并发系统，为了保证高召回率和低响应延迟，我们将整个搜索服务流程放在内存中进行计算。同时处理多个并发处理请求，同时采用内部单线程池技术，即所有线程共享倒排索引和商品属性信息，提高内存使用效率；每个查询采用独立线程串行执行，保证多个并发查询线程互不影响。另外，通过合理设置线程池大小，可以保证系统的CPU资源得到充分利用。在以上两方面对系统进行优化后，整个搜索服务系统的稳定性、召回率、内存使用率、计算速度等指标都有了很大的提升。但是，我们并没有停止对系统的改进，因为通过实践，我们发现基于内存和线程池的搜索服务还存在几个瓶颈亟待解决，主要包括：倒排索引的拉取、排序和在线业务处理。

2. 截断策略

对于一些热门查询，结果非常多，比如“男装”、“鞋子”，原始查询结果有几千万条，如果一条一条处理这些结果，性能会非常差。同时从用户角度看，一个查询只有靠前的结果对用户才有意义，通过分析用户翻页次数，我们可以得到截断保留的topN个结果。如何保证截断不影响用户体验呢？首先我们为商品建立一个离线模型，即为每个商品计算一个质量分数据。然后在索引阶段，将所有商品按照质量分降序排列，保证倒排链中前面的商品质量分始终高于后面的商品。在从前向后在线拉倒排链过程中，如果结果数达到10*topN，则停止拉倒排链。然后计算结果的文本相关度，再根据文本相关度选取topN，截断算法上线前后，虽然KPI指标没有明显变化，但是大结果查询的性能提升了一个数量级。

3. 均匀分片策略

从整体架构图上我们可以看到，如果我们将某个 term 的倒排索引均匀划分，那么对应 term 的倒排索引也会均匀分布到各个列上。由于各个列是并行计算的，这样的均分操作可以大大降低每个查询的平均响应时间。理论上，我们采用的均匀分片策略对于拉取倒排索引、排序、在线业务处理等 CPU 密集型任务也是有效的。但是分片的增加会导致硬件成本的增加，集群节点间的通信成本也会增加，需要进一步权衡。

4.业务优化

京东的搜索业务不仅仅基于上面介绍的策略和工程逻辑，还需要融入很多的业务逻辑。由于几乎每一次搜索都会召回很多结果，如果业务逻辑处理不好，也会导致搜索体验不好。这个问题没有通用的解决方案，但是通过实践我们总结出了一个基本原则：尽量将业务逻辑在离线阶段完成，减少线上计算量！比如在进行搜索排序时，我们需要根据用户的搜索历史（浏览、点击、购买等）来调整召回结果的排序。在工程实现中，我们会先统计每个展示商品下所有用户在同一订单下的线下行为，然后建立模型计算该订单下每个商品的权重并以哈希结构存储；在线排序时，直接以+商品id作为key，取出权重作为反馈特征参与综合排序。

说说搜索的难点吧：

【查找树生研究院地图】

品牌权重

行为

今年有很多读者对京东的搜索结果给出了反馈，当你搜索一个关键词，我进入到产品页面，然后点击该产品下的其他热销包和其他产品，最后对第一次点击的那个产品下单。最后，什么产品赋予了这个行为的权重？

答：这个是根据你上次下单的SKU的搜索反馈、销量、转化率权重计算出来的，但是其他SKU有点击行为，所以有UV反馈点，也有点击反馈点。

那么如果我搜索一个关键词，然后点击一个品牌，最后点击该品牌的一个产品，然后将其添加到购物车，这个产品的反馈是如何计算的？

答：如果进行了这种操作，是会算在品牌分配权重里的，同时也会计算搜索反馈分数，因为有搜索动作，只要你下单后，购物车的URL地址栏里有这个SKU，没有转移到别的SKU，那么品牌和搜索反馈都会计算。

账户操作

京东在风控中心有专门的黑名单账户整理和算法筛选，每个月都会有大量账户加入黑名单，配合备选黑名单进行账户的良性筛选，如果你的账户有异常购买，就会被过滤。那么如果你用一张银行卡去不同账户支付，会被筛选吗？京东目前对接的是银行系统，只能回切交易号，无法对接个人信息保密证书协议，所以不用担心一张卡多次支付权重很小，这是不合逻辑的。

回购行动

账号或者ID复购的情况是否计算两次，这点我需要解释一下。如果你通过搜索反馈完成一笔订单移动端关键词搜索下拉，那么你可以获得1.搜索权重 2.加入购物车权重 3.点击权重 4.销售权重 5.转化率权重。这个对于一笔正常的订单来说是一个累计权重因素。如果你的账号在30天内做过同样的事情，那么搜索权重、销售权重和转化率权重就不会被计算，但是会包含其他人气权重，但是排名不会有太大波动。但是如果你的账号在30天后又进行了购买，那么这个权重就和第一笔订单的权重一样了。

购物车行为

越来越多人觉得购物车的行为追踪无效，我觉得那是因为你的资源使用行为被过滤了，京东的过滤行为现在不算过滤订单完成行为，正常情况下也会监控一些流量行为，可以过滤异常流量。但是移动端目前做不到规律性，所以很多商家都转向移动端做引流，如果能在PC端做就更好了。那么一个关键词可以直接通过搜索展示页加入购物车，或者点击后直接加入购物车，那么这个UV的价值就体现出来了，而且这个商品的人气分也因为这个行为大大提升了。你的资源一定要测试后才能使用，如果测试不通过，再继续操作。

*****************************假装完成********************************

问题：这个人负责什么？搜索行为日志是否需要在这里提交，以便后续操作进行搜索行为分析？

答：OP是处理人工干预搜索的搜索运营服务。

Q：实施搜索结果干预，算是垂直搜索还是独立系统？如果是独立系统，是不是不考虑每个广告的排名？

答：它是一种广告服务，独立的系统，内部排序，并按顺序穿插在搜索结果中。

问：算法的转化率如何跟踪？搜索系统是否应该建立独立的跟踪系统还是由全站的跟踪系统支持？

答：该算法的转化率是通过站点范围的跟踪系统来跟踪的。