图片|东方IC
* 专题,《伟大的时代》
支付宝团队不就像那个红漆雕塑吗?
一方面,我们要对科技保持敬畏与谦卑,另一方面,我们又必须逃命。
文 | 连然、董丽涵
编辑 | 董丽涵
形象设计 | 李彬才
采访 | 连然、董立涵
“双11”即将来临,但蚂蚁金服新园区里气氛热烈,人潮并不像往年那么匆忙。
进公园的时候,出租车司机左手稳住方向盘,右手比划着,说秋天是杭州最好的季节,当然春天也不错,阳光强烈,照在公园里的建筑上,把深沉的栗色玻璃映得清清楚楚。
关于这个新公园,仍有许多未知的事情。
每隔三分钟,就会有人把烟蒂放在2号楼入口左侧的垃圾桶上,发出吱吱作响的声音;访客大厅的女孩每天都会用罗望子和人参片泡四壶茶,12个玻璃杯倒过来,制服向右倾斜30度;公园里穿着橙色大衣的清洁工们则不停地清扫着落叶,他们每天工作8小时,分3班倒,推车上总是准备好3个喷雾瓶和1个保温杯;每个花坛里的箱子里,通常可以用竹夹子夹出三个烟蒂或者纸片。
这里秋季昼夜温差只有6摄氏度,但人们早晚总是穿着单薄的衣服;穿着外套的外卖小哥打电话时,话筒距离嘴巴20厘米,声音平均有70分贝;下午,很多餐厅员工蹲在门口抽烟,唯有星巴克客流不断。这里大蛋糕、迷你蛋糕的订餐时间是三天,收银员偶尔会用墨水笔把董先生标注成王先生。员工餐厅一天四餐,楼与楼之间还加排着餐厅,一共有18家餐厅。
楼内有占地一千多平米的免费健身房,私教价格只有外面的一半,穿着耐克跑鞋的女孩每天都会带着她的柯基犬同时使用两台跑步机,尽管她的身材无可挑剔。
当你在下沉广场和第四个人交谈时,穿着夹克的保安会盯着你,在你紧张之前询问你的身份。哦,你是记者。别介意。你只是在做你的工作。
这是耗资逾11亿元、占地18万平方米的蚂蚁金服新总部,设施齐全、功能齐全,堪比小镇,是NBBJ建筑事务所的作品,也被称为“蚂蚁Z空间”。
这个实力雄厚的综合体,容纳了杭州本地人和新杭州人,注视着他们的每一项创业、每一次创新,承载着数万人的财富与梦想,也记录着每一个人的骄傲与忐忑。
双11十年间,交易量的指数级增长不断挑战人们的想象力,快速扩张的背后,技术团队无数次经历过濒临极限的压力与焦虑。
想象与焦虑最初在蚂蚁金服技术团队中结成了一张网,并逐渐变成一个密实厚实的茧壳。从2010年至今的三四年间,人们在双11的消费线上总能感受到些什么。用户体验是卡顿的、不舒服的,但背后却是这些工程师与欲望和想象的博弈甚至挣扎,在很多接近焦虑极限的时刻不断突破桎梏。
2017年8月,蚂蚁金服正式启用了这个名为“Z空间”的新园区 | 图虫创意
“就为了这几十秒,值得吗?”
初秋的杭州,清晨十分凉爽。黄勇(花名:展毅)早早起来,和几位同事一起前往灵隐寺。这座千年古刹位于深山之中,一向人气旺盛。为宣传环保,黄勇免费发放香火。他要了三根香,点燃,然后祈祷。采访中,我问他拜的是哪位佛。黄勇皱了皱眉,随即笑道:“真不知道他是谁。”
烧香的心是真挚的,再说来许愿的人,也没几个愿望比他大的,作为今年双11付款保障的PM(项目经理),他要亲手处理这个事关亿万人民的每一个细节项目。
每逢双十一,蚂蚁金服项目组成员总会祭拜关二爷,穿上红内衣,换上红战袍,储几瓶红酒,烧几柱香。用陈亮(绰号俊毅,技术风险部研究员)的话来说,这是对技术的敬畏。
但其实,值得尊重的不仅仅是技术。双11作为一个细节复杂程度空前的项目,每件事的细节中都有无数随机的可能性,早已超出了人为可控的边界。黄勇能做的,就是制定“容灾”机制,尽力接近不可能的“确定性”。比如采访当天,黄勇刚给所有想在11月10日晚进光明顶(支付宝)的人发了“容灾”信息。双11作战室的一位成员发来邮件,仔细解读了“如果当晚电脑上打翻了茶杯怎么办”这个话题。
2012 年,负责支付宝双十一项目的产品经理从西安带回了一尊关公木偶,大家以为是新鲜事,纷纷奉上香烟、酸奶和水果。此后,每逢重要项目上线,总有人提前去公司请关二爷。创业邦参观蚂蚁金服时,作战室里摆着一尊关二爷铜像,供品也已摆好。请关二爷似乎开始带来好运。两年前,请我请铜像的同学在双十一时在公司中了大奖。
某年双十一,马云带着几个合伙人去西溪公园游玩,爬上光明顶(支付宝双十一作战室)的时候,一个女投资人惊讶的问,“你们工程师居然也赶上拜关公的风潮了?”俊逸只是笑笑,还是那句话,敬畏。
无论是信仰还是敬畏,双11显然是值得的,十年间,从最初一个几乎不可感知的促销活动,成长为一个不断突破想象的市场,在欲望、情感、责任和创造力的混合驱动下,成为极致的庞然大物。
2009年,第一个双11购物节单日交易额就超过5000万元,相比之下,支付宝当年的日交易额超过12亿元。“我记得有几十个品牌参加,感觉那是淘宝办的活动”,支付宝事业群总裁倪星俊(绰号苗人锋)回忆道。但他没有想到,谁也没有想到,从第二年开始,双11就开始刷新大家想象的极限,现在回头看增长曲线,它在某些年份保持着数字的增长率,线条确实很陡峭,但仔细想想,那一刻,未知和增长带给人心理的冲击力更加强烈。
在蚂蚁金服CTO程立(昵称鲁肃)的记忆中,2010年以后的双11,对支付宝技术团队来说是一次巨大的考验,就像电影《2012》里那样,那里面有一个巨浪,谁也不知道能不能顶得住,顶得住就顶得住,顶不住就没戏了。
这艘大船只能按照已有的想象提前建造,但应对巨浪时,需要临时补救随机的漏洞。随机意味着不确定性,巨大的随机性和不确定性进一步给团队带来更大的压力。程立记得,现任阿里云副总裁李金当时在阿里巴巴集团负责双11项目,“撑不住了,李金就会开车去龙井山,开着窗户睡觉,他说压力太大,需要氧气。”
2010年,迎来第二个双11的支付宝,经历了所谓的“4秒恐慌”。11日23点59分30秒,距离双11结束还有半分钟,支付宝核心账务系统突然报警,资源即将耗尽。当时,整个支付宝账务数据库还未进行任何拆分,一旦系统崩溃,所有业务将全部瘫痪,对淘宝和支付宝来说都是灾难性的损失。此时,距离数据库崩溃只剩下4秒的时间。
而对于技术本身来说,这在当时是一笔永远无法算清楚的账。
2012 年双十一之前,支付宝技术团队已经做了所有可能的压力测试,但当晚的高峰期出了问题。运营工程师龚杰(昵称袁岳)记得,后端的一条数据通道设置的阈值过低,导致短暂断网,但系统判断它没有响应,自动移除了它。随后服务器相继宕机,“像雪崩一样,交易抖动了几十分钟”。直到系统降级、切断部分流量,才恢复正常交易。据程立介绍,保险丝的钨丝被高频交易烧断了,临时用一根铜丝处理。
此时系统过于庞大、复杂,人力无法进行充分有效的测试。龚杰说,因为前两年数据库承受不住压力,2012年在应用、DBA层面做了大量压力测试。但最终导致问题的是尚未跨过的“路口”。
采访中,俊逸苦笑称,自己每年双11都信心满满,但同时也每年都担心,在双11压力最大的那几年,整个支付宝技术团队每年都会花上几个月甚至半年的时间“练兵”,做各种技术架构调整、系统测试。俊逸最初也曾怀疑,整个团队花费了大部分的时间和精力,只是为了贡献双11巅峰时的那几秒钟。
“一定要这样吗?”
“这值得么?”
但时间会赋予一切未知事物终极意义,双11正是时代产物,意义逐渐扩大。“当时淘宝是我们最大的客户,我们要服务好它”,张俊毅说。马云早年曾说,除了客户关系,淘宝天猫和支付宝更像是夫妻关系。也正是在淘宝天猫业务的压力下,支付宝团队的技术能力得到了前所未有的激发。这位工程师毫不掩饰,自己加入蚂蚁金服最核心的吸引力就是双11。“对工程师来说,没有比双11更值得挑战的项目了。”
龚杰后来才知道,信用卡团队在实验室环境下实现的每秒几万笔的峰值交易量,早已被支付宝在实战中远远超越,达到了每秒25.6万笔。
据资深技术专家李政(昵称倪衡)介绍,技术团队对近几年双11的48小时工作量做了非常详细的分解,“我们做了非常详细的操作手册,很多步骤,你需要在不同的时间点去执行。”
除了技术,双11是一个更大范围内涉及不同部门、团队、公司的巨大协作体系。蚂蚁金服集团副总裁陈亮(昵称关胜,品牌与公共传播部负责人)记得某年双11晚上10点左右,某大型国有银行交易系统中的百万订单号亮了,后续订单无法生成。于是在那天晚上的最后两个小时,银行的所有订单都“总会有你无法预见的问题,我们把所有准备都做好了,剩下的只能见招拆招了。”
“想想看,这就像是一枚火箭起飞,”倪星俊敲着桌子说。“有那么多的软件和硬件技术环节,那么多的零部件需要组装和拆卸。在设计和制造过程中,我们只能穷尽人类大脑所能想到的一切可能性进行测试,但在点火的那一刻,你只能等着看它是顺利成功还是当场爆炸。”
倪行军认为,无论是技术人员拜关公、烧香,还是公关团队的应急预案,都证明了蚂蚁金服团队对双11的敬畏。2013年5月,支付宝拆下了最后一台IBM小型机,随后逐渐自主研发数据库来替代它,完成了IOE项目。如今,双11对蚂蚁金服来说,已经不再仅仅是一个技术项目,更像是一个社会项目。程立称,如果将其定义为一个明确的组织理念,可以称之为“连贯的、社会化的技术协同”。
鲁肃在双11作战室(程莉)| 图片由受访者提供
敬畏地狂奔
蚂蚁Z空间的建筑保持着怪异的几何形状,像一个屁股突出的Z,又像一个舞动的混凝土巨人。但与外面怪异的建筑设计和混乱的人流形成鲜明对比的是,建筑内部是一排排密集排列的大门和文件机,建立了坚实的秩序和出入流程。外面,一尊巨大的红色人体雕塑朝着入口鞠躬,姿态卑微却气势磅礴。
支付宝团队不就像那尊雕塑吗?他们一方面对技术心存敬畏和谦卑,但另一方面又要拼命奔跑。这十年,除了双11,他们还有很多焦虑需要化解。
当被问及在支付宝工作十余年最难忘的时刻时,倪行军和陈亮都不约而同地提到了年会。2010年1月21日,支付宝召开年会,在此之前,大家并没有太多自觉的危机感。凭借领先的市场份额、耀眼的业务数据,一切似乎都进展顺利。

但年会一开始,人们就发现气氛有些奇怪,会场内扬声器里传来的第一声是指责、抱怨、无奈、批评的声音,这些声音来自于客服电话里录下来的客户投诉。
但现场事态的发展并非只是“反映”,陈亮到达会场,收到消息称马云等阿里巴巴集团组织部高管都会到场,随后,客户满意度中心代表上台表达“我们的体验有多差,用户有多受折磨”;BD团队则指出“合作伙伴对支付宝抱有多么高的期望,但同时也感到多么失望和无奈”。
马云看到这一幕勃然大怒,“烂,很烂,烂到极点。”
陈亮记得,这是多年来他唯一一次看到马云在公开场合发脾气,马云直言,支付宝在很多问题上过于保守,如果不注重用户体验,就会“慢慢死掉”。
这显然和支付宝团队得出的结论相去甚远。其实在当时,如果横向比较,支付宝的产品设计和市场份额表现都还不错。团队甚至将2009年定义为“支付年”。但回头来看,当时PC端的产品体验确实不太理想,每支付一次都要解决一堆控件、插件、外置U盾的问题。
时任阿里巴巴 CTO 的王建也给出了非常苛刻的评价,“自娱自乐”。这甚至让当时的倪行军有些迷茫。他记得,年会结束后的一段时间,他陷入了严重的自我怀疑。“搞技术这么多年,怎么就变成自娱自乐了?是不是我们对技术的理解有问题?”
后来他意识到问题出在技术、产品、业务、客户之间的对话上,要提供客户体验,单靠使命和愿景驱动是不够的,他原来设想的应该如何运作,与用户的现实和期望之间产生了差距。
整个中国支付行业按照支付方式的演变可以分为三个阶段:2009-2013年,从网银支付到快捷支付;2014-2016年,移动支付兴起;2017-2018年,指纹、人脸识别支付逐渐成为主流。
现在回想起来,那次年会是整个蚂蚁金服集团至关重要的里程碑。在这次转型的推动下,支付宝从网络银行走向了快捷支付时代。君毅回忆道:“如果当时没有快捷支付,整个中国移动互联网的发展至少会落后两三年。”
在微信支付加入之前,支付宝花了十年时间自我调试、寻找发展坐标。当现在的公司加入时,支付宝团队的反应是:哇!我们有竞争对手了。
“我们从来没有遇到过这样的竞争对手,竞争很正常,但结果要看竞争对手的实力,微信支付是一个非常值得尊敬的竞争对手。”陈亮说。
微信支付的出现,促使蚂蚁金服再一次推动思想进阶,现在看来风平浪静,但当时却是波澜壮阔、情绪激昂。早在2014年1月26日,腾讯推出微信红包,便立即以病毒式的方式活跃在微信群中,并在除夕夜爆发。数据显示,从除夕到正月初八,共有超过800万用户参与了红包活动,领到的红包超过4000万个。
与微信红包的火爆形成鲜明对比的是,支付宝“求好运”的反响平平,后者是在23日上线,比微信红包早了三天。
“微信一个红包,就超越了支付宝八年做的事情。”这句话迅速传开,马云后来用“珍珠港事件”来评价腾讯推出微信红包。
陈亮对这件事记忆尤为深刻。他参与了支付宝红包的产品讨论,因为自己也在广东工作,知道当地有要红包的习俗,于是就给出了“要红包”的建议,而我们当时做的是“发红包”。陈亮回忆,在讨论过程中,似乎有人提出过这一点,但最终在产品设计上并未采纳。
其实,即便支付宝当时采用了发红包的设计,在当时也未必有胜算——没有关系链,没有社区,也没有从交易体系到账户体系的整体准备。但陈亮还是觉得很后悔,控制不住自己。感觉好后悔,甚至责怪自己没有别人技术好。
看到媒体上蜂拥而至的红包和夸赞,陈亮再也不想用微信了,“不想说话,也不敢说话。”
他想找朋友帮忙,反驳“一个红包值八年”的说法,但张口就没了声音。市场的反应说明了一切。但他心里还是在想,我们为什么没想到呢?创意,怎么就没创意呢?
但过去的就过去了。虽然公司层面的焦虑一直持续到2016年,但陈亮已经学会把焦虑排除在生活之外。事实证明,焦虑是无用的——这两年来,他的焦虑除了让他感到不舒服、紧张、动作扭曲外,没有任何意义。
其实,接受这种级别的竞争,从某种意义上来说或许是命运的馈赠。陈亮后来常常被后辈们认为,面对困难时反应迟钝。他认为原因在于,自己从未经历过比这更艰难的处境。再次遇到困难时,总会有种释然的情绪,“最艰难的时候都已经过去了,这些又算得了什么?”
支付行业在两大巨头的竞争中获益更多,中国支付技术在全球占据了较大的领先优势,2017年底西班牙《世界报》刊文表达了对中国支付行业的看法,并总结称:“中国的支付革命是中国历史上最大的技术创新之一。”
2018年10月19日晚,蚂蚁金服在Z空间举办音乐节 | 东方IC
技术的价值
其实,在2010年双11“4秒震撼”之前,支付宝技术人员就意识到,使用IOE商用设备(IBM-服务器提供商、EMC-数据库软件提供商、EMC-存储设备提供商,三者构成的企业数据库系统(从软件到硬件)和开源软件已经不适合双11交易量指数增长的技术支撑要求,尤其是在没有人能够完全预测当晚的情况的情况下,即便能支撑,成本也太高,这将是一个天文数字。支付宝决定摆脱IOE,自主研发分布式数据库,转而采用云计算,项目随即启动。
俊毅记得,他在支付宝做的第一个技术改造项目就是拆分数据库,当时并不是因为双11,而单纯是因为支付宝网站交易量增长很快,数据库承受不住,不拆分的话业务就上不去。这是2008年。
2010年,俊义又拆了数据库,这次把上次拆的两个数据库的交易数据库拆成10台小型机,这时候消除IOE的基础差不多打好了。但是很着急,10台小型机根本不够。
2011 年双十一之后,应用服务器与数据库之间的连接已经到达瓶颈,无法提升容量。也就是说,IOE 集中、强大的单点已经不能满足当时阿里、尤其是淘宝爆发式的业务增长的应用模式,也限制了技术潜力的发挥。另外,由于 IOE 是专用设备,需要单独设计机架、电源、网络,成本压力已经很大。
从2010年1月启动项目,到2011年7月产品数据库去IOE(经过读写分离、去小型机、去EMC),随后交易等其他核心系统也去IOE,2013年,支付宝最后的IOE中的I和E都已经被中国自主研发的技术取代,上云已经完成了阶段性的进展,这就像造了一个引擎,意味着双11的交易量将不再受技术制约。
但在第一阶段,每年的双十一能不能顺利度过,还是一个运气问题。从2014年开始,支付宝就开始研发和落地全链路压测技术,这有点像造飞机时做风洞。全链路压测模拟的是高峰日的实际环境,对系统进行压力测试。据2018年大促保障副组长龚杰介绍,全链路压测模拟真实用户请求,可以达到双十一当天90%以上的请求。这样,双十一顺利度过的概率极高,团队中因不确定性带来的焦虑感也大大降低。
作为消除不确定性的“杀手锏”,全链路压测已经成为测试系统的常用手段。随着系统的升级,使用频率也在降低。李政记得,全链路压测技术刚发展起来的时候,使用的时候“恨不得每天都做一次测试”,而在今年双11的筹备中,每周定期做1-2次压测就够了。
支付宝双11已经是一个庞大的系统工程,已经不可能完全靠人脑来解决所有的问题,因此李政认为,“智能化”是另一个关键词,系统工程的掌控,正是在智能全链路压测等技术手段的支持下,才能更加精准、高效地解决问题。
11月2日,推广支撑组组织了最后一次模拟全链路压测,一切准备就绪,只差东风,就等到了10号24点。
苗人锋(左四)与蚂蚁金服同事在双11办公室 | 照片由受访者提供
对于支付技术来说,稳定就是一切,意味着一切。和往年一样,第十届双11,稳定依然是最重要的。
除了稳定性,支付宝技术团队还有更多的追求。在2018年双11的技术支持中,人工干预已经越来越少,因为整个支撑系统越来越智能化。在部署一个新系统时,应该分配多少计算资源、如何达到最优配置,都需要非常有经验的工程师进行严谨的计算、反复的压力测试、不断优化。但现在,机器可以自动进行计算和优化。程立举了一个例子,双11的支付安全将越来越朝着“自动驾驶”的目标迈进。开到哪里,停到哪里,如何规避风险、保证安全,都是智能化的。
新的变化还体现在生物识别支付和区块链技术的应用上。
在倪星俊的讨论中,支付宝对于支付的理解趋向于去中介化,最终支付不需要任何载体,人体本身就是最大的媒介。当然去中介化不可能完全脱离,但生物识别技术就是物联网。数字化时代,用户需要参与到数字化场景中,任何场景体系首先要确定所谓的数字身份,人本身就是最好的载体,不需要其他媒介来切换。所以,生物识别是可以重塑体验的技术。
据倪行军介绍,生物识别支付(包括指纹录入、人脸扫描等)在日常应用场景中的占比已经超过一半,这体现出社会大众对于生物识别技术对应的全新支付体验的总体接受程度,这一信号让他觉得,已经到了将生物识别技术的用户拓展到手机应用之外的其他生活场景的时候了。
今年上半年,生物识别技术真正走向了规模化商用,倪星军预计首先要实现规模化,再考虑基于百万级终端设备的融合用户行为和各类业务场景的后续业务需求。未来新技术的应用必然会重新定义整个业务流程,诞生新的百万级商业机会。
今年双十一,天猫利用区块链技术为1.5亿件跨境商品提供原产地追溯,其中包括来自比利时钻石交易所的钻石等大额商品。
变化的背后,是蚂蚁金服的技术战略演进与开放,(区块链)、(人工智能)、(安全)、IoT(物联网)、(计算)五条线索,构成了对未来更清晰的想象。
过去十年,整个蚂蚁金服公司不断在从中心化走向去中心化。
人员的能力变得更加平衡。
IT结构从IOE到分发,然后演变为“在线和离线的混合部署”,由自有的服务器进行了25%的处理。资源分配。
分布的趋势正在成为一种趋势:越来越多的计算机室从杭州扩展到全国所有地区;
“从集中化到权力”是近年来互联网发展的社会关系形式和内容,因为它是一家互联网金融公司驱动业务和团队创新与发展的模型。
这是作者的微信帐户。