1.什么是数据中心? 1. 数据中心的定义
数据中台不是数据平台。数据中台是业务前台和技术后端之间的中间层。它是对业务提供的数据能力进行抽象和共享的过程。数据中台将企业数据转化为数据资产,提供聚合数据接入、集成、清洗处理、建模处理、挖掘分析等数据能力组件和运行机制,以共享服务的形式向业务方提供数据,从而与业务联动,再与业务系统融合数据生产能力,最终构建数据生产>消费>再生的闭环。通过这个体系和机制,可以通过数据的持续使用、产生情报、反馈给业务来实现数据变现。
数据产生>消耗>再生闭环图
2、为什么要建设数据中心?
数据中心建设的背景与企业业务发展阶段、信息化建设阶段紧密结合。不仅需要大量的建设人力成本投入,还需要有配套的组织体系和运营团队来保障。因此,我们为什么要建设数据中台,希望达到什么目标,对于不同企业建设数据中台来说都是非常重要的出发点。在业界,数据中心化的主要原因如下:
(1)产品矩阵庞大,响应不及时,响应管理混乱
业务发展迅速,产品矩阵庞大,企业数据平台服务能力有限,响应不及时,响应管理混乱,导致数据服务效果延迟、服务体验差,影响根据业务端数据使用体验和业务开展效果,需要进行统一、模块化、标准化的服务能力管理和输出,实现对业务端数据需求的精准满足和高效响应。
(2)烟囱式搭建数据平台,大量资源浪费
由于业务的快速发展,对整个产品矩阵的数据产品体系缺乏统筹规划,在数据接入>数据集成>数据开发>数据应用>阶段会出现多个业务线自建产品的情况。数据治理。 ,出现大量的重复建设,造成计算、开发人力、运维人力、存储等资源的重复浪费。
对于这种发展阶段企业普遍存在的情况,需要针对整个产品矩阵规划整体数据中心能力,使得企业在业务数据需求不断增加的情况下,能够拥有一套完整的可复用数据。数据能力库和支撑机制支撑业务正常运行,节省研发成本。
(3)数据治理的需求
面对业务中积累的大量数据,公司的数据资产已逐步形成。如何让这些数据资产可持续发展,为企业带来价值,需要数据治理来提高数据质量,比如设计数据质量验证的规则和使用流程,设计数据管控权限,以及如何安全输出和共享数据。设计等,如何发挥数据整体的协同效应,为业务提供更高价值的数据服务链路。数据中心可以整合这些数据能力,为业务端提供稳定、持续的服务能力。
2、数据中心架构
数据中台建设是一项宏伟的系统工程。前期的整体架构规划对于整个项目来说尤为重要。接下来按照数据活动进行分层,分为底层服务、数据接入、数据集成、数据挖掘分析、业务应用、数据服务管理六层,数据安全管控活动贯穿整个过程。
下面将对每一项进行简要解释:
数据中心架构图
1. 底层服务
底层服务层着眼于整个数据中心,从数据接入层到数据活动全过程的数据安全管控,提供统一的数据存储资源、计算引擎和数据处理中间件服务,增强有效调度以及服务器资源的统一。管理。
2. 数据访问

数据访问层提供统一的数据访问平台。平台根据数据采集的业务场景,提供数据采集工具和解决方案,使数据采集>数据传输>数据存储>数据资源管理整个环节实现自动化。 ,并实现活动任务的自动化监控。
3. 数据整合
数据集成层提供统一的数据处理和标签/模型开发服务。集成层的数据需求应来自企业的数据使用场景,对数据进行建模,生成标签管理、数据仓库等服务平台,为企业数据团队/业务团队使用数据提供高效的集成数据源。 。而数据是在这一层进行管理的,比如编码规范、学科领域划分、表模型规划、数据质量验证规则设计等都是在这一层完成的。通过这些模型、规范和平台的协同,可以为企业提供高效获取、质量可靠的数据。
4.数据挖掘分析
数据挖掘分析层整合了企业中存在的几大数据挖掘和分析工作场景,比如对用户行为数据进行数据分析,通过算法模型挖掘用户潜在的商业价值,或者多个BU之间的数据加密碰撞发现新的数据。合作。场景等,这一层提供的平台和工具基本涵盖了大部分数据挖掘工作场景。通过数据中心共享这些数据组件,可以让所有部门和团队通过工具高效地完成挖掘和分析工作。
5. 商业应用
业务应用层是指可以直接提供给业务端的数据产品。业务可以直接使用这些数据产品,高效获取满足业务需求的目标数据。甚至这些数据可以直接连接到业务系统,比如DMP平台,让用户从生成数据到数据需求>数据处理>数据使用的整个数据获取周期大大缩短。此外,还可以通过满足特定业务场景的数据应用来赋能业务。
6.数据服务管理
数据服务管理层提供统一的数据服务出口,目标是在保证数据安全、有效的同时,帮助企业提高数据资产的应用价值。统一服务利用成熟的行业解决方案构建API和数据服务接口,满足不同数据使用场景的需求,同时降低数据开发门槛。
数据中台建设的三种路径
数据中台的建设路径与公司业务的业务阶段相关,也与公司的信息化建设阶段相关。
行业内的数据中台建设路径大体可分为以下三类:
数据中心建设路径难度对比图
1、业务中台和数据中台并行建设
并行构建数据中台和业务中台的复杂程度可想而知,也是最具挑战性的一条路。因为业务中台的建设过程需要对业务进行梳理和规划,这个过程会涉及到反复的流程调整,这给数据中台的建设带来了很大的不确定性,也进一步增加了数据中台的复杂度平台。施工难度大。
2、先建设业务中平台,后续建设数据中平台。
相比数据中台和业务中台并行的复杂性和挑战,路径二显得更为稳健,也是企业采用最多的路径。业务中心引领,数据中心跟进。很多公司都会采用这种模式。该模型借鉴了第一个模型的教训,即业务的不确定性给数据中心带来了各种不确定性。如今,随着数字营销的成熟发展,业务和数据已经不能完全分离。业务的数字化和数据的商业化几乎是同时完成的。
3. 建立独立的数据中心
建设单一数据中心的选择一般是在业务系统相对稳定的情况下做出的,但这种模式也存在挑战。
在业务野蛮生长的过程中,数据分散在各个系统中,数据质量参差不齐。这个阶段的数据管理一定是非常复杂和耗时的工作,而且几乎没有什么明显的产出。

同时,各领域的数据集成和数据能力的标准化,必然导致组织架构的变化和重组,这是数据中心建设中至关重要的一环。
如果上层的政策和资源支持不足以有效协调各个领域的数据建设者同心协力,那么数据中心就很难成功建设。
4、数据中心的价值
数据中台建设前期消耗的巨大成本往往给数据中台项目带来价值挑战。数据中心的建设阶段就像建造一座自建的房子。房屋建造过程会消耗成本。只有当房子开始搬进去出租之后,新建房子的价值才能真正体现出来。
数据中心的使命是通过全局规划来管理和运营企业的数据资产,使数据用户能够高效地获取可靠、有效的数据。
如果这些数据资产长期有效运营,数据能力组件复用带来的工具开发成本降低将会越来越明显;如果跨部门、跨业务线的数据复用场景越来越丰富,数据中心对业务端的影响就会越来越明显。价值也成倍增长。我将数据中心的价值分为以下三大点:
1.帮助建立数据标准
在构建数据中台之前,企业普遍缺乏全球数据标准或统一的数据规范。即使他们这样做了,由于数据平台的分散状态,也很难实施。
然而,数据中台的建设将促使企业同时建立数据标准或规范,如数据访问规范、数据集成规范、数据存储规范、数据处理规范、数据使用权规范、数据共享规范、数据销毁规范等。和数据安全规范。等待。
这些标准是数据中心建设阶段需要构建的体系。只有有数据标准/标准体系的保障,数据中台才能更好的运行;而只有依托数据中台,数据标准才能更好地落地和落地。
数据中台的建设是鼓励企业建立数据标准/规范的良好契机。
2.赋能企业降本增效
数据中心的最终价值是降低成本、提高效率。无论是构建数据标准,还是复用数据能力,都是为了帮助赋能业务,帮助企业实现战略目标。
下面将从两个角度详细阐述由此带来的成本降低和效率提升价值:
通过提供赋能特定业务场景的数据应用,帮助业务方更精准地发现和分析客户,用数据滋养各条业务,让整个业务运营体验更加友好高效,缩短运营周期。
3、推进数据组织建设
数据中台有一定的使命来实现企业的战略目标。数据中台的建设过程必然需要相应的组织和系统来支持中台的建设和运行。数据中台这个系统工程,将横向连接企业数据的相关各方,包括中台建设团队、中台运维团队、数据产品经理团队、数据运营团队等,形成企业真正的数据组织。企业。
5、总结:从定义和构建背景了解数据中台,对数据中台有一个认知概念;从数据中台架构的角度分层介绍各层的数据能力和构建逻辑,对数据中台有一个清晰的认识。对服务能力有整体的了解;分析数据中台建设的常见路线,并分析建设的难度和风险,了解根据企业当前的业务发展状况和数据需求,选择合适的数据中台建设路线;数据中台建设路线主要价值是通过中台推动数据标准建设、落实数据标准;另外,降低成本、提高效率是数据中台的最终目标。
作者:孟加恩,某大公司数据中心产品经理,专注于数据产品和数据管理,持续学习。他是“数据人创造者联盟”成员。