2.1.1 数据规模膨胀，数据基础设施产生新“数据孤岛”
金融、电力、电信等行业内企业，普遍存在业务系统众多、交易次数巨大、交易额度巨大、数据积累量巨大等特征。据公开数据显示，2019年全国银行卡交易总次数为3219.89亿笔，日均8.82亿笔，交易总金额886.39万亿元，日均2.43万亿元。
因此，企业内的数字化应用对数据基础设施的计算并发量、存储上限的要求越来越高，数据基础设施的节点规模出现了急剧膨胀。比如，某国有大行需要分析数十PB级交易数据，需要3000以上的数仓节点才能满足存储需求。
图 7： 数据规模膨胀对数据基础设施的挑战
在这样的背景下，两方面因素共同导致了数据基础设施内的“数据孤岛”产生，进一步拉高了企业的数据运维管理成本。
传统交易型数据库与MPP数仓的节点规模限制
目前，MPP凭借对SQL标准、ACID特性的良好支持，仍然是大型企业的核心数字化应用的主流选择。此外，许多企业还在采用Oracle、DB2等传统的交易型数据库来支撑数据分析业务。
面对膨胀的数字化应用规模，企业内的数据基础设施一旦达到可扩展的节点上限，必须采用多集群部署方式，即通过应用级的多集群划分来支撑更多的应用带来的并发计算，通过多集群间的数据分散存储来支撑更高规模的数据存储。
但是，传统交易型数据库、MPP数据仓库的可扩展节点上限仅在十几到上百节点，在许多数字化较为领先的大型企业内，节点需求已经很容易突破上限，因而同时部署多个MPP集群，已经成为大型企业数字化的必须。
比如，某国有大行需要分析10PB级交易数据，需要3000以上的数仓节点才能满足存储需求，因此只能建立40个MPP集群。但是，多集群间的数据共享十分困难，该行只能对部分数据在多个集群进行多份冗余存储，导致最终的实际数据存储量高达几十PB，集群之间数据很容易产生不一致，给该行造成了极大的运维负担。
由此可见，尽管数据基础设施的出现与发展始终是为了实现数据共享利用，消除交易型数据库之间的“数据孤岛”，但是多集群的现状，事实上在数据基础设施内部制造了新的“数据孤岛”。
不同技术架构的数据仓库间的应用易移植性问题
与传统交易型数据库、MPP数仓不同，Hive、SparkSQL等SQL-on-Hadoop数仓具备上千节点规模的扩展能力，但其缺陷在于对SQL标准、ACID特性的支持能力不足，性能比MPP差多倍，并发支持有限，因此许多大型企业倾向于将更多地应用在边缘业务的数字化场景中，与MPP数仓并行使用，共同构建数据基础设施。
然而，传统交易型数据库、MPP数仓、SQL-on-Hadoop数仓在计算存储架构方面的差异，以及在SQL标准、ACID特性上的不兼容，意味着双方之间的数据迁移和共享十分困难。
但是，未来大型企业的数字化，往往不再是过去由单个部门、单条业务线驱动的数字化，而是越来越多地由战略层面进行统筹规划，全部门、全业务线协同推进的数字化。在这种背景下，大型企业常常需要将过去独立建设的数字化应用进行迁移，以同一套数据基础设施支撑上层各个业务线的数字化应用，不但实现了管理的统一，还可提升其扩展能力。
因此，在将遗留的数字化应用在不同技术架构进行迁移过程中，往往需要进行大量的代码重构，移植成本较高，难以实现平滑迁移。
例如，某电网系统内分公司搭建了基于Hive的大数据测试环境，但是拥有更多计算节点的Hive大数据分析性能对比Oracle几乎没有提升，且原有基于Oracle的众多应用系统向Hive迁移时，由于Hive不支持存储过程等Oracle很多功能，需要改写的代码量巨大。
因此，大型企业在数字化过程中，亟需探索一套通过“大一统”方式来建设数据基础设施的解决方案，消除数据基础设施内的“数据孤岛”现象。
为了应对这些挑战，新一代数据基础设施——“云数据平台”应具备以下能力：
- 计算存储分离架构，及其带来的强扩展性、强共享性：采取计算、存储分离的技术架构，支持数千节点的集群规模，支持多虚拟计算集群；
- 强SQL标准支持、ACID特性、Hadoop原生支持（即支持传统Hadoop生态系统），及其带来的强兼容性：具备完善的SQL标准、ACID特性的支持能力，兼容过去采用Oracle、DB2等传统交易型数据库、MPP数据库的数字化应用，并支持对接访问HDFS等Hadoop原生组件，从而兼容过去采用SQL-on-Hadoop数据库的数字化应用。
图 8： 云数据平台应对数据规模膨胀挑战
2.1.2 敏态特征凸显，数据基础设施弹性能力受挑战
早在2014年，Gartner就提出了融合“稳态IT”与“敏态IT”的“双模IT”概念。对于传统行业内的集团型、多分支企业来说，加强“敏态IT”能力建设，是推进数字化转型的重要组成部分。
在“敏态IT”模式下，企业需要更加关注业绩增长、品牌营销与客户体验，大幅增强面对不确定场景的响应能力，这就要求企业IT团队在资源获取、应用迭代、系统运维等方面实现敏捷化转型。
比如，国内某大型航空公司，为了推进全公司的IT敏捷化转型，从团队、工具、方法、实践等四个层面实践敏捷理念。在工具层面，该航司依托云计算IaaS平台，以及基于云数据库、Docker、Kubernetes、AIOps等技术的PaaS平台，构建了一站式敏捷开发管理平台，将过去基于传统IT环境的应用交付过程迁移到云上，有效提升了产品迭代速度，优化了客户体验，促进了业绩增长。
由此可见，具备按需取用、快速弹性、自动化编排等优势的云计算、云原生技术，成为支撑“敏态IT”的新型IT基础设施。
这一趋势对数据基础设施的影响表现为两个层次，第一层是传统业务上云带来的数据的上云，第二层是数字化场景拓展带来的数字化应用上云。
传统业务与数据上云
随着数字化转型的深入推进，企业上云从互联网企业逐步渗透到传统企业，从创新业务、边缘业务逐步渗透到传统业务、核心业务。同时，随着企业上云的推进，全球范围内的数据的产生与存储过程，越来越多地从传统数据中心转移到公共云环境中。
根据IDC报告显示，到2025年，公共云中的数据百分比将接近50%。
数字化应用上云
随着数字化营销与销售、数字化生产制造、数字化采购、数字化协同办公等新兴数字化场景不断出现，企业IT的“敏态”特征不断增强，工作负载量、负载量的波动性相比过去都有明显提升。
因此，数字化应用上云也成为大势所趋。另一方面，来自传统业务、核心业务的交易数据的逐步上云，也为数字化应用的上云铺平了道路。
在这两大背景之下，为了保证数字化应用的高可用性，数据基础设施同样应当具备“敏态”特征，满足资源快速取用、快速启停的弹性能力。因此，对数据基础设施进行云化改造将成为必然趋势。
图 9： 数字化应用的敏态化对数据基础设施的挑战
但是，数据基础设施在进行云化改造时面临的两大挑战。
首先，共享存储、MPP无共享、SQL-on-Hadoop等技术架构对云环境的特性（如弹性能力）、组件（如云存储）适应性不足，存在弹性性能瓶颈，难以充分发挥云的弹性优势。
其次，共享存储、MPP无共享等技术架构的计算、存储节点深度耦合，无法实现计算、存储性能的非等量扩容，对IT资源的高效利用带来障碍。
再如，某制造型企业上线数字化的排产管理系统后，经常会遇到两种情况：首先，随着应用上线时间推移，数据存储量呈快速的线性增长；其次，在生产高峰期内，计算工作负载往往在短时间内会出现波峰，但在生产高峰期结束后则会迅速恢复到正常水平。过去，该企业采用基于MPP架构的Greenplum集群，计算、存储节点完全耦合，不支持存储和计算独立扩容。因此，当该企业处于生产高峰期内，如果选择充分满足计算性能需求，则存储性能容易造成浪费，但如果选择有限满足计算性能需求，则会造成服务可用性不足。
图 10： 计算存储耦合与计算存储分离架构的对比
因此，企业数字化的新阶段下，为了应对应用上云、数字化应用比例增加的趋势，“云数据平台”应具备以下能力：
- 云原生特性、计算存储分离架构，及其带来的高弹性：利用云服务器、分布式存储等云原生技术，对数据基础设施的扩展性能进行深度优化，充分适应云上数字化应用对高度弹性、无限扩容能力的要求；采取计算、存储分离的技术架构，充分适应数字化应用对计算、存储分别独立扩展的要求，增强弹性扩展的灵活性。
图 11： 云数据平台应对数字化应用敏态化挑战
2.1.3 数据时效性要求提升，数据基础设施查询性能受限
面对激烈的市场竞争，大型企业在决策效率方面的劣势，同样亟需通过数字化手段进行改变。
在金融、零售等具有强烈营销导向的行业内，越来越多的企业决策者和业务人员，都期望能够实现T+1、甚至T+0的数据反馈，从而基于更有时效性的数据进行业务决策，避免因决策周期过长而导致错失商机，这意味着大型企业对数字化应用的时效性要求将持续提升。
从技术原理来看，数字化应用的时效性，主要依托于大数据平台所提供的面向批处理、即席查询等分析型场景（OLAP）的复杂查询能力。但是，数据量的增长带来的数据处理量的增长，以及基于SQL-on-Hadoop的数据基础设施在OLAP复杂查询场景的性能瓶颈，使得数字化应用的时效性越来越难以得到保证。
图 12： 数据时效性要求提升对数据基础设施的挑战
批处理的性能瓶颈：在批处理模式下，数据服务依托于构建好的分层数据模型。Hive、SparkSQL、MPP等查询引擎，对来自ODS（贴源数据层）的数据进行批量计算，分层将数据抽取到DWD（明细数据层）、DWS（聚合数据层）、ADS（应用数据层）/DM（数据集市层）中，最后由ADS或DM来为可视化大屏、报表分析、数据API等数据服务提供数据支撑。因此，批处理性能的瓶颈，将会导致数据基础设施难以在T+1日内完成批处理工作，从而影响数据服务的时效性。
即席查询的性能瓶颈：在即席查询模式下，数据服务不依托于数据模型，而是由用户自行定义查询维度，直接从数据库中进行关联查询。因此，即席查询性能的瓶颈，将会导致用户查询时面临较高的时间延迟，影响用户体验。
例如，某股份制商业银行在Oracle、DB2传统数据仓库上，建设了管理会计系统、绩效考核系统、监管报送系统、数据集市系统等几十个大型分析系统，数据在PB级以上，但是传统数据仓库的性能瓶颈造成了两方面的困扰。一方面，管理会计系统、绩效考核系统等分析系统全部无法全部满足T+1时间需求，严重影响银行领导的决策分析，以及各分行业务部门每日运营工作的安排部署。另一方面，大数据分析人员需要在海量历史数据中进行即席查询，但随着银行数据量快速增加，每运行一条分析SQL都需要10分钟以上时间。
因此，企业数字化的新阶段下，为了应对数字化应用、数据服务的高时效性要求，“云数据平台”应具备以下能力：
- 高性能并行执行能力，及其带来的强复杂查询性能：采取最新的SIMD指令集，实现指令内并行技术，从而实现更高性能的并行执行器，从而提供面向PB级大数据的，比MPP、SQL-on-Hadoop数据仓库更快的复杂查询性能，从而明显降低批处理、即席查询所需的时间，提升数据服务的时效性。
图 13： 云数据平台应对数据时效性的挑战
2.1.4 智能化场景逐步成熟，数据基础设施AI支持能力不足
近些年来，金融行业作为数字化较为领先的行业，其客户画像、信贷信用评分、反欺诈、反洗钱、合规审计等智能化场景逐步成熟。由此，数据的价值逐步由“数据驱动问题发现”“数据驱动问题分析”走向“数据驱动趋势预测”、“数据驱动业务决策”，这进一步要求数据基础设施能够支撑智能化应用的快速开发。
传统的数据仓库中通常会内置In-Database机器学习库，但对于使用者的AI知识水平要求较高，而许多传统行业企业缺乏AI人才，如果选择从零开始构建AI团队、建设AI平台，投入成本十分高昂。
图 14： 智能化应用对数据基础设施的挑战
因此，企业数字化的新阶段下，为了应对数字化应用的智能化需求，“云数据平台”应具备以下能力：
- 自动化机器学习支持：基于AutoML技术，允许业务人员通过托拉拽、低代码的方式，实现自动化AI建模；融合云数据平台的数据模型，构建从业务理解、数据接入与处理、特征工程、模型选择、优化算法选择、参数调优、模型评估、模型部署与发布、模型优化等AI全生命周期管理流程。
2.2 新一代数据基础——云数据平台
为了满足以集团型、多分支企业为代表的大中型企业数字化转型的新挑战，新一代数据基础设施应当通过底层技术变革，推动技术能力变革，最终满足上层业务的变化。
为此，爱分析从底层技术变革、技术能力变革、业务场景变革三个层次，对新一代数据基础设施“云数据平台”进行定义。
2.2.1 云数据平台的定义
爱分析认为，“云数据平台”是新一代的数据基础设施，它能够依托云原生特性、计算存储分离架构、强ACID特性、强SQL标准支持、Hadoop原生支持、高性能并行执行能力等一系列底层技术的变革，实现高弹性、强扩展性、强共享性、强兼容性、强复杂查询能力、自动化机器学习支持等上层技术能力的变革，最终帮助企业有效应对大规模、强敏态、高时效、智能化等愈发明显的数字化趋势。
图 15： 云数据平台的概念
- 云原生特性、计算存储分离架构，及其带来的高弹性：利用云服务器、分布式存储等云原生技术，对数据基础设施的扩展性能进行深度优化，充分适应云上应用对高度弹性、无限扩容能力的要求，并采取计算存储分离架构，进一步提升数据基础设施的扩展灵活性；
- 计算存储分离架构，及其带来的强扩展性、强共享性：采取计算、存储分离的技术架构，充分适应数字化应用对计算、存储分别独立扩展的要求，增强了弹性能力，并能够支持数千节点的集群规模，尽可能避免多集群部署，并可低成本地支持跨集群的数据共享；
- 强ACID特性、SQL标准支持、Hadoop原生兼容，及其带来的强兼容性：具备完善的SQL标准、ACID特性的支持能力，兼容过去采用Oracle、DB2等传统交易型数据库、MPP数据库的数字化应用，并支持对接访问Hive、HDFS等Hadoop原生组件，从而兼容过去采用SQL-on-Hadoop数据库的数字化应用，实现数字化应用在数据基础设施间的平滑迁移；
- 高性能并行执行能力，及其带来的强复杂查询性能：面向PB级大数据，具备比MPP、SQL-on-Hadoop数据仓库更快的复杂查询性能，从而明显降低批处理、即席查询所需的时间，保证数据处理能力的高时效；
- 自动化机器学习支持：具备对自动化机器学习技术的支持能力，基于AutoML等技术，为业务人员提供自动化AI建模能力，实现AI模型全生命周期管理，降低AI研发与管理成本。
- 数据资产管理能力：具备数据标准管理、数据质量管理、元数据管理、数据资产目录（敏感数据/业务术语表关联/数据标签/血缘分析）等数据资产化管理能力，从而更好地赋予数据以价值，实现数据的资产化管理与运营。
- 数据服务管理能力：通过数据API管理模块提供的低门槛、可视化的操作方式，以及分组、权限管理、服务上下线、计量与计费等管理功能，帮助数据分析人员将各类数据查询语句封装为API服务，供各业务部门和业务系统调用，从而实现数据的价值变现。
2.2.2 云数据平台对数字化技术的“有机统一”作为新一代的数据基础设施，“云数据平台”实现了两方面的“大一统”，即对多种数据基础设施技术架构、多种数字化技的有机统一。
一方面，“云数据平台”本质上是对传统的数据库、数据仓库、大数据平台阶段遗留的一系列底层技术、技术能力的升级与替代。
图 16： 云数据平台是对数据库、数据仓库、大数据平台的升级与替代
另一方面，“云数据平台”实现了对云、大数据、AI等多种数字化技术价值的有机统一。在实际的数字化项目落地过程中，以云能力、数据能力、AI能力为中心的数字化转型往往相互割裂，未能实现充分协同。
- 以云能力为中心的数字化转型：通过云基础设施建设及组织架构的变革，推动企业IT资源管理能力的数字化转型；缺乏数字化能力的IT组织难以充分支撑业务部门数字化的需求，同时又是企业更好地沉淀、利用数据的基础；
- 以数据能力为中心的数字化转型：通过数据基础设施建设及组织架构的变革，推动企业数据利用能力的数字化转型；既是对云基础设施价值的进一步提升，也为AI应用的开发建立良好的数据基础，在整个企业数字化转型中居于承上启下的地位；
- 以AI能力为中心的数字化转型：通过AI平台建设、智能化应用的落地应用及组织架构的变革，推动企业分析决策能力的智能化转型，也是对数据基础设施价值的进一步挖掘。
整体来看，“云数据平台”充分整合了云原生特性，更统一、更强大的数据能力，以及对AI应用的支持能力，为企业提供了“更统一、更强大”的数字化技术能力，未来将进一步推动企业数字化深度、广度的全面升级。
图 17： 云数据平台的价值
2.2.3 以云数据平台为核心的企业数字化转型方案
近些年来，随着企业数字化深度、广度的全面升级，国内外分别崛起了一系列典型的“云数据平台”提供商。
国外较为领先的云数据平台提供商Snowflake，在2020年9月17日于纽交所上市当天，市值突破700亿美元。截止2020年11月底，Snowflake的市值更是已高达830亿美元。
国内较为领先的云数据平台提供商偶数科技，核心创始团队来自EMC数据库团队，其核心产品为新一代云原生数据仓库Oushu Database。
偶数科技基于云数据平台的企业数字化方案
偶数科技除了具备核心产品新一代云原生数据仓库Oushu Database，还提供了包括数据管理平台Oushu Lava、自动化机器学习平台Oushu LittleBoy等一系列配套产品，共同构成一套完整的云数据平台解决方案，从而有效支撑金融、能源、制造等行业的大中型企业客户的全面数字化转型。
图 18： 偶数科技云数据平台解决方案
- 新一代云原生数据仓库Oushu Database：Oushu Database（简称OushuDB）是由新一代云原生数据仓库，具备ANSI-SQL标准兼容、ACID特性支持、Hadoop原生支持等特性，兼容Oracle、Greenplum Database、PostgreSQL和Hadoop原生技术体系，采用了存储与计算分离和虚拟计算集群技术架构，实现弹性伸缩、秒级扩容和超大规模集群（几千节点级别）的支持。OushuDB在业界首次解决了大数据量下跨数据中心的数据存储和分析问题，并设计了新一代SIMD执行器，性能比传统数仓快大约5-10倍，提供PB级数据交互式查询能力，提供对主要BI工具的描述性分析和AI支持，对于金融等行业的吸引力进一步增强。
- 数据管理平台Oushu Lava：Oushu Lava是一款定位于帮助企业构建云数据平台的工具集，包括数据接入工具、数据开发工具、数据资产管理工具、数据服务管理工具等部分，支持客户进行敏捷数据应用开发，助力企业实现数字化转型。
- 自动化机器学习平台Oushu LittleBoy：Oushu LittleBoy是一个通用的自动化机器学习平台，可以帮助企业级用户轻松实现人工智能落地。Oushu LittleBoy可通过内置的AutoML从上亿个模型中自动挑选出优化的模型，让用户在不了解算法原理的情况下自动选出最优配置，提升业务效率。
爱分析认为，“云数据平台”未来将成为以集团型、多分支企业为代表的大中型企业数字化的坚实底座。
3. 以云数据平台为中心的企业数字化落地方法论
正如章节2.2.2所述，云数据平台在数据基础设施的基础上，实现了对云、AI能力的无缝融合，是企业数字化落地的一种更先进的技术形式。
但是，以云数据平台为中心的企业数字化转型，需要更加完善和体系化的落地方法论。一般来讲，数字化方法论包括战略规划与落地实施两个维度。
按照章节1.1中的描述，企业数字化的战略规划应当包括数字化战略、数字化场景、数字化技术、数字化组织等四个层次。
从落地实施维度上看，企业数字化实施过程包括：路径规划、需求分析、方案设计、方案实现、方案支持与迭代等五个步骤。
图 19： 企业数字化实施过程
3.1 路径规划
路径规划阶段的主要目标是确立数字化转型路径。为此，企业首先需要确立数字化愿景与整体目标，梳理业务场景、数字化现状，并构建数字化实施团队，最终交付现状调研报告与数字化转型路线图。
图 20： 路径规划
数字化愿景与整体目标确立
确立企业数字化愿景与整体目标的主要价值，在于使得企业上下达成对数字化的同一认知，从而有助于协调资源，降低数字化推行阻力。为此，企业高层领导需要对数字化转型进行统筹规划，提出宏观层面的方针与指示。
应用场景梳理
梳理数字化场景的主要价值，在于使企业能够正确认识数字化带来的潜在价值，明确数字化转型项目的波及范围及投入规模。为此，企业需要对应用系统现状进行梳理，并对现有的痛点及业务价值进行判断。
- 应用系统现状梳理：各应用系统的产品名称、版本、开发商、使用者、运维方，应用系统的对接方式（接口类型、模板、语言、工具）及数据库对接方式；
- 痛点及业务价值判断：对用户在使用各应用系统过程中存在的痛点进行调研与收集，对潜在的数字化价值进行初步判断。
数字化现状梳理
梳理数字化现状的主要价值在于帮助企业判断业务场景数字化的当前阶段。为此，企业需要对源系统数据存储、现有大数据平台、BI平台、人工智能、基础设施及架构的现状进行系统性梳理。
- 源系统数据存储现状：交易型数据库产品名称、版本、应用情况、使用者、运维方；对外数据接口方式、负载现状、元数据信息；
- 数据基础设施现状：分析型数据库产品名称、版本、使用者、运维方、应用场景、数据存量；用户规划、权限分配等情况；运维、监控、预警平台现状；schema数量、名称、作用；主题域、逻辑模型和物理模型；表、视图、函数数量；
- 比如，数据基础设施往往存在多种负面现状，如集群数量过多、不利于数据共享与维护，计算存储耦合、弹性能力受限，数据跑批与即席查询性能不足、数据报表与查询结果产出时效性差等；在云数据平台的实施过程中，企业对这些现状应当予以重点解决；
- BI平台现状：BI产品名称、版本、使用者、运维方；BI报表数量、BI是否支持自助式报表；
- 人工智能现状：AI平台产品名称、版本、使用者、运维方；AI模型的应用场景；AI模型的名称、数量及算法；建模任务现有运行时间；特征工程建立方式；
- 比如，企业往往以使用规则引擎、传统机器学习算法来实现AI预测，且仅面向少量应用系统，无法实现对深度学习AI模型的敏捷开发；在云数据平台的实施过程中，企业对该现状应对予以重点解决；
- 基础设施及架构现状：现有系统架构图、现有系统组件构成、现有集群数量及系统部署情况、现有服务器单节点硬件配置。
数字化转型实施团队构建
构建数字化转型实施团队主要价值在于为企业数字化战略提供人才支撑，因为缺乏人才支撑的数字化转型，在启动阶段就会遇到重重障碍。数字化转型实施团队主要包括以下三类人才。
- 数据战略和数据治理类：数据战略顾问、数据治理专家、数据项目经理；
- 数据科学和数据工程类：数据科学家、人工智能机器学习算法工程师、大数据工程师、数据测试工程师、数据运维工程师；
- 数据管理和数据应用类：数据建模顾问、数据分析顾问。
在一系列现状梳理工作过程中，数字化转型实施团队可通过交付《现状调研报告》来作为中间成果，从而帮助企业高层明确企业现状，并为未来的需求分析工作积累文档素材。
在战略规划阶段结束时，数字化转型实施团队需要交付《数字化转型路线图》作为阶段性成果，以确定企业数字化转型阶段划分，从而帮助企业高层合理安排资源投入，并确定项目排期。
精彩评论