分享程序员开发的那些事...
更新时间：2022-04-24 07:40:01
本篇内容将从数据库业界发展趋势、一站式全链路数据管理与服务迈向云原生2.0、云原生数据库***实践等3个部分为读者深度解析云原生数据库技。
随着时代的进步，数据库全面拥抱云原生是正在进行的事情。数据库的厂商、产品一定要全面拥抱云原生。不做云原生的升级或者是不从内核、管控角度运用云原生的思维方式构建产品，那产品将来是没有竞争力的。因为底层的基础设施在发生变化，云原生2.0就是打破传统数据边界、解决数据孤岛问题，能够真正的从客户的业务视角出发，创造客户的业务价值。
数据库不能仅把自己当做一个IT基础设施，从降本增效逻辑了解数据库系统的优劣势。以前数据库系统更多的是降本增效，满足客户以及业务的基本生理需求。数据库的需求也是在不断的增多的，进一步的向业务价值转换，基于此就提出了云原生2.0一站式的数据管理与服务。
云计算在加速数据库系统的演进，从传统的结构化数据在线处理RDBMS
到后来传统的OLAP数仓再到今天多元异构的数据类型。云计算的本质是用虚拟化的技术将资源词化，在经典的冯诺一曼架构里面计算机的资源有存储计算以及存储计算之间的通讯，比如说 memory、bus、io，这些是紧耦合的。现在是将资源池化，如此弹性、高可用等等问题都得到很好的解决。
对上层的系统也带来新的挑战和机遇，也就是说云原生是未来。底层的基础设施在快速的云化，在主流云场上的阿里云、腾讯云、GoogleCloud等等，甚至大部分的客户几乎已经看不到直接管理物理机的。客户已经在快速的云化，已经在使用OpenStack、虚拟机、 K8s来管理集群了。所以底层的基础设施已经云化了，存储也在快速的发生池化，不再依赖本地盘或者从本地盘像一个池化的存储。去引进开源的 Ceph等存储云化的解决方案底层基础设施池化以后，上层的数据库系统必须云原生化。云计算资源非常丰富，不用关心云资源在哪里、有多少。就像今天我们使用自来水一样，没有人会费尽心思考虑水从哪里来。可以根据业务发展的阶段，按需按量取用，最大化资源利用价值。
云数据库的时代特征—Gartner，以前的Gartner有两个不同领域的分析报告，一个是OPDBMS，另一个是DMSA。去年Gartner将二者合为一，合并成Cloud DBMS 。“Modern DBMS can do both OPDBMS (Operational DBMS) & DMSA (Data Management Solution for Analytics）A single DBMS market has emerged” 这解释了为什么国外有SnowFlake 这样的厂商的出现。国内也有非常出色的开源的厂商出现，同样也在将传统的事物处理TP和传统数仓的AP尽可能的融合，提供一站式的数据管理与分析。
以下是业界产品的发展趋势：
Microsoft —SQL Server：HTAP+在离线一体化；Oracle—企业级向云原生发展；Oracle—一站式在线数据处理；AWS Aurora —云原生与Serverless；Amazon Redshift—云原生 + 融合分析；TiDB—分布式HTAP数据库。
具体以Oracle（聚合数据库）展开介绍。Oracle的核心价值是基于多模、多租户和混合负载三大核心特性，一站式适配企业级SaaS应用和互联网消费应用。Converged Database 即是一站式全链路的数据管理与服务，已经不是传统意义上的 OLTP 场景的数据库了。
传统的数据库是单机的架构本质上是一个紧耦合的逻辑，数据是没有打通的。传统架构的痛点解决方式有两种技术路线，一是走云原生架构，做一写多读、弹性存储计算分离等功能；二是分布式数据库，从理论上来讲，可以做到完美的水平拓展。但实际上性能、吞吐还是有很大的挑战的。
BSP模型带来的好处是计算模型、编程的简易化。MPP模型适合做交互式的分析。若两者能完美的结合起来，产品化做的更好，一定能取得先机。
从市场的角度来看，阿里云数据库产品首次进入 Gartner 领导者象限，占中国的市场份额第一（含线上、线下），打破了传统巨头在中国市场常年垄断第一的位置，这也是非常重要的里程碑。
从业务视角出发讲解一站式全链路数据管理与服务，为从业者提供从数据生产和集成开始到数据的实时分析与存储、数据分析和发现，再到数据开发和管理的全链路数据管理与服务。作为数据库从业者，需要提供在线的数据管理系统。离线和在线系统会有离在线一体化的融合，一份数据分布式共享快存储或者分布式共享对象存储，多个引擎可能解决一个或者两个相邻领域的核心问题。对用户而言，更关心的是数据如何无缝***流转，所以面向用户界面需要有收口的东西。云原生数据库2.0的Universal Mexico Workpoints、Universal PG Admit，阿里云数据库对这个的答案就是DMS。
基于行业的理解去做面向行业的解决方案，这就是数据库从传统的IT 资源视角降本增效向业务价值进发的重要的逻辑。数据库是一个通用系统，但是要做出有差异化竞争力的东西一定要深入了解行业客户的需求。阿里人愿意做开源、写教材就是为了培养生态系统，与大家一起成长。
PolarDB的优势有以下几点：融合 PolarDB 已有基础设施，存储、管控、监控、审计等功能共享；Share Nothing 基于存储计算分离架构，无限扩展，并且无需数据迁移，并可彻底消除传统分布式 Data Skew问题；Share Everything 场景写瓶颈大幅缓解，多节点可写；无缝升级，可由单表直接转化成分布式表，一键操作即可完成分布式改造 (alter table to partition_table by hash_range ***)；两种场景都有很强高可用性；兼容性和扩展性都能很好支持，在兼顾 legacy 业务的同时帮助客户完成数字化转型升级。
PolarDB In-Memory Column Index：Parser/Optimizer—100% MySQL兼容，串行/PQ/列存混合调度， Cost-based Optimizer；Execution Engine—并行执行算子，向量化执行加速， SIMD表达式加速；Storage Engine—行列混合存储，事务级别的行列一致性，数据压缩 & 粗糙集索引，列存物理复制及一写多读。
PolarDB多租户特点如下：多租户多写（multi-tenant multi-master）；支持128个RW；支持 non-conflict multi-master write；
Partition/table/schema binds to R/W；库表写入点秒级切换
PolarDB 全球高可用：全球部署—数据跨地域同步，提供全球跨地域的容灾能力RPO=0 SLA为99.99% ；就近读加速—读操作就近读取数据，适合不同地域读多写少的场景；多通道物理复制—数据跨地域的高速同步，大压力场景下全球同步延迟小于2秒；多点跨地域写—多点跨地域写功能，业务的多地部署能力。
PolarDB 数字孪生引擎，从云原生到云孪生：孪生强内核—首个云原生 + 云孪生数据库；数字孪生引擎植入云原生数据库；多维数据人眼可读、机器能懂；融合大存储—BIM + GIS + IoT多模超融合一站式管理；Inline + outline，支持OSS混合存储；快速大计算—多维实体编码和高效压缩算法；弹性多级并行查询与计算框架。
PolarDB on DBStack 混合云输出形态：PolarDB on DBStack 混合云版打破了云数据库的服务边界，秉持“Cloud in Box”的理念，将云原生数据库的管理能力下沉到本地IDC，企业在自有机房即可享受公共云的操作体验。PolarDB 混合云版提供高度兼容 Oracle 的能力，为传统数据库用户提供一键迁移方案，配合 ADAM 迁移工具最多要节省95%迁移成本；其内置的阿里云自研 Ganos 时空 SQL 引擎，更适合政企、交通、航运、金融等行业下一代的 5G+IoT 实时 OLTP 业务系统。
面向极致体验的 PolarDB-X 2.0 核心能力构建：透明分布式体验—让用户以单机MySQL数据库使用体验操作分布式数据库。PolarDB-X2.0提供默认主键拆分、分布式线性扩展、全局 Binlog和全局一致性备份等透明分布式能力。高性能分布式事务—采用自研X-Paxos协议保证数据存储在故障切换过程中RPO=0的基础上，使用TSO策略和分布式的MVCC能力保证了分布式事务的隔离性和一致性。完整的生态支持—阿里云及开源社区的多种生态工具对PolarDB-X持续提供不断完善的支持：数据传输服务DTS、数据库备份DBS、数据管理DMS、数据库自治服务DAS、数据集成Data Integration、云监控、性能测试PTS等。
今年五月份正式开源了云原生分布式数据库PolarDB-X和PolarDB for PostgreSQL共享存储版，后续还将开源云原生多模数据库Lindorm。用户、开发者们可以凭借自己的想象力去做想做的，我们唯一的诉求就是不管做什么，希望能够回馈社区，和我们一起共同成长。
基于阿里巴巴多年迁移上云***经验：科学方法论+智能系统+专业服务。Advanced Database & Application Migration：搬站评估、架构发现、数据库评估、数据库改造、应用评估、应用改造。Data Transmission Service：全量迁移、增量迁移、数据校验、数据订正。
DMS (ADAM)：ADAM工具通过采集、画像、评估等过程，提前分析Oracle；迁移到PolarDB的风险、成本、改造工作量、可行性等；依据评估报告，提前指导应用侧进行针对性改造，大大降低前期调研、应用改造工作量，减少上线后的风险。
DMS（DTS）:使用 DTS 可对数据进行全量 + 增量实时同步；在数据同步的基础上，支持业务分步割接，控制影响范围；通过反向同步，支撑紧急情况下的业务快速回切。
Polar DB：智能代理 – 读写分离、负载均衡；结合ADAM兼容度高达95%；全面国产化。
AnalyticDB PG：离线处理 + 实时数据处理能力支持可视化数据建模和规范化；分析指标构建；全面国产化。
实践一、医疗保障信息化平台“双中台”数据库解决方案
客户核心诉求：为了解决现有医保系统标准不统一、数据不互认、难以共享、区域封闭、孤岛现象突出等问题，决定建设统一、高效、兼容、便捷、安全的新医疗保障信息化系统；国家/省（2级）、国家/省/市（3级）建设模式，系统可使用不同省、市的参保人口不同导致不同容量诉求；稳定、高效、可靠的医疗保障信息化系统。
方案核心优势：基于阿里云多样化数据库产品及生态能力，构建医保“双中台”；基于分布式数据库架构的水平扩展能力，提供业务线性的弹性容量能力，满足不同省、市不同的容量需求；基于云原生数据仓库，提供医保对海量数据结算、分析、报表实时查询诉求；拥有多年数据库运维架构经验的专家团队为医保架构的售前、售中、售后保驾护航。
方案落地效果：支撑500万 ~ 1亿不同规模的参保人25年数据的存储，提供每秒约1万笔核心经办业务能力，并且基于分布式的水平弹性扩缩容能力，为不同规模提供合理支撑；为业务中台各中心提供安全可靠的、数据强一致的在线数据库服务；为全国50%的医保系统持续提供服务，为全国人民医疗健康事业提供强有力的支撑。
关键支撑产品：PolarDB-X—为各个业务中心提供在线数据库服务，通过水平扩展能力来支撑集中式业务的大流量，是本方案的核心竞争力；RDS—为业务中台里流量较小的中心提供低成本的、通用的数据库存储服务；AnalyticDB—提供医保海量数据分析、查询、报表实时秒级查询计算能力；DTS—提供在离线一体化实时同步、老社保系统迁移到新医保系统的能力。
实践二、某国有大型金融保险集团：核心业务系统全面采用PolarDB云数据库
客户核心诉求：客户数据全国大集中，当前数据库架构缺乏弹性扩展能力。资源使用没有科学评估手段，浪费严重；传统IT架构依赖传统商业数据库严重，面临巨额license费用和维保费用；集团要求加速国产化进程，拥抱国产化数据库产品，要求短时间内实现快速替换传统商业数据库。
方案核心优势：业务少量改造代码，利用PolarDB、DTS、ADAM产品组合方案，快速低成本替换；PolarDB具有弹性变配扩展能力，分钟级完成集群节点增加，整体并发处理能力和存储容量得到线性提升；基于PolarDB与DTS的解决方案组合帮助客户构建实时数据计算平台，让业务数据可以实时供下游系统使用。
方案落地效果：使用PolarDB替换其原有的传统商业数据库架构，支撑寿险公司超6.5亿保险客户信息查询、客户开户、核心出单等多项实时服务。为公司运营、服务、风控、营销等六大个领域的40多个系统提供数据和服务支撑；PolarDB数据库系统接口服务交易量稳居榜首，迁移后系统性能提升明显，处理能力最高提升了1000倍，响应时间最多缩短为优化前1/351；云原生数据库PolarDB，为运维团队提供了易用，高效，弹性的DBaaS服务，提升了用户对于数据库的整体管理效率，降低了运维风险与成本。
关键支撑产品：PolarDB—高度兼容Oracle语法，支持业务平滑迁移。高性能数据引擎，满足业务性能容量需求；DTS—为在线库、离线库提供实时的数据同步，是构建数据流转的核心。
实践三、某超大型部委客户
经典组合解决方案：PolarDB-X 分布式数据处理在线业务；DMS/DTS将数据无缝实时归集入仓；AnalyticDB实时分析。
支撑高并发、低延迟的复杂查询：8亿级 普通用户 和 100万级 工作人员；综合业务查询峰值达到 1万 QPS；60表Join，3000行SQL；支撑基于千亿级数据的复杂查询在秒级内响应。
支持海量实时数据实时可见和高效入库：在线交易的实时数据(百亿级) CURD(增删改查)；月末统计等分析数据(千亿级)在小时级别内同步。
支持金融级别的精准计算：计算的准确性（1000+位Decimal）；提供针对各种金融运算函数的全面支持。
实践四、游戏行业多场景数据库***组合解决方案
游戏运营带来的突发流量增长：使用存储计算分离技术，实现分钟级弹性扩容；最大支持88C、710G、100TB存储。
实时优化游戏广告及运营：秒级分析与决策；打通了结构化和非结构化数据；会MySQL就能做分析。
升级、漏洞导致的数据快速回档诉求：支持单库单表快速恢复；急速型存储池 10min快照；支持多环境/多种数据库。
阿里云关系型数据库ACP认证重磅发布，认证定位是面向关系型数据库管理员及架构师，通过培训和认证，系统地了解阿里云数据库的核心功能，提升学员在阿里云数据库上进行规划部署、优化、问题排查的各项综合能力。
认证内容包括：关系型数据库基础原理、关系型数据库关键产品与技术、关系型数据库行业架构方案、生态工具。