更新时间:2022-07-02 15:24:03
GitHub 地址
https://github.com/apache/flink
欢迎大家给 Flink 点赞送 star~
数据实时入湖可以分成三个部分,分别是数据源、数据管道和数据湖(数仓),本文的内容将围绕这三部分展开。
当发生数据变更的情况时,会给整条链路带来较大的压力和挑战。以下图为例,原先是一个表定义了两个字段,分别是 ID 和 NAME。此时,业务方面的同学表示需要将地址加上,以方便更好地挖掘用户的价值。
首先,我们需要把 Source 表加上一个列 Address,然后再把到 Kafka 中间的链路加上链,然后修改作业并重启。接着整条链路得一路改过去,添加新列,修改作业并重启,最后把数据湖(数仓)里的所有数据全部更新,从而实现新增列。这个过程的操作不仅耗时,而且会引入一个问题,就是如何保证数据的隔离性,在变更的过程中不会对分析作业的读取造成影响。
如下图所示,数仓里面的表是以 “月” 为单位进行分区,现在希望改成以 “天” 为单位做分区,这可能就需要将很多系统的数据全部更新一遍,然后再用新的策略进行分区,这个过程十分耗时。
当业务需要更加近实时的报表时,需要将数据的导入周期,从 “天” 改到 “小时”,甚至 “分钟” 级别,这可能会带来一系列问题。
如上图所示,首先带来的第一个问题是:文件数以肉眼可见的速度增长,这将对外面的系统造成越来越大的压力。压力主要体现在两个方面:
第一个压力是,启动分析作业越来越慢,Hive Metastore 面临扩展难题,如下图所示。
随着小文件增加,在分析作业起来之后,会发现扫描的过程越来越慢。本质是因为小文件大量增加,导致扫描作业在很多个 Datanode 之间频繁切换。
大家调研 Hadoop 里各种各样的系统,发现整个链路需要跑得又快又好又稳定,并且有好的并发,这并不容易。
数据同步任务中断
端到端数据变更
越来越慢的近实时报表
无法近实时分析 CDC 数据
Netflix 做 Iceberg 最关键的原因是想解决 Hive 上云的痛点,痛点主要分为以下三个方面:
通用化标准设计
完善的 Table 语义
丰富的数据管理
性价比
上方为一个标准的 Iceberg 的 TableFormat 结构,核心分为两部分,一部分是 Data,一部分是 Metadata,无论哪部分都是维护在 S3 或者是 HDFS 之上的。
上图为 Iceberg 的写入跟读取的大致流程。
可以看到这里面分三层:
每次写入都会产生一批文件,一个或多个 Manifest,还有快照。
比如第一次形成了快照 Snap-0,第二次形成快照 Snap-1,以此类推。但是在维护原数据的时候,都是增量一步一步做追加维护的。
这样的话可以帮助用户在一个统一的存储上做批量的数据分析,也可以基于存储之上去做快照之间的增量分析,这也是 Iceberg 在流跟批的读写上能够做到一些支持的原因。
上图为目前在使用 Apache Iceberg 的部分公司,国内的例子大家都较为熟悉,这里大致介绍一下国外公司的使用情况。
苹果有两个团队在使用:
回到最关键的内容,下面阐述 Flink 和 Iceberg 如何解决第一部分所遇到的一系列问题。
首先,同步链路用 Flink,可以保证 exactly once 的语义,当作业出现故障时,能够做严格的恢复,保证数据的一致性。
第二个是 Iceberg,它提供严谨的 ACID 语义,可以帮用户轻松隔离写入对分析任务的不利影响。
如上所示,当发生数据变更时,用 Flink 和 Iceberg 可以解决这个问题。
Flink 可以捕捉到上游 Schema 变更的事件,然后把这个事件同步到下游,同步之后下游的 Flink 直接把数据往下转发,转发之后到存储,Iceberg 可以瞬间把 Schema 给变更掉。
当做 Schema 这种 DDL 的时候,Iceberg 直接维护了多个版本的 Schema,然后老的数据源完全不动,新的数据写新的 Schema,实现一键 Schema 隔离。
另外一个例子是分区变更的问题,Iceberg 做法如上图所示。
之前按 “月” 做分区(上方黄色数据块),如果希望改成按 “天” 做分区,可以直接一键把 Partition 变更,原来的数据不变,新的数据全部按 “天” 进行分区,语义做到 ACID 隔离。
第三个问题是小文件对 Metastore 造成的压力。
首先对于 Metastore 而言,Iceberg 是把原数据统一存到文件系统里,然后用 metadata 的方式维护。整个过程其实是去掉了中心化的 Metastore,只依赖文件系统扩展,所以扩展性较好。
另一个问题是小文件越来越多,导致数据扫描会越来越慢。在这个问题上,Flink 和 Iceberg 提供了一系列解决方案:
对于这个问题,Flink 在 Engine 层面能够很好地识别不同类型的事件,然后借助 Flink 的 exactly once 的语义,即使碰到故障,它也能自动做恢复跟处理。
在用了 Flink 和 Data Lake 方案后,只需要写一个 source 表和 sink 表,然后一条 INSERT INTO,整个链路就可以打通,无需写任何业务代码。
上图为 Iceberg 的 Roadmap,可以看到 Iceberg 在 2019 年只发了一个版本, 却在 2020 年直接发了三个版本,并在 0.9.0 版本就成为***项目。
上图为 Flink 与 Iceberg 的 Roadmap,可以分为 4 个阶段。
活动推荐
阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:
99元试用实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制T恤;另包3个月及以上还有85折优惠!
了解活动详情:https://www.aliyun.com/product/bigdata/sc