开发者学堂课程【《实时数仓入门课程》：实时计算 Flink 版总体介绍】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/807/detail/13885

实时计算 Flink 版总体介绍

内容简介：

一、大数据计算正从“规模化”走向“实时化”

二、Apache Flink：从流开启的大数据实时计算引擎

三、实时计算 Flink 产品在阿里巴巴的发展历程

四、实时计算 Flink 版总体产品架构

五、实时计算 Flink 版的优势

六、实时计算 Flink 版-产品解决方案

七、实时计算 Flink 版标杆客户-百家全球知名企业

一、大数据计算正从“规模化”走向“实时化”

例如：淘宝在电商的交易下，实时化得根据用户的行为进行推荐。在前几十秒中浏览的商品，会在后续猜测你的兴趣，为你推荐你感兴趣的商品，等等。

 

二、Apache Flink：从流开启的大数据实时计算引擎

流式场景

事件驱动应用、流批分析、数据管道 &ETL

 

正确性保证

Exactly-once、事件时间处理、延迟事件处理

分层 API

流批一致的 SQL、DataSteam API、ProcessFunction、

（Time&State）

运维增强

灵活部署、高可用、运行快照

大规模计算

水平扩展架构、支持超大状态、增量检查点机制

性能卓越

低延迟、高吞吐、内存计算

 

三、实时计算 Flink 产品在阿里巴巴的发展历程

2016~2017

发源于搜索推荐

·阿里集团最核心业务场景

·双 11 实时推荐提升 GMV

·初露锋芒

2017~2018

开始服务全集团

·阿里集团实时数据业务

·双 11 GWV 大屏秒级更新

·集团内部平台化

2018~2019

公共云上线

·基于 Flink 的实时计算产品

·开始服务标杆客户

·阿里云对外产品化

2019~2020

收购 Flink 创始公司

·收购 Flink 创始公司 Ververica

·成为 Flink 社区最大推动者

·全球最强 Flink 团队会师

2020~2021

业界事实标准

·全球主流IT公司全面采用 Flink

·全球主流云厂商推出 Flink 产品

·Flink 成为实时计算领域事实标准

 

 

四、实时计算 Flink 版总体产品架构

平台

一站式企业级 Flink 开发运维平台

SQL/lava/Python 多语言开发，Job 全生命周期管理，OIDC&RBAC 企业级安全，AutoPilot智能调优，OpenAPI&SDK，Prometheus 全链路监控报警

引擎

企业级高性能 Flink 计算引擎

高性能状态存储引擎，SQL 算子深度优化，大规模调度优化，Checkpoint 无缝对接 OSS，Connector 无缝对接主流数据源，网络传输与流控优化，Apache Flink

底座

Cloud Native

Serverless，全托管，容器化

 

五、实时计算 Flink 版的优势

开发

1.数据连接：

·可与阿里云主流数据产品无缝集成，包括主流数据库，消息队列和日志服务等

·可按需自定义 Connector 对接各种外部存储系统

2. 任务开发：

·多语言支持：一站式开发管理平台，包括

SQL/Java/Scala/Python 语言

·元数据：内置统一元数据管理，并可无缝对接外部元数据系统（MySQL/Hive 等）

·函数库：内置多个领域函数库（比如Analytics Zoo cluster serving），并可按需自定义函数

3. 代码调试：

·测试数据管理：支持线上采样和 Mock 测试数据管理，方便构建测试流程

·快速运行测试：基于 Session 集群实现作业秒级启停，大幅提高作业测试效率

·开发生产隔离：开发测试过程不影响生产作业和数据。

 

运维

1. 监控告警：

·丰富的指标监控和维度聚合，便于作业延迟、数据倾斜、反压等问题排查

·通过钉钉、邮件、短信及时告警，并可对接企业内部统一告警系统（prometheus、graphite 等）

2. 智能诊断调优：

·智能诊断：及时发现作业问题并给出合理的该进建议

·智能调优：无人值守自动流控并调整作业资源分配，顺利度过业务流量洪峰

3. 细粒度资源：

支持算子级别的精细化资源配置（CPU/Mem），大规模作业资源利用率提高100%+

4. 高可用保障：

·原厂运维服务兜底，SLA99.9% 保证

·全链路自动容错能力，系统无单点

 

 

成本

1. 弹性扩缩容：

可根据业务负载智能扩缩容，保障业务时效性同时无资源浪费。

2. 付费类型：

用户可根据自身业务特点，选择包年包月或者按量付费。

3. 核心性能：

Nexmark 流计算标准测试性能是开源 Flink 的 3 倍。

 

安全

1. 空间隔离：

支持租户级和项目级的资源和代码隔离，满足跨团队协作需求。

2. 访问控制：

与阿里云账号体系打通，支持 OIDC 身份认证标准协议、支持基于角色的访问控制（RBAC）。

 

 

六、实时计算 Flink 版-产品解决方案

实时数仓

·PV/UV 统计

·商品销量统计

·交易数据统计

·..........

实时推荐

·短视频推荐

·资讯推荐

·商品推荐

·.......

实时 ETL

·数据库->数据库

·数据库->数仓

·日志->数仓

·.......

实时监控

·商业反作弊

·异常事件检测

·指标监控

·......

 

七、实时计算 Flink 版标杆客户-百家全球知名企业