开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：MaxComputeSpark Spark 与 SparkSQL 对比分析及使用注意事项】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/55/detail/1052

MaxComputeSpark Spark 与 SparkSQL 对比分析及使用注意事项

内容简介：

一、功能特性

二、代码开发

三、DataWorks 模式

四、Q&A

一、功能特性

Spark 部署模式：

Spark on yarn

http://spark.apache.org/docs/latest/running-on-yarn.html

Spark onk8s

http://spark.apache.org/does/latest/running-on-kubernetes.html

Spark on  MaxCompute

https://github.com/aliyun/MaxCompute-Spark/wiki

支持的数据源：

Spark on yarn/k8s 限制条件

1.支持数据源操作的 jar 包是否存在

2.网络是否可打通：平台环境

云上网络环境：公网、经典网络、 VPC

Spark on  MaxCompute  限制条件

1.maxcompute  集群环境。支持访问 VPC、可申请访问公网

目前支持访问的数据源：  maxcompute 、oss、VPC 下的 ECS／RDS／redis 等

提交方式：

Local

1.和开源相同，涉及到读写  maxcompute  表时，会是 tunnel 方式来读写，本地spark－defaults.　

comp 中需要配置 tunnel endpoint。

2.会拉取表数据到本地，每次运行均会重新拉取；下载部分数据，可以在 SparkSqL 中指定分

区实现下。

Client

1.客户端不会启动 dirver

2.不再依赖 spark 客户端

Cluster

1.和开源相同

POM 文件：

注意事项：

1.spark 和 scala 版本

2.scope 配置：需要是 provided

参考示例:

​ https://github.com/aliyun/MaxCompute-Spark/blob/master/spark-2.x/pom.zn​

​< properties >​

​<spark. version>2.3.0</spark. version>​

​<cupid. sdk. version>3.3.8-public</cupid. sdk. version>​

​<scala. version>2. 11.8</scala. version>​

​<scala. binary. version>2. 11</scala. binary. version></ properties >​

二、代码开发

Tips:

建议使用 SparkSql ，不要使用 ODPSops

​val spark s Spark Session​

​. builder()​

​. appliame("SparkSQL-on- HaxCompute ")​

​. config("spark-sal, broadcast Timeout","no""(")​

​. config("spark-sql. cross-loin, enabled", true)​

​. conflig("odps, exec, dynamic, partition, mode","nonstrict")​

​-config("spark-sql catalog[ updatentation ","~dps")-get0-create()​

​import spark. val rdf-spil(s"select+from muxing test _ 2018 _ total _ infor")​

线上运行时 SparkSession 代码中参数写到spark节点

配置spark.　hadoop.　odps.　runtime.　end.　point

#　

Spark施行环境endpoints，请配置为所在region的Mak（captte　VTC内网Endpoints.

yearshadoopdaysruntinesendpoint “ http://service.cn-sarcompute.aliyurnic.com/got

引用 jar 资源使用 spark.　hadoop.　odbs.　cupid.　resources

​Ispark hadoop. oops cupic,resources= projectname ×x0. jar.  projectnamexx1 . jar​

​< dependency >​

​<groupId>com. aliyun. odps</groupIdx​

​<artifact Id>cupid-sdk</artifact Id>​

​<version>${cupid. sdk. version}</version>​

​<scope>provided</scope>​

​</ dependency >​

​< dependency >​

​<groupId>com. aliyun. odps</groupId>​

​<artifact Id>hadoop-fs-oss</artifact Id>​

​<version>${cupid. sdk. version}</version>​

​</ dependency >​

​< dependency >​

​<groupId>com. aliyun. odps</groupId>​

​< artifactId >odps-spark-database _5(scala. binary. version)</ artifact1d ><version>${cupid. sdk. version}</version>​

​</ dependency >​

三、DataWorks 模式

操作流程（操作演示）：

1.创建 spark 节点

2.配置节点参数

3.测试运行

4.提交发布

Tips:

1.通过参数配置实现带入参数到 spark 程序

2.简单模式和标准模式下发布有差异

四、Q&A