且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

如果工作节点上未安装Spark(在YARN上),则如何启动Spark Executors?

更新时间:2023-10-20 16:45:22

在较高级别上,当Spark应用程序在YARN上启动时,

In a high level, When Spark application launched on YARN,

  1. 将在一个YARN容器中创建一个Application Master(特定于火花).
  2. 其他用于Spark工作者(执行者)的YARN容器

Spark驱动程序将序列化的动作(代码)传递给执行者以处理数据.

火花组装提供了与Spark相关的jar,以便在 YARN群集和应用程序将具有其自身相关的功能 罐子.

spark-assembly provides spark related jars to run Spark jobs on a YARN cluster and application will have its own functional related jars.


(2017-01-04)


(2017-01-04)

Spark 2.0 不再需要笨拙的组装罐进行生产 部署.

Spark 2.0 no longer requires a fat assembly jar for production deployment.source