且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

深入理解Spark:核心思想与源码分析. 3.14 将SparkContext标记为激活

更新时间:2022-05-01 02:11:06

3.14 将SparkContext标记为激活

SparkContext初始化的最后将当前SparkContext的状态从contextBeingConstructed(正在构建中)改为activeContext(已激活),代码如下。

SparkContext.setActiveContext(this, allowMultipleContexts)

setActiveContext方法的实现如下。

private[spark] def setActiveContext(

        sc: SparkContext,

        allowMultipleContexts: Boolean): Unit = {

    SPARK_CONTEXT_CONSTRUCTOR_LOCK.synchronized {

        assertNoOtherContextIsRunning(sc, allowMultipleContexts)

        contextBeingConstructed = None

        activeContext = Some(sc)

    }

}