且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

如何在 Spark 中强制执行 DataFrame 评估

更新时间:2023-10-15 10:13:04

我想只要从 DataFrame 获取一个底层的 rdd 并在它上面触发一个动作就可以达到你想要的效果正在寻找.

I guess simply getting an underlying rdd from DataFrame and triggering an action on it should achieve what you're looking for.

df.withColumn("test",myUDF($"id")).rdd.count // this gives proper exceptions