更新时间:2022-12-31 09:34:19
如果数据帧在驱动程序装入内存,你可以转换的星火数据帧当地的熊猫数据帧使用的 toPandas
方法,然后简单地使用保存
:
If data frame fits in a driver memory you can convert Spark DataFrame to local Pandas DataFrame using toPandas
method and then simply use save
:
df.toPandas().to_csv('mycsv.csv')
否则,您可以使用火花CSV :
星火1.3
Spark 1.3
df.save('mycsv.csv', 'com.databricks.spark.csv')
星火1.4 +
Spark 1.4+
df.write.format('com.databricks.spark.csv').save('mycsv.csv')