且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

如何导出表数据帧中pyspark到csv?

更新时间:2022-12-31 09:34:19

如果数据帧在驱动程序装入内存,你可以转换的星火数据帧当地的熊猫数据帧使用的 toPandas 方法,然后简单地使用保存

If data frame fits in a driver memory you can convert Spark DataFrame to local Pandas DataFrame using toPandas method and then simply use save:

df.toPandas().to_csv('mycsv.csv')

否则,您可以使用火花CSV


  • 星火1.3

  • Spark 1.3

df.save('mycsv.csv', 'com.databricks.spark.csv')


  • 星火1.4 +

  • Spark 1.4+

    df.write.format('com.databricks.spark.csv').save('mycsv.csv')