如何使用Spark（pyspark）编写镶木地板文件？

Question

我在Spark中还很陌生，我一直在尝试将Dataframe转换为Spark中的镶木地板文件，但还没有成功。该文件说，我可以使用 write.parquet
函数来创建该文件。但是，当我运行脚本时，它向我显示： AttributeError：’RDD’对象没有属性’write’

from pyspark import SparkContext
sc = SparkContext("local", "Protob Conversion to Parquet ")

# spark is an existing SparkSession
df = sc.textFile("/temp/proto_temp.csv")

# Displays the content of the DataFrame to stdout
df.write.parquet("/output/proto.parquet")

你知道怎么做吗？

我使用的Spark版本是为Hadoop 2.7.3构建的Spark 2.0.1。

Answer 1

该错误是由于以下事实引起的：textFilefrom中的方法SparkContext返回，RDD而我需要的是DataFrame。

SparkSession有一个内幕SQLContext。因此，我需要先使用DataFrameReader来正确读取CSV文件，然后再将其转换为镶木地板文件。

spark = SparkSession \
    .builder \
    .appName("Protob Conversion to Parquet") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

# read csv
df = spark.read.csv("/temp/proto_temp.csv")

# Displays the content of the DataFrame to stdout
df.show()

df.write.parquet("output/proto.parquet")