温馨提示×

pyspark中怎么读取hdfs数据

小亿
290
2024-03-29 15:18:01
栏目: 大数据

在pyspark中读取HDFS数据可以通过以下步骤实现:

  1. 首先,导入必要的模块:
from pyspark.sql import SparkSession
  1. 创建一个SparkSession对象:
spark = SparkSession.builder \
    .appName("Read HDFS Data") \
    .getOrCreate()
  1. 使用SparkSession对象的read方法读取HDFS数据:
df = spark.read.csv("hdfs://<namenode>:<port>/path/to/file.csv")

其中,"hdfs://:/path/to/file.csv"是HDFS文件的路径,需要替换为实际的路径。

  1. 可以对读取的数据进行一些操作,比如显示数据的schema和前几行数据:
df.printSchema()
df.show()
  1. 最后,记得关闭SparkSession对象:
spark.stop()

通过以上步骤,就可以在pyspark中读取HDFS数据了。

0