在pyspark中读取HDFS数据可以通过以下步骤实现:
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName("Read HDFS Data") \
.getOrCreate()
df = spark.read.csv("hdfs://<namenode>:<port>/path/to/file.csv")
其中,"hdfs://
df.printSchema()
df.show()
spark.stop()
通过以上步骤,就可以在pyspark中读取HDFS数据了。