要在Spark中打开本地文件,可以使用spark.read.csv()
或spark.read.text()
等方法来读取文件。以下是一个示例代码:
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()
# 读取CSV文件
df = spark.read.csv("file:///path/to/your/file.csv")
# 读取文本文件
df = spark.read.text("file:///path/to/your/file.txt")
请注意,需要将文件路径指定为file://
开头,以便Spark能够识别为本地文件。