在 Apache Spark 中，可以使用 groupBy 函数对数据进行分组。groupBy 函数允许你根据一个或多个列对数据进行分组，然后可以对每个分组应用聚合函数，如 count(), sum(), mean() 等。以下是一个简单的示例，说明如何使用 groupBy 函数：
首先，确保你已经正确安装了 Apache Spark 并导入了必要的库：
from pyspark.sql import SparkSession
from pyspark.sql.functions import sum, mean
接下来，创建一个 Spark 会话：
spark = SparkSession.builder \
.appName("GroupBy Example") \
.getOrCreate()
加载数据并进行预处理（这里我们使用了一个简单的 CSV 文件）：
data = spark.read.csv("your_data_file.csv", header=True, inferSchema=True)
现在，假设我们有一个名为 sales_data 的 DataFrame，其中包含以下列：id, category, amount。我们想要根据 category 列对数据进行分组，并计算每个类别的总销售额和平均销售额。可以使用以下代码实现：
# 根据 category 列对数据进行分组
grouped_data = sales_data.groupBy("category")
# 计算每个类别的总销售额
total_sales = grouped_data.agg(sum("amount").alias("total_sales"))
# 计算每个类别的平均销售额
average_sales = grouped_data.agg(mean("amount").alias("average_sales"))
# 将结果合并到一个 DataFrame 中
result = total_sales.join(average_sales, "category")
# 显示结果
result.show()
这将输出一个包含每个类别及其总销售额和平均销售额的结果集。你可以根据需要修改这个示例，以适应你的具体数据和需求。
