Spark的配置参数

Spark的配置参数可以通过修改spark-defaults.conf文件或者通过在启动Spark时通过–conf参数来指定。以下是一些常用的Spark配置参数：

1. spark.master：用于指定Spark的master节点，可以是local、yarn、mesos、standalone等，默认为local。

2. spark.app.name：用于指定Spark应用的名称。

3. spark.executor.memory：用于指定每个executor的内存大小，默认为1g。

4. spark.executor.cores：用于指定每个executor的核心数。

5. spark.driver.memory：用于指定driver的内存大小，默认为1g。

6. spark.serializer：用于指定序列化器，可以是org.apache.spark.serializer.JavaSerializer、org.apache.spark.serializer.KryoSerializer等，默认为org.apache.spark.serializer.JavaSerializer。

7. spark.default.parallelism：用于指定默认并行度。

8. spark.shuffle.service.enabled：用于开启或关闭shuffle service。

9. spark.eventLog.enabled：用于开启或关闭事件日志。

10. spark.hadoop.fs.s3a.access.key：用于指定S3的访问密钥。

11. spark.hadoop.fs.s3a.secret.key：用于指定S3的密钥。

可以通过修改spark-defaults.conf文件中添加或修改以上配置参数，也可以在启动Spark时通过–conf参数来指定。例如：

spark-submit --master yarn --conf spark.executor.memory=2g --conf spark.executor.cores=2 --conf spark.app.name=my-spark-app example.jar

这样就可以在启动Spark应用时指定executor的内存大小为2g，executor的核心数为2，并且指定应用的名称为my-spark-app。