在 Spark Web UI 中,您可以按照以下步骤查看执行计划:
打开 Spark Web UI。通常,它可以通过访问 http://<your-spark-master-or-driver-node>:4040
来访问。
在 Web UI 的左侧导航栏中,点击 “Jobs”。这将显示所有已提交给 Spark 作业的列表。
找到您想要查看执行计划的作业,点击作业 ID。这将打开一个新的选项卡,显示该作业的所有相关信息。
在作业选项卡中,向下滚动到 “Event Timeline” 部分。这里会显示作业中的各个阶段以及它们的开始和结束时间。
点击您感兴趣的阶段 ID。这将打开一个新的选项卡,显示该阶段的详细信息。
在阶段选项卡中,点击 “Executor ID”。这将打开一个新的选项卡,显示该执行器上的所有任务。
在任务选项卡中,点击您感兴趣的任务 ID。这将打开一个新的选项卡,显示该任务的详细执行计划。
在这个任务选项卡中,您可以查看任务的 SQL、RDD、DataFrame 等操作,以及它们之间的依赖关系。这有助于您了解 Spark 如何执行您的作业以及可能的性能瓶颈。