温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Spark SQL性能优化

发布时间:2020-07-29 19:55:13 来源:网络 阅读:10829 作者:菜鸟的征程 栏目:大数据

==> 在内存中缓存数据

    ---> 性能调优主要是将数据放入内存中操作

    ---> 使用例子:

// 从 Oracle 数据库中读取数据,生成 DataFrame
val oracleDF = spark.read.format("jdbc")
        .option("url", "jdbc:oracle:thin:@192.168.10.100:1521/orcl.example.com")
        .option("dbtable", "scott.emp")
        .option("user", "scott")
        .option("password", "tiger").load
        
// 将 DataFrame 注册成表
oracleDF.registerTempTable("emp")

// 执行查询,并通过 Web Console 监控执行的时间
spark.sql("select * from emp").show

// 将表进行缓存,并查询两次,通过 Web Console 监控执行的时间
spark.sqlContext.cacheTable("emp")

// 清空缓存
spark.sqlContext.cacheTable("emp")
spark.sqlContext.clearCache


==> 优化相关参数

    ---> spark.sql.inMemoryColumnarStorage.compressed

        ---- 默认值: true

        ---- Spark SQL 将会基于统计信息自动地为每一列选择一种压缩编码方式


    ---> spark.sql.inMemoryColumnarStorage.batchSize

        ---- 默认值: 10000

        ---- 缓存批处理大小, 较大的批处理可以提高内存利用率和压缩率,但同时也会带来 OOM(Out Of Memory)的风险

    ---> spark.sql.files.maxPartitionBytes

        ---- 默认值: 128M

        ---- 读取文件时单个分区可容纳的最大字节数

    ---> spark.sql.files.openCostinBytes

        ---- 默认值: 4M

        ---- 打开文件的估算成本,按照同一时间能够扫描的字节数来测量,当往一个分区写入多个文件时会使用,高估相对较好,这样小文件分区将会比大文件分区速度更快(优先调度)

    ---> spark.sql.autoBroadcastJoinThreshold

        ---- 默认值:10M

        ---- 用于配置一个表在执行 join 操作时能够广播给所有 worker 节点的最大字节大小,通地将这个值设置为-1可以禁用广播

        ---- 注意:当前 数据统计仅支持已经运行了 ANALYZE TABLE <tablename> COMPUTE STATISTICS noscan 命令的 Hive Metastore 表

    ---> spark.sql.shuffle.partitions

        ---- 默认值: 200

        ---- 用于配置 join 或聚合操作混洗(shuffle)数据时使用的分区数



向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI