数据库报表数据导出性能调优方法是什么

本篇内容介绍了“数据库报表数据导出性能调优方法是什么”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

报表数据导出是一个常见且令人头疼的问题，该功能主要放在管理后台，系统运营人员经常需要导出一些数据做分析。报表导出遇到的难题，一是数据量大，二是查询耗时，也是最容易导致系统OOM或者拖垮数据库的问题。

如何解决查询慢的问题

报表数据导出通常伴随着复杂的sql语句，使用很多的查询条件，因此在设计表的时候我们都会通过添加冗余的列来减少多表连接查询，如果是最近几年的项目，考虑到报表数据量增长速度快且数据量大可能会使用分表解决，不过单表的数据量依然很大，且在遇到复杂的查询语句时也需要查多个表并聚合结果，这依然是很耗时的操作。

目前关系型数据库也被化分为OLAP和OLTP数据库，阿里AnalyticDB（adb）就属于分析型的分布式数据库（OLAP），主要用于数据分析，使用列存方式提升查询效率。adb非常适合应用于报表统计查询业务。

如何降低内存的使用

poi是一个提供读写excel文件的API类库，但使用不当很容易导致系统OOM，miniexcel正是为解决这一问题而编写的，当然，笔者在编写miniexcel时也考虑到了另一个问题，那就是大批量数据一次查询出来会占用太多内存，报表数据导出通常是大批量的数据，比如几十万、上百万，因此miniexcel也提供了分页查询导出的功能。

除此之外，miniexcel还支持自定义导入导出。miniexcel是一个基于poi封装的轻量且扩展性强的报表导入导出工具，支持.xls、.xlsx、csv格式。  

easyexcel是阿里开源的一款excel导入导出工具，也是基于poi封装的，因此easyexcel与miniexcel在性能上并没有太大区别。我们拿easyexcel与miniexcel做过对此测试，对比结果是miniexcel的导出耗时以及导出文件的大小都略优于easyexcel，这一部分原因与miniexcel放弃支持表格样式有关。

目前miniexcel正在洋葱集团内部推广使用，作者也会一直维护这个项目，也非常欢迎业内朋友使用，并一起改进miniexcel。

最近我们的管理后台频繁被操作系统kill掉，笔者也从运维那里拿到一份dump数据，但由于运维提供的这份dump数据是在系统正常情况下导出的，因此并未能找出原因，不过从这份数据能够看出，系统在正常使用情况下，所消费的堆内存大约是2.3g，大部分是mybatis与spring消耗的内存，其它比较耗内存的是一个数据导出操作，堆中存储了五十多万条记录，因此笔者猜测系统频繁挂掉是同时执行多个数据导出任务导致的。

虽然miniexcel提供了分页导出的功能，但我们项目中并未广泛使用这一特性，原因只有一个，使用分页导出功能虽然能降低对内存的使用，避免多人同时导出大批量数据导致系统内存消耗过高最后被操作系统kill掉，但由于查询本就耗时，分页查询会更加耗时，所以分页功能目前只用于能用上索引的分页查询数据导出功能。

如果将报表导出操作的数据查询从查mysql数据库改为查询分析型数据仓库adb，将miniexcel提供的分页导出功能与adb的高性能查询结合，就能完美的解决数据导出占用大量内存导致系统频繁挂掉的问题。这是一个报表数据导出相关业务功能的优化建议。

“数据库报表数据导出性能调优方法是什么”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！