温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

全国产计算数据库性能测试报告

发布时间:2020-07-30 09:13:02 来源:网络 阅读:234 作者:raqsoft 栏目:大数据

一、       测试背景

由于众所周知的世界经贸形势,拥有全面自主可控的IT解决方案成为摆在国家面前的一项重要任务。但是,由于目前国产芯片的性能还相对较弱,大多只能应用于OA等边缘业务,要用到关键业务中时就必须加大成本以扩大集群规模,这将进一步推高因为生态成熟度还不足而导致本身成本就不低的全国产技术方案的应用门槛,抑制了全国产技术的推广应用范围。

SPL计算数据库是一项从理论模型到代码实现都拥有完全自主产权的新技术,它采用了创新代数体系,允许程序员实现更高性能的低复杂度算法,从而获得比传统关系数据库更好的运算性能。因此,可以通过软件弥补硬件,使较低性能的国产芯片不需要扩大集群规模就能够适应原来必须使用国外芯片的应用场景,并且还有一定程度的性能提升。

二、       测试方法

采用国际上公认的数据库性能测试工具TPCH,通过与国外数据库产品的杰出代表Oracle12.1.0及另一国产数据库(下文中简称国产数据库)进行对比测试。

TPCH是由TPC(Transaction Processing Performance Council)事务处理性能委员会公布的一套针对数据库决策支持能力的测试基准,通过模拟数据库中与业务相关的复杂查询考察数据库的综合处理能力,获取数据库操作的响应时间。

TPCH基准模型中定义了一个数据库模型,容量可以在1GB~10000GB的8个级别中进行选择。数据库模型包括CUSTOMER、LINEITEM、NATION、ORDERS、PART、PARTSUPP、REGION和SUPPLIER 8张数据表,涉及22条复杂的SQL查询语句。

TPCH测试具有广泛的权威性和被认可度,涉及内容丰富,可以避免片面性,并确保测试结论的说服力。

传统数据库都是用SQL语言进行查询,在SPL数据库中,需要将TPCH提供的SQL翻译成SPL脚本来运行。

三、       测试环境

本场测试分别在五台不同配置的独立服务器上作运行测试,分别命名为intel2670、intel3014、龙芯、飞腾FT1500、飞腾FT2000,硬件配置如下表:

名称CPU内存硬盘类型
Intel26702个intel2670 CPU,主频2.6G,共计16核128GSSD固态硬盘
Intel30142个intel3014 CPU,主频1.7G,共计12核64G
龙芯2个CPU,共计8核64G
FT1500飞腾飞腾CPU,共计16核32G
FT2000飞腾飞腾CPU,共计64核256G

国产数据库只在龙芯上测试,Oracle 只在 intel 上测试,SPL 在五台服务器上均做了测试。

四、       数据准备

测试数据均采用TPCH提供的数据生成程序产生,产生了100G和200G两种规模的测试数据,100G数据用在intel3014、龙芯、飞腾FT1500、飞腾FT2000四台服务器上,200G数据用在intel2670、飞腾FT2000两台服务器上。

TPCH产生原始文本文件数据以后,需要导入数据库表中供数据库软件查询使用。SPL数据库使用的数据存储在硬盘组表文件中,也需要由原始文本数据转换生成。下表是转换成所需要的测试数据所花的时间(共有8张表,只比较数据量较大的3张表)。

数据表名LINEITEMORDERSPARTSUPP
100GOracle(intel3014)09:40:5901:31:3400:59:02
SPL组表(intel3014)01:40:0000:17:4800:10:47
国产数据库(龙芯)01:55:3700:17:4100:10:18
200GOracle(intel2670)37:47:2807:43:5403:12:30
SPL组表(intel2670)01:52:5700:25:2000:17:23

可以看出, Oracle数据导入的时间非常长。SPL和国产数据库的导入时间相当,这方面均比Oracle有数倍的性能优势。

五、       测试结果

测试的三种软件均支持并行查询,即用多线程共同协调完成一次查询任务。然而并行的路数并不是越多越好,因此在每台测试服务器上需要测出查询速度最快的并行数。我们用TPCH的第一条查询任务作测试,在每台测试服务上的并行查询结果如下:

TPCH1 测试响应时间表 (秒)

数据量服务器并行数12481216
100GIntel3014Oracle570356219170131141
SPL组表33617491463840
龙芯国产数据库1620961553507579694
SPL组表1521
525275284
FT1500飞腾SPL组表71136719895
62
服务器并行数81632404864
FT2000飞腾SPL组表
3722192140
200GIntel2670Oracle318316318


SPL组表634041


FT2000飞腾SPL组表


36

上表中红色数字对应的并行数,即为各测试服务器上最佳的并行数,于是TPCH后面各查询测试中就以此并行数来进行测试。

测试结果如下表:

TPCH 共 22 条查询测试响应时间表 (秒)

TPCH

编号

100G数据200G数据

Intel3014

(12并行)

FT1500

(16并行)

FT2000

(40并行)

龙芯

(8并行)

Intel2670

(16并行)

FT2000

(40并行)

SPLOracleSPLSPLSPL国产数据库SPLOracleSPL
13813162192755074032536
2427861824787313
32122233229744512358235
41520727188917902145443
53422536247217612546345
612135226607571135212
7251843220917002249630
83719246489316112948580
96823412565517106685636135
102121535229916343449342
115331262916596311
122018472381736475246455
135737114853352209135103135
142215765121425006536838
151815560261035066135846
161013191253105147122
17171654891009634034919
1816344351316323822596626
191515465121375186034529
201517557111105945544220
21273262221909013349191790398
221948372799139309949
合计51635631232691375626601103587771319

 

六、       结论

将测试结果制成统计图示:

全国产计算数据库性能测试报告

 

全国产计算数据库性能测试报告

 

可以看出如下一些结论:

1.       在同一台测试机上使用同一份TPCH测试数据,比较22条查询所用的总时间,使用了新算法的SPL比Oracle要快5-7 倍,创新理论和算法确实有效。

2.       在飞腾FT1500上比intel3014上的Oracle快了近 3 倍,在飞腾FT2000上比intel2670上的Oracle快了5 倍还多。在飞腾芯片上搭载的SPL数据库,远远超过了Intel上Oracle的运算性能,应用于关键业务完全没有问题。

3.       龙芯相对略弱,但在SPL的支持下,也能和intel3014上的oracle速度基本相当(接近 95%),基本可应用于关键业务中了。

4.       龙芯上国产数据库性能较差,只能达到Intel3014上Oracle的七分之一左右,基本不具备应用于关键业务的能力。


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI