这篇文章主要介绍“TSDB的数据怎么利用Hadoop/spark集群做数据分析”,在日常操作中,相信很多人在TSDB的数据怎么利用Hadoop/spark集群做数据分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”TSDB的数据怎么利用Hadoop/spark集群做数据分析”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
举个栗子:
一个风机监测站,用TSDB来存储风速的实时数据。大家知道,风速可是矢量数据,TSDB存储了x轴和y轴的数据,需要对x和y轴的数据求矢量和才能得到风速。
TSDB中的原始数据用简单的表格示意一下,就是如下:
背景就是这么简单,我们就开始三步走啦。
一、下载Jar包。这个Jar包支持实现了一个TSDB的HiveStorageHandler,通过Hive CLI或Hue使用,支持对TSDB的读取。如果是本地hive集群,请下载jar包到本地,如果使用百度MapReduce(BMR),请直接使用地址bos://iot-tsdb/hive-tsdb-handler-all.jar
二、Hadoop集群中加载Jar包,并初始化。
示例代码如下:
上面的代码由以下几部分组成,
1、加载Jar包、创建表、设置storage为TSDBStorageHandler
2、初始化TSDB的参数。在TBLPROPERTIES中初始化在TSDB中用到的相关参数,如tsdb.metric_name、tsdb.timestamp_name、tsdb.field_names、tsdb.tag_keys初始化为TSDB中的值
三、通过SQL得到结果
上面的x轴和y轴的风速,需要计算矢量和拿到最后的风速,利用SQL和计算函数就很简单啦
得到的结果如下:
到此,关于“TSDB的数据怎么利用Hadoop/spark集群做数据分析”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。