TSDB的数据怎么利用Hadoop/spark集群做数据分析

这篇文章主要介绍“TSDB的数据怎么利用Hadoop/spark集群做数据分析”,在日常操作中,相信很多人在TSDB的数据怎么利用Hadoop/spark集群做数据分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”TSDB的数据怎么利用Hadoop/spark集群做数据分析”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

举个栗子:

一个风机监测站,用TSDB来存储风速的实时数据。大家知道,风速可是矢量数据,TSDB存储了x轴和y轴的数据,需要对x和y轴的数据求矢量和才能得到风速。

TSDB中的原始数据用简单的表格示意一下,就是如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

背景就是这么简单,我们就开始三步走啦。

一、下载Jar包。这个Jar包支持实现了一个TSDB的HiveStorageHandler,通过Hive CLI或Hue使用,支持对TSDB的读取。如果是本地hive集群,请下载jar包到本地,如果使用百度MapReduce(BMR),请直接使用地址bos://iot-tsdb/hive-tsdb-handler-all.jar


二、Hadoop集群中加载Jar包,并初始化。

示例代码如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

上面的代码由以下几部分组成,

1、加载Jar包、创建表、设置storage为TSDBStorageHandler

2、初始化TSDB的参数。在TBLPROPERTIES中初始化在TSDB中用到的相关参数,如tsdb.metric_name、tsdb.timestamp_name、tsdb.field_names、tsdb.tag_keys初始化为TSDB中的值

三、通过SQL得到结果

上面的x轴和y轴的风速,需要计算矢量和拿到最后的风速,利用SQL和计算函数就很简单啦

TSDB的数据怎么利用Hadoop/spark集群做数据分析

得到的结果如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

到此,关于“TSDB的数据怎么利用Hadoop/spark集群做数据分析”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注编程之家网站,小编会继续努力为大家带来更多实用的文章!

相关文章

1.SparkStreaming是什么?SparkStreaming是SparkCore的扩展A...
本篇内容介绍了“Spark通讯录相似度计算怎么实现”的有关知识...
本篇文章给大家分享的是有关如何进行Spark数据分析,小编觉得...
本篇内容主要讲解“Spark Shuffle和Hadoop Shuffle有哪些区别...
这篇文章主要介绍“TSDB的数据怎么利用Hadoop/spark集群做数...
本篇内容介绍了“Hadoop与Spark性能原理是什么”的有关知识,...