【技术干货】代码示例(使用|【技术干货】代码示例:使用 Apache Spark 连接 TDengine)
小 T 导读:想用 Spark 对接 TDengine?保姆级教程来了。0、前言 TDengine 是由涛思数据开发并开源的一款高性能、分布式、支持 SQL 的时序数据库(Time-Series Database)。
在上一篇文章中,我们示范了如何使用 Apache Flink 连接 TDengine,使用 Apache Spark 的小伙伴们已经迫不及待地等待续集了。
相对于 Flink,Spark 对接起来就简单多了。
文章图片
1、技术实现 【【技术干货】代码示例(使用|【技术干货】代码示例:使用 Apache Spark 连接 TDengine)】Spark 本身封装了 JDBC 的方法,所以我们直接使用 Spark 官网的示例代码就可以完成对接了。
2、示例代码
package com.taosdata.java;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.jdbc.JdbcDialect;
import org.apache.spark.sql.jdbc.JdbcDialects;
public classSparkTest{
public static void main(String[] args) {
// 数据库配置
String url = "jdbc:TAOS://u05:6030/tt?user=root&password=taosdata";
String driver = "com.taosdata.jdbc.TSDBDriver";
String dbtable = "t1";
SparkSession sparkSession = SparkSession.builder()
.appName("DataSourceJDBC") // 设置应用名称
.master("local") // 本地单线程运行
.getOrCreate();
// 创建DataFrame
Dataset df = sparkSession
.read() // 返回一个DataFrameReader,可用于将非流数据作为DataFrame读取
.format("jdbc") // JDBC数据源
.option("url", url)
.option("driver", driver)
.option("query", "select * from tt.meters limit 100") // 二选一,sql语句或者表
.load();
// 将DataFrame的内容显示
df.show();
df.write() // 返回一个DataFrameWriter,可用于将DataFrame写入外部存储系统
.format("jdbc") // JDBC数据源
.mode(SaveMode.Append) // 如果第一次生成了,后续会追加
.option("url", url)
.option("driver", driver)
.option("dbtable", "test.meters") // 表名
.save();
sparkSession.stop();
}
}
3、简单测试 JNI 读写 1) 环境准备:
a) Spark 安装&启动:
- wget https://www.apache.org/dyn/cl...
- tar zxf spark-3.2.1-bin-hadoop3.2.tgz -C /usr/local
创建原始数据:
- create database tt;
- create table tt.meters (ts TIMESTAMP,vol INT) ;
- insert into meters values(now,220);
- create database test;
- create table test.meters (ts TIMESTAMP,vol INT) ;
源码位置: https://github.com/liuyq-617/...
mvn clean package
3) 程序启动:
spark-submit –master local –name TDenginetest –class com.taosdata.java.SparkTest /testSpark-1.0-SNAPSHOT-dist.jar
读取数据
- 读取的数据直接打印在控制台
- select * from test.meters;
- 可以查询到刚插入的数据
想了解更多 TDengine Database的具体细节,欢迎大家在GitHub上查看相关源代码。
文章图片
推荐阅读
- springboot面试题总结
- #yyds干货盘点#liunx命令学习笔记
- #yyds干货盘点#nginx代理配置
- M1 和 Docker 谈了个恋爱 #yyds干货盘点#
- CSS 变量自动变色技术
- #yyds干货盘点#Kafka中的数据不丢失机制及CAP理论详解
- Flutter 专题23 图解自定义 Dialog 对话框 #yyds干货盘点#
- 如何在wp-admin菜单,页面标题和帖子编辑器中更改”标签”
- Java|525、Java工程师的进阶之路 -【 RocketMQ (二)】 2022.01.06
- leetcode|优先级队列(堆)