锐客网

  1. 首页 > 生活百科 > it技术 > >

java连接es代码 java连接elasticsearch

IT技术bulkRequest

java怎么连接到elastic search集群package cn.test;
import java.net.InetAddress;
import java.net.UnknownHostException;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
public class ElkTest {
//private static final String CLUSTER_NAME = "cluster_name";
public static final String CLUSTER_NAME = "elasticsearch"; //实例名称
private static final String IP = "127.0.0.1";
//private static final String IP = "192.168.0.29";
private static final int PORT = 9300;//端口
//1.设置集群名称：默认是elasticsearch ， 并设置client.transport.sniff为true，使客户端嗅探整个集群状态，把集群中的其他机器IP加入到客户端中
/*
//对ES1.6有效
private static Settings settings = ImmutableSettings
.settingsBuilder()
.put("cluster.name",CLUSTER_NAME)
.put("client.transport.sniff", true)
.build();
*/
//对ES2.0有效
private static Settings settings = Settings
.settingsBuilder()
.put("cluster.name",CLUSTER_NAME)
.put("client.transport.sniff", true)
.build();
//创建私有对象
private static TransportClient client;
//反射机制创建单例的TransportClient对象ES1.6版本
//static {
//try {
//Class? clazz = Class.forName(TransportClient.class.getName());
//Constructor? constructor = clazz.getDeclaredConstructor(Settings.class);
//constructor.setAccessible(true);
//client = (TransportClient) constructor.newInstance(settings);
//client.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(IP), PORT));
//} catch (Exception e) {
//e.printStackTrace();
//}
//}
//ES2.0版本
static {
try {
client = TransportClient.builder().settings(settings).build()
.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(IP), PORT));
} catch (UnknownHostException e) {
e.printStackTrace();
}
}
//取得实例
public static synchronized TransportClient getTransportClient(){
return client;
}
//为集群添加新的节点
public static synchronized void addNode(String name){
try {
client.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(name),9300));
【java连接es代码 java连接elasticsearch】} catch (UnknownHostException e) {
e.printStackTrace();
}
}
//删除集群中的某个节点
public static synchronized void removeNode(String name){
try {
client.removeTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(name),9300));
} catch (UnknownHostException e) {
e.printStackTrace();
}
}
public static void main(String args[]){
String index="logstash-2016.02.16";
String type="logs";
SearchResponse response=ElkTest.getTransportClient().prepareSearch(index)//设置要查询的索引(index)
.setSearchType(SearchType.DFS_QUERY_THEN_FETCH)
.setTypes(type)//设置type, 这个在建立索引的时候同时设置了, 或者可以使用head工具查看
.setQuery(QueryBuilders.matchQuery("message", "Accept")) //在这里"message"是要查询的field,"Accept"是要查询的内容
.setFrom(0)
.setSize(10)
.setExplain(true)
.execute()
.actionGet();
for(SearchHit hit:response.getHits()){
System.out.println(hit.getSourceAsString());
}
}
}
java导数据到esid重复，代码主要逻辑如下：
// 读取要导入数据的文件
BufferedReader br = new BufferedReader(new FileReader(
"D:\\test\\test.txt"));
String json = null;
int count = 0;
// 开启批量插入
BulkRequestBuilder bulkRequest = client.prepareBulk();
while ((json = br.readLine()) != null) {
bulkRequest.add(client.prepareIndex("test", "all")
.setSource(json));
// 每一千条提交一次
if (count % 1000 == 0) {
bulkRequest.execute().actionGet();
System.out.println("提交了："count);
}
count;
}
bulkRequest.execute().actionGet();
System.out.println("插入完毕");
br.close();
登录后复制
?
运行后发现一个问题，我100多万条的数据，导入到es中怎么生成了1000多万条，而且还是在没有完全导入的情况下
然后用小批量数据导入到es,再把这些数据导出来，发现有好多重复的数据
为什么会重复呢，原因是在每一千条提交一次代码这块，第一次一千条提交了，并没有把bulkRequest置空 ， 所以第二次提交的时候 ， 会提交两千条，包括第一次已经提交的一千条 ， 然后我们自己也没有设置_id,所以es会自动给数据生成一个_id,即使是重复的数据，搞清楚了原因，下面来说解决方法，主要有两种：
第一种就是在提交了一千条后，对bulkRequest进行重置 ， 因为bulkRequest并没有重置的方法，所以可以新建一个bulkRequest，类似于重置，具体代码如下：
// 读取要导入数据的文件
BufferedReader br = new BufferedReader(new FileReader(
"D:\\test\\test.txt"));
String json = null;
int count = 0;
// 开启批量插入
BulkRequestBuilder bulkRequest = client.prepareBulk();
while ((json = br.readLine()) != null) {
bulkRequest.add(client.prepareIndex("test", "all")
.setSource(json));
// 每一千条提交一次
if (count % 1000 == 0) {
bulkRequest.execute().actionGet();
//此处新建一个bulkRequest，类似于重置效果
bulkRequest = client.prepareBulk();
System.out.println("提交了："count);
}
count;
}
bulkRequest.execute().actionGet();
System.out.println("插入完毕");
br.close();
登录后复制
?
第二种就是自己设置_id,确保每一条数据只有一个_id,这样的话，即使数据重复了 ， 因为_id是一样的 ， 所以es会进行更新，这样的话并没有从根源上解决数据重复的问题 ， 只是重复数据会更新，这样的话效率会慢，具体代码如下：
// 读取要导入数据的文件
BufferedReader br = new BufferedReader(new FileReader(
"D:\\test\\test.txt"));
String json = null;
int count = 0;
// 开启批量插入
BulkRequestBuilder bulkRequest = client.prepareBulk();
while ((json = br.readLine()) != null) {
//设置_id为count
bulkRequest.add(client.prepareIndex("test", "all",
String.valueOf(count)).setSource(json));
// 每一千条提交一次
if (count % 1000 == 0) {
bulkRequest.execute().actionGet();
//此处新建一个bulkRequest，类似于重置效果
System.out.println("提交了："count);
}
count;
}
bulkRequest.execute().actionGet();
System.out.println("插入完毕");
br.close();
登录后复制
?
建议使用第一种方法，效率会快很多 。
java连接数据库的详细步骤JDBC:
java database connective
主要作用:
连接程序使用的数据库
使用步骤:
1. 引入外部jar包(mysql提供的Java使用者的连接器)
工程上右键--build path -- config buildpath -- liberies
--add external jars
--选择对应的mysql-connectorXXXXXX.jar
看到工程上有jar文件则证明引入成功
2. 编程:
(1):注册数据库驱动
Class.forName("com.mysql.jdbc.Driver");
(2):创建连接
String url = "jdbc:mysql://192.168.0.243:3306/test";
String userName = "root";
String password = "root";
Connection conn = DriverManager.getConnection(url, userName, password);
(3):创建SQL信使
Statement stmt = conn.createStatement();
(4):执行SQL语句
int i = stmt.executeUpdate("insert into employee values ('10070004', '张三丰', 1, '2005-05-23', 0, 1001, '2007-02-02', 200)");
(5):异常捕获、关闭资源
search-guard 安装后 java 怎么访问es能：法就是通过工具，将java代码转换成exe文件然后使用js调用exe文件这种法是可以的但是没有人这么用建议你讲html文件转成jsp，jsp中可以嵌入java代码的然后下载个tomcat部署一下
在Idea中如何用java代码与es做连接的项目下面介绍一下如何使用Idea连接TFS服务器java连接es代码，并提交变更的代码到TFS服务器 。
一、连接TFS服务器java连接es代码 ， 并下载代码
Figure 1
Figure 2
Figure 3 - 输入TFS服务器的地址，例如：
Figure 4 - 选择服务器代码库地址和本地地址
Figure 5 - 代码下载中
Figure 6 - 选择创建项目
Figure 7
Figure 8 - 继续，后面几项都是Idea导入代码的界面，省略截屏
Figure 9 - 打开的项目
关于java连接es代码和java连接elasticsearch的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：鸿蒙操作系统兼容sonar吗，鸿蒙系统兼容所有安卓应用吗

    下一篇：汽车怎么调u盘音质，车载u盘怎么调音质