Es7.x使用RestHighLevelClient的3种分页实现 Es7.x使用RestHighLevelClient的3种分

from+size分页
1.1 from+size的命令行实现
1.2 from+size的RestHighLevelClient实现
scroll 分页
2.1 scroll分页的命令行实现
2.2 scroll的RestHighLevelClient实现
search_after分页
3.1 search_after的命令行实现
3.2 search_after的的RestHighLevelClient实现
总结

正文

【Es7.x使用RestHighLevelClient的3种分页实现】ES作为数据源的分页查询。数据量如果过大，使用浅分页可能会引发性能问题，可以考虑search_after深分页，当然是要根据具体业务场景进行分析。

分页一般有三种方式：

es默认采用的是from+size形式，在深度分页的情况下，这种效率是非常低的，但是可以随机跳转页面；
scroll search 方式（滚动搜索），官方的建议并不是用于实时的请求，因为每一个 scroll_id 不仅会占用大量的资源（特别是排序的请求），而且是生成的历史快照，对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。
search_after方式（滚动搜索），可以在实时的情况下处理深度分页，在Es5.x版本后提供的功能，search_after缺点是不能够随机跳转分页，只能是一页一页的向后翻，并且需要至少指定一个唯一不重复字段来排序。

1. from+size分页 Es封装RestHighLevelClient和BulkProcessor的工具类
1.1 from+size的命令行实现

GET /test_demo/_search { "query":{ "match_all": {} }, "from":5000, "size":10 }

上面意味着es需要在各个分片上匹配排序并得到5010条数据，协调节点拿到这些数据再进行排序，然后结果集中取最后10条数据返回。
上述语句性能低的原因：我们只需要10条数据，而es每个分片都需要执行from+size条数据然后处理后返回。
es为了性能，会限制我们分页的深度，es目前支持最大的max_result_window = 10000，也就是from+size的大小不能超过10000。

文章图片
image.png 1.2 from+size的RestHighLevelClient实现

/** * 浅分页查询 * * @throws IOException */ public static void testPage() throws IOException { SearchRequest searchRequest = new SearchRequest(); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); //排序条件 searchSourceBuilder.sort("id", SortOrder.ASC); searchSourceBuilder.sort("publishTime", SortOrder.DESC); //分页查询 searchSourceBuilder.from(2); searchSourceBuilder.size(2); EsUtil.remoteSearch(searchRequest, searchSourceBuilder); }

2. scroll 分页在es中我们分页要请求大数据集或者一次请求要获取大的数据集，scroll[skr??l]都是一种非常好的解决方案。
scroll也是滚动搜索。会在第一次搜索的时候，保存一个当时的快照。之后只会基于该旧的视图快照提供数据搜索。在这个期间发生变动，是不会让用户看到的。
官方的建议并不是用于实时的请求，因为每一个 scroll_id 不仅会占用大量的资源（特别是排序的请求），而且是生成的历史快照，对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。
2.1 scroll分页的命令行实现

第一步：进行搜索，生成scrollId。

GET test_demo/_search?scroll=1m { "size":2, "query":{ "terms":{ "tag":[ "疫情" ], "boost":"1.0" } } }

后续在使用第一步生成的scrollId进行滚动查询。

POST /_search/scroll { "scroll": "5m", "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAylJEWQ3Z4cHRTRzVTeXVqRG9YY1R5Q3hYdw==" }

2.2 scroll的RestHighLevelClient实现

public static void testScroll() throws IOException { SearchRequest searchRequest = new SearchRequest(); //失效时间为1min Scroll scroll = new Scroll(TimeValue.timeValueMinutes(1)); //封存快照 searchRequest.scroll(scroll); /** * 查询条件 */ SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("tag", "疫情"); searchSourceBuilder.query(termQueryBuilder); /** * 分页参数 */ searchSourceBuilder.size(2); searchRequest.indices("test_demo"); //放入文档中 searchRequest.source(searchSourceBuilder); log.info("dsl:" + searchSourceBuilder.toString()); //远程查询 SearchResponse searchResponse = EsUtil.getRestHighLevelClient().search(searchRequest, RequestOptions.DEFAULT); //元素数量 Iterator it1 = searchResponse.getHits().iterator(); while (it1.hasNext()) { SearchHit next = it1.next(); log.info("输出数据:" + next.getSourceAsString()); } log.info("=======================||"); //计算总数量 long totalCount = searchResponse.getHits().getTotalHits().value; //得到总页数 int page = (int) Math.ceil((float) totalCount / 2); //多次遍历分页，获取结果 String scrollId = searchResponse.getScrollId(); for (int i = 1; i <= page; i++) { //获取到该id SearchScrollRequest searchScrollRequest = new SearchScrollRequest(scrollId); searchScrollRequest.scroll(scroll); SearchResponse response = EsUtil.getRestHighLevelClient().scroll(searchScrollRequest, RequestOptions.DEFAULT); //打印数据 SearchHits hits = response.getHits(); scrollId = response.getScrollId(); Iterator iterator = hits.iterator(); while (iterator.hasNext()) { SearchHit next = iterator.next(); log.info("输出数据:" + next.getSourceAsString()); } log.info("======================="); } }

3. search_after分页可以在实时的情况下处理深度分页，在Es5.x版本后提供的功能，search_after缺点是不能够随机跳转分页，只能是一页一页的向后翻，并且需要至少指定一个唯一不重复字段来排序。
3.1 search_after的命令行实现注意：search_after必须指定一个唯一不重复的字段来排序，此处我们指定了两个字段进行排序，
该例子：id是唯一不重复字段，publishTime可能会重复。

GET test_demo/_search { "query": { "match_all": {} }, "size": 2, "sort":[ {"id":"asc"}, {"publishTime":"desc"} ] }

文章图片
image.png 注意，结果返回的sort字段，存储的是最后一组的排序字段的值，而search_after在下次搜索时，需要携带该数据。

文章图片
image.png 最终完成了滚动分页操作。
3.2 search_after的的RestHighLevelClient实现

public static void testSearchAfter() throws IOException { SearchRequest searchRequest = new SearchRequest(); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); //排序条件 searchSourceBuilder.sort("id", SortOrder.ASC); searchSourceBuilder.sort("publishTime", SortOrder.DESC); //分页查询 searchSourceBuilder.size(2); List remoteSearch = EsUtil.remoteSearch(searchRequest, searchSourceBuilder); //查询最后一笔数据 SearchHit result = remoteSearch.get(remoteSearch.size() - 1); //序列化为对象 //分页查询下一页数据 log.info("=====================下一页============================"); SearchRequest searchRequest2 = new SearchRequest(); SearchSourceBuilder searchSourceBuilder2 = new SearchSourceBuilder(); //排序条件 searchSourceBuilder2.sort("id", SortOrder.ASC); searchSourceBuilder2.sort("publishTime", SortOrder.DESC); //存储上一次分页的sort信息 searchSourceBuilder2.searchAfter(result.getSortValues()); searchSourceBuilder2.size(2); EsUtil.remoteSearch(searchRequest2, searchSourceBuilder2); }

4. 总结