PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法

临文乍了了,彻卷兀若无。这篇文章主要讲述PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法相关的知识,希望能为你提供帮助。
Passjava (佳必过) 项目全套学习教程连载中,关注公众号悟空聊架构第一时间获取。
文档在线地址: www.passjava.cn
ElastiscSearch 系列文章的内容如下:

PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法

文章图片

ElasticSearch 高阶检索玩法 5.1 两种查询方式 5.1.1URL 后接参数
GET bank/_search?q=*& sort=account_number: asc

``/_search?q=*& sort=account_number: asc
查询出所有数据,共 1000 条数据,耗时 1ms,只展示 10 条数据 ( ES 分页 )
PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法

文章图片

属性值说明:
took – ES 执行搜索的时间 ( 毫秒 ) timed_out – ES 是否超时 _shards – 有多少个分片被搜索了,以及统计了成功/失败/跳过的搜索的分片 max_score – 最高得分 hits.total.value - 命中多少条记录 hits.sort - 结果的排序 key 键,没有则按 score 排序 hits._score - 相关性得分 参考文档: https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-search.html

5.1.2 URL 加请求体进行检索 ( QueryDSL )
请求体中写查询条件
语法:
GET bank/_search"query":"match_all": , "sort": [ "account_number": "asc" ]

示例:查询出所有,先按照 accout_number 升序排序,再按照 balance 降序排序
PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法

文章图片

5.2 详解 QueryDSL 查询5.2.1 全部匹配 match_all
示例:查询所有记录,按照 balance 降序排序,只返回第 11 条记录到第 20 条记录,只显示 balance 和 firstname 字段。
GET bank/_search"query": "match_all": , "sort": [ "balance": "order": "desc" ], "from": 10, "size": 10, "_source": ["balance", "firstname"]

5.2.2 匹配查询 match
  • 基本类型 ( 非字符串 ) ,精确匹配
GET bank/_search"query": "match": "account_number": "30"

  • 字符串,全文检索
GET bank/_search"query": "match": "address": "mill road"

PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法

文章图片

查到了 32 条记录,最高的一条记录是 Address = " 990 Mill Road" ,得分:8.926605. Address=" 198 Mill Lane" 评分 5.4032025,只匹配到了 Mill 单词。
5.2.3 短语匹配 match_phase
将需要匹配的值当成一个整体单词 ( 不分词 ) 进行检索
GET bank/_search"query": "match_phrase": "address": "mill road"

5.2.4 多字段匹配 multi_match
GET bank/_search"query": "multi_match": "query": "mill land", "fields": [ "state", "address" ]

5.2.5 复合查询 bool
搭配使用 must,must_not,should
must: 必须达到 must 指定的条件。 ( 影响相关性得分 )
must_not: 必须不满足 must_not 的条件。 ( 不影响相关性得分 )
should: 如果满足 should 条件,则可以提高得分。如果不满足,也可以查询出记录。 ( 影响相关性得分 )
示例:查询出地址包含 mill,且性别为 M,年龄不等于 28 的记录,且优先展示 firstname 包含 Winnie 的记录。
GET bank/_search"query": "bool": "must": [ "match": "address": "mill" , "match": "gender": "M" ], "must_not": [ "match": "age": "28" ], "should": [ "match": "firstname": "Winnie" ]

5.2.6 filter 过滤
GET bank/_search"query": "bool": "filter": [ "range": "age": "gte":18, "lte":40 ]

5.2.7 term 查询
非 text 字段精确匹配 GET bank/_search"query": "term": "age": "20"

5.2.8 aggregations 聚合
聚合语法:
"aggregations" : "< 聚合名称 1> " : "< 聚合类型> " : < 聚合体内容> [,"元数据" :[< meta_data_body> ] ]? [,"aggregations" :[< sub_aggregation> ]+ ]?[,"聚合名称 2> " :... ]*

  • 示例 1:搜索 address 中包含 big 的所有人的年龄分布 ( 前 10 条 ) 以及平均年龄,以及平均薪资
GET bank/_search"query": "match": "address": "mill" , "aggs": "ageAggr": "terms": "field": "age", "size": 10, "ageAvg": "avg": "field": "age", "balanceAvg": "avg": "field": "balance"

检索结果如下所示:
hits 记录返回了,三种聚合结果也返回了,平均年龄 34 随,平均薪资 25208.0,品骏年龄分布:38 岁的有 2 个,28 岁的有一个,32 岁的有一个
PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法

文章图片

如果不想返回 hits 结果,可以在最后面设置 size:0
GET bank/_search"query": "match": "address": "mill" , "aggs": "ageAggr": "terms": "field": "age", "size": 10, "size": 0

  • 示例 2:按照年龄聚合,并且查询这些年龄段的平均薪资
从结果可以看到 31 岁的有 61 个,平均薪资 28312.9,其他年龄的聚合结果类似。
PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法

文章图片

  • 示例 3:按照年龄分组,然后将分组后的结果按照性别分组,然后查询出这些分组后的平均薪资
GET bank/_search"query": "match_all": , "aggs": "ageAggr": "terms": "field": "age", "size": 10 , "aggs": "genderAggr": "terms": "field": "gender.keyword", "size": 10 , "aggs": "balanceAvg": "avg": "field": "balance" , "size": 0

从结果可以看到 31 岁的有 61 个。其中性别为 M 的 35 个,平均薪资 29565.6,性别为 F 的 26 个,平均薪资 26626.6。其他年龄的聚合结果类似。
PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法

文章图片

5.2.9 Mapping 映射
  • 定义哪些字符串属性应该被看做全文本属性 ( full text fields )
  • 定义哪些属性包含数字,日期或地理位置
  • 定义文档中的所有属性是否都能被索引 ( _all 配置 )
  • 日期的格式
  • 自定义映射规则来执行动态添加属性
Elasticsearch7 去掉 tpye 概念:
关系型数据库中两个数据库表示是独立的,即使他们里面有相同名称的列也不影响使用,但 ES 中不是这样的。elasticsearch 是基于 Lucence 开发的搜索引擎,而 ES 中不同 type 下名称相同的 field 最终在 Lucence 中的处理方式是一样的。
为了区分不同 type 下的同一名称的字段,Lucence 需要处理冲突,导致检索效率下降
ES7.x 版本:URL 中的 type 参数为可选。
ES8.x 版本:不支持 URL 中的 type 参数
【PassJava 开源项目(二十)之 详解 Elasticsearch 高级检索玩法】所有类型可以参考文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html
  • 查询索引的映射
如查询 my-index 索引的映射
GET /my-index/_mapping 返回结果:"my-index" : "mappings" : "properties" : "age" : "type" : "integer" , "email" : "type" : "keyword" , "employee-id" : "type" : "keyword", "index" : false , "name" : "type" : "text"

  • 创建索引并指定映射
如创建 my-index 索引,有三个字段 age,email,name,指定类型为 interge, keyword, text
PUT /my-index"mappings": "properties": "age":"type": "integer" , "email":"type": "keyword", "name":"type": "text" 返回结果:"acknowledged" : true, "shards_acknowledged" : true, "index" : "my-index"

  • 添加新的字段映射
如在 my-index 索引里面添加 employ-id 字段,指定类型为 keyword
PUT /my-index/_mapping"properties": "employee-id": "type": "keyword", "index": false

  • 更新映射
  • 数据迁移
POST _reindex"source": "index": "twitter" , "dest": "index": "new_twitter"

个人网站:www.passjava.cn

    推荐阅读