DSL结构化查询

查询的分类 Leaf query Cluase 叶子查询(简单查询)
这种查询可以单独使用,针对指定的字段查询指定的值。
Compound query clauses 复杂查询
【DSL结构化查询】复杂查询可以包含叶子或者其它的复杂查询语句,用于组合成复杂的查询语句,比如not, bool等。
查询虽然包含这两种,但是查询的行为还与查询的执行环境有关,不同的执行环境,查询操作也不一样。查询的行为取决于他们所在的查询上下文,包括Query查询上下文和Filter查询上下文。
查询与过滤 Query查询上下文
在Query查询上下文中,查询会回答这个问题:这个文档匹不匹配查询条件?它的相关性高么?
除了决定文档是够匹配,针对匹配的文档,查询语句还会计算一个相关性分值,分数越高,匹配度越高,默认返回是越靠前。
Filter查询上下文
在Filter过滤器上下文中,查询会回答这个问题:这个文档是否匹配?
这个结果要么“不是”要么“是”,不会计算分值问题,也不会关心返回的排序问题,这样性能方面就比Query查询高了。Filter过滤器主要用于过滤结构化数据,例如:时间戳范围是否在2015-2016之间?status字段是否被设置成“published"?另外,常用的过滤器会自动缓存Elasticsearch,加速性能。
原则上来说,使用查询语句做全文本搜索或其他需要进行相关性评分的时候,剩下的全部用过滤语句。
DSL结构化查询
文章图片
两段不同的检索方式 DSL结构化查询
文章图片
query检索 DSL结构化查询
文章图片
filter检索 语法 1. 增删改查关键字
PUT 新建

  • 新建索引 PUT /$index
  • 新建文档 PUT /$index/$type/$document_id (修改文档和新建文档的方式是一样的,id相同的情况下,数据会被覆盖)
DELETE 删除
  • 删除索引配置 DELETE /$index
  • 删除文档 DELETE /$index/$type/$document_id
GET/POST 查询
  • 查询索引配置 GET /$index/_settings | POST /$index/_settings
  • 查询文档 GET /$index/$type/_search | POST /$index/$type/_search (无type可不加type)
2. 全文检索
2.1 过滤
  • term 过滤
term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经切词的文本数据类型)。
{ "term": { "date":"2017-07-01" }} { "term": { "title":"内蒙古"}}

我们在外层再加入 query 的上下文关系,就是完整的例子。如下,过滤所有文章标题是内蒙古的。
{ "query": { "term": { "title": "内蒙古" } } }

  • terms 过滤
terms 跟 term 有点类似,但 terms 允许指定多个匹配条件。 如果某个字段指定了多个值,那么文档需要一起去做匹配。
{ "terms": {"title": ["内蒙古","黑龙江"] } }

完整的例子,所有文章标题是 内蒙古 或 黑龙江 的:
{ "query": { "terms": { "title": [ "内蒙古", "黑龙江" ] } } }

  • range 过滤
range过滤允许我们按照指定范围查找一批数据。范围操作符包含:【gt :: 大于 】 【 gte:: 大于等于 】【 lt :: 小于 】【lte:: 小于等于】
一个完整的例子, 查询发表时间在2017-06-25和2017-07-01之间的数据。
{ "query": { "range": { "pubTime": { "gt": "2017-06-25", "lt": "2017-07-01" } } } }

  • exists 和 missing 过滤
exists 和 missing 过滤可以用于查找文档中是否包含指定字段或没有某个字段,类似于SQL语句中的IS_NULL条件。
这两个过滤只是针对已经查出一批数据来,但是想区分出某个字段是否存在的时候使用。
{ "exists":{ "field":"title" } }

  • bool 过滤
bool 过滤可以用来合并多个过滤条件查询结果的布尔逻辑,它包含一下操作符:
  1. must :: 多个查询条件的完全匹配,相当于 and。
  2. must_not :: 多个查询条件的相反匹配,相当于 not。
  3. should :: 至少有一个查询条件匹配, 相当于 or。
这些参数可以分别继承一个过滤条件或者一个过滤条件的数组:
{ "bool": { "must":{ "term": { "folder": "inbox" }}, "must_not": { "term": { "tag":"spam"}}, "should": [ { "term": { "starred": true}}, { "term": { "unread":true}} ] } }

  • filter 过滤器
官方例子如下:
GET /_search { "query": { "bool": { "must": [ { "match": { "title":"Search"}}, { "match": { "content": "Elasticsearch" }} ], "filter": [ { "term":{ "status": "published" }}, { "range": { "publish_date": { "gte": "2015-01-01" }}} ] } } }

  • filter 参数则表示这个子查询处于 filter context 中
  • filter 语句中的 term 和 range 语句用在 filter context 中,它们只起到过滤的作用,并不会计算文档的得分。
如果你想同时使用 query 和 filter 查询的话,需要使用 {query:{filtered:{}}} 来包含这两个查询语法。好处是,借助于filter的速度可以快速过滤出文档,然后再由query根据条件来匹配。
# SELECT document FROM products where price = 20 # filtered 查询价格是20的商品 GET /store/products/_search { "query": { "filtered": { "query": { "match_all": {} }, "filter": { "term": { "price": 200 } } } } } # 也可以指定多个值 GET /store/products/_search { "query": { "filtered": { "filter": { "terms": { "price": [10, 20] } } } } }# SELECT product FROM products WHERE productID = "SD4535233" # 由于默认分析器进行分析,会将大写转小写 GET /store/products/_search { "query": { "filtered": { "filter": { "term": { "productID": "sd4535233" } } } } }

2.2 查询
  • match_all 查询
可以查询到所有文档,是没有查询条件下的默认语句。
{ "match_all": {} }

  • match 查询
match查询是一个标准查询,不管你需要全文本查询还是精确查询基本上都要用到它。
如果你使用 match 查询一个全文本字段,它会在真正查询之前用分析器先分析match一下查询字符:
{ "query": { "match": { "content": "韩国 上海 北京" } } }

match查询只能就指定某个确切字段某个确切的值进行搜索,而你要做的就是为它指定正确的字段名以避免语法错误。
{ "match": { "age": 12}} { "match": { "pubTime":"2017-07-01" }} { "match": { "title":"韩国"}}

  • multi_match 查询
multi_match查询允许你做match查询的基础上同时搜索多个字段,在多个字段中同时查一个。
查询文章标题和内容包含乌鲁木齐的数据:
{ "query": { "multi_match": { "query": "乌鲁木齐", "fields": [ "title", "content" ] } } }

  • bool 查询
bool 查询与 bool 过滤相似,用于合并多个查询子句。不同的是,bool 过滤可以直接给出是否匹配成功, 而bool 查询要计算每一个查询子句的 _score (相关性分值)。
  1. must:: 查询指定文档一定要被包含。
  2. must_not:: 查询指定文档一定不要被包含。
  3. should:: 查询指定文档,有则可以为文档相关性加分。
以下查询将会找到 title 字段中包含 "how to make millions",并且 "tag" 字段没有被标为 spam。 如果有标识为 "starred" 或者发布日期为2014年之前。
{ "bool": { "must":{ "match": { "title": "how to make millions" }}, "must_not": { "match": { "tag":"spam" }}, "should": [ { "match": { "tag": "starred" }}, { "range": { "date": { "gte": "2014-01-01" }}} ] } }

提示: 如果bool 查询下没有must子句,那至少应该有一个should子句。但是 如果有must子句,那么没有should子句也可以进行查询。
  • wildcards 查询
使用标准的shell通配符查询。
以下查询能够匹配包含W1F 7HW和W2F 8HW的文档:
{ "query": { "wildcard": { "postcode": "W?F*HW" } } }

又比如下面查询 hostname 匹配下面shell通配符的:
{ "query": { "wildcard": { "title": "乌鲁*" } } }

  • regexp 查询
假设您只想匹配以W开头,紧跟着数字的邮政编码。使用regexp查询能够让你写下更复杂的模式:
{ "query": { "regexp": { "postcode": "W[0-9].+" } } }

这个正则表达式的规定了词条需要以W开头,紧跟着一个0到9的数字,然后是一个或者多个其它字符。
下面例子是所有以 wxopen 开头的正则:
{ "query": { "regexp": { "hostname": "wxopen.*" } } }

  • prefix 查询
以什么字符开头的,可以更简单地用 prefix,如下面的例子:
{ "query": { "prefix": { "title": "美味的" } } }

  • 短语匹配(Phrase Matching)
当你需要寻找邻近的几个单词时,你会使用match_phrase查询:
{ "query": { "match_phrase": { "content": "端午 旅游 云南" } } }

和match查询类似,match_phrase查询首先解析查询字符串来产生一个词条列表。然后会搜索所有的词条,但只保留含有了所有搜索词条的文档,并且词条的位置要邻接。
match_phrase查询也可以写成类型为phrase的match查询:
{ "query": { "match": { "content": { "query": "端午 旅游 云南", "type": "phrase" } } } }

2.3 处理返回内容
  • _source (source filter)
通过在_source中指定 includes 和 excludes,控制查询结果中哪些source字段要返回、哪些source字段不需要返回。 "_source": false (不指定source字段)、"_source": ["wheather"] (指定返回源字段wheather)。
{ "_source": { "includes": [ "obj1.*", "obj2.*" ], "excludes": [ "*.description" ] }, "query" : { "term" : { "user" : "kimchy" } } }

  • sort 排序
可以指定按一个或多个字段排序。也可通过_score指定按评分值排序,_doc 按索引顺序排序。默认是按相关性评分从高到低排序。
//order 值:asc、desc。如果不给定,默认是asc,_score默认是desc { "query": { "match_all": {} }, "sort": [ { "age": { "order": "desc" }}, { "balance": { "order": "asc" }}, "_score" ] }

  • docvalue_fields
允许返回每个表示命中字段的文档值。
{ "query" : { "match_all": {} }, "docvalue_fields" : ["test1", "test2"] }

请注意,如果fields参数指定了没有docvalues的字段,它将尝试从fielddata缓存加载值,导致该字段的项被加载到内存(缓存),这将导致更多的内存消耗。
  • explain 返回文档的评分解释
{ "explain": true, "query" : { "term" : { "user" : "kimchy" } } }

  • min_score 限制最低评分得分
{ "min_score": 0.5, "query" : { "term" : { "user" : "kimchy" } } }

  • post_filter 后置过滤
在查询命中文档、完成聚合后,再对命中的文档进行过滤。
如:要在一次查询中查询品牌为gucci且颜色为红色的shirts,同时还要得到gucci品牌各颜色的shirts的分面统计。
{ "query": { "bool": { "filter": { "term": { "brand": "gucci" } } } }, "aggs": { "colors": { "terms": { "field": "color" } } }, "post_filter": { "term": { "color": "red" } } }

    推荐阅读