DSL结构化查询
查询的分类
Leaf query Cluase 叶子查询(简单查询)
这种查询可以单独使用,针对指定的字段查询指定的值。
Compound query clauses 复杂查询
【DSL结构化查询】复杂查询可以包含叶子或者其它的复杂查询语句,用于组合成复杂的查询语句,比如not, bool等。
查询虽然包含这两种,但是查询的行为还与查询的执行环境有关,不同的执行环境,查询操作也不一样。查询的行为取决于他们所在的查询上下文,包括Query查询上下文和Filter查询上下文。
查询与过滤
Query查询上下文
在Query查询上下文中,查询会回答这个问题:这个文档匹不匹配查询条件?它的相关性高么?
除了决定文档是够匹配,针对匹配的文档,查询语句还会计算一个相关性分值,分数越高,匹配度越高,默认返回是越靠前。
Filter查询上下文
在Filter过滤器上下文中,查询会回答这个问题:这个文档是否匹配?
这个结果要么“不是”要么“是”,不会计算分值问题,也不会关心返回的排序问题,这样性能方面就比Query查询高了。Filter过滤器主要用于过滤结构化数据,例如:时间戳范围是否在2015-2016之间?status字段是否被设置成“published"?另外,常用的过滤器会自动缓存Elasticsearch,加速性能。
原则上来说,使用查询语句做全文本搜索或其他需要进行相关性评分的时候,剩下的全部用过滤语句。
文章图片
两段不同的检索方式
文章图片
query检索
文章图片
filter检索 语法
1. 增删改查关键字
PUT 新建
- 新建索引
PUT /$index
- 新建文档
PUT /$index/$type/$document_id
(修改文档和新建文档的方式是一样的,id相同的情况下,数据会被覆盖)
- 删除索引配置
DELETE /$index
- 删除文档
DELETE /$index/$type/$document_id
- 查询索引配置
GET /$index/_settings
|POST /$index/_settings
- 查询文档
GET /$index/$type/_search
|POST /$index/$type/_search
(无type可不加type)
2.1 过滤
- term 过滤
{ "term": { "date":"2017-07-01" }}
{ "term": { "title":"内蒙古"}}
我们在外层再加入 query 的上下文关系,就是完整的例子。如下,过滤所有文章标题是内蒙古的。
{
"query": {
"term": {
"title": "内蒙古"
}
}
}
- terms 过滤
{
"terms": {"title": ["内蒙古","黑龙江"] }
}
完整的例子,所有文章标题是 内蒙古 或 黑龙江 的:
{
"query": {
"terms": {
"title": [
"内蒙古",
"黑龙江"
]
}
}
}
- range 过滤
一个完整的例子, 查询发表时间在2017-06-25和2017-07-01之间的数据。
{
"query": {
"range": {
"pubTime": {
"gt": "2017-06-25",
"lt": "2017-07-01"
}
}
}
}
- exists 和 missing 过滤
这两个过滤只是针对已经查出一批数据来,但是想区分出某个字段是否存在的时候使用。
{
"exists":{
"field":"title"
}
}
- bool 过滤
- must :: 多个查询条件的完全匹配,相当于 and。
- must_not :: 多个查询条件的相反匹配,相当于 not。
- should :: 至少有一个查询条件匹配, 相当于 or。
{
"bool": {
"must":{ "term": { "folder": "inbox" }},
"must_not": { "term": { "tag":"spam"}},
"should": [
{ "term": { "starred": true}},
{ "term": { "unread":true}}
]
}
}
- filter 过滤器
GET /_search
{
"query": {
"bool": {
"must": [
{ "match": { "title":"Search"}},
{ "match": { "content": "Elasticsearch" }}
],
"filter": [
{ "term":{ "status": "published" }},
{ "range": { "publish_date": { "gte": "2015-01-01" }}}
]
}
}
}
- filter 参数则表示这个子查询处于 filter context 中
- filter 语句中的 term 和 range 语句用在 filter context 中,它们只起到过滤的作用,并不会计算文档的得分。
{query:{filtered:{}}}
来包含这两个查询语法。好处是,借助于filter的速度可以快速过滤出文档,然后再由query根据条件来匹配。# SELECT document FROM products where price = 20
# filtered 查询价格是20的商品
GET /store/products/_search
{
"query": {
"filtered": {
"query": {
"match_all": {}
},
"filter": {
"term": {
"price": 200
}
}
}
}
}
# 也可以指定多个值
GET /store/products/_search
{
"query": {
"filtered": {
"filter": {
"terms": {
"price": [10, 20]
}
}
}
}
}# SELECT product FROM products WHERE productID = "SD4535233"
# 由于默认分析器进行分析,会将大写转小写
GET /store/products/_search
{
"query": {
"filtered": {
"filter": {
"term": {
"productID": "sd4535233"
}
}
}
}
}
2.2 查询
- match_all 查询
{
"match_all": {}
}
- match 查询
如果你使用 match 查询一个全文本字段,它会在真正查询之前用分析器先分析match一下查询字符:
{
"query": {
"match": {
"content": "韩国 上海 北京"
}
}
}
match查询只能就指定某个确切字段某个确切的值进行搜索,而你要做的就是为它指定正确的字段名以避免语法错误。
{ "match": { "age": 12}}
{ "match": { "pubTime":"2017-07-01" }}
{ "match": { "title":"韩国"}}
- multi_match 查询
查询文章标题和内容包含乌鲁木齐的数据:
{
"query": {
"multi_match": {
"query": "乌鲁木齐",
"fields": [
"title",
"content"
]
}
}
}
- bool 查询
- must:: 查询指定文档一定要被包含。
- must_not:: 查询指定文档一定不要被包含。
- should:: 查询指定文档,有则可以为文档相关性加分。
{
"bool": {
"must":{ "match": { "title": "how to make millions" }},
"must_not": { "match": { "tag":"spam" }},
"should": [
{ "match": { "tag": "starred" }},
{ "range": { "date": { "gte": "2014-01-01" }}}
]
}
}
提示: 如果bool 查询下没有must子句,那至少应该有一个should子句。但是 如果有must子句,那么没有should子句也可以进行查询。
- wildcards 查询
以下查询能够匹配包含W1F 7HW和W2F 8HW的文档:
{ "query": {
"wildcard": {
"postcode": "W?F*HW"
}
}
}
又比如下面查询 hostname 匹配下面shell通配符的:
{
"query": {
"wildcard": {
"title": "乌鲁*"
}
}
}
- regexp 查询
{
"query": {
"regexp": {
"postcode": "W[0-9].+"
}
}
}
这个正则表达式的规定了词条需要以W开头,紧跟着一个0到9的数字,然后是一个或者多个其它字符。
下面例子是所有以 wxopen 开头的正则:
{
"query": {
"regexp": {
"hostname": "wxopen.*"
}
}
}
- prefix 查询
{
"query": {
"prefix": {
"title": "美味的"
}
}
}
- 短语匹配(Phrase Matching)
{
"query": {
"match_phrase": {
"content": "端午 旅游 云南"
}
}
}
和match查询类似,match_phrase查询首先解析查询字符串来产生一个词条列表。然后会搜索所有的词条,但只保留含有了所有搜索词条的文档,并且词条的位置要邻接。
match_phrase查询也可以写成类型为phrase的match查询:
{
"query": {
"match": {
"content": {
"query": "端午 旅游 云南",
"type": "phrase"
}
}
}
}
2.3 处理返回内容
- _source (source filter)
{
"_source": {
"includes": [ "obj1.*", "obj2.*" ],
"excludes": [ "*.description" ]
},
"query" : {
"term" : { "user" : "kimchy" }
}
}
- sort 排序
//order 值:asc、desc。如果不给定,默认是asc,_score默认是desc
{
"query": {
"match_all": {}
},
"sort": [
{
"age": {
"order": "desc"
}},
{
"balance": {
"order": "asc"
}},
"_score"
]
}
- docvalue_fields
{
"query" : {
"match_all": {}
},
"docvalue_fields" : ["test1", "test2"]
}
请注意,如果fields参数指定了没有docvalues的字段,它将尝试从fielddata缓存加载值,导致该字段的项被加载到内存(缓存),这将导致更多的内存消耗。
- explain 返回文档的评分解释
{
"explain": true,
"query" : {
"term" : { "user" : "kimchy" }
}
}
- min_score 限制最低评分得分
{
"min_score": 0.5,
"query" : {
"term" : { "user" : "kimchy" }
}
}
- post_filter 后置过滤
如:要在一次查询中查询品牌为gucci且颜色为红色的shirts,同时还要得到gucci品牌各颜色的shirts的分面统计。
{
"query": {
"bool": {
"filter": {
"term": { "brand": "gucci" }
}
}
},
"aggs": {
"colors": {
"terms": { "field": "color" }
}
},
"post_filter": {
"term": { "color": "red" }
}
}
推荐阅读
- 关于QueryWrapper|关于QueryWrapper,实现MybatisPlus多表关联查询方式
- mybatisplus如何在xml的连表查询中使用queryWrapper
- mybatisplus|mybatisplus where QueryWrapper加括号嵌套查询方式
- MybatisPlus使用queryWrapper如何实现复杂查询
- 数据库|SQL行转列方式优化查询性能实践
- neo4j|neo4j cql语句 快速查询手册
- Trie树(动态规划)
- MybatisPlus多表连接查询
- 知识扩展-SQL查询基础
- 七、多表连接查询|七、多表连接查询 2019-10-31