elasticsearch|elasticsearch 7.0 新特性之 search as you type

相信大家都知道 搜索引擎除了能够返回你想要的内容外,还有另外一个重要的功能,就是搜索框的字段补全,当用户在输入框输入一段文本的前几个词时,下面会出现很多相关的候选词提示,那么在es7.0中这个场景很容易就通过 search_as_you_type 来实现
1、介绍 search_as_you_type filed是elasticsearch 7.0 新增的数据类型,它为用户提供了一种开箱即用的搜索即可见的解决方案,内部会自动拆分为多个子字段索引以支持高效查询,目前 search_as_you_type 实现前缀,中缀查询。
2、操作
  • mapping
PUT my_index { "mappings": { "properties": { "my_field": { "type": "search_as_you_type" } } } }

上述操作会自动创建如下几个field:
字段 分词器
my_field 使用mapping时指定的分词器,没指定将使用默认分词器
my_field._2gram 使用2元gram进行分词
my_field._3gram 使用3元gram进行分词
my_field._index_prefix 使用edge gram进行分词操作,相当于1元gram(类似sql中的 like ‘abc%’)
N-gram中的N可以通过mapping中增加 max_shingle_size 参数进行控制,存放整型数据,默认值是3,可接受范围是[2,4],其中._index_prefix 会一直存在。
【elasticsearch|elasticsearch 7.0 新特性之 search as you type】增大 max_shingle_size 会带来更多的索引存储,检索性能也会受到影响,一般情况下默认值就够用了。
索引到root field的文本也会被索引到其它的子字段里:
PUT my_index/_doc/1?refresh { "my_field": "quick brown fox jump lazy dog" }

实现 search_as_you_type 最高效的查询时使用类型为bool_prefix的multi_match query,下面是一个例子:
GET my_index/_search { "query": { "multi_match": { "query": "brown f", "type": "bool_prefix", "fields": [ "my_field", "my_field._2gram", "my_field._3gram" ] } } }{ "took" : 44, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1, "relation" : "eq" }, "max_score" : 0.8630463, "hits" : [ { "_index" : "my_index", "_type" : "_doc", "_id" : "1", "_score" : 0.8630463, "_source" : { "my_field" : "quick brown fox jump lazy dog" } } ] } }

虽然 match_phrase_prefix 也可以实现上述需求,但考虑到性能问题建议不要这么做。
  • 参数
    如果没做特别说明,search_as_you_type 类型的mapping参数与普通 text 类型的mapping参数是一致的:
参数 说明
analyzer 指定索引期间和搜索期间的分词器(索引期间的分词器能使用 search_analyzer参数覆盖),默认的分词器是 standard
index 是否进行索引 true 或 false ,设置为false将不能被检索
index_options 文本索引的粒度,支持 docs、freqs、positions、offsets
norms true 或 false;存储该字段归一化因子,如果字段不需要参与评分,可设置为false
store 是否独立存储field数据
search_analyzer 查询时分词器
search_quote_analyzer 默认使用 search_analyzer
similarity 指定相似度算法,默认是BM25
term_vector 是否存储term向量,默认是no
所有在my_field 上的前缀查询都会被重写成在 _index_prefix 字段上的查询,因为_index_prefix 会对每个term的前缀会直接索引,所以比传统的在text字段上进行prefix查询高效许多

    推荐阅读