ElasticSearch中文索引优化问题 ElasticSearch中文索引优化问题

ElasticSearch对中文的搜索存在一定的缺陷，为了优化查询结果，一方面要从中文解析器的选择入手，另一方面要改变查询时所使用的条件参数。
ik解析器和standard解析器的对比 standard解析器对中文的解析是逐字解析的。

GET _analyze { "text": "文明古国", "analyzer":"standard" }{"tokens": [ { "token": "文", "start_offset": 0, "end_offset": 1, "type": "", "position": 0 }, { "token": "明", "start_offset": 1, "end_offset": 2, "type": "", "position": 1 }, { "token": "古", "start_offset": 2, "end_offset": 3, "type": "", "position": 2 }, { "token": "国", "start_offset": 3, "end_offset": 4, "type": "", "position": 3 } ] }

显然很多字符我们并不想拆解，所以需要使用其它的解析器。其中ik与ElasticSearch较为匹配，为官方文档中提及。
使用效果如下：

GET _analyze { "text": "文明古国", "analyzer":"ik_smart" }{ "tokens": [ { "token": "文明古国", "start_offset": 0, "end_offset": 4, "type": "CN_WORD", "position": 0 } ] }GET _analyze { "text": "文明古国", "analyzer":"ik_smart" }{ "tokens": [ { "token": "文明", "start_offset": 0, "end_offset": 2, "type": "CN_WORD", "position": 0 }, { "token": "古国", "start_offset": 3, "end_offset": 5, "type": "CN_WORD", "position": 1 } ] }GET _analyze { "text": "文明古国", "analyzer":"ik_max_word" }{ "tokens": [ { "token": "文明古国", "start_offset": 0, "end_offset": 4, "type": "CN_WORD", "position": 0 }, { "token": "文明", "start_offset": 0, "end_offset": 2, "type": "CN_WORD", "position": 1 }, { "token": "古国", "start_offset": 2, "end_offset": 4, "type": "CN_WORD", "position": 2 } ] }

显然，如果要补足ik的分词效果，可以通过解析后加入“ ”来实现。
使得解析器生效：为了在索引中使用分词器，需要在mapping的时候进行指定，需要注意的是，mapping一但创建是无法修改的，只能进行添加。
为了验证mapping的指定效果，我们创建如下mapping

PUT test_1 { "settings": { "number_of_shards": 3, "number_of_replicas": 1, "analysis": { "analyzer": { "ik": { "tokenizer": "ik_max_word" } } } }, "mappings": { "test1":{ "properties": { "content": { "type": "text", "analyzer": "ik", "search_analyzer": "ik_max_word" }, "content2": { "type": "text", "analyzer": "standard", "search_analyzer": "standard" }, "content3": { "type": "text", "analyzer": "ik", "search_analyzer": "ik_smart" }, "content4": { "type": "text" } } } } }

同时放入如下数据来作为验证：（部分中间有空格）

POST test_1/test1/1 { "content": "中国是四大文明古国之一", "content2": "中国是四大文明古国之一", "content3": "中国是四大文明古国之一", "content4": "中国是四大文明古国之一" } POST test_1/test1/2 { "content": "四大文明古国之一有中国", "content2": "四大文明古国之一有中国", "content3": "四大文明古国之一有中国", "content4": "四大文明古国之一有中国" }POST test_1/test1/3 { "content": "四大古文明国家中有中国", "content2": "四大古文明国家中有中国", "content3": "四大古文明国家中有中国", "content4": "四大古文明国家中有中国" }POST test_1/test1/4 { "content": "四大古国文明国家中有中国", "content2": "四大古国文明国家中有中国", "content3": "四大古国文明国家中有中国", "content4": "四大古国文明国家中有中国" }

match_phrase和match 这一问题在查询的优化中有一定的影响，很多时候，我们希望所查询的关键字在结果中是呈现一定顺序的。

例如我们查询“文明古国”
我们不希望查到：古* 文 * 国 * 明，古 * 国 * 明 * 文这类的数据，那么我们需要使用match_phrase。
如果我们只是知道有这么几个关键字，对于他们的顺序并不了解，那么match会给出对关键字匹配分数最高的结果，而对他们的排序并不关心。

我们来验证match_phrase和match的区别。
我们先使用standard解析器，结果如下：

#短语查询限定了关键字符的顺序 GET test_1/_search { "query": { "match_phrase": { "content": "文明古国" } } }"hits": [ { "_index": "test_1", "_type": "test1", "_id": "2", "_score": 0.7424927, "_source": { "content": "四大文明古国之一有中国", "content2": "四大文明古国之一有中国", "content3": "四大文明古国之一有中国", "content4": "四大文明古国之一有中国" } }, { "_index": "test_1", "_type": "test1", "_id": "1", "_score": 0.72928625, "_source": { "content": "中国是四大文明古国之一", "content2": "中国是四大文明古国之一", "content3": "中国是四大文明古国之一", "content4": "中国是四大文明古国之一" } } ]#而普通查询只关注有或没有。 GET test_1/_search { "query": { "match": { "content3": "文明古国" } } }"hits": [ { "_index": "test_1", "_type": "test1", "_id": "4", "_score": 0.8212668, "_source": { "content": "四大古国文明国家中有中国", "content2": "四大古国文明国家中有中国", "content3": "四大古国文明国家中有中国", "content4": "四大古国文明国家中有中国" } }, { "_index": "test_1", "_type": "test1", "_id": "2", "_score": 0.81066513, "_source": { "content": "四大文明古国之一有中国", "content2": "四大文明古国之一有中国", "content3": "四大文明古国之一有中国", "content4": "四大文明古国之一有中国" } }, { "_index": "test_1", "_type": "test1", "_id": "1", "_score": 0.79765683, "_source": { "content": "中国是四大文明古国之一", "content2": "中国是四大文明古国之一", "content3": "中国是四大文明古国之一", "content4": "中国是四大文明古国之一" } }, { "_index": "test_1", "_type": "test1", "_id": "3", "_score": 0.79765683, "_source": { "content": "四大古文明国家中有中国", "content2": "四大古文明国家中有中国", "content3": "四大古文明国家中有中国", "content4": "四大古文明国家中有中国" } } ]

注意上面查询结果的分数：因为standard分析将其解析为逐字匹配，所以在一些并未成词的语句中，查询得分也很高。
使用ik解析器来完善分词查询：我们再使用ik解析器簇中的ik_max_word，结果如下：

GET test_1/_search { "query": { "match": { "content": "文明古国" } } }"hits": [ { "_index": "test_1", "_type": "test1", "_id": "1", "_score": 1.5997804, "_source": { "content": "中国是四大文明古国之一", "content2": "中国是四大文明古国之一", "content3": "中国是四大文明古国之一", "content4": "中国是四大文明古国之一" } }, { "_index": "test_1", "_type": "test1", "_id": "4", "_score": 0.87546873, "_source": { "content": "四大古国文明国家中有中国", "content2": "四大古国文明国家中有中国", "content3": "四大古国文明国家中有中国", "content4": "四大古国文明国家中有中国" } }, { "_index": "test_1", "_type": "test1", "_id": "2", "_score": 0.18232156, "_source": { "content": "四大文明古国之一有中国", "content2": "四大文明古国之一有中国", "content3": "四大文明古国之一有中国", "content4": "四大文明古国之一有中国" } }, { "_index": "test_1", "_type": "test1", "_id": "3", "_score": 0.17883772, "_source": { "content": "四大古文明国家中有中国", "content2": "四大古文明国家中有中国", "content3": "四大古文明国家中有中国", "content4": "四大古文明国家中有中国" } } ]

【ElasticSearch中文索引优化问题】ik_max_word将词分为：文明古国，文明，古国进行匹配，所以句子中存在完整的“文明古国”时得分最高，相当于同时匹配了三个分词结果；而在结果二中匹配成功了“文明”；结果三四中，只是存在了字，所以结果得分很低，可以通过分数设限来进行过滤。