锐客网

  1. 首页 > 睿知 > it技术 > >

Elastic Search中mapping的问题

IT知识Elasticmapping

观书散遗帙，探古穷至妙。这篇文章主要讲述Elastic Search中mapping的问题相关的知识，希望能为你提供帮助。
Mapping在ES中是非常重要的一个概念。决定了一个index中的field使用什么数据格式存储，使用什么分词器解析，是否有子字段，是否需要copy to其他字段等。
Mapping决定了index中的field的特征。
在ES中有一些自动的字段数据类型识别。
自动识别标准：
数字 -> long 长整数
文本 -> text 文本，字符串
特殊格式的字符串（如：2018-01-01） -> 对应的特殊类型（如：date）
字面值true|false -> boolean类型。
3.1 测试搜索
测试数据：
PUT /test_index/test_type/1
{
"post_date": "2018-01-01",
"title": "my first title",
"content": "this is my first content in this test",
"author_id": 110
}
PUT /test_index/test_type/2
{
"post_date": "2018-01-02",
"title": "my second title",
"content": "this is my second content in this test",
"author_id": 110
}
PUT /test_index/test_type/3
{
"post_date": "2018-01-03",
"title": "my third title",
"content": "this is my third content in this test",
"author_id": 110
}
测试搜索：（ES 6.3.1版本中）
GET /test_index/test_type/_search?q=2018 # 搜索结果不满意。只有一条数据
GET /test_index/test_type/_search?q=2018-01-01 # 搜索结果正确
GET /test_index/test_type/_search?q=post_date:2018-01-01 # 搜索结果正确
GET /test_index/test_type/_search?q=post_date:2018 # 只有一条数据
GET /test_index/test_type/_search?q=this # 搜索结果正确
GET /test_index/test_type/_search?q=content:this # 搜索结果正确
查看mapping：可以检查index的mapping，是否符合具体的需求。 GET /index_name/_mapping/type_name
GET /test_index/_mapping/test_type
{
"test_index": { 索引名称
"mappings": { 开始显示mapping
"test_type": { 类型名称
"properties": { 映射中的具体配置
"author_id": { “ 字段名” :{映射信息} 映射信息包括子字段，数据类型，分词器
"type": "long" 字段类型为长整数。
},
"content": {
"type": "text", 字段类型是文本
"fields": { 子字段列表，就是ES自动的为当前字段创建的一个子字段。字段名称是 父字段名.子字段名。 ES为text类型字段默认提供的子字段名称为keyword。
"keyword": {
"type": "keyword", 不做任何分词的文本类型
"ignore_above": 256 默认最长存储多少个字符
}
}
},
"post_date": {
"type": "date" 日期类型，没有分词
},
"title": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}
}
}
ES中有字段映射mapping。是有一定的规则的。
文本类型为text，分词器为standard，子字段一定创建，命名为xxx.keyword，类型是keyword类型，长度为256个字符。
整数位long类型
“ yyyy-MM-dd” 是date类型，不做分词
总结：
自动或手动为index中的type建立的一种数据结构和相关配置，简称为mapping
dynamic mpping：是ES自动为我们建立index，创建type，以及type对应的mapping，mapping中包含了每个field对应的数据类型，以及如何分词等设置
搜索结果为什么不一致？因为ES自动建立mapping的时候，为不同的field设置了不同的data type。不同的data type的分词、搜索等行为是不一样的。所以出现了_all field和post_date field的搜索结果和预期不一致的问题（老版本区别更大）。
ES在6.x版本中，对date类型数据进行了搜索优化，会为同年数据创建一个默认搜索数据（如2018-01-01），而不是将2018-01-01分词为2018、01、01三个数据。
而这种搜索日期必须完全匹配，搜索文本可以模糊匹配的搜索方式也称为：exact value（精确匹配）、full text（全文搜索）。
3.2 测试分词结果
GET /_analyze
{
"analyzer" : "standard",
"text" : "2018-01-01 my first title this is my first content in this test 110"
}
GET /_analyze
{
"analyzer" : "standard",
"text" : "I Love You"
}
3.3 mapping核心数据类型
ES中的数据类型有很多，在这里只介绍常用的数据类型。
字符串：text（string）
整数：byte、short、integer、long
浮点型：float、double
布尔类型：boolean
日期类型：date
3.4 dynamic mapping对字段的类型分配
true or false -> boolean
123 -> long
123.123 -> double
2018-01-01 -> date
hello world -> text（string）
在上述的自动mapping字段类型分配的时候，只有text类型的字段需要分词器。默认分词器是standard分词器。
3.5 custom mapping
可以通过命令，在创建index和type的时候，自指定mapping，也就是指定字段的类型和字段数据使用的分词器。
手工创建mapping时，只能新增mapping设置，不能对已有的mapping进行修改。
如：有索引a，其中有类型b，增加字段f1的mapping定义。后续可以增加字段f2的mapping定义，但是不能修改f1字段的mapping定义。
通常都是手工创建index，并进行各种定义。如：settings,mapping等。
3.5.1 创建索引时指定mapping
语法：
PUT /test_index
{
"settings": {
"number_of_shards": 2,
"number_of_replicas": 1
},
"mappings": {
"test_type":{
"properties": {
"author_id" : {
"type": "byte",
"index": false
},
"title" : {
"type": "text",
"analyzer": "standard",
"fields": {
"keyword" : {
"type": "keyword",
"ignore_above": 256
}
}
},
"content" : {
"type": "text",
"analyzer": "ik_max_word"
},
"post_date" : {
"type": "date"
}
}
}
}
}
"index" - 是否可以作为搜索索引。可选值：true | false
"analyzer" - 指定分词器。
"type" - 指定字段类型
3.5.2 为已有索引添加新的字段mapping
语法：
PUT /test_index/_mapping/test_type
{
"properties" : {
"new_field" : { "type" : "text" , "analyzer" : "standard" }
}
}
3.5.3 测试不同的字段的分词器
GET /test_index/_analyze
{
"field": "new_field",
"text": "中华人民共和国国歌"
}
GET /test_index/_analyze
{
"field": "content",
"text": "中华人民共和国国歌"
}
3.6 定制分词器
ES中可以为index定制分词器，就是依托ES提供的默认分词器，实现新的定制化。
案例1：
PUT /test_analyzer
{
"settings": {
"number_of_shards": 2,
"number_of_replicas": 1,
"analysis": {
"analyzer": {
"my_analyzer" : {
"type" : "standard",
"stopwords" : "_english_"
}
}
}
}
}
GET /test_analyzer/_analyze
{
"analyzer": "my_analyzer",
"text": "this is a test analyzer content"
}
GET /test_analyzer/_analyze
{
"analyzer": "standard",
"text": "this is a test analyzer content"
}
案例2：
PUT /test_analyzer1
{
"settings": {
"analysis": {
"char_filter": {
"my_char_filter" : {
"type" : "mapping",
"mappings" : [ "& => and"]
}
},
"filter":{
"my_stopwords_filter" :{
"type" : "stop",
"stopwords" : [ "the", "a" ]
}
},
"analyzer" : {
"my_second_analyzer" : {
"type" : "custom",
"char_filter" : "my_char_filter",
"tokenizer" : "standard",
"filter" : [ "lowercase", "my_stopwords_filter"]
}
}
}
}
}
GET /test_analyzer1/_analyze
{
"analyzer": "my_second_analyzer",
"text": "this is a test analyzer content & it is second analyzer"
}
在商业项目中，使用自定义分词器的相对较少。除非在专业领域。如：生物制药，航空领域，证券等。。。
使用自定义分词器：自定义分词器只能在定义这个分词器的索引中使用。wiki
PUT test_analyzer/_mapping/test_type
{
"properties": {
"field_name" : {
"type": "text",
"analyzer": "my_analyzer"
}
}
}
3.7 mapping复杂定义
ES中可以为类型相对复杂的字段定义mapping。如：multi field（一个字段有多个值、数组），empty field（保存null值，或空数据的[]），object field（对象类型）。上述的复杂类型都是常用的类型。不是全部。
3.7.1 multi field
数组数据： [ "tags" : "tag1", "tag2" ]
这种数据类型和普通的数据类型没有什么区别。只是要求字段中的多个数据的类型必须相同。
测试：
PUT /test_index/test_type/1
{
"tags" : [ "tag1", "tag2", "tag3" ],
"name" : "zhangsan"
}
GET /test_index/_mapping/test_type
手工定义mapping
PUT /test_index
{
"mappings" : {
"test_type" : {
"properties" : {
"tags" : { "type" : "text" , "analyzer" : "standard" },
"name" : { "type" : "text" , "analyzer" : "english" }
}
}
}
}
3.7.2 empty field
空数据 ： null[][null]
空数据如果直接保存到index中，由ES为index自动创建mapping，那么此空数据对应的field将不会创建mapping映射值。而任意的mapping定义都可以保存空数据。
测试：
PUT /test_index/test_type/1
{
"name" : "zhangsan",
"empty_field" : null
}
GET /test_index/_mapping/test_type
3.7.3 object field
对象数据 ： { "address" : { "province" : "北京", "city" : "北京", "street" : "建材城西路" } }
对象数据如果保存到ES中，由ES自动创建mapping，那么ES会为对象中的每个字段定义mapping映射。
测试：
PUT /test_index/test_type/1
{
"name" : "zhangsan" ,
"age" : 20,
"address" : {
"province" : "beijing",
"city" : "beijing",
"street" : "jian chai cheng xi lu"
}
}
【Elastic Search中mapping的问题】GET /test_index/_mapping/test_type
ES在底层存储对象数据的时候，是使用特定的格式存储的。如上述测试数据中，如果保存到ES中，ES底层存储的数据为：
{
"name" : "zhangsan",
"age" : 20,
"address.province" : "beijing",
"address.city" : "beijing",
"address.street" : "jian chai cheng xi lu"
}
手工定义mapping
PUT test_index
{
"mappings": {
"test_type":{
"properties": {
"name" : {
"type": "text",
"analyzer": "ik_max_word"
},
"age" : {
"type": "byte"
},
"address" : {
"properties": {
"province" : {
"type" : "text",
"analyzer" : "ik_max_word"
},
"city" : {
"type" : "text",
"analyzer" : "ik_max_word"
},
"street" : {
"type" : "text",
"analyzer" : "ik_max_word"
}
}
}
}
}
}
}
更复杂的对象：（数组+对象）这种数据格式，在ES中如果自动创建mapping，是为数组中的每个对象的字段创建mapping映射信息。如下述的案例中，ES会自动的为emps数组对象中的name和age字段分别创建mapping映射信息。
PUT /test_index/test_type/1
{
"dept_name" : "sales",
"emps" : [
{ "name" : "zhangsan", "age" : 20 },
{ "name" : "lisi", "age" : 21 },
{ "name" : "wangwu", "age" : 22 }
]
}
GET /test_index/_mapping/test_type
上述的数据在ES中底层存储也有其特有的格式，大致如下：（如果name数据可以进行分词的话，emps.name对应的数据数组内容会更多。）
{
"dept_name" : "sales",
"emps.name" : [ "zhangsan", "lisi", "wangwu" ],
"emps.age" : [20, 21, 22]
}
3.8 mapping的root object
所谓的mapping的root object就是设置index的mapping时，一个type对应的json数据。包括的内容有：properties， metadata（_id, _source, _all）,settings（分词器等）。其中字段配置include_in_all已在6.x版本中删除。_all配置将在7.x版本中删除。
如：强调部分就是root object。
PUT /test_index9
{
"settings" : {
"number_of_shards" : 2,
"number_of_replicas" : 1
},
"mappings" : {
"test_type" : {
"properties" : {
"post_date" : { "type" : "date" },
"title" : { "type" : "text", "index" : false },
"content" : { "type" : "text" , "analyzer" : "english" },
"author_id" : { "type" : "integer" }
},
"_all" : { "enabled" : false },
"_source" : { "enabled" : false }
}
}
}
3.9 定制dynamic mapping策略
ES中可以手工干预ES的dynamic mapping。如：定义index中是否可以增加不在mapping范围内的字段；如果增加了不在mapping范围内的字段的时候，如何管理；自动映射中如果是对象类型的字段，对象中是否可以增加不在mapping范围内的字段，如何管理不在mapping范围内的字段。
ES中支持在自定义mapping时，为type定制dynamic mapping策略。可以让ES中的index更加的友好。在定制dynamic mapping策略时，可选值有：true（默认值）-遇到陌生字段自动进行dynamic mapping， false-遇到陌生字段，不进行dynamic mapping（会保存数据，但是不做倒排索引，无法实现任何的搜索），strict-遇到陌生字段，直接报错。
案例：
PUT /test_index
{
"mappings": {
"test_type" : {
"dynamic" : "strict",
"properties": {
"field1" : {
"type": "text"
},
"field2" : {
"type": "object",
"dynamic" : false
}
}
}
}
}
PUT /test_index/test_type/1
{
"field1" :"aaa",
"field3" : "bbb"
}
PUT /test_index/test_type/1
{
"field1" : "aaa",
"field2" : {
"sub_f1" : "sub1",
"sub_f2" : "sub2"
}
}
GET /test_index/test_type/1
GET /test_index/_mapping/test_type
定制dynamic mapping，使用比较少，因为很难去分析出一套完整的，有扩展能力的结构。无法适应业务的变更。
如果使用，一般在固定的，几乎不会改变的数据结构中使用。如：人的身份证信息：姓名、出生年月、地址、身份证号、照片、发证机关、有效期。

    推荐阅读


    上一篇：ApplicationInsights入门到精通系列

    下一篇：固定宽度布局开发WebApp如何实现多终端下自适应（）