归志宁无五亩园,读书本意在元元。这篇文章主要讲述Elasticsearch系列---初识mapping相关的知识,希望能为你提供帮助。
简单介绍一下field数据类型mapping的相关知识概要
本篇简单介绍一下field数据类型mapping的相关知识。
mapping是什么?
前面几篇的实战案例,我们向Elasticsearch索引数据时,只是简单地把JSON文本放在请求体里,至于JSON里的field类型,存储到ES里是什么类型,中间是怎么做的映射,这个映射过程,就是mapping要解决的问题。
mapping简单来说,就是解决JSON文本内容到field类型映射关系的定义。将时间域视为时间类型,数字视为数字类型,字符串识别为全文或精确值字符串,这个识别的过程,叫做mapping。
Elasticsearch支持的简单域类型,类似于java的基础数据类型,有如下几种:
- 字符串:text,keyword
- 整数 : byte, short, integer, long
- 浮点数: float, double
- 布尔型: boolean
- 日期: date
JSON type | domain type |
---|---|
布尔型: true 或者 false | boolean |
整数: 123 | long |
浮点数: 123.45 | double |
日期格式的字符串: 2014-09-15 | date |
字符串: love you | text |
每个索引都可以通过/_mapping查询各个field的映射结果,ES本身有自动mapping的过程,但mapping后的结果一定要仔细检查一下。
查询请求:
GET /music/_mapping/children
响应结果:
{
"music": {
"mappings": {
"children": {
"properties": {
"content": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"language": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
},
"fielddata": true
},
"length": {
"type": "long"
},
"likes": {
"type": "long"
},
"name": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}
}
}
mapping中就自动定义了每个field的数据类型,properties下面的是各个field字段的名称、类型等信息,text类型的还带一个keyword子field。
数据类型的分词规则
index在建立时或索引数据时,如果没有手动指定mapping信息,Elasticsearch会用它的规则自动为我们创建type信息,以及type对应的mapping,mapping中包含了每个field对应的数据类型,以及如何分词等设置。
不同类型的field,有的是精确搜索(exact value),有的是全文搜索(full text)。
- exact value,在建立倒排索引的时候,是将整个值一起作为一个关键词建立到倒排索引中的,并且大小写敏感;
- full text,会经历各种各样的处理,分词,normaliztion(时态转换,同义词转换,大小写转换),才会建立到倒排索引中。
ES基本的几种field类型,除了text是使用full text,其他的都是exact value,总结来说mapping,决定了数据类型,建立倒排索引的行为,还有进行搜索的行为。
自定义映射
基本数据类型基本够用,但是有些数据可能需要自定义映射,尤其是字符串,string类型默认是full text,但是我们可以自己定义分词器,不同的分词器,会带来不一样的搜索效果,string类型最重要的属性是index和analyzer。
index这个属性控制字符串的索引规则,有三个值可供选择:
- true:支持索引,并且依据当前类型决定是全文搜索还是精确匹配
- false:不索引
{
"author": {
"type":"text",
"index":true
}
}
analyzer这个属性控制字符串使用的分词器,在支持中文的系统里,这个属性经常被用到,各路分词器大显身手,都需要用这个属性来指定,如:
{
"content": {
"type":"text",
"analyzer":"aliws"
}
}
测试映射
我们在建立索引之后,可以通过测试命令来查看不同的field的映射结果,即full text类型的是否有分词, exact value的是否原样保留,text的内容可以随意输入,当把这个作用工具调试时,可以诊断的内容的分词情况,举例如下:
- full text类型
GET /music/_analyze
{
"field": "content",
"text": "let me sleep"
}
结果:
{
"tokens": [
{
"token": "let",
"start_offset": 0,
"end_offset": 3,
"type": "<
ALPHANUM>
",
"position": 0
},
{
"token": "me",
"start_offset": 4,
"end_offset": 6,
"type": "<
ALPHANUM>
",
"position": 1
},
{
"token": "sleep",
"start_offset": 7,
"end_offset": 12,
"type": "<
ALPHANUM>
",
"position": 2
}
]
}
- exact value类型
GET /music/_analyze
{
"field": "content.keyword",
"text": "let me sleep"
}
结果:
{
"tokens": [
{
"token": "let me sleep",
"start_offset": 0,
"end_offset": 12,
"type": "word",
"position": 0
}
]
}
注意一个小细节:Elasticsearch在自动创建text类型时,为full text,但会自动建立一个keywork子field,这个子field是exact value类型的。
小结
本篇主要介绍了一个mapping的概念,基础数据类型,以及查看映射信息和测试field映射效果的方法,测试映射效果算是一个比较有用的工具,后期实际开发中,遇到需要诊断的内容,可以用这个工具协助排查问题。
【Elasticsearch系列---初识mapping】专注Java高并发、分布式架构,更多技术干货分享与心得,请关注公众号:Java架构社区
文章图片
推荐阅读
- Android: SharedPreferences的简单使用(数据可持久化)
- uni-app真机调试报错request:fail abort解决方法
- application cache和localstorage的区别
- Android开发 MediaPlayer播放raw资源MP3文件
- main方法类 为何由AppClassLoader加载
- Flutter——AppBar组件(顶部导航组件)
- Elasticsearch(Dynamic mapping)
- 关于AndroidStudio的apk打包遇到的问题记录
- idea配置application context(web项目的默认访问路径)