Elasticsearch|Elasticsearch (1) - 索引库文档分词 Elasticsearch(1)-索引库文档分词

Elasticsearch (1) - 索引库文档分词创建索引库
ES的索引库是一个逻辑概念，它包括了分词列表及文档列表，同一个索引库中存储了相同类型的文档。它就相当于MySQL中的表，或相当于Mongodb中的集合。
关于索引这个语：
索引（名词）：ES是基于Lucene构建的一个搜索服务，它要从索引库搜索符合条件索引数据。
索引（动词）：索引库刚创建起来是空的，将数据添加到索引库的过程称为索引。
下边介绍两种创建索引库的方法，它们的工作原理是相同的，都是客户端向ES服务发送命令。
put http://localhost:9200/索引库名称创建

{ "settings":{ "index":{ "number_of_shards":1, "number_of_replicas":0 } } }

number_of_shards：设置分片的数量，在集群中通常设置多个分片，表示一个索引库将拆分成多片分别存储不同的结点，提高了ES的处理能力和高可用性，入门程序使用单机环境，这里设置为1。
number_of_replicas：设置副本的数量，设置副本是为了提高ES的高可靠性，单机环境设置为0.
例如创建xc_course索引库，共1个分片，0个副本：

Elasticsearch|Elasticsearch (1) - 索引库文档分词

文章图片

或者使用head插件创建

文章图片

结果：

文章图片

【Elasticsearch|Elasticsearch (1) - 索引库文档分词】创建映射
在索引中每个文档都包括了一个或多个field，创建映射就是向索引库中创建field的过程，document和field与关系数据库的概念的类比：
文档（Document）----------------Row记录
字段（Field）-------------------Columns 列
上边讲的创建索引库相当于关系数据库中的数据库还是表？
1、如果相当于数据库就表示一个索引库可以创建很多不同类型的文档，这在ES中也是允许的。
2、如果相当于表就表示一个索引库只能存储相同类型的文档，ES官方建议在一个索引库中只存储相同类型的文档
POST创建
发送举例：post http://localhost:9200/索引库名称/类型名称/_mapping
创建类型为xc_course的映射，共包括三个字段：name、description、studymondel
例如：
post 请求：http://localhost:9200/xc_course/doc/_mapping
* 表示：在xc_course索引库下的doc类型下创建映射。doc是类型名，可以自定义，在ES6.0中要弱化类型的概念，可以给它起一个没有具体业务意义的名称。

{ "properties": { "name": { "type": "text" }, "description": { "type": "text" }, "studymodel": { "type": "keyword" } } }

映射创建成功，查看head界面：

文章图片

创建文档
相当于MySQL数据库表中的记录
发送：put 或Post http://localhost:9200/xc_course/doc/id值（如果不指定id值ES会自动生成ID）
例如： http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000

{ "name": "Bootstrap开发框架", "description": "Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较为广泛。此开发框架包 ", "studymodel": "201001" }

使用postman：

文章图片

通过head查询数据：

文章图片

搜索文档
根据id查询文档
发送：get http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000
使用postman测试：

文章图片

查询所有记录
发送 get http://localhost:9200/xc_course/doc/_search
查询名称中包括spring 关键字的的记录
发送：get http://localhost:9200/xc_course/doc/_search?q=name:bootstrap
查询学习模式为201001的记录
发送 get http://localhost:9200/xc_course/doc/_search?q=studymodel:201001
查询结果：

{ "took": 1, "timed_out": false, "_shards": { "total": 1, "successful": 1, "skipped": 0, "failed": 0 }, "hits": { "total": 1, "max_score": 0.2876821, "hits": [{ "_index": "xc_course", "_type": "doc", "_id": "4028e58161bcf7f40161bcf8b77c0000", "_score": 0.2876821, "_source": { "name": "Bootstrap开发框架", "description": "Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较为广泛。此开发框架包含了大量的CSS、 JS程序代码，可以帮助开发者（尤其是不擅长页面开发的程序人员）轻松的实现一个不受浏览器限制的精美界面效果。 ", "studymodel": "201001" } }] } }

took：本次操作花费的时间，单位为毫秒。
timed_out：请求是否超时
_shards：说明本次操作共搜索了哪些分片
hits：搜索命中的记录
hits.total ：符合条件的文档总数 hits.hits ：匹配度较高的前N个文档
hits.max_score：文档匹配得分，这里为最高分
_score：每个文档都有一个匹配度得分，按照降序排列。
_source：显示了文档的原始内容。
IK分词器
在添加文档时会进行分词，索引中存放的就是一个一个的词（term），当你去搜索时就是拿关键字去匹配词，最终找到词关联的文档。
测试当前索引库使用的分词器：
post 发送：localhost:9200/_analyze
{"text":"测试分词器，后边是测试内容：spring cloud实战"}
结果如下：

文章图片

会发现分词的效果将 “测试” 这个词拆分成两个单字“测”和“试”，这是因为当前索引库使用的分词器对中文就是单字分词。
IK分词器分词效果
发送：post localhost:9200/_analyze
{"text":"测试分词器，后边是测试内容：spring cloud实战","analyzer":"ik_max_word" }
结果：

文章图片

两种分词模式
ik分词器有两种分词模式：ik_max_word和ik_smart模式。
1、ik_max_word
会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、
华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。
2、ik_smart
会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。
自定义词库
如果要让分词器支持一些专有词语，可以自定义词库。
iK分词器自带一个main.dic的文件，此文件为词库文件。
可以进行该词库替换与配置增强功能
posted @ 2019-05-07 15:09 hongxinerke 阅读( ...) 评论( ...) 编辑收藏