ElasticSearch|ElasticSearch之term vector Vector|Term

termvector会获取document中的某个field内的各个term的统计信息。
一 term的基本信息 # term_freq：在在该字段中的频率
# position：词在该字段中的位置
# start_offset：从什么偏移量开始的
# end_offset: 到什么偏移量结束

二 term的统计信息如果启用了term的统计信息，即term_statistics设为true，那么有哪些统计信息呢？
# doc_freq：该词在文档中出现的频率
# ttf：total term frequency的缩写，一个term在所有document中出现的频率

三字段的统计信息如果启用了字段统计信息，即field_statistics设为true,那么有哪些统计信息呢？
# sum_doc_freq: 一个字段中所有term的文档频率之和
# doc_count: 有多少个文档包含这个字段
# sum_ttf：sum total term frequency的缩写，一个字段中的每一个term的在所有文档出现之和
term statistics和field statistics并不精准，不会被考虑有的doc可能被删除了

四采集term信息的方式采集term信息的方式有两种：index-time 和 query-time
4.1 index-time方式
需要在mapping配置一下，然后建立索引的时候，就直接生成这些词条和文档的统计信息
PUT /website
{
"mappings": {
"article":{
"properties":{
"text":{
"type": "text",
"term_vector": "with_positions_offsets",
"store": "true",
"analyzer" : "fulltext"
}
}
}
},
"settings": {
"analysis": {
"analyzer": {
"fulltext":{
"type": "custom",
"tokenizer": "whitespace",
"filter": [
"lowercase",
"type_as_payload"
]
}
}
}
}
}
【ElasticSearch|ElasticSearch之term vector】4.2 query-time方式
即之前没有在mapping里配置过，而是通过查询的方式产生这些统计信息

POST /ecommerce/music/1/_termvectors
{
"fields":["desc"],
"offsets":true,
"payloads":true,
"positions":true,
"term_statistics":true,
"field_statistics" : true
}

五手动指定analyzer来生成termvector 我么可以通过指定per_field_analyzer设置一个分词器对该字段文本进行分词。
POST /ecommerce/music/1/_termvectors
{
"fields":["desc"],
"offsets":true,
"payloads":true,
"positions":true,
"term_statistics":true,
"field_statistics" : true,
"per_field_analyzer":{
"text":"standard"
}
}
六过滤term的统计信息我们可以根据term的统计信息，过滤出我么想看的统计结果，比如过滤掉一些出现频率过低的term,比如我要过滤出该字段最多只有10个term，而且那些term在该字段中出现的频率为2，且
POST /ecommerce/music/1/_termvectors
{
"fields":["desc"],
"offsets":true,
"payloads":true,
"positions":true,
"term_statistics":true,
"field_statistics" : true,
"filter":{
"max_num_terms":10,
"min_term_freq" : 2,
"min_doc_freq" : 1
}
}

ElasticSearch|ElasticSearch之term vector

推荐阅读

抑郁症|抑郁症患者越来越多？4个方法，让“心伤”患者得到救赎

鹦鹉鱼多久产卵一次鹦鹉鱼产卵要捞出来吗

肥牛吃法酸汤肥牛炒肥牛

三文鱼紫菜饭卷儿的做法怎样做三文鱼紫菜饭卷儿

嘉隆通宝是什么时候的嘉隆通宝值多少钱一个

西虹市首富什么时候上映拍摄地点在哪里

下沉式卫生间标准做法

欧元哪里换比较划算美国的欧元换中国多少钱

qq坦白说怎么退出手机qq坦白说关闭方法介绍

科技布是什么材质做成的拉斐尔科技布的介绍

小学生安全教育论文范文小学生安全教育论文参考文献

看完《三体》后迷上了科幻小说,大佬们有没有很经典很好看的科幻小说推荐下？

英语学习用什么APP好用,基础比较差,主要联系听说？

浙江省法律援助条件浙江省法律援助服务规范

新车第二年续保怎么买汽车续保提前多久合适

李元芳的官大吗？为什么那么厉害？

关于外星人入侵的科幻小说有哪些好的推荐？

苹果12pro和苹果12promax的区别

2022快乐的五一劳动节征文 2021年五一国际劳动节快乐图片

微创去眼袋大概多少钱割眼袋需要多少钱一次