开放搜索查询分析服务架构解读知识图谱架构

简介：搜索行为在后端都会有大量的数据计算和处理才会召回符合用户需求的搜索结果，本次分享结合自建搜索业务中查询分析服务常见的问题及难点，介绍阿里云开放搜索查询分析具备的能力及解决方案，并深度解读阿里巴巴查询分析服务架构和兼容Elasticsearch的架构是如何实现的
特邀嘉宾：
项招贵（项公）--阿里巴巴高级技术专家
视频地址：https://yqh.aliyun.com/live/o...
查询分析介绍
查询分析在搜索中的作用在搜索请求的处理过程中可以在工程实现上分为两个阶段，召回和排序。在召回阶段需要尽可能的把用户想要的文档在引擎中找到，在排序阶段需要将最满足需求的文档排在最前面去返回给用户。
通过查询分析可以快速进行处理和分析，比如，往往在实际的生产环境中，用户往往会有一些错误的输入，需要进行query纠错。其次我们需要对query分词并且识别其中不同词的重要程度，这有助于我们在召回和排序中去使用。同时由于实际的环境中存在一词多意，所以要进行同义词的扩展。其次需要对用户的query进行改写去帮助引擎更高效的去执行召回。在query处理的阶段，会输出一些信息去以帮助我们在排序时候跟文档去算一些文档的相关性、类目相关性、以及通过一些将文本进行向量化去算它的语义相关性等。

文章图片

查询分析链路
总的来说，查询分析的作用就是对用户输入的query进行分析和改写，去提升我们系统的召回的准确率和排序的相关性。下面通过简单的例子介绍开放搜索的查询分析的功能。

文章图片

自建搜索服务面临的问题

需要行业领域知识不断积累；
缺少大量行业样本数据，自研难度大；
算法调优、工程开发、日常运维需要持续的人力投入；

开放搜索查询分析特点
面向行业提供完整的查询分析解决方案针对特定领域提供算法功能，以及对某些特定的算法功能进行优化。例如，电商行业，开放搜索提供了实体识别。教育行业，往往不仅是文本，也有可能是副文本或图片，所以对query进行了一个文本向量化的功能。有些功能在不同的行业里面我们也会针对性的去做优化，像拼写纠错或同义词的挖掘等等。
查询分析每一个功能均可干预干预是实时生效的，包含实体识别、拼写纠错、停用词、词权重，同义词，类目预测等。
轻量化的去定制服务根据客户不同的业务场景去配置他的查询分析的能力，开放搜索提供这些能力功能的全集，用户可以根据实际需求选择其中一部分能力在实际生产环境中使用。其次支持用户使用多种不同类型的查询分析，或者说是不同的查询分析的配置。
免运维免除用户日常的运维的持续的投入。