自动问答系统是当前自然语言处理领域一个非常热的方向。它综合运用了知识表示、信息检索、自然语言处理等技术。自动问答系统能够使用户以自然语言提问的形式而不是关键词的组合,提出信息查询需求,系统依据对问题进行分析,从各种数据资源中自动找出准确的答案。从系统功能上讲,自动问答分为开放域自动问答和限定域自动问答。开放域是指不限定问题领域,用户随意提问,系统从海量数据中寻找答案;限定域是指系统事先声明,只能回答某一个领域的问题,其他领域问题无法回答。
为了测试这个方面可行与否,近期,利用百度知道的相关问答语料,测试了下。
【问答系统|简单问答系统实现原理 - 基于机器学习的】
具体步骤:
(1)数据预处理:将百度知道的原始数据通过预处理整合成格式规范的数据导入数据库中,方便后续处理,就形成了训练数据所需的原始数据集。
(2)构建分类器:利用所给数据训练文本分类器模型,在用户提出测试问题时可以将测试问题贴上类别标签,锁定答案的知识范围;、
(3) 相似问题检索:将测试问题与训练语料库中相同类别下的其它问题进行文本相似度计算,找出相似度较高的问题作为相似问题集合
(4) 答案抽取:将相似问题集合中的所有答案进行排序,选出最佳答案反馈给用户。
推荐阅读
- python|整理了 47 个 Python 人工智能库
- 图灵奖得主Yann LeCun走进百度,与世界研究工作者展开交流
- 建设领先的AI原生云,百度智能云落地新一代高性能AI计算集群
- 报名啦!中小企业如何借力AI逆势突围(飞桨中国行定档3月23日!)
- 百度连续四年亮相全球量子信息处理顶会QIP 宣布量子战略规划升级
- 使用关键点检测打造小工具Padoodle,让涂鸦小人跟随真人学跳舞
- 大数据结合人工智能,助力智慧城市建设
- 免费机器资源、硬核导师、丰厚奖励|飞桨黑客马拉松第二期开始啦!
- 安全生产一点通题库|2021年N1叉车司机考试报名及N1叉车司机免费试题