墨天轮沙龙 | 北京大学李文杰(面向知识图谱应用的图数据库系统gStore)
在6月8日举办的【墨天轮数据库沙龙第七期—开源生态专场】中,北京大学重庆大数据研究院图数据库与知识图谱实验室副主任、北京大学王选计算机研究所全职博士后 李文杰老师分享了《面向知识图谱应用的图数据库系统gStore》主题演讲,本文为整理内容。导读
大家好,我是来自北京大学的李文杰,我今天分享的主题是《面向知识图谱应用的图数据库系统gStore》,内容将从以下几个方面展开:图数据行业背景、gStore图数据库系统、gStore开源之路。
图数据库行业背景
1、大数据与人工智能推动图数据库发展 随着大数据、人工智能时代的到来,图数据库及知识图谱也应运而生并逐渐发展。
图数据充分体现了大数据的关联性,拥有广泛的应用场景。图数据能够关联信息,使之成为知识,同时图数据能够很清晰揭示复杂的模式,用于挖掘人、物和实体之间的潜在不易观察的行为和联系。
在人工智能领域,图数据也发挥着巨大的作用。认知智能作为人工智能中重要的分支,知识图谱便是认知智能的数据基础,因此以图数据库为代表的知识图谱逐渐获得了广大的关注。
文章图片
图1 知识图谱数据的存储与查询
2、图数据库的优势 为什么随着大数据与人工智能的发展,图数据能够迅速火热?主要是基于它独特的优势。首先,在关联查询的条件下,图数据库表现出性能方面的优势,能够支持秒级多跳查询。除此之外,图数据库也具有优秀的表达能力,能够构建与检索复杂的人物关系,实现“按图索骥”。
正是因为它的独特优势,近年来图数据一枝独秀成为近几年数据管理软件发展最为快捷的数据管理软件类型。
文章图片
图2 图数据在 DB-Engines 上的发展趋势
gStore图数据库系统
不管是关系型数据库还是图数据库,中国公司在核心数据管理引擎技术上存在缺位的现状,“打造图数据管理系统的中国芯”也成为了我们的愿景。
从2011年开始,北京大学王选计算机所数据管理实验室开始研发面向知识图谱的图数据库管理系统,到目前为止,gStore已经走过了11年的时间,它有着源头创新、自主可控、标准系统、系统优越的核心技术。
gStore面向知识图谱应用,采用了RDF模型。在2011年的顶级会议VLDB上,子图匹配的搜索查询方法被gStore团队首次提出,从此奠定了gStore的核心是自主研发的原生的数据库管理系统。 不管是从存储模式还是存储结构的角度,gStore都是自主研发的数据库管理系统。
文章图片
图3 gStore实现了源头创新
gStore同样也获得了国外业内同行的认可,在国外第三方的测试中,gStore 在性能与查询时间上表现出了优势。
文章图片
图4 gStore在测试中的表现结果展示
除了技术认可,gStore在学术上做的贡献也得到了认定。围绕着gStore核心技术,团队发表国际数据库领域顶级期刊会议论文(包括SIGMOD,VLDB等)35篇,被国内外学术同行引用超过2000次。
文章图片
图5 gStore的学术认定
gStore开源之路
1、研发历程及产品生态 接下来我们一起回顾 gStore 的研发历程。
gStore的研究论文最早发表在数据库领域顶级国际会议VLDB 2011上,在论文中提出利用子图匹配的方法来构建图数据库系统。2017年,gStore 0.7版本在Github上开源。一直到今天,gStore也保持着至少一月一次的代码提交频率。
文章图片
图6 gStore研发历程
目前gStore 开发团队研发了gBuilder、gAnswer、gWorkbench、gMaster、gCloud等系列产品,初步形成了围绕着知识图谱应用的产品栈。
文章图片
图7 gStore 产品生态
2、为什么选择开源? 接下来讲讲gStore的开源之路。为什么选择开源,我们基于以下两个方面的考虑:
首先gStore作为一款自主研发的图数据库产品,在孵化期阶段需要获取国家科技资金支持,完成产品原型及关键理论研究。
其次我们希望gStore通过开源的方式吸引一批技术爱好者以及特定客户,从而选择关键客户及应用场景进行技术及场景验证与探索核心引擎产品化及商业化。
目前图数据库的发展正处于成长期,我们经常会花很多时间向客户介绍“什么是图数据库”,社会大众对图数据库的不了解是这个领域面临的一个普遍性问题。因此我们迫切的需要从开源以及社区建设等途径,打造大众社会对图数据库的认知。
文章图片
图8 gStore 目前的阶段及为未来发展
3、gStore 开源建设与策略 gStore在开源建设上持续努力,积极与各个社区平台展开合作。
文章图片
图9 gStore 合作的开源平台与社区
作为一款开源项目,gStore有较为宽松的开源策略,我们采用BSD开源协议,同时在GitHUB
与gitee上有最新的源码可供下载。
我们参考Neo4j 的方式实行开源版与企业版并行。相较于开源版,企业版具有如最短路、环路检测、K跳可达、PageRank等图分析算法的高级功能,同时还具有分布式部署的能力。
文章图片
图10 gStore 开源策略
4、gStore 未来计划 gStore在发展过程中,对于开发者而言存在着一些问题,借这个机会与业界同仁一起来探讨。
第一个问题是开发者使用不易。目前项目中参与代码贡献的更多是高校的老师与学生,同时代码的体量较大,大约为十多万行,其中包块项目研发者自己设计的相关数据结构、索引结构。因此这样的代码对于开发者学习与研究而言,较为吃力。
第二个问题是学习资料较少。开发者能够学习和参考使用的的资料不足,也因此导致GitHub等平台star和fork不足。因此gStore的研发团队也在整理类似于openGauss内核源码分析的内核手册与文件,同时也会增加用户手册以及产品宣传的工作,从而改善学习资料较少的现状。
第三个问题是内部沟通较少,开发者内部针对gStore的讨论未搭建完善的平台,大家互通有无连接不足。
文章图片
图11 gStore 目前存在的问题
基于以上的问题,gStore的开源计划将从两个方面进行重点开源优化,增加gStore相关使用学习资料以及增加共享机制。
文章图片
图12 gStore 后期开源计划
我今天的分享就到这里,谢谢大家!
更多精彩内容,欢迎大家观看现场视频回放与会议资料
视频回放:https://www.modb.pro/video/6497
会议资料:https://www.modb.pro/doc/64475
- 查看原文:https://www.modb.pro/db/429809
- 查看【国产数据库沙龙】开源生态专场文章、视频回放资源:https://www.modb.pro/topic/412121
【墨天轮沙龙 | 北京大学李文杰(面向知识图谱应用的图数据库系统gStore)】关注官方公众号: 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯
推荐阅读
- {调取该文章的TAG关键词}|从“小众”到“网红”,飞盘运动何以出圈?|钛媒体《有YOUNG说样》直播沙龙
- 2022年7月中国数据库排行榜(墨天轮榜单榜眼易主,PolarDB得分涨幅最大)
- 反思
- {调取该文章的TAG关键词}|CFO线下沙龙 | 在不确定环境下寻找新的机会(广州/深圳)
- 字节跳动Dev|字节跳动Dev Better技术沙龙成功举办,携手华泰分享Web研发效能提升经验
- 开利网络组织第七期链企来资源对接沙龙会,让企业“链企来”,让资源变现快!
- 共124篇!墨天轮“高可用架构”干货文档分享(含Oracle、MySQL、PG)
- 共同链企来,资源变现快,开利网络举办第五期链企来沙龙会
- 品质影音体验,畅享娱乐生活丨HMS|品质影音体验,畅享娱乐生活丨HMS Core.Sparkle影音娱乐创新线上沙龙报名启动
- 沙龙(如何使信息系统更加稳定)