从消息到数据湖(看 Apache RocketMQ、Hudi、Kyuubi 最新进展)
简介:聚焦消息队列 & 数据湖场景,Apache RocketMQ with Hudi & Kyuubi上海的开发者小伙伴们,12 月 18 号,Apache RocketMQ & Apache Hudi & Apache Kyuubi (Incubating)三社区 Meetup 来了,打造最强消息传输、实时计算、数据入湖一体化解决方案专场。
本场活动聚焦 ApacheRocketMQ 及 Hudi,Kyuubi 数据湖结合,帮助开发者能更好地应对业务挑战。活动将邀请喜马拉雅、平安证券、网易、阿里云的众多技术专家,共同为大家分享 Apache RocketMQ with hudi & Kyuubi 实践与应用。
【从消息到数据湖(看 Apache RocketMQ、Hudi、Kyuubi 最新进展)】
文章图片
相关项目介绍 Apache RocketMQ
Apache RocketMQ 是由阿里巴巴开源的消息产品,历经多年双十一流量洪峰严苛考验,具有低延迟、高性能、高可靠性、万亿级容量和灵活的可扩展性。目前,全球超过上万家企业都在使用 Apache RocketMQ,不仅包括字节、快手、小米、滴滴、同城艺龙等来自互联网的头部企业,也包括来自于头部银行、券商、保险,基金等一系列要求极为严苛的金融公司。
Apache RocketMQ 经过过去几年的发展,已经成为微服务领域业务消息的首选,伴随着云原生时代的到来以及实时计算的兴起, 生于云、长于云的 Apache RocketMQ 5.0 应运而生,全新升级为云原生消息、事件、流融合处理平台,帮助用户更容易地构建下一代事件驱动和流处理应用。
Github 地址:
https://github.com/apache/rocketmq
Apache Hudi
Apache Hudi 是 Apache 软件基金会顶级项目,是新一代的流式数据湖平台,支持数据插入、更新、删除和增量数据处理;可助力构建高效的企业级数据湖。
GitHub 地址:_http://github.com/apache/hudi_
Apache Kyuubi(Incubating)
Apache Kyuubi (Incubating)是一个 Thrift JDBC/ODBC 服务,目前对接了 Apache Spark 计算框架,支持多租户和分布式等特性,可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。Kyuubi 可以为企业级数据湖探索提供标准化的接口,赋予用户调动整个数据湖生态的数据的能力,使得用户能够像处理普通数据一样处理大数据。项目已于 2021 年 6 月 21 号正式进入 Apache 孵化器。从社区当前阶段的发展目标来看,它的主要方向是依托本身的架构设计,围绕各类主流计算框架,打造一个面向 Serverless SQL on Lakehouse 的服务。Apache Kyuubi (Incubating)是一个 Thrift JDBC/ODBC 服务,目前对接了 Apache Spark 计算框架,支持多租户和分布式等特性,可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。Kyuubi 可以为企业级数据湖探索提供标准化的接口,赋予用户调动整个数据湖生态的数据的能力,使得用户能够像处理普通数据一样处理大数据。项目已于 2021 年 6 月 21 号正式进入 Apache 孵化器。从社区当前阶段的发展目标来看,它的主要方向是依托本身的架构设计,围绕各类主流计算框架,打造一个面向 Serverless SQL on Lakehouse 的服务。
Github 地址:_https://github.com/apache/incubator-kyuubi_
立即点击此处参与活动吧!
往期推荐
文章图片
RocketMQ 5.0 POP 消费模式探秘
文章图片
2021云栖大会开源引力峰会重磅发布的战略合作,Grafana服务到底是什么?
演进实录|不同阶段的企业如何搭建监控体系?
了解更多相关信息,请扫描下方二维码或搜索微信号(AlibabaCloud888)添加云原生小助手!获取更多相关资讯!
文章图片
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
推荐阅读
- 2018-02-06第三天|2018-02-06第三天 不能再了,反思到位就差改变
- 一个小故事,我的思考。
- Docker应用:容器间通信与Mariadb数据库主从复制
- 第三节|第三节 快乐和幸福(12)
- 你到家了吗
- 一个人的碎碎念
- 遇到一哭二闹三打滚的孩子,怎么办┃山伯教育
- 死结。
- 我从来不做坏事
- 赢在人生六项精进二阶Day3复盘