数据湖是一种在系统或存储库中以自然格式存储数据的方法,它有助于以各种模式和结构形式配置数据,通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储,从原始数据(源系统数据的精确副本)转换为用于报告、可视化、分析和机器学习等各种任务的目标数据。数据湖中的数据包括结构化数据(关系数据库数据),半结构化数据(CSV、XML、JSON等),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像、音频、视频),从而形成一个容纳所有形式数据的集中式数据存储。数据湖01:数据湖是什么?
数据湖02:数据湖有哪些特征
数据湖03:AWS认为什么是数据湖?
数据湖04:数据湖技术架构演进
数据湖05:从数据仓库看数据湖
数据湖06:Delta Lake原理和功能概述
数据湖07:Apache Hudi原理和功能概述
数据湖08:Apache Iceberg原理和功能介绍
数据湖09:开源框架DeltaLake、Hudi、Iceberg深度对比
数据湖10:新型大数据解决方案,数据湖如何建设?
【数据湖|数据湖系列文章】
推荐阅读
- 2022开放原子全球开源峰会|开源汇智创未来 | 2022开放原子全球开源峰会OpenAtom openEuler分论坛圆满召开
- 人工智能|麒麟软件副总裁李震宁(中国开源社区是操作系统破局的土壤)
- 大数据|万字长文| 在 Kubernetes 上设计和测试高可用的 Kafka 集群
- java|货拉拉 Android H5离线包原理与实践
- 测试开发|测试开发---自动化测试中的UI测试
- 开源项目丨Taier1.2版本发布,新增工作流、租户绑定简化等多项功能
- kafka|消息中间件以及Kafka的安装和使用
- 大数据|Hadoop-MapReduce
- 大数据|Hadooop-Yarn