Apache Beam 处理文件 apache

今天我们介绍了如何使用pipeline在 Apache Beam 中的文件中读取、写入数据，其中“Employees.csv”文件被读取/过滤/写入新文件。
介绍本文通过适当的pipeline示例解释了如何在Apache Beam中读取和写入文件中的数据。从文件中读取数据是通过“ReadFromText”转换完成的，写入新文件是通过“WriteToText”转换完成的。开始我们解释了如何从文件中读取数据以及如何写入文件，在、后半部通过创建一个pipeline，其中读取“Employees.csv”文件，根据年龄过滤，提取员工的名字，姓氏和年龄pipeline入新文件。总体而言，pipeline如下所示：

文章图片

从文件中读取在本文中，我们使用来自数据源的文件，我们下载了一个 100 条记录文件并将其命名为“Employees.csv”，通过“ReadFromText”将从磁盘读取文件。下面的代码展示了相同的内容：

文章图片

输出
文章图片

写入文件 “WriteToText”转换用于将数据写入文件，下面的程序从文件中读取数据并写入“out.csv”文件。

文章图片

输出
文章图片

pipeline pipeline代码包含两个函数，一个用于过滤员工年龄大于 40 的行，第二个用于仅映射员工的名字、姓氏和年龄。

文章图片

在这两个函数中，我们都基于索引访问记录。完整的流程代码如下：

文章图片

生成文件的内容
文章图片

概括 【Apache Beam 处理文件】在文章中，我们探讨了如何从文件中读取、写入数据，我们还解释了执行过滤、映射数据并将其写入新文件的完整pipeline代码。

Apache Beam 处理文件

推荐阅读

北控水务为什么不涨北控水务到底好不好

牵组词语汉字牵组词语

月季花扦插的最佳时间月季花扦插的最佳时间现在可以插吗?

2023重庆医科大学研究生成绩复查申请时间+方式

n95口罩能防尘吗 n95口罩可以用几次

摩托罗拉里程碑2刷机

如果你爱的人总是以怨报德,你会怎么样？

宝马525多少钱落地宝马525价格多少钱

电商铺货是什么意思电商货架什么意思，货架市场

胡萝卜怎样吃最有营养啊视频胡萝卜怎样吃最有营养啊

巴戟天药材多少钱一斤，巴戟天药店多少钱一斤

吕锅上的污渍怎么去除啊

非主流图片唯美霸气非主流相框素材

白金膏的功效与作用皮白金膏的功效与作用?

虚拟机怎么开网页游戏模式，虚拟机怎样打开网页

闻鸡起舞的主人公是谁囊萤映雪的主人公是谁

口红吃饭的时候怎么办

宝宝长期咳嗽易得肺炎

包贝尔大婚柳岩遭闹伴娘柳岩伴娘事件是什么?

未婚生子罚款多少2022年未婚生子罚款多少2022？