Apache Beam 处理文件 apache

今天我们介绍了如何使用pipeline在 Apache Beam 中的文件中读取、写入数据，其中“Employees.csv”文件被读取/过滤/写入新文件。
介绍本文通过适当的pipeline示例解释了如何在Apache Beam中读取和写入文件中的数据。从文件中读取数据是通过“ReadFromText”转换完成的，写入新文件是通过“WriteToText”转换完成的。开始我们解释了如何从文件中读取数据以及如何写入文件，在、后半部通过创建一个pipeline，其中读取“Employees.csv”文件，根据年龄过滤，提取员工的名字，姓氏和年龄pipeline入新文件。总体而言，pipeline如下所示：

文章图片

从文件中读取在本文中，我们使用来自数据源的文件，我们下载了一个 100 条记录文件并将其命名为“Employees.csv”，通过“ReadFromText”将从磁盘读取文件。下面的代码展示了相同的内容：

文章图片

输出
文章图片

写入文件 “WriteToText”转换用于将数据写入文件，下面的程序从文件中读取数据并写入“out.csv”文件。

文章图片

输出
文章图片

pipeline pipeline代码包含两个函数，一个用于过滤员工年龄大于 40 的行，第二个用于仅映射员工的名字、姓氏和年龄。

文章图片

在这两个函数中，我们都基于索引访问记录。完整的流程代码如下：

文章图片

生成文件的内容
文章图片

概括 【Apache Beam 处理文件】在文章中，我们探讨了如何从文件中读取、写入数据，我们还解释了执行过滤、映射数据并将其写入新文件的完整pipeline代码。

Apache Beam 处理文件

推荐阅读

银耳煮不烂是什么原因银耳怎么煮容易烂

萝卜羊肉馅水饺怎么做羊肉萝卜馅饺子怎样做

计算机进银行后悔死了银行考试都考什么

佳能5dmark3新手入门图解佳能5dmark3评测

空洞骑士梦之门怎么用

手机淘宝删除的订单还能找到吗

腰围80厘米是几尺几呀

安卓模拟器手机型号,安卓模拟器怎么用?

眼皮抽脂几天能碰水

英冠联赛积分榜比分_英冠联赛积分榜比分表最新

微信朋友圈跟qq空间同步设置

兔子养在外面会冻死吗

想做一个农家乐有什么建议？做垂钓怎么样？

如何购买钻石呢

spring|spring security 之自定义表单登录源码跟踪

如何为战术战队设置服务器？战术战队怎么设置服务器

奥克斯空调显示e5是什么意思

“人生最大的幸福,是发现自己爱的人正好也爱着自己”,你怎么看？

光谱图像分析,多光谱图像融合

c高级编程第11版，unix环境高级编程程序清单117简化加解锁的问题有个问题APUE