Apache Beam 处理文件 apache

今天我们介绍了如何使用pipeline在 Apache Beam 中的文件中读取、写入数据，其中“Employees.csv”文件被读取/过滤/写入新文件。
介绍本文通过适当的pipeline示例解释了如何在Apache Beam中读取和写入文件中的数据。从文件中读取数据是通过“ReadFromText”转换完成的，写入新文件是通过“WriteToText”转换完成的。开始我们解释了如何从文件中读取数据以及如何写入文件，在、后半部通过创建一个pipeline，其中读取“Employees.csv”文件，根据年龄过滤，提取员工的名字，姓氏和年龄pipeline入新文件。总体而言，pipeline如下所示：

文章图片

从文件中读取在本文中，我们使用来自数据源的文件，我们下载了一个 100 条记录文件并将其命名为“Employees.csv”，通过“ReadFromText”将从磁盘读取文件。下面的代码展示了相同的内容：

文章图片

输出
文章图片

写入文件 “WriteToText”转换用于将数据写入文件，下面的程序从文件中读取数据并写入“out.csv”文件。

文章图片

输出
文章图片

pipeline pipeline代码包含两个函数，一个用于过滤员工年龄大于 40 的行，第二个用于仅映射员工的名字、姓氏和年龄。

文章图片

在这两个函数中，我们都基于索引访问记录。完整的流程代码如下：

文章图片

生成文件的内容
文章图片

概括 【Apache Beam 处理文件】在文章中，我们探讨了如何从文件中读取、写入数据，我们还解释了执行过滤、映射数据并将其写入新文件的完整pipeline代码。

Apache Beam 处理文件

推荐阅读

自汗是什么意思自汗解释

怎样熬排骨汤又白又浓

驾驶证年审手续流程是什么

高手在民间！！！

华为P40是几W快充（华为P40的快充是多少）

早起打卡第62天，早饭打卡第8天

生菜对环境条件的要求生菜适合的温度和环境

经常吃猪肝对身体好吗经常吃猪肝好不好

cf手游像我这个比较穷的V5买啥好？

弹弹堂安卓苹果互通吗,弹弹幽灵大冒险:苹果和安卓不完全互通

除了《恶作剧之吻》,你还记得哪些小时候看的青春偶像剧？

苦练郭林气功复发郭林新气功

爱普生l360打印机废墨收集垫6

想问一下在京东买手机靠谱吗？

美股基金有哪些

redis槽满了会怎么样 redis的插槽不均匀

银河破裂者最高难度战役模式怎么玩战役模式通关方法推荐

vue+echarts实带渐变效果的折线图

什么是不成对电子数

为什么热水器只能75度，怎么修复与排查方法？