datstage处理文本文件中存在多余换行符的数据

丈夫欲遂平生志,一载寒窗一举汤。这篇文章主要讲述datstage处理文本文件中存在多余换行符的数据相关的知识,希望能为你提供帮助。


在使用ds读取文件时可能会遇到字段中包含换行符的情况,在并行作业中并没有内置的方法来处理这中情况。ds读取文件的时候是根据行尾字符来定位一行是否结束,它一次读取一行数据,然后解析这些列。
解决此问题的几个解决方法是:
?使用并行作业中的Extend Source组件,用sed、awk等预处理文件,将文件中多余的换行符处理掉
?使用作业中的预处理功能,调用脚本或其他自定义程序将文件提前清洗一次。
【datstage处理文本文件中存在多余换行符的数据】


    推荐阅读