Pig UDF(用户定义函数)

为了指定自定义处理, Pig提供了对用户定义函数(UDF)的支持。因此, Pig允许我们创建自己的功能。当前, 可以使用以下编程语言来实现Pig UDF:-

  • Java
  • Python
  • Jython
  • JavaScript
  • Ruby
  • Groovy
在所有语言中, Pig为Java函数提供了最广泛的支持。但是, 仅对Python, Jython, JavaScript, Ruby和Groovy等语言提供有限的支持。
Apache PigUDF的示例 在Apache Pig里
  • 所有UDF必须扩展“ org.apache.pig.EvalFunc”
  • 所有功能都必须覆盖“ exec”方法。
让我们看一个简单的EVAL函数示例, 该函数将提供的字符串转换为大写。
UPPER.java
package com.hadoop; import java.io.IOException; import org.apache.pig.EvalFunc; import org.apache.pig.data.Tuple; public class TestUpper extends EvalFunc< String> { public String exec(Tuple input) throws IOException { if (input == null || input.size() == 0) return null; try{ String str = (String)input.get(0); return str.toUpperCase(); }catch(Exception e){ throw new IOException("Caught exception processing input row ", e); } } }

  • 创建jar文件并将其导出到特定目录。为此, 右键单击项目-导出-Java-JAR文件-下一步。
Pig UDF(用户定义函数)

文章图片
  • 现在, 为jar文件提供一个特定的名称, 并将其保存在本地系统目录中。
Pig UDF(用户定义函数)

文章图片
  • 在本地计算机上创建一个文本文件, 然后插入元组列表。
$ nano pigsample

Pig UDF(用户定义函数)

文章图片
  • 将文本文件上载到HDFS的特定目录中。
$ hdfs dfs -put pigexample /pigexample

  • 在本地计算机上创建一个Pig文件并编写脚本。
$ nano pscript.pig

Pig UDF(用户定义函数)

文章图片
  • 现在, 在终端中运行脚本以获取输出。
$pig pscript.pig

Pig UDF(用户定义函数)

文章图片
【Pig UDF(用户定义函数)】在这里, 我们得到了期望的输出。

    推荐阅读