Apache Pig Grunt Shell命令

1. Apache Pig Grunt Shell

Apache Pig Grunt Shell提供了许多shell和实用程序命令。 在本章“Apache Pig Grunt Shell简介”中,我们将讨论所有shell和实用程序命令。

2. Apache Pig Grunt Shell介绍

可以在调用Grunt shell之后在shell中运行Pig脚本。 而且,Grunt shell提供了一些有用的shell和实用程序命令。 

3. Apache Pig Grunt Shell命令

为了编写Pig Latin脚本,使用Apache Pig的Grunt shell。 通过使用sh和fs,可以调用任何shell命令。

sh命令

可以使用sh命令从Grunt shell中调用任何shell命令。 

sh命令的语法是:

1.grunt> sh shell command parameters

例如:

通过使用sh选项,可以从Grunt shell调用Linux shell的ls命令。 在这里,它列出了/ pig / bin /目录中的文件

1.grunt> sh ls
2.pig
3.pig_1444799121955.log
4.pig.cmd
5.pig.py

fs命令

可以使用fs命令从Grunt shell调用任何fs Shell命令。

fs命令的语法是:

1.
grunt> sh File System command parameters

例如:

通过使用fs命令,我们可以从Grunt shell调用HDFS的ls命令。 这里列出了HDFS根目录下的文件。

1.grunt> fs –ls
1.drwxrwxrwx - Hadoop supergroup 0 2015-09-08 14:13 Hbase
2.drwxr-xr-x - Hadoop supergroup 0 2015-09-09 14:52 seqgen_data
3.drwxr-xr-x - Hadoop supergroup 0 2015-09-08 11:30 twitter_data

同样,使用fs命令我们可以调用Grunt shell中的所有其他文件系统shell命令。

4. 实用程序命令

提供了一套Pig Grunt Shell实用程序命令。 如clear,help, history,quiet和set。 此外,还有一些命令,例如exec,kill和run。 以下是由Grunt shell提供的命令的说明。

Clear命令

为了清除Grunt shell的屏幕,我们使用Clear Command。

clear命令的语法是:

1.grunt> clear

Help命令

help命令提供Pig命令或Pig属性的列表。

通过使用help命令,可以得到Pig命令列表。

Exec命令

1.exec [-param <param_name>=param_value] [-param_file <file_name>] <script> -
-param <param_name >-
-param_file <文件名> 
   script - 要执行的脚本

示例:

1.Employee.txt
2.001,Mehul,Hyderabad
3.002,Ankur,Kolkata
4.003,Shubham,Delhi

现在,假设我们在HDFS的/ pig_data /目录下有一个名为sample_script.pig的脚本文件。 其内容是:

1.Sample_script.pig
2.Employee = LOAD 'hdfs://localhost:9000/pig_data/Employee.txt' USING PigStorage(',')
3.as (id:int,name:chararray,city:chararray);
4.Dump Employee;

现在,使用exec命令从Grunt shell执行上述脚本,如下所示

1.grunt> exec /sample_script.pig

输出:

exec命令在sample_script.pig中执行脚本。 按照脚本中的指示,它将Employee.txt文件加载到Pig中,显示转储运算符的结果,其中显示以下内容。

(1,Mehul,Hyderabad)
(2,Ankur,Kolkata)
(3,Shubham,Delhi)

Run 命令

1.run [-param <param_name>=param_value] [-param_file <file_name>] <script> -
-param <param_name >-
-param_file <文件名> 
   script - 要执行的脚本

示例请参见exec 命令。

kill <job_id>:Kill hadoop作业ID指定的hadoop作业
set <key> <value>:为Pig提供执行参数。 key和value区分大小写

支持如下key:

default_parallel:脚本并行性设置
通过将任何整数作为值传递给此键,可以设置Map作业的Reduce数量
debug:打开或关闭调试。 默认是关闭的。
job.name: 默认值是PigLatin:<脚本名称>
job.priority:工作优先设置, 可用值为very_low,low,normal,high,very_high
stream.skippath:可以忽略的数据路径

History [-n] – 显示缓存中的历史列表语句

1.grunt> history
2.customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',');
3.orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',');
4.Employee = LOAD 'hdfs://localhost:9000/pig_data/Employee.txt' USING PigStorage(',');

-n – 隐藏行号。

Quit – 退出grunt shell

Apache Pig Grunt Shell命令

发表评论

邮箱地址不会被公开。 必填项已用*标注

× 一 = 六

滚动到顶部