1. Sqoop安装
在本章中,我们学习“Sqoop安装”,了解在Linux上安装Sqoop的所有步骤。 Sqoop是Hadoop的子项目。 我们将看到安装运行Sqoop 1.4.5安装的一些先决条件。如将从验证Java安装的步骤开始。 最后,将看到安装Hadoop的步骤。 然后将学习Linux系统上Sqoop安装的步骤。
2. Java安装 和 Hadoop 安装
在Sqoop安装 – Linux上的1.4.5版本之前,首先需要在系统上安装Java。
为了在系统上安装Java,需要遵循下面给出的各种步骤。
第1步
下载Java(JDK <最新版本> – X64.tar.gz)。
例如,下载jdk-7u71-linux-x64.tar.gz;
第2步
$ tar zxf jdk-7u71-linux-x64.gz
第3步
将它移动到“/ usr / local /”位置,以便所有用户都可以使用Java。所以,切换到root用户并键入以下命令。
$ su #mv jdk1.7.0_71 / usr / local / java
第4步
将以下命令添加到?/ .bashrc文件以设置PATH和JAVA_HOME变量。
Export JAVA_HOME = / usr / local / java export PATH = $ PATH:$ JAVA_HOME / bin $ source?/ .bashrc
第5步
使用以下命令,验证Java安装。
$ java -version
但是,如果您的系统上已经安装了Java,则可以看到以下响应
java版本“1.7.0_71”
第6步
在Sqoop安装之前,安装Hadoop在系统上。 如果系统上未安装Hadoop,请下载Hadoop安装程序并且安装;
3 . Sqoop安装
下载Sqoop的稳定版本;
我们使用1.4.5版本,如下面文件:
sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz。
第1步 Sqoop安装
提取Sqoop压缩包并将其移至“/ usr / lib / sqoop”目录,使用以下命令。
$ tar -xvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz $ su #mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha / usr / lib / sqoop
第2步 配置bashrc
通过在?/ .bashrc文件中添加以下行,设置Sqoop环境
#Sqoop export SQOOP_HOME = / usr / lib / sqoop export PATH = $ PATH:$ SQOOP_HOME / bin
执行?/ .bashrc文件,使用下面的命令。
$ source?/ .bashrc
第3步 配置Sqoop
编辑位于$ SQOOP_HOME / conf目录中的sqoop-env.sh文件,以便使用Hadoop配置Sqoop。找到Sqoop config目录并复制模板文件
$ cd $ SQOOP_HOME / conf $ mv sqoop-env-template.sh sqoop-env.sh
打开sqoop-env.sh并编辑以下行
export HADOOP_COMMON_HOME = / usr / local / hadoop export HADOOP_MAPRED_HOME = / usr / local / hadoop
第4步 配置MySQL-connector-java
下载MySQL-connector-java-5.1.30.tar.gz文件;
提取MySQL-connector-java tarball并将MySQL-connector-java-5.1.30-bin.jar复制到/ usr / lib / sqoop / lib目录,使用以下命令:
$ tar -zxf mysql-connector-java-5.1.30.tar.gz #cd mysql-connector-java-5.1.30 #mv mysql-connector-java-5.1.30-bin.jar / usr / lib / sqoop / lib
第5步 验证Sqoop
为了验证Sqoop版本,使用以下命令:
$ cd $ SQOOP_HOME / bin $ sqoop-version 14/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5Sqoop 1.4.5 git commit id 5b34accaca7de251fc91161733f906af2eddbe83