2019-01-06

CentOS下编译Hadoop

系统及软件版本准备

CentOS-6.7-64bit

Hadoop-2.8.3-src

java-1.8.0_141

apache-maven-3.3.9

protobuf-2.5.0

findbugs-1.3.9

相关软件下载地址：链接：https://pan.baidu.com/s/1FfRRPiosrhWpRIPYtcsEgg
提取码：l84n

软件安装

1.java-1.8.0_141

下载 jdk-8u141-linux-x64.tar.gz，解压到 /root/apps/jdk1.8.0_141。解压命令:

tar -xf jdk-8u141-linux-x64.tar.gz

配置环境变量：

vi /etc/profile

在文件最下面加上:

export JAVA_HOME=/root/apps/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

添加完记得用下面的命令让其立即生效:

source /etc/profile

注意：下面每次配置完环境变量都需要使用这个命令

检查是否安装成功:

java -version

如果输出下面信息，则表示安装成功：

java version “1.8.0_141”
Java(TM) SE Runtime Environment (build 1.8.0_141-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.141-b15, mixed mode)

2.apache-maven-3.3.9

下载apache-maven-3.3.9-bin.zip，并使用下面命令解压：

unzip apache-maven-3.3.9-bin.zip

我将其解压到了 /opt/software/a:pache-maven-3.3.9. 同样，配置环境变量，在/etc/profile中添加下面信息：

export MAVEN_HOME=/opt/software/apache-maven-3.3.9
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

验证是否安装成功:

mvn -version

出现下列信息表明安装成功：

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /opt/software/apache-maven-3.3.9
Java version: 1.8.0_141, vendor: Oracle Corporation
Java home: /root/apps/jdk1.8.0_141/jre
Default locale: en_US, platform encoding: UTF-8
OS name: “linux”, version: “2.6.32-573.el6.x86_64”, arch: “amd64”, family: “unix”

3.protobuf-2.5.0

下载 protobuf-2.5.0.tar.gz ，解压到/opt/software/protobuf-2.5.0，接下来:

cd protobuf-2.5.0

yum install -y gcc gcc-c++ make cmake

./configure –prefix=/usr/local/protobuf

make && make install

同样导入环境变量：

export PROTOC_HOME=/usr/local/protobuf
export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

验证是否安装成功：

protoc --version

出现下面信息表明安装成功：

libprotoc 2.5.0

4. findbugs-1.3.9

下载findbugs-1.3.9.zip ，通过unzip findbugs-1.3.9.zip 解压到/opt/software/findbugs-1.3.9。

同样需要配置环境变量

export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

验证是否安装成功：

findbugs -version

出现下面信息表示安装成功：

1.3.9

5.其他依赖的安装

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

6.编译

下载hadoop-2.8.3-src.tar.gz并解压 tar -xf hadoop-2.8.3-src.tar.gz 到 /root/hadoop-2.8.3-src。运行下面命令：

cd hadoop-2.8.3-src

mvn clean package -Pdist,native -DskipTests -Dtar

编译过程中需要下载很多东西，需要很长时间，同时因为网络原因可能会一直卡在某个地方，这时可以ctrl+c中止然后重新运行上面命令。最后如果出现 BUILD SUCCESS 字样则表明编译成功.

编译好的tar包在 /root/hadoop-2.8.3-src/hadoop-dist/target/hadoop-2.8.1.tar.gz下