2.1 在Linux上安装与配置Hadoop
在Linux上安装Hadoop之前,需要先安装两个程序:
1)JDK 1. 6(或更高版本)。Hadoop是用Java编写的程序,Hadoop的编译及MapReduce的运行都需要使用JDK。因此在安装Hadoop前,必须安装JDK 1.6或更高版本。
2)SSH(安全外壳协议),推荐安装OpenSSH。Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH也是必须安装的,即使是安装伪分布式版本(因为Hadoop并没有区分开集群式和伪分布式)。对于伪分布式,Hadoop会采用与集群相同的处理方式,即按次序启动文件conf/slaves中记载的主机上的进程,只不过在伪分布式中Salve为localhost(即为自身),所以对于伪分布式Hadoop, SSH一样是必需的。
2.1.1 安装JDK 1.6
下面介绍安装JDK 1.6的具体步骤。
(1)下载和安装JDK 1.6
确保可以连接到互联网,从http://www.oracle.com/technetwork/java/javase/downloads页面下载JDK 1.6安装包(文件名类似jdk-*-linux-i586.bin,不建议安装JDK 1.7版本,因为并不是所有软件都支持1.7版本)到JDK安装目录(本章假设IDK安装目录均为/usr/lib/jvm/jdk)。
(2)手动安装JDK 1.6
在终端下进入JDK安装目录,并输入命令:
sudo chmod u+x jdk-*-linux-i586.bin
修改完权限之后就可以进行安装了,在终端输入命令:
sudo-s./jdk-*-linux-i586.bin
安装结束之后就可以开始配置环境变量了。
(3)配置环境变量
输入命令:
sudo gedit/etc/profile
输入密码,打开profile文件。
在文件最下面输入如下内容:
set Java Environment
export JAVA_HOME=/usr/lib/jvm/jdk
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$PATH"
这一步的意义是配置环境变量,使系统可以找到JDK。
(4)验证JDK是否安装成功输入命令:
java-version
会出现如下JDK版本信息:
java version"1.6.0_22"
Java(TM)SE Runtime Environment(build 1.6.0_22-b04)
Java HotSpot(TM)Client VM(build 17.1-b03,mixed mode, sharing)
如果出现上述JDK版本信息,说明当前安装的JDK并未设置成Ubuntu系统默认的JDK,接下来还需要手动将安装的JDK设置成系统默认的JDK。
(5)手动设置系统默认JDK
在终端依次输入命令:
sudo update-alternatives—install/usr/bin/java java/usr/lib/jvm/jdk/bin/java 300
sudo update-alternatives—install/usr/bin/javac javac/usr/lib/jvm/jdk/bin/javac 300
sudo update-alternatives—config java
接下来输入java-version就可以看到所安装的JDK的版本信息了。