18.2.2 Hadoop Eclipse的安装配置

Hadoop Eclipse插件有很多版本,比如Hadoop官方下载包中的版本、IBM的版本等。下面将以Hadoop官方下载包中的插件为例介绍安装和使用方法。安装插件之前先要安装Hadoop和Eclipse(这部分内容略去,直接介绍插件的安装)。需要注意的是,在Hadoop1.0版本中,并没有像0.20版本那样,在HADOOP_HOME/contrib./eclipse-plugin有现成的Eclipse插件包,而是在HADOOP_HOME/src/contrib/eclipse-plugin目录下放置了Eclipse插件的源码。下面将详细介绍如何编译此源码生成适用于Hadoop1.0的Eclipse插件。

1.安装环境

操作系统:Ubuntu 11.10

软件:

Eclipse 3. 7

Java 1. 6.0_22

Hadoop 1. 0.1

2.编译步骤

1)首先需要下载ant和ivy安装包。将下载的两个安装包解压到待安装的目录下,然后将ivy包中ivy-2.2.0.jar包ant安装目录的lib目录下,然后配置/etc/profile中ant的安装目录。在文件的最末尾添加下面内容(请以自己的安装路径替换下面配置内容的路径部分):


export ANT_HOME=/home/ubuntu/apache-ant-1.8.3

export PATH="$ANT_HOME/bin:$PATH"


2)将终端路径定位到Hadoop安装目录下,执行ant compile。这一命令需要执行的时间稍长。

3)再将终端的路径定位到HADOOP_HOME/src/contrib/eclipse-plugin。然后执行下面的命令,注意-D后紧跟Eclipse安装路径和Hadoop版本,并没有空格。


ant-Declipse.home=/home/ubuntu/eclipse-Dversion=1.0.1 jar


4)命令执行完之后,就可以在HADOOP_HOME/build/contrib/hadoop-eclipse路径下找到自己生成的Eclipse插件了。下面就可以安装配置Eclipse插件。

3.安装步骤

1)将Hadoop Eclipse plugin移动到Eclipse的插件文件夹(即Eclipse\plugins)中。重启Eclipse。

2)在Eclipse中打开Hadoop视图。依次选择:Eclipse→Window→perspective→Other,然后选择Map/Reduced并点击OK。Eclipse会出现Hadoop视图。左边Project Explorer会出现DFS Locations,下方选项卡中会出现Map/Reduce Locations选项卡。

3)在下方选项卡中选中Map/Reduce Locations,然后在出现的空白处右键点击选择New Hadoop location……,这时会弹出配置Hadoop location的窗口。按照下面的提示正确配置Hadoop。

Location Name-hadoop

Map/Reduce Master:

Host-localhost

Port-9001

DFS Master:

Host-localhost

Port-9000

User name-系统用户名

配置完成之后点击finish, Map/Reduce Locations下就会出现新配置的Map/Reduce location。Eclipse界面左边的DFS location下面也出现新配置的DFS,点击“+”可以查看其结构。

到此,Hadoop Eclipse插件已经安装完成,可以辅助大家开发MapReduce程序和管理HDFS集群。由于对于HDFS的管理比较简单,下面仅举例介绍如何使用此插件来简化大家MapReduce程序的编写。