18.2.2 Hadoop Eclipse的安装配置
Hadoop Eclipse插件有很多版本,比如Hadoop官方下载包中的版本、IBM的版本等。下面将以Hadoop官方下载包中的插件为例介绍安装和使用方法。安装插件之前先要安装Hadoop和Eclipse(这部分内容略去,直接介绍插件的安装)。需要注意的是,在Hadoop1.0版本中,并没有像0.20版本那样,在HADOOP_HOME/contrib./eclipse-plugin有现成的Eclipse插件包,而是在HADOOP_HOME/src/contrib/eclipse-plugin目录下放置了Eclipse插件的源码。下面将详细介绍如何编译此源码生成适用于Hadoop1.0的Eclipse插件。
1.安装环境
操作系统:Ubuntu 11.10
软件:
Eclipse 3. 7
Java 1. 6.0_22
Hadoop 1. 0.1
2.编译步骤
1)首先需要下载ant和ivy安装包。将下载的两个安装包解压到待安装的目录下,然后将ivy包中ivy-2.2.0.jar包ant安装目录的lib目录下,然后配置/etc/profile中ant的安装目录。在文件的最末尾添加下面内容(请以自己的安装路径替换下面配置内容的路径部分):
export ANT_HOME=/home/ubuntu/apache-ant-1.8.3
export PATH="$ANT_HOME/bin:$PATH"
2)将终端路径定位到Hadoop安装目录下,执行ant compile。这一命令需要执行的时间稍长。
3)再将终端的路径定位到HADOOP_HOME/src/contrib/eclipse-plugin。然后执行下面的命令,注意-D后紧跟Eclipse安装路径和Hadoop版本,并没有空格。
ant-Declipse.home=/home/ubuntu/eclipse-Dversion=1.0.1 jar
4)命令执行完之后,就可以在HADOOP_HOME/build/contrib/hadoop-eclipse路径下找到自己生成的Eclipse插件了。下面就可以安装配置Eclipse插件。
3.安装步骤
1)将Hadoop Eclipse plugin移动到Eclipse的插件文件夹(即Eclipse\plugins)中。重启Eclipse。
2)在Eclipse中打开Hadoop视图。依次选择:Eclipse→Window→perspective→Other,然后选择Map/Reduced并点击OK。Eclipse会出现Hadoop视图。左边Project Explorer会出现DFS Locations,下方选项卡中会出现Map/Reduce Locations选项卡。
3)在下方选项卡中选中Map/Reduce Locations,然后在出现的空白处右键点击选择New Hadoop location……,这时会弹出配置Hadoop location的窗口。按照下面的提示正确配置Hadoop。
Location Name-hadoop
Map/Reduce Master:
Host-localhost
Port-9001
DFS Master:
Host-localhost
Port-9000
User name-系统用户名
配置完成之后点击finish, Map/Reduce Locations下就会出现新配置的Map/Reduce location。Eclipse界面左边的DFS location下面也出现新配置的DFS,点击“+”可以查看其结构。
到此,Hadoop Eclipse插件已经安装完成,可以辅助大家开发MapReduce程序和管理HDFS集群。由于对于HDFS的管理比较简单,下面仅举例介绍如何使用此插件来简化大家MapReduce程序的编写。