㈠ 如何在CentOS下安装Hadoop并与Eclipse连接
先说一下要准备哪些软件和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由于hadoop对版本的要求较高,大家还是不要轻易更换版本,这里列出来的各种软件都是稳定发布版,网上很容易可以download到的)。
整个教程分为这样5个部分来说:1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;2)centos下设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下安装hadoop,并配置文件;5)windows下安装jdk和eclipse,并将eclipse与centos下的hadoop连接。可以说这5个部分每一个都很重要,尤其是第4)步。下面我们就详细说一下每一步该怎么做。
Step 0: 请大家先在windows下新建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面安装,用户名最好要是hadoop,因为这个要和后面很多username相同,设为hadoop比较好记。
1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;
首先,下载VMware-workstation并安装,这步骤和一般windows下安装软件的过程是一样的,入门小白也会熟练操作,这里就节省点儿空间给后面重要的步骤了~
然后,在Vmware的主页上新建一个虚拟机
一路下一步,直到让你选择系统镜像路径,我们选择centos系统映像,如上图,点击下一步。然后,需要你输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次!
后面还是一路的“下一步”,直到让你设置虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”,如下图。这一步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的没了~~
之后还是一路的“下一步”,几乎都是使用它推荐的设置,我们就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝,有没有让你心动了呢~~哈哈哈,你确实走好了第一步!
2)centos下设置ssh服务无密码登录;
在桌面右击,选择openin Terminal,这个就是linux的终端了。希望读者有一些linux操作系统的基础,这样子上手更快一些。不过要是没有的话,也没有关系,我们是面向新手的教程。
2.1. 先在linux命令行中输入su,提示密码,输入你自己设置的密码,这样子你后面的操作都具有了linux系统下的最高权限——root权限。
2.2. 在设置ssh无密码登录之前,有一个特别重要的要先出好:关闭SELinux。这是因为centos会自动阻止你修改sshservice,我们只有关闭SELinux,重启才能生效。如何做,如下:
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
(note:在linux下修改文件,vi命令后会进入到文件窗口,按i进入insert,修改完毕之后再按esc推出insert,输入;:wq!保存并退出~这里要感谢泡哥,改了半天都不行,还是泡哥指点迷津了~~)
2.3. 在linux命令行里输入:ssh-keygen -t rsa,然后一路回车。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密钥保存位置,直接回车保持默认;
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //设置密钥的密码,空密码直接回车即可;
Enter samepassphrase again: //确认上一步设置的密码。
然后进入 /root/.ssh/下面,会看到两个文件 id_rsa.pub,id_rsa,
然后执行cp id_rsa.pub authorized_keys
然后 ssh localhost 验证是否成功,第一次要你输入yes,以后就不需要了。
如下图,由于我又验证了一次,所以还需要输入y,如果你是第一次验证是不要的。
至此,ssh服务无密码登录设置完毕!
3)centos下安装jdk,并配置环境变量;
这一步中可以分为两步:安装jdk、配置jdk环境变量。
3.1. 第一步:root 用户登陆,使用命令mkdir /usr/program新建目录/usr/program ,下载 JDK 安装包jdk-6u13-linux-i586.bin,将其复制到目录/usr/program下,用cd命令进入该目录,执行命令“./ jdk-6u13-linux-i586.bin”,命令运行完毕即安装完成,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功安装到目录:/usr/program/jdk1.6.0_13下。
3.2. root 用户登陆,命令行中执行命令“vi/etc/profile”,并加入以下内容,配置环境变量(注意/etc/profile这个文件很重要,后面 Hadoop 的配置还会用到)。
# set java environment
exportJAVA_HOME=/usr/program/jdk1.6.0_27
exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi编辑器增加以上内容后保存退出,并执行以下命令使配置生效!
#chmod +x /etc/profile ;增加执行权限
#source /etc/profile;使配置生效!
配置完毕后,在命令行中输入:java -version,就会出现安装jdk的信息。
这时,jdk的安装和配置环境变量就成功了~
㈡ 如何在CentOS下安装Hadoop并与Eclipse连接
先说一下要准备哪些软件和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由于hadoop对版本的要求较高,大家还是不要轻易更换版本,这里列出来的各种软件都是稳定发布版,网上很容易可以download到的)。
整个教程分为这样5个部分来说:1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;2)centos下设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下安装hadoop,并配置文件;5)windows下安装jdk和eclipse,并将eclipse与centos下的hadoop连接。可以说这5个部分每一个都很重要,尤其是第4)步。下面我们就详细说一下每一步该怎么做。
Step 0: 请大家先在windows下新建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面安装,用户名最好要是hadoop,因为这个要和后面很多username相同,设为hadoop比较好记。
--------------------------------------分割线 --------------------------------------
Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm
--------------------------------------分割线 --------------------------------------
1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;
首先,下载VMware-workstation并安装,这步骤和一般windows下安装软件的过程是一样的,入门小白也会熟练操作,这里就节省点儿空间给后面重要的步骤了~
然后,在Vmware的主页上新建一个虚拟机,如下图:
一路下一步,直到让你选择系统镜像路径,我们选择centos系统映像,如上图,点击下一步。然后,需要你输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次!
后面还是一路的“下一步”,直到让你设置虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”,如下图。这一步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的没了~~
之后还是一路的“下一步”,几乎都是使用它推荐的设置,我们就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝,有没有让你心动了呢~~哈哈哈,你确实走好了第一步!
2)centos下设置ssh服务无密码登录;
在桌面右击,选择openin Terminal,这个就是linux的终端了。希望读者有一些linux操作系统的基础,这样子上手更快一些。不过要是没有的话,也没有关系,我们是面向新手的教程。
2.1. 先在linux命令行中输入su,提示密码,输入你自己设置的密码,这样子你后面的操作都具有了linux系统下的最高权限——root权限。
2.2. 在设置ssh无密码登录之前,有一个特别重要的要先出好:关闭SELinux。这是因为centos会自动阻止你修改sshservice,我们只有关闭SELinux,重启才能生效。如何做,如下:
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
(note:在linux下修改文件,vi命令后会进入到文件窗口,按i进入insert,修改完毕之后再按esc推出insert,输入;:wq!保存并退出~这里要感谢泡哥,改了半天都不行,还是泡哥指点迷津了~~)
2.3. 在linux命令行里输入:ssh-keygen -t rsa,然后一路回车。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密钥保存位置,直接回车保持默认;
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //设置密钥的密码,空密码直接回车即可;
Enter samepassphrase again: //确认上一步设置的密码。
然后进入 /root/.ssh/下面,会看到两个文件 id_rsa.pub,id_rsa,
然后执行cp id_rsa.pub authorized_keys
然后 ssh localhost 验证是否成功,第一次要你输入yes,以后就不需要了。
如下图,由于我又验证了一次,所以还需要输入y,如果你是第一次验证是不要的。
至此,ssh服务无密码登录设置完毕!
3)centos下安装jdk,并配置环境变量;
这一步中可以分为两步:安装jdk、配置jdk环境变量。
3.1. 第一步:root 用户登陆,使用命令mkdir /usr/program新建目录/usr/program ,下载 JDK 安装包jdk-6u13-linux-i586.bin,将其复制到目录/usr/program下,用cd命令进入该目录,执行命令“./ jdk-6u13-linux-i586.bin”,命令运行完毕即安装完成,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功安装到目录:/usr/program/jdk1.6.0_13下。
3.2. root 用户登陆,命令行中执行命令“vi/etc/profile”,并加入以下内容,配置环境变量(注意/etc/profile这个文件很重要,后面 Hadoop 的配置还会用到)。
# set java environment
exportJAVA_HOME=/usr/program/jdk1.6.0_27
exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi编辑器增加以上内容后保存退出,并执行以下命令使配置生效!
#chmod +x /etc/profile ;增加执行权限
#source /etc/profile;使配置生效!
配置完毕后,在命令行中输入:java -version,就会出现安装jdk的信息。
这时,jdk的安装和配置环境变量就成功了~
㈢ hadoop 为什么要与eclipse连接
先说一下要准备哪些软件和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由于hadoop对版本的要求较高,大家还是不要轻易更换版本,这里列出来的各种软件都是稳定发布版,网上很容易可以download到的)。
整个教程分为这样5个部分来说:1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;2)centos下设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下安装hadoop,并配置文件;5)windows下安装jdk和eclipse,并将eclipse与centos下的hadoop连接。可以说这5个部分每一个都很重要,尤其是第4)步。下面我们就详细说一下每一步该怎么做。
Step 0: 请大家先在windows下新建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面安装,用户名最好要是hadoop,因为这个要和后面很多username相同,设为hadoop比较好记。
1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;
首先,下载VMware-workstation并安装,这步骤和一般windows下安装软件的过程是一样的,入门小白也会熟练操作,这里就节省点儿空间给后面重要的步骤了~
然后,在Vmware的主页上新建一个虚拟机
一路下一步,直到让你选择系统镜像路径,我们选择centos系统映像,如上图,点击下一步。然后,需要你输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次!
后面还是一路的“下一步”,直到让你设置虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”,如下图。这一步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的没了~~
之后还是一路的“下一步”,几乎都是使用它推荐的设置,我们就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝,有没有让你心动了呢~~哈哈哈,你确实走好了第一步!
2)centos下设置ssh服务无密码登录;
在桌面右击,选择openin Terminal,这个就是linux的终端了。希望读者有一些linux操作系统的基础,这样子上手更快一些。不过要是没有的话,也没有关系,我们是面向新手的教程。
2.1. 先在linux命令行中输入su,提示密码,输入你自己设置的密码,这样子你后面的操作都具有了linux系统下的最高权限——root权限。
2.2. 在设置ssh无密码登录之前,有一个特别重要的要先出好:关闭SELinux。这是因为centos会自动阻止你修改sshservice,我们只有关闭SELinux,重启才能生效。如何做,如下:
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
(note:在linux下修改文件,vi命令后会进入到文件窗口,按i进入insert,修改完毕之后再按esc推出insert,输入;:wq!保存并退出~这里要感谢泡哥,改了半天都不行,还是泡哥指点迷津了~~)
2.3. 在linux命令行里输入:ssh-keygen -t rsa,然后一路回车。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密钥保存位置,直接回车保持默认;
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //设置密钥的密码,空密码直接回车即可;
Enter samepassphrase again: //确认上一步设置的密码。
然后进入 /root/.ssh/下面,会看到两个文件 id_rsa.pub,id_rsa,
然后执行cp id_rsa.pub authorized_keys
然后 ssh localhost 验证是否成功,第一次要你输入yes,以后就不需要了。
如下图,由于我又验证了一次,所以还需要输入y,如果你是第一次验证是不要的。
至此,ssh服务无密码登录设置完毕!
3)centos下安装jdk,并配置环境变量;
这一步中可以分为两步:安装jdk、配置jdk环境变量。
3.1. 第一步:root 用户登陆,使用命令mkdir /usr/program新建目录/usr/program ,下载 JDK 安装包jdk-6u13-linux-i586.bin,将其复制到目录/usr/program下,用cd命令进入该目录,执行命令“./ jdk-6u13-linux-i586.bin”,命令运行完毕即安装完成,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功安装到目录:/usr/program/jdk1.6.0_13下。
3.2. root 用户登陆,命令行中执行命令“vi/etc/profile”,并加入以下内容,配置环境变量(注意/etc/profile这个文件很重要,后面 Hadoop 的配置还会用到)。
# set java environment
exportJAVA_HOME=/usr/program/jdk1.6.0_27
exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi编辑器增加以上内容后保存退出,并执行以下命令使配置生效!
#chmod +x /etc/profile ;增加执行权限
#source /etc/profile;使配置生效!
配置完毕后,在命令行中输入:java -version,就会出现安装jdk的信息。
这时,jdk的安装和配置环境变量就成功了~
㈣ 在linux系统里eclipse怎么配置hadoop环境
方法一:在终端上输入sudoapt-getinstalleclipse回车方法二:在新立德软件包里搜索eclipse找到了选上然后应用它会自动下载安装方法三:在www.eclipse.org官网上下载相关包,然后安装。
㈤ 在eclipse上怎样安装hadoop详细步骤
方法步骤如下:
1在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统。
首先下载VMware-workstation并安装,在Vmware的主页上新建一个虚拟机,一路下一步,直到让选择系统镜像路径,这里选择centos系统映像,然后,需要输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次。
接下来还是一路的“下一步”,直到让设置虚拟机的内存大小,建议为1024M。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”。之后还是一路的“下一步”,几乎都是使用它推荐的设置,就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。
2centos下设置ssh服务无密码登录;
在桌面右击,选择openin Terminal,这个就是linux的终端了。
2.1. 先在linux命令行中输入su,提示密码,输入自己设置的密码,这样子后面的操作都具有了linux系统下的最高权限——root权限。
2.2. 在设置ssh无密码登录之前,有一个特别重要的要先出好:关闭SELinux。这是因为centos会自动阻止修改sshservice,只有关闭SELinux,重启才能生效。方法如下:
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
(注:在linux下修改文件,vi命令后会进入到文件窗口,按i进入insert,修改完毕之后再按esc推出insert,输入;:wq!保存并退出)
2.3. 在linux命令行里输入:ssh-keygen -t rsa,然后一路回车。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密钥保存位置,直接回车保持默认;
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //设置密钥的密码,空密码直接回车即可;
Enter samepassphrase again: //确认上一步设置的密码。
然后进入 /root/.ssh/下面,会看到两个文件 id_rsa.pub,id_rsa,
然后执行cp id_rsa.pub authorized_keys
然后 ssh localhost 验证是否成功,第一次要输入yes,以后就不需要了。
由于又验证了一次,所以还需要输入y,如果是第一次验证是不要的。
至此,ssh服务无密码登录设置完毕!
3)centos下安装jdk,并配置环境变量;
㈥ windows上的eclipse的hadoop插件 怎么连接到linux上的hadoop集群
hadoop2.2.0已经是相对稳定的版本,而且已经不用以前的MapRece,用HIVE或者Pig Latin就可以完成MapRece任务。Hadoop2.2.0也没有Eclipse插件了,用JVM自带的远程连接调试,不过我没有用。
㈦ 怎么自己动手编译hadoop的eclipse插件
1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功。 http://www.cnblogs.com/PurpleDream/p/4009070.html
2.自己打包hadoop在eclipse中的插件。 http://www.cnblogs.com/PurpleDream/p/4014751.html
3.在eclipse中访问hadoop运行WordCount成功。
所以我下边会分三次记录下我的过程,为自己以后查阅方便,要是能帮助到其他人,自然是更好了!
===============================================================长长的分割线====================================================================
正文:
如果你想在eclipse中安装hadoop的插件,一个很重要的问题就是hadoop的版本与eclipse版本的匹配问题,如果不匹配,可能会导致很多问题。
综上,我在完成了在Linux的CentOS系统中安装hadoop并简单运行WordCount之后(具体参看本文前言中的博客链接),将学习的重点放到了hadoop的eclipse插件上。其实网上也有部分文章在介绍如何编写插件,但是由于我的eclispe版本是Juno,而之前在CentOS安装的是hadoop-1.0.1,所以没有找到完全匹配的成功案例。所以最终决定自己也动手变异一个自己的hadoop插件。
在有了这个想法之后,一开始会觉得特别困难,但是在真正去做之后,会发现很多问题其实还是可以解决的,只要你懂得如果使用网络和谷歌,多参考一下别人的文章,汲取精华,最终一定会成功的。
第一步,确定大致流程:
1.首先我需要ant编译,然后就是hadoop-1.0.1.tar.gz这个安装包,还有就是eclipse。
2.针对我自己的环境,电脑是Win7,eclispe是Juno,下载了hadoop-1.0.1.tar.gz,就差ant之前没有安装。
第二步,安装ant:
1.我参考的是这篇文章http://blog.csdn.net/yang382197207/article/details/10185251,我当时下载的是apache-ant-1.9.4,其他的步骤按照这篇文章介绍的配置就会成功。
第三步,在正式建立项目之前,我在介绍下我的环境: OS: windows 7, Eclipse: Juno, JDK: 1.6.0_43, Hadoop: 1.0.1
1.首先在Eclipse中新建一个Java项目,名字叫hadoop-1.0.1-eclipse-plugin,其实这个名字你可以随意的。
2.解压hadoop-1.0.1.tar.gz,在解压后的目录中(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1),依次将下面的文件放到项目中:
(1).将\hadoop-1.0.1\src\contrib\eclipse-plugin里面的所有文件以及\hadoop-1.0.1\src\contrib\build-contrib.xml拖拽到项目中
(2).将根目录\hadoop-1.0.1里的所有.jar文件拖拽到eclipse项目中bin目录下。
3.打开项目中的build-contrib.xml,做如下的配置:
(1).找到<property name="hadoop.root" location="hadoop-1.0.1解压缩后的目录"/>
(2).找到<property name="eclipse.home" location="自己的eclipse的目录"/>
(3).找到<property name="version" value="hadoop的版本号"/>
可以参考我的配置,如图:
view sourceprint?
1.
<property name="name" value="${ant.project.name}"/>
2.
<property name="root" value="${basedir}"/>
3.
<property name="hadoop.root" location="D:/SettingUp/ITSettingUp/Hadoop/hadoop-1.0/hadoop-1.0.1"/>
4.
<property name="eclipse.home" location="D:/HaveSetted/ITHaveSetted/Eclipse"/>
5.
<property name="version" value="1.0.1"/>
4.打开项目中的build.xml,做如下的配置:
(1).将文件开头的 <import file="../build-contrib.xml"/> 修改为 <import file="build-contrib.xml"/>
(2).在<javac...>里如下图加入includeantruntime="on",效果如下:
view sourceprint?
01.
<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">
02.
<echo message="contrib: ${name}"/>
03.
<javac
04.
encoding="${build.encoding}"
05.
srcdir="${src.dir}"
06.
includes="**/*.java"
07.
destdir="${build.classes}"
08.
debug="${javac.debug}"
09.
deprecation="${javac.deprecation}"
10.
includeantruntime="on">
11.
<classpath refid="classpath"/>
12.
</javac>
13.
</target>
(3).在<path id="classpath">中添加:<path refid="hadoop-jars"/>,效果如下:
view sourceprint?
1.
<!-- Override classpath to include Eclipse SDK jars -->
2.
<path id="classpath">
3.
<pathelement location="${build.classes}"/>
4.
<pathelement location="${hadoop.root}/build/classes"/>
5.
<path refid="eclipse-sdk-jars"/>
6.
<path refid="hadoop-jars"/>
7.
</path>
(4).在<target name="jar" depends="compile" unless="skip.contrib">这个标签里,在< file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>这个配置的下面添加如下几个jar包的配置:
view sourceprint?
1.
< file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
2.
< file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
3.
< file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
4.
< file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
5.
< file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
最终效果如图:
view sourceprint?
01.
<!-- Override jar target to specify manifest -->
02.
<target name="jar" depends="compile" unless="skip.contrib">
03.
<mkdir dir="${build.dir}/lib"/>
04.
< file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core-1.0.1.jar" verbose="true"/>
05.
< file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>
06.
07.
< file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
08.
< file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
09.
< file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
10.
< file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
11.
< file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
12.
13.
<jar
14.
jarfile="${build.dir}/hadoop-${name}-${version}.jar"
15.
manifest="${root}/META-INF/MANIFEST.MF">
16.
<fileset dir="${build.dir}" includes="classes/ lib/"/>
17.
<fileset dir="${root}" includes="resources/ plugin.xml"/>
18.
</jar>
19.
</target>
(5).在文件末尾</project>标签之前添加配置:
view sourceprint?
1.
<path id="hadoop-jars">
2.
<fileset dir="${hadoop.root}/">
3.
<include name="hadoop-*.jar"/>
4.
</fileset>
5.
</path>
5.打开hadoop-1.0.1的解压缩目录(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1),复制两个jar包到对应的目录文件夹,以我的文件目录结构举例如下:
(1).将D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\hadoop-core-1.0.1.jar 复制到D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\build\这个文件夹中
(2).将D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\lib\commons-cli-1.2.jar复制到D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\build\ivy\lib\Hadoop\common这个文件夹中
6.再回到eclipse,打开项目中的\META-INF\MANIFEST.MF文件,做如下的添加:
view sourceprint?
1.
Bundle-ClassPath: classes/,
2.
lib/hadoop-core-1.0.1.jar,
3.
lib/commons-cli-1.2.jar,
4.
lib/commons-configuration-1.6.jar,
5.
lib/commons-httpclient-3.0.1.jar,
6.
lib/commons-lang-2.4.jar,
7.
lib/jackson-core-asl-1.8.8.jar,
8.
lib/jackson-mapper-asl-1.8.8.ja,
7.经过上边的配置,基本已经完成,我们可以编译项目了。右击build.xml文件选择 Run As Ant Build,编译成功,生成的hadoop-1.0.1-eclipse-plugin.jar在hadoop-1.0.1解压目录的\build\contrib\eclipse-plugin文件夹里面。
第四步,当然就是在eclipse中配置我们编译好的插件。
1.把hadoop-1.0.1-eclipse-plugin.jar文件放到eclipse安装目录的plugins中,重启eclipse。重启后,会在Window->Open Perspective->Other里,看到大象图标的Map/Rece出现,或者是window->Preferences中看到Hadoop Map/Rece这个选项。
2.window->Preferences中点击Hadoop Map/Rece这个选项,将Hadoop的那个解压缩目录(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1)的路径配置上,配置效果图如下:
\
3.然后我们在Window->Open Perspective->Other里,点击Map/Rece,切换到这个模式,截图如下:
\
4.切换到Map/Rece模式后,我们看到画面(4)中的截图,点击右下角的两个小图标,测试有没有反应,如果有反应,暂时先别配置,这个我下篇博客会具体讲。如果怎么点都没有反应,则可以做如下操作:
(1).打开项目中的\META-INF\MANIFEST.MF文件,找到之前编译时,添加的Bundle-ClassPath: classes/ 这个位置,之前我们添加了7个jar包的配置,再增加四个,如下:
view sourceprint?
1.
lib/hadoop-common-0.21.0.jar,
2.
lib/hadoop-hdfs-0.21.0.jar,
3.
lib/log4j-1.2.15.jar,
4.
lib/hadoop-mapred-0.21.0.jar
(2).然后我们还需要去网上下载这四个jar包放到下面的文件夹中,以我的目录举例:D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\lib。
(3).然后在重新编译即可,在替换原来的插件时,在重启eclipse的过程中,你可以这样做:先删除原来的插件,原来重启eclipse,确认Map/Rece没了;然后再关掉eclipse,将新的插件放到plugins里,之后再次启动eclipse。解决这个问题时我在网上参考的文章是:http://blog.csdn.net/kky2010_110/article/details/7774747,大家也可以看看~。
(4).上边所提到的截图如下:
\
经过上边说的这些步骤,eclipse中的hadoop插件我们算是编译完了,这个过程中一定要注意的是,不要怕失败,多尝试,因为hadoop版本与eclipse版本是有关系的,所以导致你的版本和我的不太一致,可能会失败,但是也可能会成功。所以在这里再次提醒,注意文章开始,我对自己的环境的版本的介绍,尤其是eclipse和hadoop的版本。建议大家如果有时间的话,可以先不管版本,按照我的步骤先走一遍,如果实在是不成功的话,则可以找个和我一样的eclipse和hadoop版本,再体验一回。因为,我在这个过程中,就发现,由于是第一次学hadoop,不见到成功的效果,总觉得少点什么,总想见识一下,莫取笑哈~
至于下一步,如果配置Location和运行WordCount,我会在下一篇博客中具体说明,谢谢支持,觉得文章还不错的话,多多点赞,多多留言哈,这将使我充满动力!
㈧ hadoop在linux上,eclipse在windows下,我现在想在eclipse写maprece程序,是不是只要导入那个
你得配置下 在map-rece 右键eidt 配置下你的HDFS系统信息嘛,