㈠ 如何在CentOS下安裝Hadoop並與Eclipse連接
先說一下要准備哪些軟體和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由於hadoop對版本的要求較高,大家還是不要輕易更換版本,這里列出來的各種軟體都是穩定發布版,網上很容易可以download到的)。
整個教程分為這樣5個部分來說:1)在Windows下安裝虛擬機Vmware,並新建一個虛擬機裝好centos系統;2)centos下設置ssh服務無密碼登錄;3)centos下安裝jdk,並配置環境變數;4)centos下安裝hadoop,並配置文件;5)windows下安裝jdk和eclipse,並將eclipse與centos下的hadoop連接。可以說這5個部分每一個都很重要,尤其是第4)步。下面我們就詳細說一下每一步該怎麼做。
Step 0: 請大家先在windows下新建一個普通用戶,用戶名為hadoop,我們所有的軟體全在這個下面安裝,用戶名最好要是hadoop,因為這個要和後面很多username相同,設為hadoop比較好記。
1)在Windows下安裝虛擬機Vmware,並新建一個虛擬機裝好centos系統;
首先,下載VMware-workstation並安裝,這步驟和一般windows下安裝軟體的過程是一樣的,入門小白也會熟練操作,這里就節省點兒空間給後面重要的步驟了~
然後,在Vmware的主頁上新建一個虛擬機
一路下一步,直到讓你選擇系統鏡像路徑,我們選擇centos系統映像,如上圖,點擊下一步。然後,需要你輸入linux的用戶名,這個比較重要,最好填寫hadoop,因為這個名字在後面要用到好多次!
後面還是一路的「下一步」,直到讓你設置虛擬機的內存大小,建議為1024M。如上圖。後面就是要選擇和虛擬機的網路類型有關的設置了,建議為「使用網路地址轉換NAT」,如下圖。這一步我當時選擇了自動橋接的功能,找了一個晚上的錯誤。。。時間就這樣白花花的沒了~~
之後還是一路的「下一步」,幾乎都是使用它推薦的設置,我們就可以新建一個centos,等待個幾分鍾然後就可以進入centos界面了。看到那一抹科技藍,有沒有讓你心動了呢~~哈哈哈,你確實走好了第一步!
2)centos下設置ssh服務無密碼登錄;
在桌面右擊,選擇openin Terminal,這個就是linux的終端了。希望讀者有一些linux操作系統的基礎,這樣子上手更快一些。不過要是沒有的話,也沒有關系,我們是面向新手的教程。
2.1. 先在linux命令行中輸入su,提示密碼,輸入你自己設置的密碼,這樣子你後面的操作都具有了linux系統下的最高許可權——root許可權。
2.2. 在設置ssh無密碼登錄之前,有一個特別重要的要先出好:關閉SELinux。這是因為centos會自動阻止你修改sshservice,我們只有關閉SELinux,重啟才能生效。如何做,如下:
修改/etc/selinux/config文件
將SELINUX=enforcing改為SELINUX=disabled
重啟機器即可
(note:在linux下修改文件,vi命令後會進入到文件窗口,按i進入insert,修改完畢之後再按esc推出insert,輸入;:wq!保存並退出~這里要感謝泡哥,改了半天都不行,還是泡哥指點迷津了~~)
2.3. 在linux命令行里輸入:ssh-keygen -t rsa,然後一路回車。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密鑰保存位置,直接回車保持默認;
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //設置密鑰的密碼,空密碼直接回車即可;
Enter samepassphrase again: //確認上一步設置的密碼。
然後進入 /root/.ssh/下面,會看到兩個文件 id_rsa.pub,id_rsa,
然後執行cp id_rsa.pub authorized_keys
然後 ssh localhost 驗證是否成功,第一次要你輸入yes,以後就不需要了。
如下圖,由於我又驗證了一次,所以還需要輸入y,如果你是第一次驗證是不要的。
至此,ssh服務無密碼登錄設置完畢!
3)centos下安裝jdk,並配置環境變數;
這一步中可以分為兩步:安裝jdk、配置jdk環境變數。
3.1. 第一步:root 用戶登陸,使用命令mkdir /usr/program新建目錄/usr/program ,下載 JDK 安裝包jdk-6u13-linux-i586.bin,將其復制到目錄/usr/program下,用cd命令進入該目錄,執行命令「./ jdk-6u13-linux-i586.bin」,命令運行完畢即安裝完成,將在目錄下生成文件夾/jdk1.6.0_13,此即為jdk被成功安裝到目錄:/usr/program/jdk1.6.0_13下。
3.2. root 用戶登陸,命令行中執行命令「vi/etc/profile」,並加入以下內容,配置環境變數(注意/etc/profile這個文件很重要,後面 Hadoop 的配置還會用到)。
# set java environment
exportJAVA_HOME=/usr/program/jdk1.6.0_27
exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi編輯器增加以上內容後保存退出,並執行以下命令使配置生效!
#chmod +x /etc/profile ;增加執行許可權
#source /etc/profile;使配置生效!
配置完畢後,在命令行中輸入:java -version,就會出現安裝jdk的信息。
這時,jdk的安裝和配置環境變數就成功了~
㈡ 如何在CentOS下安裝Hadoop並與Eclipse連接
先說一下要准備哪些軟體和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由於hadoop對版本的要求較高,大家還是不要輕易更換版本,這里列出來的各種軟體都是穩定發布版,網上很容易可以download到的)。
整個教程分為這樣5個部分來說:1)在Windows下安裝虛擬機Vmware,並新建一個虛擬機裝好centos系統;2)centos下設置ssh服務無密碼登錄;3)centos下安裝jdk,並配置環境變數;4)centos下安裝hadoop,並配置文件;5)windows下安裝jdk和eclipse,並將eclipse與centos下的hadoop連接。可以說這5個部分每一個都很重要,尤其是第4)步。下面我們就詳細說一下每一步該怎麼做。
Step 0: 請大家先在windows下新建一個普通用戶,用戶名為hadoop,我們所有的軟體全在這個下面安裝,用戶名最好要是hadoop,因為這個要和後面很多username相同,設為hadoop比較好記。
--------------------------------------分割線 --------------------------------------
Ubuntu 13.04上搭建Hadoop環境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop環境(單機模式+偽分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop環境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
單機版搭建Hadoop環境圖文教程詳解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建Hadoop環境(在Winodws環境下用虛擬機虛擬兩個Ubuntu系統進行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm
--------------------------------------分割線 --------------------------------------
1)在Windows下安裝虛擬機Vmware,並新建一個虛擬機裝好centos系統;
首先,下載VMware-workstation並安裝,這步驟和一般windows下安裝軟體的過程是一樣的,入門小白也會熟練操作,這里就節省點兒空間給後面重要的步驟了~
然後,在Vmware的主頁上新建一個虛擬機,如下圖:
一路下一步,直到讓你選擇系統鏡像路徑,我們選擇centos系統映像,如上圖,點擊下一步。然後,需要你輸入linux的用戶名,這個比較重要,最好填寫hadoop,因為這個名字在後面要用到好多次!
後面還是一路的「下一步」,直到讓你設置虛擬機的內存大小,建議為1024M。如上圖。後面就是要選擇和虛擬機的網路類型有關的設置了,建議為「使用網路地址轉換NAT」,如下圖。這一步我當時選擇了自動橋接的功能,找了一個晚上的錯誤。。。時間就這樣白花花的沒了~~
之後還是一路的「下一步」,幾乎都是使用它推薦的設置,我們就可以新建一個centos,等待個幾分鍾然後就可以進入centos界面了。看到那一抹科技藍,有沒有讓你心動了呢~~哈哈哈,你確實走好了第一步!
2)centos下設置ssh服務無密碼登錄;
在桌面右擊,選擇openin Terminal,這個就是linux的終端了。希望讀者有一些linux操作系統的基礎,這樣子上手更快一些。不過要是沒有的話,也沒有關系,我們是面向新手的教程。
2.1. 先在linux命令行中輸入su,提示密碼,輸入你自己設置的密碼,這樣子你後面的操作都具有了linux系統下的最高許可權——root許可權。
2.2. 在設置ssh無密碼登錄之前,有一個特別重要的要先出好:關閉SELinux。這是因為centos會自動阻止你修改sshservice,我們只有關閉SELinux,重啟才能生效。如何做,如下:
修改/etc/selinux/config文件
將SELINUX=enforcing改為SELINUX=disabled
重啟機器即可
(note:在linux下修改文件,vi命令後會進入到文件窗口,按i進入insert,修改完畢之後再按esc推出insert,輸入;:wq!保存並退出~這里要感謝泡哥,改了半天都不行,還是泡哥指點迷津了~~)
2.3. 在linux命令行里輸入:ssh-keygen -t rsa,然後一路回車。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密鑰保存位置,直接回車保持默認;
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //設置密鑰的密碼,空密碼直接回車即可;
Enter samepassphrase again: //確認上一步設置的密碼。
然後進入 /root/.ssh/下面,會看到兩個文件 id_rsa.pub,id_rsa,
然後執行cp id_rsa.pub authorized_keys
然後 ssh localhost 驗證是否成功,第一次要你輸入yes,以後就不需要了。
如下圖,由於我又驗證了一次,所以還需要輸入y,如果你是第一次驗證是不要的。
至此,ssh服務無密碼登錄設置完畢!
3)centos下安裝jdk,並配置環境變數;
這一步中可以分為兩步:安裝jdk、配置jdk環境變數。
3.1. 第一步:root 用戶登陸,使用命令mkdir /usr/program新建目錄/usr/program ,下載 JDK 安裝包jdk-6u13-linux-i586.bin,將其復制到目錄/usr/program下,用cd命令進入該目錄,執行命令「./ jdk-6u13-linux-i586.bin」,命令運行完畢即安裝完成,將在目錄下生成文件夾/jdk1.6.0_13,此即為jdk被成功安裝到目錄:/usr/program/jdk1.6.0_13下。
3.2. root 用戶登陸,命令行中執行命令「vi/etc/profile」,並加入以下內容,配置環境變數(注意/etc/profile這個文件很重要,後面 Hadoop 的配置還會用到)。
# set java environment
exportJAVA_HOME=/usr/program/jdk1.6.0_27
exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi編輯器增加以上內容後保存退出,並執行以下命令使配置生效!
#chmod +x /etc/profile ;增加執行許可權
#source /etc/profile;使配置生效!
配置完畢後,在命令行中輸入:java -version,就會出現安裝jdk的信息。
這時,jdk的安裝和配置環境變數就成功了~
㈢ hadoop 為什麼要與eclipse連接
先說一下要准備哪些軟體和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由於hadoop對版本的要求較高,大家還是不要輕易更換版本,這里列出來的各種軟體都是穩定發布版,網上很容易可以download到的)。
整個教程分為這樣5個部分來說:1)在Windows下安裝虛擬機Vmware,並新建一個虛擬機裝好centos系統;2)centos下設置ssh服務無密碼登錄;3)centos下安裝jdk,並配置環境變數;4)centos下安裝hadoop,並配置文件;5)windows下安裝jdk和eclipse,並將eclipse與centos下的hadoop連接。可以說這5個部分每一個都很重要,尤其是第4)步。下面我們就詳細說一下每一步該怎麼做。
Step 0: 請大家先在windows下新建一個普通用戶,用戶名為hadoop,我們所有的軟體全在這個下面安裝,用戶名最好要是hadoop,因為這個要和後面很多username相同,設為hadoop比較好記。
1)在Windows下安裝虛擬機Vmware,並新建一個虛擬機裝好centos系統;
首先,下載VMware-workstation並安裝,這步驟和一般windows下安裝軟體的過程是一樣的,入門小白也會熟練操作,這里就節省點兒空間給後面重要的步驟了~
然後,在Vmware的主頁上新建一個虛擬機
一路下一步,直到讓你選擇系統鏡像路徑,我們選擇centos系統映像,如上圖,點擊下一步。然後,需要你輸入linux的用戶名,這個比較重要,最好填寫hadoop,因為這個名字在後面要用到好多次!
後面還是一路的「下一步」,直到讓你設置虛擬機的內存大小,建議為1024M。如上圖。後面就是要選擇和虛擬機的網路類型有關的設置了,建議為「使用網路地址轉換NAT」,如下圖。這一步我當時選擇了自動橋接的功能,找了一個晚上的錯誤。。。時間就這樣白花花的沒了~~
之後還是一路的「下一步」,幾乎都是使用它推薦的設置,我們就可以新建一個centos,等待個幾分鍾然後就可以進入centos界面了。看到那一抹科技藍,有沒有讓你心動了呢~~哈哈哈,你確實走好了第一步!
2)centos下設置ssh服務無密碼登錄;
在桌面右擊,選擇openin Terminal,這個就是linux的終端了。希望讀者有一些linux操作系統的基礎,這樣子上手更快一些。不過要是沒有的話,也沒有關系,我們是面向新手的教程。
2.1. 先在linux命令行中輸入su,提示密碼,輸入你自己設置的密碼,這樣子你後面的操作都具有了linux系統下的最高許可權——root許可權。
2.2. 在設置ssh無密碼登錄之前,有一個特別重要的要先出好:關閉SELinux。這是因為centos會自動阻止你修改sshservice,我們只有關閉SELinux,重啟才能生效。如何做,如下:
修改/etc/selinux/config文件
將SELINUX=enforcing改為SELINUX=disabled
重啟機器即可
(note:在linux下修改文件,vi命令後會進入到文件窗口,按i進入insert,修改完畢之後再按esc推出insert,輸入;:wq!保存並退出~這里要感謝泡哥,改了半天都不行,還是泡哥指點迷津了~~)
2.3. 在linux命令行里輸入:ssh-keygen -t rsa,然後一路回車。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密鑰保存位置,直接回車保持默認;
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //設置密鑰的密碼,空密碼直接回車即可;
Enter samepassphrase again: //確認上一步設置的密碼。
然後進入 /root/.ssh/下面,會看到兩個文件 id_rsa.pub,id_rsa,
然後執行cp id_rsa.pub authorized_keys
然後 ssh localhost 驗證是否成功,第一次要你輸入yes,以後就不需要了。
如下圖,由於我又驗證了一次,所以還需要輸入y,如果你是第一次驗證是不要的。
至此,ssh服務無密碼登錄設置完畢!
3)centos下安裝jdk,並配置環境變數;
這一步中可以分為兩步:安裝jdk、配置jdk環境變數。
3.1. 第一步:root 用戶登陸,使用命令mkdir /usr/program新建目錄/usr/program ,下載 JDK 安裝包jdk-6u13-linux-i586.bin,將其復制到目錄/usr/program下,用cd命令進入該目錄,執行命令「./ jdk-6u13-linux-i586.bin」,命令運行完畢即安裝完成,將在目錄下生成文件夾/jdk1.6.0_13,此即為jdk被成功安裝到目錄:/usr/program/jdk1.6.0_13下。
3.2. root 用戶登陸,命令行中執行命令「vi/etc/profile」,並加入以下內容,配置環境變數(注意/etc/profile這個文件很重要,後面 Hadoop 的配置還會用到)。
# set java environment
exportJAVA_HOME=/usr/program/jdk1.6.0_27
exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi編輯器增加以上內容後保存退出,並執行以下命令使配置生效!
#chmod +x /etc/profile ;增加執行許可權
#source /etc/profile;使配置生效!
配置完畢後,在命令行中輸入:java -version,就會出現安裝jdk的信息。
這時,jdk的安裝和配置環境變數就成功了~
㈣ 在linux系統里eclipse怎麼配置hadoop環境
方法一:在終端上輸入sudoapt-getinstalleclipse回車方法二:在新立德軟體包里搜索eclipse找到了選上然後應用它會自動下載安裝方法三:在www.eclipse.org官網上下載相關包,然後安裝。
㈤ 在eclipse上怎樣安裝hadoop詳細步驟
方法步驟如下:
1在Windows下安裝虛擬機Vmware,並新建一個虛擬機裝好centos系統。
首先下載VMware-workstation並安裝,在Vmware的主頁上新建一個虛擬機,一路下一步,直到讓選擇系統鏡像路徑,這里選擇centos系統映像,然後,需要輸入linux的用戶名,這個比較重要,最好填寫hadoop,因為這個名字在後面要用到好多次。
接下來還是一路的「下一步」,直到讓設置虛擬機的內存大小,建議為1024M。後面就是要選擇和虛擬機的網路類型有關的設置了,建議為「使用網路地址轉換NAT」。之後還是一路的「下一步」,幾乎都是使用它推薦的設置,就可以新建一個centos,等待個幾分鍾然後就可以進入centos界面了。
2centos下設置ssh服務無密碼登錄;
在桌面右擊,選擇openin Terminal,這個就是linux的終端了。
2.1. 先在linux命令行中輸入su,提示密碼,輸入自己設置的密碼,這樣子後面的操作都具有了linux系統下的最高許可權——root許可權。
2.2. 在設置ssh無密碼登錄之前,有一個特別重要的要先出好:關閉SELinux。這是因為centos會自動阻止修改sshservice,只有關閉SELinux,重啟才能生效。方法如下:
修改/etc/selinux/config文件
將SELINUX=enforcing改為SELINUX=disabled
重啟機器即可
(註:在linux下修改文件,vi命令後會進入到文件窗口,按i進入insert,修改完畢之後再按esc推出insert,輸入;:wq!保存並退出)
2.3. 在linux命令行里輸入:ssh-keygen -t rsa,然後一路回車。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密鑰保存位置,直接回車保持默認;
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //設置密鑰的密碼,空密碼直接回車即可;
Enter samepassphrase again: //確認上一步設置的密碼。
然後進入 /root/.ssh/下面,會看到兩個文件 id_rsa.pub,id_rsa,
然後執行cp id_rsa.pub authorized_keys
然後 ssh localhost 驗證是否成功,第一次要輸入yes,以後就不需要了。
由於又驗證了一次,所以還需要輸入y,如果是第一次驗證是不要的。
至此,ssh服務無密碼登錄設置完畢!
3)centos下安裝jdk,並配置環境變數;
㈥ windows上的eclipse的hadoop插件 怎麼連接到linux上的hadoop集群
hadoop2.2.0已經是相對穩定的版本,而且已經不用以前的MapRece,用HIVE或者Pig Latin就可以完成MapRece任務。Hadoop2.2.0也沒有Eclipse插件了,用JVM自帶的遠程連接調試,不過我沒有用。
㈦ 怎麼自己動手編譯hadoop的eclipse插件
1.在Linux環境中偽分布式部署hadoop(SSH免登陸),運行WordCount實例成功。 http://www.cnblogs.com/PurpleDream/p/4009070.html
2.自己打包hadoop在eclipse中的插件。 http://www.cnblogs.com/PurpleDream/p/4014751.html
3.在eclipse中訪問hadoop運行WordCount成功。
所以我下邊會分三次記錄下我的過程,為自己以後查閱方便,要是能幫助到其他人,自然是更好了!
===============================================================長長的分割線====================================================================
正文:
如果你想在eclipse中安裝hadoop的插件,一個很重要的問題就是hadoop的版本與eclipse版本的匹配問題,如果不匹配,可能會導致很多問題。
綜上,我在完成了在Linux的CentOS系統中安裝hadoop並簡單運行WordCount之後(具體參看本文前言中的博客鏈接),將學習的重點放到了hadoop的eclipse插件上。其實網上也有部分文章在介紹如何編寫插件,但是由於我的eclispe版本是Juno,而之前在CentOS安裝的是hadoop-1.0.1,所以沒有找到完全匹配的成功案例。所以最終決定自己也動手變異一個自己的hadoop插件。
在有了這個想法之後,一開始會覺得特別困難,但是在真正去做之後,會發現很多問題其實還是可以解決的,只要你懂得如果使用網路和谷歌,多參考一下別人的文章,汲取精華,最終一定會成功的。
第一步,確定大致流程:
1.首先我需要ant編譯,然後就是hadoop-1.0.1.tar.gz這個安裝包,還有就是eclipse。
2.針對我自己的環境,電腦是Win7,eclispe是Juno,下載了hadoop-1.0.1.tar.gz,就差ant之前沒有安裝。
第二步,安裝ant:
1.我參考的是這篇文章http://blog.csdn.net/yang382197207/article/details/10185251,我當時下載的是apache-ant-1.9.4,其他的步驟按照這篇文章介紹的配置就會成功。
第三步,在正式建立項目之前,我在介紹下我的環境: OS: windows 7, Eclipse: Juno, JDK: 1.6.0_43, Hadoop: 1.0.1
1.首先在Eclipse中新建一個Java項目,名字叫hadoop-1.0.1-eclipse-plugin,其實這個名字你可以隨意的。
2.解壓hadoop-1.0.1.tar.gz,在解壓後的目錄中(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1),依次將下面的文件放到項目中:
(1).將\hadoop-1.0.1\src\contrib\eclipse-plugin裡面的所有文件以及\hadoop-1.0.1\src\contrib\build-contrib.xml拖拽到項目中
(2).將根目錄\hadoop-1.0.1里的所有.jar文件拖拽到eclipse項目中bin目錄下。
3.打開項目中的build-contrib.xml,做如下的配置:
(1).找到<property name="hadoop.root" location="hadoop-1.0.1解壓縮後的目錄"/>
(2).找到<property name="eclipse.home" location="自己的eclipse的目錄"/>
(3).找到<property name="version" value="hadoop的版本號"/>
可以參考我的配置,如圖:
view sourceprint?
1.
<property name="name" value="${ant.project.name}"/>
2.
<property name="root" value="${basedir}"/>
3.
<property name="hadoop.root" location="D:/SettingUp/ITSettingUp/Hadoop/hadoop-1.0/hadoop-1.0.1"/>
4.
<property name="eclipse.home" location="D:/HaveSetted/ITHaveSetted/Eclipse"/>
5.
<property name="version" value="1.0.1"/>
4.打開項目中的build.xml,做如下的配置:
(1).將文件開頭的 <import file="../build-contrib.xml"/> 修改為 <import file="build-contrib.xml"/>
(2).在<javac...>里如下圖加入includeantruntime="on",效果如下:
view sourceprint?
01.
<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">
02.
<echo message="contrib: ${name}"/>
03.
<javac
04.
encoding="${build.encoding}"
05.
srcdir="${src.dir}"
06.
includes="**/*.java"
07.
destdir="${build.classes}"
08.
debug="${javac.debug}"
09.
deprecation="${javac.deprecation}"
10.
includeantruntime="on">
11.
<classpath refid="classpath"/>
12.
</javac>
13.
</target>
(3).在<path id="classpath">中添加:<path refid="hadoop-jars"/>,效果如下:
view sourceprint?
1.
<!-- Override classpath to include Eclipse SDK jars -->
2.
<path id="classpath">
3.
<pathelement location="${build.classes}"/>
4.
<pathelement location="${hadoop.root}/build/classes"/>
5.
<path refid="eclipse-sdk-jars"/>
6.
<path refid="hadoop-jars"/>
7.
</path>
(4).在<target name="jar" depends="compile" unless="skip.contrib">這個標簽里,在< file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>這個配置的下面添加如下幾個jar包的配置:
view sourceprint?
1.
< file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
2.
< file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
3.
< file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
4.
< file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
5.
< file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
最終效果如圖:
view sourceprint?
01.
<!-- Override jar target to specify manifest -->
02.
<target name="jar" depends="compile" unless="skip.contrib">
03.
<mkdir dir="${build.dir}/lib"/>
04.
< file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core-1.0.1.jar" verbose="true"/>
05.
< file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>
06.
07.
< file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
08.
< file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
09.
< file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
10.
< file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
11.
< file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
12.
13.
<jar
14.
jarfile="${build.dir}/hadoop-${name}-${version}.jar"
15.
manifest="${root}/META-INF/MANIFEST.MF">
16.
<fileset dir="${build.dir}" includes="classes/ lib/"/>
17.
<fileset dir="${root}" includes="resources/ plugin.xml"/>
18.
</jar>
19.
</target>
(5).在文件末尾</project>標簽之前添加配置:
view sourceprint?
1.
<path id="hadoop-jars">
2.
<fileset dir="${hadoop.root}/">
3.
<include name="hadoop-*.jar"/>
4.
</fileset>
5.
</path>
5.打開hadoop-1.0.1的解壓縮目錄(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1),復制兩個jar包到對應的目錄文件夾,以我的文件目錄結構舉例如下:
(1).將D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\hadoop-core-1.0.1.jar 復制到D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\build\這個文件夾中
(2).將D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\lib\commons-cli-1.2.jar復制到D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\build\ivy\lib\Hadoop\common這個文件夾中
6.再回到eclipse,打開項目中的\META-INF\MANIFEST.MF文件,做如下的添加:
view sourceprint?
1.
Bundle-ClassPath: classes/,
2.
lib/hadoop-core-1.0.1.jar,
3.
lib/commons-cli-1.2.jar,
4.
lib/commons-configuration-1.6.jar,
5.
lib/commons-httpclient-3.0.1.jar,
6.
lib/commons-lang-2.4.jar,
7.
lib/jackson-core-asl-1.8.8.jar,
8.
lib/jackson-mapper-asl-1.8.8.ja,
7.經過上邊的配置,基本已經完成,我們可以編譯項目了。右擊build.xml文件選擇 Run As Ant Build,編譯成功,生成的hadoop-1.0.1-eclipse-plugin.jar在hadoop-1.0.1解壓目錄的\build\contrib\eclipse-plugin文件夾裡面。
第四步,當然就是在eclipse中配置我們編譯好的插件。
1.把hadoop-1.0.1-eclipse-plugin.jar文件放到eclipse安裝目錄的plugins中,重啟eclipse。重啟後,會在Window->Open Perspective->Other里,看到大象圖標的Map/Rece出現,或者是window->Preferences中看到Hadoop Map/Rece這個選項。
2.window->Preferences中點擊Hadoop Map/Rece這個選項,將Hadoop的那個解壓縮目錄(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1)的路徑配置上,配置效果圖如下:
\
3.然後我們在Window->Open Perspective->Other里,點擊Map/Rece,切換到這個模式,截圖如下:
\
4.切換到Map/Rece模式後,我們看到畫面(4)中的截圖,點擊右下角的兩個小圖標,測試有沒有反應,如果有反應,暫時先別配置,這個我下篇博客會具體講。如果怎麼點都沒有反應,則可以做如下操作:
(1).打開項目中的\META-INF\MANIFEST.MF文件,找到之前編譯時,添加的Bundle-ClassPath: classes/ 這個位置,之前我們添加了7個jar包的配置,再增加四個,如下:
view sourceprint?
1.
lib/hadoop-common-0.21.0.jar,
2.
lib/hadoop-hdfs-0.21.0.jar,
3.
lib/log4j-1.2.15.jar,
4.
lib/hadoop-mapred-0.21.0.jar
(2).然後我們還需要去網上下載這四個jar包放到下面的文件夾中,以我的目錄舉例:D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\lib。
(3).然後在重新編譯即可,在替換原來的插件時,在重啟eclipse的過程中,你可以這樣做:先刪除原來的插件,原來重啟eclipse,確認Map/Rece沒了;然後再關掉eclipse,將新的插件放到plugins里,之後再次啟動eclipse。解決這個問題時我在網上參考的文章是:http://blog.csdn.net/kky2010_110/article/details/7774747,大家也可以看看~。
(4).上邊所提到的截圖如下:
\
經過上邊說的這些步驟,eclipse中的hadoop插件我們算是編譯完了,這個過程中一定要注意的是,不要怕失敗,多嘗試,因為hadoop版本與eclipse版本是有關系的,所以導致你的版本和我的不太一致,可能會失敗,但是也可能會成功。所以在這里再次提醒,注意文章開始,我對自己的環境的版本的介紹,尤其是eclipse和hadoop的版本。建議大家如果有時間的話,可以先不管版本,按照我的步驟先走一遍,如果實在是不成功的話,則可以找個和我一樣的eclipse和hadoop版本,再體驗一回。因為,我在這個過程中,就發現,由於是第一次學hadoop,不見到成功的效果,總覺得少點什麼,總想見識一下,莫取笑哈~
至於下一步,如果配置Location和運行WordCount,我會在下一篇博客中具體說明,謝謝支持,覺得文章還不錯的話,多多點贊,多多留言哈,這將使我充滿動力!
㈧ hadoop在linux上,eclipse在windows下,我現在想在eclipse寫maprece程序,是不是只要導入那個
你得配置下 在map-rece 右鍵eidt 配置下你的HDFS系統信息嘛,