編譯安裝hadoop

『壹』 怎麼自己動手編譯hadoop的eclipse插件

1.在linux環境中偽分布式部署hadoop(SSH免登陸)，運行WordCount實例成功。 http://www.cnblogs.com/PurpleDream/p/4009070.html

2.自己打包hadoop在eclipse中的插件。 http://www.cnblogs.com/PurpleDream/p/4014751.html

3.在eclipse中訪問hadoop運行WordCount成功。

所以我下邊會分三次記錄下我的過程，為自己以後查閱方便，要是能幫助到其他人，自然是更好了！

===============================================================長長的分割線====================================================================

正文:

如果你想在eclipse中安裝hadoop的插件，一個很重要的問題就是hadoop的版本與eclipse版本的匹配問題，如果不匹配，可能會導致很多問題。

綜上，我在完成了在Linux的CentOS系統中安裝hadoop並簡單運行WordCount之後(具體參看本文前言中的博客鏈接)，將學習的重點放到了hadoop的eclipse插件上。其實網上也有部分文章在介紹如何編寫插件，但是由於我的eclispe版本是Juno，而之前在CentOS安裝的是hadoop-1.0.1，所以沒有找到完全匹配的成功案例。所以最終決定自己也動手變異一個自己的hadoop插件。

在有了這個想法之後，一開始會覺得特別困難，但是在真正去做之後，會發現很多問題其實還是可以解決的，只要你懂得如果使用網路和谷歌，多參考一下別人的文章，汲取精華，最終一定會成功的。

第一步，確定大致流程:

1.首先我需要ant編譯，然後就是hadoop-1.0.1.tar.gz這個安裝包，還有就是eclipse。

2.針對我自己的環境，電腦是Win7，eclispe是Juno，下載了hadoop-1.0.1.tar.gz，就差ant之前沒有安裝。

第二步，安裝ant：

1.我參考的是這篇文章http://blog.csdn.net/yang382197207/article/details/10185251，我當時下載的是apache-ant-1.9.4，其他的步驟按照這篇文章介紹的配置就會成功。

第三步，在正式建立項目之前，我在介紹下我的環境： OS: windows 7, Eclipse: Juno, JDK: 1.6.0_43, Hadoop: 1.0.1

1.首先在Eclipse中新建一個java項目，名字叫hadoop-1.0.1-eclipse-plugin，其實這個名字你可以隨意的。

2.解壓hadoop-1.0.1.tar.gz，在解壓後的目錄中(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1)，依次將下面的文件放到項目中:

(1).將\hadoop-1.0.1\src\contrib\eclipse-plugin裡面的所有文件以及\hadoop-1.0.1\src\contrib\build-contrib.xml拖拽到項目中

(2).將根目錄\hadoop-1.0.1里的所有.jar文件拖拽到eclipse項目中bin目錄下。

3.打開項目中的build-contrib.xml，做如下的配置：

(1).找到<property name="hadoop.root" location="hadoop-1.0.1解壓縮後的目錄"/>

(2).找到<property name="eclipse.home" location="自己的eclipse的目錄"/>

(3).找到<property name="version" value="hadoop的版本號"/>

可以參考我的配置，如圖:

view sourceprint?
1.
<property name="name" value="${ant.project.name}"/>
2.
<property name="root" value="${basedir}"/>
3.
<property name="hadoop.root" location="D:/SettingUp/ITSettingUp/Hadoop/hadoop-1.0/hadoop-1.0.1"/>
4.
<property name="eclipse.home" location="D:/HaveSetted/ITHaveSetted/Eclipse"/>
5.
<property name="version" value="1.0.1"/>
4.打開項目中的build.xml，做如下的配置：

(1).將文件開頭的 <import file="../build-contrib.xml"/> 修改為 <import file="build-contrib.xml"/>

(2).在<javac...>里如下圖加入includeantruntime="on"，效果如下：

view sourceprint?
01.
<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">
02.
<echo message="contrib: ${name}"/>
03.
<javac
04.
encoding="${build.encoding}"
05.
srcdir="${src.dir}"
06.
includes="**/*.java"
07.
destdir="${build.classes}"
08.
debug="${javac.debug}"
09.
deprecation="${javac.deprecation}"
10.
includeantruntime="on">
11.
<classpath refid="classpath"/>
12.
</javac>
13.
</target>
(3).在<path id="classpath">中添加：<path refid="hadoop-jars"/>，效果如下：

view sourceprint?
1.
<!-- Override classpath to include Eclipse SDK jars -->
2.
<path id="classpath">
3.
<pathelement location="${build.classes}"/>
4.
<pathelement location="${hadoop.root}/build/classes"/>
5.
<path refid="eclipse-sdk-jars"/>
6.
<path refid="hadoop-jars"/>
7.
</path>
(4).在<target name="jar" depends="compile" unless="skip.contrib">這個標簽里，在< file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>這個配置的下面添加如下幾個jar包的配置：

view sourceprint?
1.
< file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
2.
< file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
3.
< file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
4.
< file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
5.
< file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
最終效果如圖：

view sourceprint?
01.
<!-- Override jar target to specify manifest -->
02.
<target name="jar" depends="compile" unless="skip.contrib">
03.
<mkdir dir="${build.dir}/lib"/>
04.
< file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core-1.0.1.jar" verbose="true"/>
05.
< file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>
06.

07.
< file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
08.
< file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
09.
< file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
10.
< file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
11.
< file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
12.

13.
<jar
14.
jarfile="${build.dir}/hadoop-${name}-${version}.jar"
15.
manifest="${root}/META-INF/MANIFEST.MF">
16.
<fileset dir="${build.dir}" includes="classes/ lib/"/>
17.
<fileset dir="${root}" includes="resources/ plugin.xml"/>
18.
</jar>
19.
</target>
(5).在文件末尾</project>標簽之前添加配置：

view sourceprint?
1.
<path id="hadoop-jars">
2.
<fileset dir="${hadoop.root}/">
3.
<include name="hadoop-*.jar"/>
4.
</fileset>
5.
</path>
5.打開hadoop-1.0.1的解壓縮目錄(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1)，復制兩個jar包到對應的目錄文件夾，以我的文件目錄結構舉例如下：

(1).將D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\hadoop-core-1.0.1.jar 復制到D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\build\這個文件夾中

(2).將D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\lib\commons-cli-1.2.jar復制到D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\build\ivy\lib\Hadoop\common這個文件夾中

6.再回到eclipse，打開項目中的\META-INF\MANIFEST.MF文件，做如下的添加：

view sourceprint?
1.
Bundle-ClassPath: classes/,
2.
lib/hadoop-core-1.0.1.jar,
3.
lib/commons-cli-1.2.jar,
4.
lib/commons-configuration-1.6.jar,
5.
lib/commons-httpclient-3.0.1.jar,
6.
lib/commons-lang-2.4.jar,
7.
lib/jackson-core-asl-1.8.8.jar,
8.
lib/jackson-mapper-asl-1.8.8.ja,
7.經過上邊的配置，基本已經完成，我們可以編譯項目了。右擊build.xml文件選擇 Run As Ant Build，編譯成功，生成的hadoop-1.0.1-eclipse-plugin.jar在hadoop-1.0.1解壓目錄的\build\contrib\eclipse-plugin文件夾裡面。

第四步，當然就是在eclipse中配置我們編譯好的插件。

1.把hadoop-1.0.1-eclipse-plugin.jar文件放到eclipse安裝目錄的plugins中，重啟eclipse。重啟後，會在Window->Open Perspective->Other里，看到大象圖標的Map/Rece出現，或者是window->Preferences中看到Hadoop Map/Rece這個選項。

2.window->Preferences中點擊Hadoop Map/Rece這個選項，將Hadoop的那個解壓縮目錄(我的是D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1)的路徑配置上，配置效果圖如下：

\

3.然後我們在Window->Open Perspective->Other里，點擊Map/Rece,切換到這個模式，截圖如下：

\

4.切換到Map/Rece模式後，我們看到畫面(4)中的截圖，點擊右下角的兩個小圖標，測試有沒有反應，如果有反應，暫時先別配置，這個我下篇博客會具體講。如果怎麼點都沒有反應，則可以做如下操作：

(1).打開項目中的\META-INF\MANIFEST.MF文件，找到之前編譯時，添加的Bundle-ClassPath: classes/ 這個位置，之前我們添加了7個jar包的配置，再增加四個，如下：

view sourceprint?
1.
lib/hadoop-common-0.21.0.jar,
2.
lib/hadoop-hdfs-0.21.0.jar,
3.
lib/log4j-1.2.15.jar,
4.
lib/hadoop-mapred-0.21.0.jar
(2).然後我們還需要去網上下載這四個jar包放到下面的文件夾中，以我的目錄舉例：D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1\lib。

(3).然後在重新編譯即可，在替換原來的插件時，在重啟eclipse的過程中，你可以這樣做：先刪除原來的插件，原來重啟eclipse，確認Map/Rece沒了；然後再關掉eclipse，將新的插件放到plugins里，之後再次啟動eclipse。解決這個問題時我在網上參考的文章是：http://blog.csdn.net/kky2010_110/article/details/7774747，大家也可以看看~。

(4).上邊所提到的截圖如下：

\

經過上邊說的這些步驟，eclipse中的hadoop插件我們算是編譯完了，這個過程中一定要注意的是，不要怕失敗，多嘗試，因為hadoop版本與eclipse版本是有關系的，所以導致你的版本和我的不太一致，可能會失敗，但是也可能會成功。所以在這里再次提醒，注意文章開始，我對自己的環境的版本的介紹，尤其是eclipse和hadoop的版本。建議大家如果有時間的話，可以先不管版本，按照我的步驟先走一遍，如果實在是不成功的話，則可以找個和我一樣的eclipse和hadoop版本，再體驗一回。因為，我在這個過程中，就發現，由於是第一次學hadoop，不見到成功的效果，總覺得少點什麼，總想見識一下，莫取笑哈~

至於下一步，如果配置Location和運行WordCount，我會在下一篇博客中具體說明，謝謝支持，覺得文章還不錯的話，多多點贊，多多留言哈，這將使我充滿動力!

『貳』 如何在CentOS6.5下編譯64位的Hadoop2.x

hadoop2.x在apache官網直接下載的並沒有64位直接能用的版本，如果我們想在64位系統使用，那麼就需要重新編譯hadoop，否則直接使用32位的hadoop運行在64位的系統上，將會出現一些庫不兼容的異常。如下圖所示，最直接的一個異常:在這之前，先用一個表格來描述下散仙的編譯的環境的狀況:

序號 描述 備注

1 centos6.5系統64位 linux環境

2 Apache Ant1.9 ant編譯

3 Apache Maven3.2.1 maven打包部署

4 gcc,gcc-c++,make 依賴庫

5 protobuf-2.5.0 序列化庫

6 JDK1.7 JAVA 環境

7 Hadoop2.2.0源碼包 官網下載

8 屌絲工程師一名 主角

9 hadoop交流群376932160 技術交流

下面進入正題，散仙的環境是在centos下，所以大部分安裝編譯依賴庫，都可以很方便的使用yum命令來完成。

1,安裝gcc，執行如下的幾個yum命令即可

Java代碼

[java]view plain

[java]view plain

[java]view plain

[xml]view plain

[java]view plain

『叄』 Hadoop安裝

創建hadoop用戶

1、sudo useradd -m hadoop

2、sudo passwd hadoop

3、sudo adser hadoop sudo

4、虛擬機：最後注銷當前用戶（點擊屏幕右上角的齒輪，選擇注銷），返回登陸界面。在登陸界面中選擇剛創建的hadoop 用戶進行登陸。

5、重新登錄檢查當前用戶是誰：whoami 出現hadoop 成功

6、更新aptsudo apt-get update更新apt3.安裝SSH，

7、配置免密登陸sudo apt-get install sshsudo apt-get install pdsh 安裝ssh

8、安裝Java環境sudo apt install openjdk-8-jdk 安裝java

9、vim ~/.bashrc 進入之後按I 然後輸入export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 

10、按esc 然後按:wq! 回車 完成 此步驟改變環境變數source ~/.bashrc輸入java -version檢驗

11、安裝Hadoopwget https://mirrors.tuna.tsinghua.e.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz 安裝命令

12、sudo tar -zxf ~/hadoop-2.9.2.tar.gz -C /usr/local 解壓命令

13、cd /usr/local/ #進入用戶安裝目錄

14、sudo mv ./hadoop-2.9.2/ ./hadoopsudo chown -R hadoop ./hadoop # 修改文件許可權（hadoop-2.9.2默認擁有者是root，這里我們讓hadoop也成為擁有者）

15、cd /usr/local/hadoop./bin/hadoop version # 查看hadoop版本信息，成功顯示則安裝成功

16、cd /usr/local/hadoop進入目錄

17、mkdir ./input創建目錄

18、ls查看當前目錄

19、cp ./etc/hadoop/*.xml ./input

20、./bin/hadoop jar ./share/hadoop/maprece/hadoop-maprece-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

21、cat ./output/*查看

22、rm -r ./output刪除output文件

23、 cd /usr

24、 cd local

25、ls

26、 cd hadoop

27、 ls

28、cd  /usr/local/hadoop/etc/hadoop/

29、Ls

30、vi hdfs-site.xml

31、cd /usr/local/hadoop

『肆』 如何編譯Apache Hadoop2.4.0源代碼

安裝JDK

hadoop是java寫的，編譯hadoop必須安裝jdk。

從oracle官網下載jdk，下載地址是http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，選擇 jdk-7u45-linux-x64.tar.gz下載。

執行以下命令解壓縮jdk

tar -zxvfjdk-7u45-linux-x64.tar.gz

會生成一個文件夾jdk1.7.0_45，然後設置環境變數中。

執行命令 vi/etc/profile，增加以下內容到配置文件中，結果顯示如下

export JAVA_HOME=/usr/java/jdk1.7.0_45

export JAVA_OPTS="-Xms1024m-Xmx1024m"

exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

保存退出文件後，執行以下命令

source /etc/profile

java –version 看到顯示的版本信息即正確。

安裝maven

hadoop源碼是使用maven組織管理的，必須下載maven。從maven官網下載，下載地址是http://maven.apache.org/download.cgi，選擇 apache-maven-3.1.0-bin.tar.gz 下載，不要選擇3.1下載。

執行以下命令解壓縮jdk

tar -zxvf apache-maven-3.1.0-bin.tar.gz

會生成一個文件夾apache-maven-3.1.0，然後設置環境變數中。

執行命令vi /etc/profile，編輯結果如下所示

MAVEN_HOME=/usr/maven/apache-maven-3.1.0

export MAVEN_HOME

export PATH=${PATH}:${MAVEN_HOME}/bin

保存退出文件後，執行以下命令

source /etc/profile

mvn -version

如果看到下面的顯示信息，證明配置正確了。

『伍』 如何在linux下安裝hadoop

如何在linux下安裝hadoop

建議使用自動化部署吧。 這個還是不太難做到哦。 能否看一下my網名呢？幫助搞定一下

一、前期准備:
下載hadoop: :hadoop.apache./core/releases.
:hadoop.apache./mon/releases.
:apache./dyn/closer.cgi/hadoop/core/
:labs.xiaonei./apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz
:labs.xiaonei./apache-mirror/hadoop/
二、硬體環境
共有3台機器，均使用的CentOS，Java使用的是jdk1.6.0。
三、安裝JAVA6
sudo apt-get install sun-java6-jdk
/etc/environment
開啟之後加入：#中間是以英文的冒號隔開，記得windows中是以英文的分號做為宏沒分隔的
CLASSPATH=.:/usr/local/java/lib
JAVA_HOME=/usr/local/java
三、配置host表
[root@hadoop ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
192.168.13.110 datanode2
[root@test ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
[root@test2 ~]# vi /etc/host
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.110 datanode2
新增使用者和使用者組
addgroup hadoop
adser hadoop
usermod -a -G hadoop hadoop
passwd hadoop
配置ssh:
服務端:
su hadoop
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
客戶端
chmod 700 /home/hadoop
chmod 755 /home/hadoop/.ssh
su hadoop
cd /home
mkdir .ssh
服務端:
chmod 644 /home/hadoop/.ssh/authorized_keys
scp authorized_keys datanode1:/home/hadoop/.ssh/
scp authorized_keys datanode2:/home/hadoop/.ssh/
ssh datanode1
ssh datanode2
如果ssh配置好了就會蔽和納出現以下提示棚纖資訊
The authenticity of host [dbrg-2] can't be established.
Key fingerpr is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.
Are you sure you want to continue connecting (yes/no)?
OpenSSH告訴你它不知道這台主機但是你不用擔心這個問題你是第次登入這台主機鍵入「yes」這將把
這台主機「識別標記」加到「~/.ssh/know_hosts」檔案中第 2次訪問這台主機時候就不會再顯示這條提示信
不過別忘了測試本機sshdbrg-1

mkdir /home/hadoop/HadoopInstall
tar -zxvf hadoop-0.20.1.tar.gz -C /home/hadoop/HadoopInstall/
cd /home/hadoop/HadoopInstall/
ln -s hadoop-0.20.1 hadoop
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:/usr/local/java/lib
export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
export PATH=$HADOOP_HOME/bin:$PATH
cd $HADOOP_HOME/conf/
mkdir /home/hadoop/hadoop-conf
cp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves /home/hadoop/hadoop-conf
vi $HADOOP_HOME/hadoop-conf/hadoop-env.sh
# The java implementation to use. Required. --修改成你自己jdk安裝的目錄
export JAVA_HOME=/usr/local/java

export HADOOP_CLASSPATH=.:/usr/local/java/lib
# The maximum amount of heap to use, in MB. Default is 1000.--根據你的記憶體大小調整
export HADOOP_HEAPSIZE=200
vi /home/hadoop/.bashrc
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:/usr/local/java/lib
export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
export PATH=$HADOOP_HOME/bin:$PATH
配置
namenode
#vi $HADOOP_CONF_DIR/slaves
192.168.13.108
192.168.13.110
#vi $HADOOP_CONF_DIR/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type=text/xsl href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs:192.168.13.100:9000</value>
</property>
</configuration>
#vi $HADOOP_CONF_DIR/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type=text/xsl href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
</configuration>
#vi $HADOOP_CONF_DIR/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type=text/xsl href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.13.100:11000</value>
</property>
</configuration>
~
在slave上的配置檔案如下(hdfs-site.xml不需要配置)：
[root@test12 conf]# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type=text/xsl href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs:namenode:9000</value>
</property>
</configuration>
[root@test12 conf]# cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type=text/xsl href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>namenode:11000</value>
</property>
</configuration>
啟動
export PATH=$HADOOP_HOME/bin:$PATH
hadoop namenode -format
start-all.sh
停止s-all.sh
在hdfs上建立danchentest資料夾，上傳檔案到此目錄下
$HADOOP_HOME/bin/hadoop fs -mkdir danchentest
$HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/README.txt danchentest
cd $HADOOP_HOME
hadoop jar hadoop-0.20.1-examples.jar wordcount /user/hadoop/danchentest/README.txt output1
09/12/21 18:31:44 INFO input.FileInputFormat: Total input paths to process : 1
09/12/21 18:31:45 INFO mapred.JobClient: Running job: job_200912211824_0002
09/12/21 18:31:46 INFO mapred.JobClient: map 0% rece 0%
09/12/21 18:31:53 INFO mapred.JobClient: map 100% rece 0%
09/12/21 18:32:05 INFO mapred.JobClient: map 100% rece 100%
09/12/21 18:32:07 INFO mapred.JobClient: Job plete: job_200912211824_0002
09/12/21 18:32:07 INFO mapred.JobClient: Counters: 17
09/12/21 18:32:07 INFO mapred.JobClient: Job Counters
09/12/21 18:32:07 INFO mapred.JobClient: Launched rece tasks=1
檢視輸出結果檔案，這個檔案在hdfs上
[root@test11 hadoop]# hadoop fs -ls output1
Found 2 items
drwxr-xr-x - root supergroup 0 2009-09-30 16:01 /user/root/output1/_logs
-rw-r--r-- 3 root supergroup 1306 2009-09-30 16:01 /user/root/output1/part-r-00000
[root@test11 hadoop]# hadoop fs -cat output1/part-r-00000
(BIS), 1
(ECCN) 1
檢視hdfs執行狀態,可以通過web介面來訪問:192.168.13.100:50070/dfshealth.jsp;檢視map-rece資訊，
可以通過web介面來訪問:192.168.13.100:50030/jobtracker.jsp;下面是直接命令列看到的結果。
出現08/01/25 16:31:40 INFO ipc.Client: Retrying connect to server: foo.bar./1.1.1.1:53567. Already tried 1 time(s).
的原因是沒有格式化:hadoop namenode -format

如何在windows下安裝hadoop

建議你在windows上安裝linux的虛擬機器，然後在linux上安裝hadoop

1、安裝Cygwin
下載cygwin的setup.exe，雙擊執行：

選擇從Inter安裝：
設定安裝目錄：

設定安裝包目錄：

設定「Inter Connection」的方式，選擇「Direct Connection」：

選擇一個下載站點：
「下一步」之後，可能會彈出下圖的「Setup Alert」對話方塊，直接「確定」即可
在「Select Packages」對話方塊中，必須保證「Net Category」下的「OpenSSL」被安裝：

如果還打算在eclipse 上編譯Hadoop，則還必須安裝「Base Category」下的「sed」：

「Devel Category」下的subversion 建議安裝：

下載並安裝：

當下載完後，會自動進入到「setup」的對話方塊：

在上圖所示的對話方塊中，選中「Create icon on Desk」，以方便直接從桌面上啟動
Cygwin，然後點選「完成」按鈕。至此，Cgywin 已經安裝完成。
2、配置環境變數
需要配置的環境變數包括PATH 和JAVA_HOME：將JDK 的bin 目錄、Cygwin 的bin 目錄
以及Cygwin 的usrin（ *** in）目錄都新增到PATH 環境變數中；JAVA_HOME 指向JRE 安裝目錄。
3、windows系統上執行hadoop叢集，偽分散式模式安裝步驟：
①啟動cygwin，解壓hadoop安裝包。通過cygdrive（位於Cygwin根目錄中）可以直接對映到windows下的各個邏輯磁碟分割槽。例如hadoop安裝包放在分割槽D：下，則解壓的命令為＄ tar -zxvf /cygdrive/d/hadoop-0.20.2.tar.gz,解壓後可使用ls命令檢視，如下圖：
預設的解壓目錄為使用者根目錄，即D：cygwinhomelsq（使用者帳戶）。
②編輯conf/hadoop-env.sh檔案，將JAVA_HOME變數設定為java的安裝目錄。例如java安裝在目錄C：Program Filesjavajdk1.6.0_13,如果路徑沒空格，直接配置即可。存在空格，需將Program Files縮寫成Progra_1,如下圖：
③依次編輯conf目錄下的core-site.xml、mapred-site.xml和hdfs-site.xml檔案，如下圖：
④安裝配置SSH
點選桌面上的Cygwin圖示，啟動Cygwin，執行ssh-host-config命令，然後按下圖上的選擇輸入：

當提示Do you want to use a different name?輸入yes，這步是配置安裝的sshd服務，以哪個使用者登入，預設是cyg_server這個使用者，這里就不事先新建cyg_server這個使用者，用當前本機的超管本地使用者：chenx，後續根據提示，2次輸入這個賬戶的密碼

出現Host configuration finished. Have fun! 一般安裝順利完成。如下圖：

輸入命令$ start sshd，啟動SSH，如下圖：

註：sshd服務安裝完之後，不會預設啟動，如果啟動報登入失敗，不能啟動，可在服務屬性-Log On視窗手工修改，在前述的過程之中，cygwin不會校驗密碼是否正確，應該只是校驗了2次的輸入是否一致，然後再手工啟動。不知道為什麼，sshd服務如果選擇local system的登入方式，後續會有問題，所以sshd服務最好設定成當前的登入使用者。

⑤配置ssh登入
執行ssh-keygen命令生成金鑰檔案
輸入如下命令：
cd ~/.ssh
ls -l
cat id_rsa.pub >> authorized_keys
完成上述操作後，執行exit命令先退出Cygwin視窗，如果不執行這一步操作，下面的操作可能會遇到錯誤。接下來，重新執行Cygwin，執行ssh localhost命令，在第一次執行ssh localhost時，會有「are you sure you want to continue connection<yes/no>?」提示，輸入yes，然後回車即可。當出現下圖提示，即順利完成該步：

⑥hadoop執行
格式化namenode
開啟cygwin視窗，輸入如下命令：
cd hadoop-0.20.2
mkdir logs
bin/hadoop namenode –format

啟動Hadoop
在Cygwin 中，進入hadoop 的bin 目錄，
執行./start-all.sh 啟動hadoop；
可以執行./hadoop fs -ls /命令，檢視hadoop 的根目錄；
可以執行jps 檢視相關程序；
如下圖：（如果顯示和下圖類似，一般hadoop安裝/啟動成功）

如何在hadoop 環境下安裝hive

不行。 安裝 vm 下載：去官網下 VMware-player-5.0.1-894247.zip 安裝和配置ubanto 下載：去官網下 ubuntu-12.10-desk-i386.iso 開啟vm，載入ubanto iso檔案，進行安裝更新 進入ubanto，如果是第一個進入，則需要設定root的密碼

如何在ubantu環境下安裝hadoop

上apache的hadoop頁下編譯好的包，解壓，配一些檔案就行了 很容易 網上教程很多

如何在 Linux 下安裝 PyCharm

PyCharm 是由 Jetbrains 公司開發的一個跨平台編輯器。如果你之前是在 Windows 環境下進行開發，那麼你會立刻認出 Jetbrains 公司，它就是那個開發了 Resharper 的公司。 這篇文章將討論如何在 Linux 系統上獲取、安裝和執行 PyCharm 。

如何在linux下安裝opencv

新建一個perl，名為bar.pl
內容如下：
#!/usr/bin/perl
while (<>){
chomp;
s/([^-]+) - .*/1/g;
system "apt-get install ".$_;
}
然後apt-cache search opencv | perl bar.pl

『陸』 安裝hadoop的步驟有哪些

hadoop2.0已經發布了穩定版本了，增加了很多特性，比如HDFSHA、YARN等。最新的hadoop-2.4.1又增加了YARNHA

注意：apache提供的hadoop-2.4.1的安裝包是在32位操作系統編譯的，因為hadoop依賴一些C++的本地庫，
所以如果在64位的操作上安裝hadoop-2.4.1就需要重新在64操作系統上重新編譯
（建議第一次安裝用32位的系統，我將編譯好的64位的也上傳到群共享里了，如果有興趣的可以自己編譯一下）

前期准備就不詳細說了，課堂上都介紹了
1.修改Linux主機名
2.修改IP
3.修改主機名和IP的映射關系
	######注意######如果你們公司是租用的伺服器或是使用的雲主機（如華為用主機、阿里雲主機等）
	/etc/hosts裡面要配置的是內網IP地址和主機名的映射關系	
4.關閉防火牆
5.ssh免登陸
6.安裝JDK，配置環境變數等

集群規劃：
	主機名		IP				安裝的軟體					運行的進程
	HA181	192.168.1.181	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
	HA182	192.168.1.182	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
	HA183	192.168.1.183	jdk、hadoop					ResourceManager
	HA184	192.168.1.184	jdk、hadoop					ResourceManager
	HA185	192.168.1.185	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	HA186	192.168.1.186	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	HA187	192.168.1.187	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	
說明：
	1.在hadoop2.0中通常由兩個NameNode組成，一個處於active狀態，另一個處於standby狀態。ActiveNameNode對外提供服務，而StandbyNameNode則不對外提供服務，僅同步activenamenode的狀態，以便能夠在它失敗時快速進行切換。
	hadoop2.0官方提供了兩種HDFSHA的解決方案，一種是NFS，另一種是QJM。這里我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元數據信息，一條數據只要成功寫入多數JournalNode即認為寫入成功。通常配置奇數個JournalNode
	這里還配置了一個zookeeper集群，用於ZKFC（DFSZKFailoverController）故障轉移，當ActiveNameNode掛掉了，會自動切換StandbyNameNode為standby狀態
	2.hadoop-2.2.0中依然存在一個問題，就是ResourceManager只有一個，存在單點故障，hadoop-2.4.1解決了這個問題，有兩個ResourceManager，一個是Active，一個是Standby，狀態由zookeeper進行協調
安裝步驟：
	1.安裝配置zooekeeper集群（在HA185上）
		1.1解壓
			tar-zxvfzookeeper-3.4.5.tar.gz-C/app/
		1.2修改配置
			cd/app/zookeeper-3.4.5/conf/
			cpzoo_sample.cfgzoo.cfg
			vimzoo.cfg
			修改：dataDir=/app/zookeeper-3.4.5/tmp
			在最後添加：
server.1=HA185:2888:3888
server.2=HA186:2888:3888
server.3=HA187:2888:3888
			保存退出
			然後創建一個tmp文件夾
			mkdir/app/zookeeper-3.4.5/tmp
			再創建一個空文件
			touch/app/zookeeper-3.4.5/tmp/myid
			最後向該文件寫入ID
			echo1>/app/zookeeper-3.4.5/tmp/myid
		1.3將配置好的zookeeper拷貝到其他節點(首先分別在HA186、HA187根目錄下創建一個weekend目錄：mkdir/weekend)
			scp-r/app/zookeeper-3.4.5/HA186:/app/
			scp-r/app/zookeeper-3.4.5/HA187:/app/
			
			注意：修改HA186、HA187對應/weekend/zookeeper-3.4.5/tmp/myid內容
			HA186：
				echo2>/app/zookeeper-3.4.5/tmp/myid
			HA187：
				echo3>/app/zookeeper-3.4.5/tmp/myid
	
	2.安裝配置hadoop集群（在HA181上操作）
		2.1解壓
			tar-zxvfhadoop-2.4.1.tar.gz-C/weekend/
		2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目錄下）
			#將hadoop添加到環境變數中
			vim/etc/profile
			exportJAVA_HOME=/app/jdk1.7.0_79
			exportHADOOP_HOME=/app/hadoop-2.4.1
			exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
			
			#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
			cd/home/hadoop/app/hadoop-2.4.1/etc/hadoop
			
			2.2.1修改hadoop-env.sh
				exportJAVA_HOME=/app/jdk1.7.0_79
				
			2.2.2修改core-site.xml
<configuration>
	<!--指定hdfs的nameservice為ns1-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1/</value>
	</property>
	<!--指定hadoop臨時目錄-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/app/hadoop-2.4.1/tmp</value>
	</property>
	
	<!--指定zookeeper地址-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>HA185:2181,HA186:2181,HA187:2181</value>
	</property>
</configuration>
				
			2.2.3修改hdfs-site.xml
<configuration>
	<!--指定hdfs的nameservice為ns1，需要和core-site.xml中的保持一致-->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!--ns1下面有兩個NameNode，分別是nn1，nn2-->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!--nn1的RPC通信地址-->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>HA181:9000</value>
	</property>
	<!--nn1的http通信地址-->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>HA181:50070</value>
	</property>
	<!--nn2的RPC通信地址-->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>HA182:9000</value>
	</property>
	<!--nn2的http通信地址-->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>HA182:50070</value>
	</property>
	<!--指定NameNode的元數據在JournalNode上的存放位置-->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://HA185:8485;HA186:8485;HA187:8485/ns1</value>
	</property>
	<!--指定JournalNode在本地磁碟存放數據的位置-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/app/hadoop-2.4.1/journaldata</value>
	</property>
	<!--開啟NameNode失敗自動切換-->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--配置失敗自動切換實現方式-->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.</value>
	</property>
	<!--配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!--使用sshfence隔離機制時需要ssh免登陸-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	<!--配置sshfence隔離機制超時時間-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>
			
			2.2.4修改mapred-site.xml
<configuration>
	<!--指定mr框架為yarn方式-->
	<property>
		<name>maprece.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>	
			
			2.2.5修改yarn-site.xml
<configuration>
		<!--開啟RM高可用-->
		<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
		</property>
		<!--指定RM的clusterid-->
		<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
		</property>
		<!--指定RM的名字-->
		<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
		</property>
		<!--分別指定RM的地址-->
		<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>HA183</value>
		</property>
		<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>HA184</value>
		</property>
		<!--指定zk集群地址-->
		<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>HA185:2181,HA186:2181,HA187:2181</value>
		</property>
		<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>maprece_shuffle</value>
		</property>
</configuration>
			
				
			2.2.6修改slaves(slaves是指定子節點的位置，因為要在HA181上啟動HDFS、在HA183啟動yarn，
			所以HA181上的slaves文件指定的是datanode的位置，HA183上的slaves文件指定的是nodemanager的位置)
HA185
HA186
HA187

			2.2.7配置免密碼登陸
				#首先要配置HA181到HA182、HA183、HA184、HA185、HA186、HA187的免密碼登陸
				#在HA181上生產一對鑰匙
				ssh-keygen-trsa
				#將公鑰拷貝到其他節點，包括自己
				ssh--idHA181
				ssh--idHA182
				ssh--idHA183
				ssh--idHA184
				ssh--idHA185
				ssh--idHA186
				ssh--idHA187
				#配置HA183到HA184、HA185、HA186、HA187的免密碼登陸
				#在HA183上生產一對鑰匙
				ssh-keygen-trsa
				#將公鑰拷貝到其他節點
ssh--idHA184
ssh--idHA185
ssh--idHA186
ssh--idHA187
				#注意：兩個namenode之間要配置ssh免密碼登陸，別忘了配置HA182到HA181的免登陸
				在HA182上生產一對鑰匙
				ssh-keygen-trsa
				ssh--id-iHA181				
		
		2.4將配置好的hadoop拷貝到其他節點
scp-r/app/hadoop-2.5.1/HA182:/app/
scp-r/app/hadoop-2.5.1/HA183:/app/
scp-r/app/hadoop-2.5.1/HA184:/app/
scp-r/app/hadoop-2.5.1/HA185:/app/
scp-r/app/hadoop-2.5.1/HA186:/app/
scp-r/app/hadoop-2.5.1/HA187:/app/
		###注意：嚴格按照下面的步驟
		2.5啟動zookeeper集群（分別在HA185、HA186、tcast07上啟動zk）
cd/app/zookeeper-3.4.5/bin/
./zkServer.shstart
			#查看狀態：一個leader，兩個follower
			./zkServer.shstatus
			
		2.6啟動journalnode（分別在在HA185、HA186、HA187上執行）
cd/app/hadoop-2.5.1
hadoop-daemon.shstartjournalnode
			#運行jps命令檢驗，HA185、HA186、HA187上多了JournalNode進程
		2.7格式化ZKFC(在HA181上執行即可)			hdfszkfc-formatZK
		2.8格式化HDFS
			#在HA181上執行命令:
			hdfsnamenode-format
			#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個文件，這里我配置的是/app/hadoop-2.4.1/tmp，然後將/weekend/hadoop-2.4.1/tmp拷貝到HA182的/weekend/hadoop-2.4.1/下。
			scp-rtmp/HA182:/app/hadoop-2.5.1/
			##也可以這樣，建議hdfsnamenode-bootstrapStandby
		
		
		
		2.9啟動HDFS(在HA181上執行)
			sbin/start-dfs.sh

		2.10啟動YARN(#####注意#####：是在HA183上執行start-yarn.sh，把namenode和resourcemanager分開是因為性能問題，因為他們都要佔用大量資源，所以把他們分開了，他們分開了就要分別在不同的機器上啟動)
			sbin/start-yarn.sh

		
	到此，hadoop-2.4.1配置完畢，可以統計瀏覽器訪問:
		http://192.168.1.181:50070
		NameNode'HA181:9000'(active)
		http://192.168.1.182:50070
		NameNode'HA182:9000'(standby)
	
	驗證HDFSHA
		首先向hdfs上傳一個文件
		hadoopfs-put/etc/profile/profile
		hadoopfs-ls/
		然後再kill掉active的NameNode
		kill-9<pidofNN>
		通過瀏覽器訪問：http://192.168.1.182:50070
		NameNode'HA182:9000'(active)
		這個時候HA182上的NameNode變成了active
		在執行命令：
		hadoopfs-ls/
		-rw-r--r--3rootsupergroup19262014-02-0615:36/profile
		剛才上傳的文件依然存在！！！
		手動啟動那個掛掉的NameNode
		sbin/hadoop-daemon.shstartnamenode
		通過瀏覽器訪問：http://192.168.1.181:50070
		NameNode'HA181:9000'(standby)
	
	驗證YARN：
		運行一下hadoop提供的demo中的WordCount程序：
		hadoopjarshare/hadoop/maprece/hadoop-maprece-examples-2.4.1.jarwordcount/profile/out
	
	OK，大功告成！！！
CID-74d21742-3e4b-4df6-a99c-d52f703b49c0
	
			
		
測試集群工作狀態的一些指令：
bin/hdfsdfsadmin-report	查看hdfs的各節點狀態信息


bin/hdfshaadmin-getServiceStatenn1		獲取一個namenode節點的HA狀態

sbin/hadoop-daemon.shstartnamenode單獨啟動一個namenode進程


./hadoop-daemon.shstartzkfc單獨啟動一個zkfc進程
				

『柒』 如何編譯Apache Hadoop2.2.0源代碼

下載hadoop-2.2.0-src.tar.gz 下載。

執行以下命令解壓縮jdk
tar -zxvf hadoop-2.2.0-src.tar.gz

會生成一個文件夾 hadoop-2.2.0-src。源代碼中有個bug，這里需要修改一下，編輯目錄/usr/local/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth中的文件pom.xml，執行以下命令
gedit pom.xml
在第55行下增加以下內容
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>

保存退出即可。

上述bug詳見https://issues.apache.org/jira/browse/HADOOP-10110，在hadoop3中修復了，離我們太遙遠了。

好了，現在進入到目錄/usr/local/hadoop-2.2.0-src中，執行命令
mvn package -DskipTests -Pdist,native,docs
如果沒有執行第4步，把上面命令中的docs去掉即可，就不必生成文檔了。
該命令會從外網下載依賴的jar，編譯hadoop源碼，需要花費很長時間，你可以吃飯了。
在等待n久之後，可以看到如下的結果：
[INFO] Apache Hadoop Main ................................ SUCCESS [6.936s]
[INFO] Apache Hadoop Project POM ......................... SUCCESS [4.928s]
[INFO] Apache Hadoop Annotations ......................... SUCCESS [9.399s]
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.871s]
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [7.981s]
[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [8.965s]
[INFO] Apache Hadoop Auth ................................ SUCCESS [39.748s]
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [11.081s]
[INFO] Apache Hadoop Common .............................. SUCCESS [10:41.466s]
[INFO] Apache Hadoop NFS ................................. SUCCESS [26.346s]
[INFO] Apache Hadoop Common Project ...................... SUCCESS [0.061s]
[INFO] Apache Hadoop HDFS ................................ SUCCESS [12:49.368s]
[INFO] Apache Hadoop HttpFS .............................. SUCCESS [41.896s]
[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [41.043s]
[INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [9.650s]
[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.051s]
[INFO] hadoop-yarn ....................................... SUCCESS [1:22.693s]
[INFO] hadoop-yarn-api ................................... SUCCESS [1:20.262s]
[INFO] hadoop-yarn-common ................................ SUCCESS [1:30.530s]
[INFO] hadoop-yarn-server ................................ SUCCESS [0.177s]
[INFO] hadoop-yarn-server-common ......................... SUCCESS [15.781s]
[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [40.800s]
[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [6.099s]
[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [37.639s]
[INFO] hadoop-yarn-server-tests .......................... SUCCESS [4.516s]
[INFO] hadoop-yarn-client ................................ SUCCESS [25.594s]
[INFO] hadoop-yarn-applications .......................... SUCCESS [0.286s]
[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [10.143s]
[INFO] hadoop-maprece-client ........................... SUCCESS [0.119s]
[INFO] hadoop-maprece-client-core ...................... SUCCESS [55.812s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [8.749s]
[INFO] hadoop-yarn-site .................................. SUCCESS [0.524s]
[INFO] hadoop-yarn-project ............................... SUCCESS [16.641s]
[INFO] hadoop-maprece-client-common .................... SUCCESS [40.796s]
[INFO] hadoop-maprece-client-shuffle ................... SUCCESS [7.628s]
[INFO] hadoop-maprece-client-app ....................... SUCCESS [24.066s]
[INFO] hadoop-maprece-client-hs ........................ SUCCESS [13.243s]
[INFO] hadoop-maprece-client-jobclient ................. SUCCESS [16.670s]
[INFO] hadoop-maprece-client-hs-plugins ................ SUCCESS [3.787s]
[INFO] Apache Hadoop MapRece Examples .................. SUCCESS [17.012s]
[INFO] hadoop-maprece .................................. SUCCESS [6.459s]
[INFO] Apache Hadoop MapRece Streaming ................. SUCCESS [12.149s]
[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [15.968s]
[INFO] Apache Hadoop Archives ............................ SUCCESS [5.851s]
[INFO] Apache Hadoop Rumen ............................... SUCCESS [18.364s]
[INFO] Apache Hadoop Gridmix ............................. SUCCESS [14.943s]
[INFO] Apache Hadoop Data Join ........................... SUCCESS [9.648s]
[INFO] Apache Hadoop Extras .............................. SUCCESS [5.763s]
[INFO] Apache Hadoop Pipes ............................... SUCCESS [16.289s]
[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [3.261s]
[INFO] Apache Hadoop Tools ............................... SUCCESS [0.043s]
[INFO] Apache Hadoop Distribution ........................ SUCCESS [56.188s]
[INFO] Apache Hadoop Client .............................. SUCCESS [10.910s]
[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [0.321s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 40:00.444s
[INFO] Finished at: Thu Dec 26 12:42:24 CST 2013
[INFO] Final Memory: 109M/362M
[INFO] ------------------------------------------------------------------------