A. hadoop操作命令記錄在哪
Hadoop自身是否有記錄不清楚,但Hadoop是部署在linux上的,可以通過linux的歷史命令查看。
1、history
2、fc -l
可以用grep過濾,例如:
history | grep 'hadoop'
或history | grep 'hdfs'
B. hadoop2.7.3版本用命令行如何格式化hdfs
在Master節點上執行 hdfs namenode -format ,如果沒有error和Exception 表示格式化成功,這個命令如果剛開始的話可以用,而且不能使用多次,後面最好不要用這個命令,比如我新增加一個slave節點以後,使用兩次這個命令之後,發現文件系統壞掉了, 最後發現在格式化的時候,把 hdfs元數據存放的地點文件裡面的版本池ID改變了, 於是我將這兩個ID改為相同之後才可以用, 所以你搭建集群時用這個命令就可以了, 以後用到的話,有可能造成文件的丟失,和文件系統的異常。
C. 配置hadoop 時執行 hdfs namenode -format找不到命令怎麼回事
hdfs namenode -format
改用這個命令
D. hadoop HDFS有提供查看空間總大小以及剩餘空間大小的介面嗎
是能查看的:
看src/webapps/hdfs/dfshealth.jsp,對應50070查看到的那個頁面,裡面搜就有了
例如: Configured Capacity對應:
org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getCapacityTotal()
剩下的自己用同樣的方法找一下就都有了
E. 何時使用hadoop fs,hadoop dfs與hdfs dfs命令
hadoop fs:使用面廣操作任何文件系統
hadoop dfs與hdfs dfs:能操作HDFS文件系統相關(包括與Local FS間操作)前者已經Deprecated般使用者
Following are the three commands which appears same but have minute differences
hadoop fs {args}
hadoop dfs {args}
hdfs dfs {args}
hadoop fs <args></args>
FS
relates to a generic file system which can point to any file systems
like local, HDFS etc. So this can be used when you are dealing with
different file systems such as Local FS, HFTP FS, S3 FS, and others
hadoop dfs <args></args>
dfs
is very specific to HDFS. would work for operation relates to HDFS.
This has been deprecated and we should use hdfs dfs instead.
hdfs dfs <args></args>
same as 2nd i.e would work for all the operations related to HDFS and is the recommended command instead of hadoop dfs
below is the list categorized as HDFS commands.
**#hdfs commands**
namenode|secondarynamenode|datanode|dfs|dfsadmin|fsck|balancer|fetchdt|oiv|dfsgroups
So even if you use Hadoop dfs , it will look locate hdfs and delegate that command to hdfs dfs
F. hadoop的HDFS文件格式化hadoop namenode -format,只需要在初始的時候格式化一次
1、hadoop namenode -format命令只對namenode有效,對其它節點無效。
2、集群增加節點,只要在namenode節點的配置文件中,將IP和埠以及數據目錄配置一下就可以了。可以用更新或是重啟服務的命令,那麼新增的datanode就會自動追加到集中。
3、稱這樣的系統為高度自由可伸縮系統。增或減節點都能被智能控制節點監測到,並將相應的節點的變化,通過冗餘機制給予解決。
再思考下吧。
G. 何時使用hadoop fs,hadoop dfs與hdfs dfs命令
hadoop fs:使用面最廣,可以操作任何文件系統。 hadoop dfs與hdfs dfs:只能操作HDFS文件系統相關(包括與Local FS間的操作),前者已經Deprecated,一般使用後者。 Following are the three commands which appears same but have minute diff...
H. hadoop中在HDFS中創建一個input目錄,然後hadoop fs -ls命令
你創建input目錄的時候是不是也用了sudo命令?這樣的話就是使用了root用戶來創建了input,所以生成的是user/root/input,而不是用了hadoop這個用戶創的目錄,所以沒有生成/user/hadoop/input。hadoop的指令都不需要用sudo來使用root許可權啊,
I. hadoop執行hdfs的指令出錯 ./hadoop dfs mkdir 出錯
core-site.xml配置中有錯誤
還有,一般創建目錄一般使用這樣的命令:hadoop fs -mkdir youdir
J. 何時使用hadoop fs,hadoop dfs與hdfs dfs命令
hadoop hdfs dfs基本操作
本文主要參考:
http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html
根據上面官方文檔的提示我們能夠知道可以通過shell的方式訪問hdfs中的數據,對數據進行操作。那麼首先讓我們看一下hdfs的版本,使用命令hdfs version。
好,下面上貨:
1、查詢
使用命令:
hdfs dfs -ls / 這條執行會列出/目錄下的文件和目錄
hdfs dfs -ls -R /這條會列出/目錄下的左右文件,由於有-R參數,會在文件夾和子文件夾下執行ls操作。
2、添加文件夾
使用命令;
hdfs dfs -mkdir -p /xytest/testdata001/
這里需要注意的是,root用戶是否擁有hdfs 的許可權,如果有,我們可以繼續操作,如果沒有,我們可以直接使用hdfs用戶,默認安裝完cdh後,用戶hdfs擁有所有的許可權。如果對於許可權有不明白的,推薦看一下我的另一篇文章:
http://blog.csdn.net/wild46cat/article/details/69664376
3、增加文件
使用命令:
hdfs dfs -FromLocal ~/123.txt /xytest/testdata001/
4、查看hdfs文件中的內容
使用命令:
hdfs dfs -cat /xytest/testdata001/123.txt
或者,可以把hdfs中的文件到本地
使用命令:
hdfs dfs -ToLocal /xytest/testdata001/123.txt ~/222.txt
5、刪除文件
使用命令:
hdfs dfs -rm -f /xytest/testdata001/123.txt
6、刪除文件夾
使用命令:
hdfs dfs -rm -r /xytest/testdata001