hdfs的shell命令_何時使用hadoop fshadoop dfs與hdfs dfs命令

『壹』可以使用如下哪個命令來獲得hdfs狀態的報告

HDFS是Hadoop生態系統的根基，也是Hadoop生態系統中的重要一員，大部分時候，我們都會使用linux shell命令來管理HDFS，包括一些文件的創建，刪除，修改，上傳等等，因為使用shell命令操作HDFS的方式，相對比較簡單，方便，但是有時候

『貳』何時使用hadoop fs，hadoop dfs與hdfs dfs命令

hadoop hdfs dfs基本操作
本文主要參考：
http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html

根據上面官方文檔的提示我們能夠知道可以通過shell的方式訪問hdfs中的數據，對數據進行操作。那麼首先讓我們看一下hdfs的版本，使用命令hdfs version。
好，下面上貨：
1、查詢
使用命令：
hdfs dfs -ls / 這條執行會列出/目錄下的文件和目錄
hdfs dfs -ls -R /這條會列出/目錄下的左右文件，由於有-R參數，會在文件夾和子文件夾下執行ls操作。
2、添加文件夾
使用命令；
hdfs dfs -mkdir -p /xytest/testdata001/
這里需要注意的是，root用戶是否擁有hdfs 的許可權，如果有，我們可以繼續操作，如果沒有，我們可以直接使用hdfs用戶，默認安裝完cdh後，用戶hdfs擁有所有的許可權。如果對於許可權有不明白的，推薦看一下我的另一篇文章：
http://blog.csdn.net/wild46cat/article/details/69664376

3、增加文件
使用命令：
hdfs dfs -FromLocal ~/123.txt /xytest/testdata001/
4、查看hdfs文件中的內容
使用命令：
hdfs dfs -cat /xytest/testdata001/123.txt
或者，可以把hdfs中的文件到本地
使用命令：
hdfs dfs -ToLocal /xytest/testdata001/123.txt ~/222.txt
5、刪除文件
使用命令：
hdfs dfs -rm -f /xytest/testdata001/123.txt
6、刪除文件夾
使用命令：
hdfs dfs -rm -r /xytest/testdata001

『叄』如何向 hadoop 導入數據

1.2
使用Hadoop
shell命令導入和導出數據到HDFS
實驗准備
實例需要用到的數據-weblog_entries.txt
在namenode創建2個文件夾用來存放實驗用的數據
mkdir
/home/data
1
mkdir
/home/data_download1
將weblog_entries.txt上傳到namenode里的/home/data文件夾（我使用SecureFXPortable.exe
工具）
註：以下命令都是在namenode節點運行的
實驗過程
1.在HDFS中創建一個新的文件夾，用於保存weblog_entries.txt
hadoop
fs
-mkdir
/data/weblogs1
2.將weblog_entries.txt文件從本地文件系統復制到HDFS剛創建的新文件夾下
cd
/home/data1
hadoop
fs
-FromLocal
weblog_entries.txt
/data/weblogs1
3.列出HDFS上weblog_entries.txt文件的信息：
hadoop
fs
–ls
/data/weblogs/weblog_entries.txt
1
4.將HDFS上的weblog_entries.txt文件復制到本地系統的當前文件夾下
cd
/home/data_download1
hadoop
fs
-ToLocal
/data/weblogs/weblog_entries.txt
./weblog_entries.txt
1
最後用
ls
命令檢驗下時候將weblog_entries.txt
下載到本地

『肆』 HDFS Shell可以在非集群節點上運行

HDFSShell可以在非集群節點上運行。
HDFSShell的具體命令具有使用面最廣的優勢，因此HDFSShell可以操作任何文件系統，也就意味著它可以在非集群節點上運行。
HDFSShell本地與集群的運行操作包括集群內文件的復制和剪切，將本地的文件上傳到集群或者將集群的文件下載到本地，將本地的文件追加到集群等等。

『伍』在ubuntu中如何使用hadoop shell命令

調用文件系統(FS)Shell命令應使用 bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路徑作為參數。URI格式是scheme://authority/path。對HDFS文件系統，scheme是hdfs，對本地文件系統，scheme是file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的默認scheme。一個HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更簡單的/parent/child（假設你配置文件中的默認值是namenode:namenodeport）。大多數FS Shell命令的行為和對應的Unix Shell命令類似，不同之處會在下面介紹各命令使用詳情時指出。出錯信息會輸出到stderr，其他信息輸出到stdout。
cat
使用方法：hadoop fs -cat URI [URI …]
將路徑指定文件的內容輸出到stdout。
示例：
hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
返回值：
成功返回0，失敗返回-1。
chgrp
使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …] Change group association of files. With -R, make the change recursively through the directory structure. The user must be the owner of files, or else a super-user. Additional information is in the Permissions User Guide. -->
改變文件所屬的組。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。更多的信息請參見HDFS許可權用戶指南。
chmod
使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
改變文件的許可權。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。更多的信息請參見HDFS許可權用戶指南。
chown
使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
改變文件的擁有者。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是超級用戶。更多的信息請參見HDFS許可權用戶指南。
FromLocal
使用方法：hadoop fs -FromLocal <localsrc> URI
除了限定源路徑是一個本地文件外，和put命令相似。
ToLocal
使用方法：hadoop fs -ToLocal [-ignorecrc] [-crc] URI <localdst>
除了限定目標路徑是一個本地文件外，和get命令類似。
cp
使用方法：hadoop fs -cp URI [URI …] <dest>
將文件從源路徑復制到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。
示例：
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
返回值：
成功返回0，失敗返回-1。

使用方法：hadoop fs - URI [URI …]
顯示目錄中所有文件的大小，或者當只指定一個文件時，顯示此文件的大小。
示例：
hadoop fs - /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
返回值：
成功返回0，失敗返回-1。
s
使用方法：hadoop fs -s <args>
顯示文件的大小。
expunge
使用方法：hadoop fs -expunge
清空回收站。請參考HDFS設計文檔以獲取更多關於回收站特性的信息。
get
使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>
復制文件到本地文件系統。可用-ignorecrc選項復制CRC校驗失敗的文件。使用-crc選項復制文件以及CRC信息。
示例：
hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
返回值：
成功返回0，失敗返回-1。
getmerge
使用方法：hadoop fs -getmerge <src> <localdst> [addnl]
接受一個源目錄和一個目標文件作為輸入，並且將源目錄中所有的文件連接成本地目標文件。addnl是可選的，用於指定在每個文件結尾添加一個換行符。
ls
使用方法：hadoop fs -ls <args>
如果是文件，則按照如下格式返迴文件信息：
文件名 <副本數> 文件大小修改日期修改時間許可權用戶ID 組ID
如果是目錄，則返回它直接子文件的一個列表，就像在Unix中一樣。目錄返回列表的信息如下：
目錄名 <dir> 修改日期修改時間許可權用戶ID 組ID
示例：
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
返回值：
成功返回0，失敗返回-1。
lsr
使用方法：hadoop fs -lsr <args>
ls命令的遞歸版本。類似於Unix中的ls -R。
mkdir
使用方法：hadoop fs -mkdir <paths>
接受路徑指定的uri作為參數，創建這些目錄。其行為類似於Unix的mkdir -p，它會創建路徑中的各級父目錄。
示例：
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
返回值：
成功返回0，失敗返回-1。
movefromLocal
使用方法：dfs -moveFromLocal <src> <dst>
輸出一個」not implemented「信息。
mv
使用方法：hadoop fs -mv URI [URI …] <dest>
將文件從源路徑移動到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。不允許在不同的文件系統間移動文件。
示例：
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
返回值：
成功返回0，失敗返回-1。
put
使用方法：hadoop fs -put <localsrc> ... <dst>
從本地文件系統中復制單個或多個源路徑到目標文件系統。也支持從標准輸入中讀取輸入寫入目標文件系統。
hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
從標准輸入中讀取輸入。
返回值：
成功返回0，失敗返回-1。
rm
使用方法：hadoop fs -rm URI [URI …]
刪除指定的文件。只刪除非空目錄和文件。請參考rmr命令了解遞歸刪除。
示例：
hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir
返回值：
成功返回0，失敗返回-1。
rmr
使用方法：hadoop fs -rmr URI [URI …]
delete的遞歸版本。
示例：
hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://host:port/user/hadoop/dir
返回值：
成功返回0，失敗返回-1。
setrep
使用方法：hadoop fs -setrep [-R] <path>
改變一個文件的副本系數。-R選項用於遞歸改變目錄下所有文件的副本系數。
示例：
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
返回值：
成功返回0，失敗返回-1。
stat
使用方法：hadoop fs -stat URI [URI …]
返回指定路徑的統計信息。
示例：
hadoop fs -stat path
返回值：
成功返回0，失敗返回-1。
tail
使用方法：hadoop fs -tail [-f] URI
將文件尾部1K位元組的內容輸出到stdout。支持-f選項，行為和Unix中一致。
示例：
hadoop fs -tail pathname
返回值：
成功返回0，失敗返回-1。
test
使用方法：hadoop fs -test -[ezd] URI
選項：
-e 檢查文件是否存在。如果存在則返回0。
-z 檢查文件是否是0位元組。如果是則返回0。
-d 如果路徑是個目錄，則返回1，否則返回0。
示例：hadoop fs -test -e filename
text
使用方法：hadoop fs -text <src>
將源文件輸出為文本格式。允許的格式是zip和TextRecordInputStream。
touchz
使用方法：hadoop fs -touchz URI [URI …]
創建一個0位元組的空文件。
示例：
hadoop -touchz pathname
返回值：
成功返回0，失敗返回-1。

『陸』發現公司里的大數據開發掙得很多，想轉行，

轉行這個詞彙，一直是職場上此起彼伏的一個熱門話題，相信很多朋友都想過或已經經歷過轉行。工作可謂是我們生存乃至生活的主要收入來源，誰都希望擁有一份高薪又穩定的工作，以此來改善自己的生活和實現自己的大大小小的夢想!但又擔心轉行後的工作待遇達不到自己的預期，顧慮重重……

不少想進入大數據分析行業的零基礎學員經常會有這樣一些疑問：大數據分析零基礎應該怎麼學習?自己適合學習大數據分析嗎?人生，就是在不斷地做選擇，然後在這個選擇過程中成長，讓自己從一棵小樹苗變成參天大樹。就是我們每個對大數據充滿幻想終於下定決心行動的學員的選擇，我們給了自己4個月的時間，想要在大數據分析這個領域汲取養分，讓自己壯大成長。

【明確方向】

通過國家的戰略規劃，看到BAT的大牛們都在大數據行業布局，新聞媒體追捧這大數據分析行業的項目和熱點，我想如果我還沒有能力獨立判斷的時候，跟著國家政策和互聯網大佬們的步調走，這應該是錯不了的。

【付諸行動】

明確了方向之後，我就整裝待發，剛開始是在網路上購買了很多的視頻教程，也買了很多書籍，但是最大的問題就在於，我不知道怎麼入手，沒關系，有信心有耐心肯定能戰勝困難，我堅持了一個月，學習的節奏越來越亂，陸陸續續出現了很多的問題，沒人指導，請教了幾個業內的朋友，但對方工作繁忙，問了幾次之後就不好意思了，自學陷入了死循環。

意識到我學習效率的低下，以及無人指導的問題想想未來的康莊大道，咬咬牙告訴自己，一定好好好學，不然就浪費太多時間最後還會是一無所獲。最後找到組織(AAA教育)一起學習進步!

大數據分析零基礎學習路線，有信心能堅持學習的話，那就當下開始行動吧!

一、大數據技術基礎

1、linux操作基礎

linux系統簡介與安裝

linux常用命令–文件操作

linux常用命令–用戶管理與許可權

linux常用命令–系統管理

linux常用命令–免密登陸配置與網路管理

linux上常用軟體安裝

linux本地yum源配置及yum軟體安裝

linux防火牆配置

linux高級文本處理命令cut、sed、awk

linux定時任務crontab

2、shell編程

shell編程–基本語法

shell編程–流程式控制制

shell編程–函數

shell編程–綜合案例–自動化部署腳本

3、內存資料庫redis

redis和nosql簡介

redis客戶端連接

redis的string類型數據結構操作及應用-對象緩存

redis的list類型數據結構操作及應用案例-任務調度隊列

redis的hash及set數據結構操作及應用案例-購物車

redis的sortedset數據結構操作及應用案例-排行榜

4、布式協調服務zookeeper

zookeeper簡介及應用場景

zookeeper集群安裝部署

zookeeper的數據節點與命令行操作

zookeeper的java客戶端基本操作及事件監聽

zookeeper核心機制及數據節點

zookeeper應用案例–分布式共享資源鎖

zookeeper應用案例–伺服器上下線動態感知

zookeeper的數據一致性原理及leader選舉機制

5、java高級特性增強

Java多線程基本知識

Java同步關鍵詞詳解

java並發包線程池及在開源軟體中的應用

Java並發包消息隊里及在開源軟體中的應用

Java JMS技術

Java動態代理反射

6、輕量級RPC框架開發

RPC原理學習

Nio原理學習

Netty常用API學習

輕量級RPC框架需求分析及原理分析

輕量級RPC框架開發

二、離線計算系統

1、hadoop快速入門

hadoop背景介紹

分布式系統概述

離線數據分析流程介紹

集群搭建

集群使用初步

2、HDFS增強

HDFS的概念和特性

HDFS的shell(命令行客戶端)操作

HDFS的工作機制

NAMENODE的工作機制

java的api操作

案例1：開發shell採集腳本

3、MAPREDUCE詳解

自定義hadoop的RPC框架

Maprece編程規范及示例編寫

Maprece程序運行模式及debug方法

maprece程序運行模式的內在機理

maprece運算框架的主體工作流程

自定義對象的序列化方法

MapRece編程案例

4、MAPREDUCE增強

Maprece排序

自定義partitioner

Maprece的combiner

maprece工作機制詳解

5、MAPREDUCE實戰

maptask並行度機制-文件切片

maptask並行度設置

倒排索引

共同好友

6、federation介紹和hive使用

Hadoop的HA機制

HA集群的安裝部署

集群運維測試之Datanode動態上下線

集群運維測試之Namenode狀態切換管理

集群運維測試之數據塊的balance

HA下HDFS-API變化

hive簡介

hive架構

hive安裝部署

hvie初使用

7、hive增強和flume介紹

HQL-DDL基本語法

HQL-DML基本語法

HIVE的join

HIVE 參數配置

HIVE 自定義函數和Transform

HIVE 執行HQL的實例分析

HIVE最佳實踐注意點

HIVE優化策略

HIVE實戰案例

Flume介紹

Flume的安裝部署

案例：採集目錄到HDFS

案例：採集文件到HDFS

三、流式計算

1、Storm從入門到精通

Storm是什麼

Storm架構分析

Storm編程模型、Tuple源碼、並發度分析

Storm WordCount案例及常用Api分析

Storm集群部署實戰

Storm+Kafka+Redis業務指標計算

Storm源碼下載編譯

Strom集群啟動及源碼分析

Storm任務提交及源碼分析

Storm數據發送流程分析

Storm通信機制分析

Storm消息容錯機制及源碼分析

Storm多stream項目分析

編寫自己的流式任務執行框架

2、Storm上下游及架構集成

消息隊列是什麼

Kakfa核心組件

Kafka集群部署實戰及常用命令

Kafka配置文件梳理

Kakfa JavaApi學習

Kafka文件存儲機制分析

Redis基礎及單機環境部署

Redis數據結構及典型案例

Flume快速入門

Flume+Kafka+Storm+Redis整合

四、內存計算體系Spark

1、scala編程

scala編程介紹

scala相關軟體安裝

scala基礎語法

scala方法和函數

scala函數式編程特點

scala數組和集合

scala編程練習(單機版WordCount)

scala面向對象

scala模式匹配

actor編程介紹

option和偏函數

實戰：actor的並發WordCount

柯里化

隱式轉換

2、AKKA與RPC

Akka並發編程框架

實戰：RPC編程實戰

3、Spark快速入門

spark介紹

spark環境搭建

RDD簡介

RDD的轉換和動作

實戰：RDD綜合練習

RDD高級運算元

自定義Partitioner

實戰：網站訪問次數

廣播變數

實戰：根據IP計算歸屬地

自定義排序

利用JDBC RDD實現數據導入導出

WorldCount執行流程詳解

4、RDD詳解

RDD依賴關系

RDD緩存機制

RDD的Checkpoint檢查點機制

Spark任務執行過程分析

RDD的Stage劃分

5、Spark-Sql應用

Spark-SQL

Spark結合Hive

DataFrame

實戰：Spark-SQL和DataFrame案例

6、SparkStreaming應用實戰

Spark-Streaming簡介

Spark-Streaming編程

實戰：StageFulWordCount

Flume結合Spark Streaming

Kafka結合Spark Streaming

窗口函數

ELK技術棧介紹

ElasticSearch安裝和使用

Storm架構分析

Storm編程模型、Tuple源碼、並發度分析

Storm WordCount案例及常用Api分析

7、Spark核心源碼解析

Spark源碼編譯

Spark遠程debug

Spark任務提交行流程源碼分析

Spark通信流程源碼分析

SparkContext創建過程源碼分析

DriverActor和ClientActor通信過程源碼分析

Worker啟動Executor過程源碼分析

Executor向DriverActor注冊過程源碼分析

Executor向Driver注冊過程源碼分析

DAGScheler和TaskScheler源碼分析

Shuffle過程源碼分析

Task執行過程源碼分析

五、機器學習演算法

1、python及numpy庫

機器學習簡介

機器學習與python

python語言–快速入門

python語言–數據類型詳解

python語言–流程式控制制語句

python語言–函數使用

python語言–模塊和包

phthon語言–面向對象

python機器學習演算法庫–numpy

機器學習必備數學知識–概率論

2、常用演算法實現

knn分類演算法–演算法原理

knn分類演算法–代碼實現

knn分類演算法–手寫字識別案例

lineage回歸分類演算法–演算法原理

lineage回歸分類演算法–演算法實現及demo

樸素貝葉斯分類演算法–演算法原理

樸素貝葉斯分類演算法–演算法實現

樸素貝葉斯分類演算法–垃圾郵件識別應用案例

kmeans聚類演算法–演算法原理

kmeans聚類演算法–演算法實現

kmeans聚類演算法–地理位置聚類應用

決策樹分類演算法–演算法原理

決策樹分類演算法–演算法實現

時下的大數據分析時代與人工智慧熱潮，相信有許多對大數據分析師非常感興趣、躍躍欲試想著轉行的朋友，但面向整個社會，最不缺的其實就是人才，對於是否轉行大數據分析行列，對於能否勇敢一次跳出自己的舒適圈，不少人還是躊躇滿志啊!畢竟好多決定，一旦做出了就很難再回頭了。不過如果你已經轉行到大數據分析領域，就不要後悔，做到如何脫穎而出才是關鍵。因此本文給出一些建議，針對想要轉行大數據分析行列且是零基礎轉行的小夥伴們，希望對你們有所裨益，也希望你們將來學有所成，不後悔，更不灰心!

導航:首頁 > 程序命令 > hdfs的shell命令

hdfs的shell命令

與hdfs的shell命令相關的資料