A. hadoop操作命令记录在哪
Hadoop自身是否有记录不清楚,但Hadoop是部署在linux上的,可以通过linux的历史命令查看。
1、history
2、fc -l
可以用grep过滤,例如:
history | grep 'hadoop'
或history | grep 'hdfs'
B. hadoop2.7.3版本用命令行如何格式化hdfs
在Master节点上执行 hdfs namenode -format ,如果没有error和Exception 表示格式化成功,这个命令如果刚开始的话可以用,而且不能使用多次,后面最好不要用这个命令,比如我新增加一个slave节点以后,使用两次这个命令之后,发现文件系统坏掉了, 最后发现在格式化的时候,把 hdfs元数据存放的地点文件里面的版本池ID改变了, 于是我将这两个ID改为相同之后才可以用, 所以你搭建集群时用这个命令就可以了, 以后用到的话,有可能造成文件的丢失,和文件系统的异常。
C. 配置hadoop 时执行 hdfs namenode -format找不到命令怎么回事
hdfs namenode -format
改用这个命令
D. hadoop HDFS有提供查看空间总大小以及剩余空间大小的接口吗
是能查看的:
看src/webapps/hdfs/dfshealth.jsp,对应50070查看到的那个页面,里面搜就有了
例如: Configured Capacity对应:
org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getCapacityTotal()
剩下的自己用同样的方法找一下就都有了
E. 何时使用hadoop fs,hadoop dfs与hdfs dfs命令
hadoop fs:使用面广操作任何文件系统
hadoop dfs与hdfs dfs:能操作HDFS文件系统相关(包括与Local FS间操作)前者已经Deprecated般使用者
Following are the three commands which appears same but have minute differences
hadoop fs {args}
hadoop dfs {args}
hdfs dfs {args}
hadoop fs <args></args>
FS
relates to a generic file system which can point to any file systems
like local, HDFS etc. So this can be used when you are dealing with
different file systems such as Local FS, HFTP FS, S3 FS, and others
hadoop dfs <args></args>
dfs
is very specific to HDFS. would work for operation relates to HDFS.
This has been deprecated and we should use hdfs dfs instead.
hdfs dfs <args></args>
same as 2nd i.e would work for all the operations related to HDFS and is the recommended command instead of hadoop dfs
below is the list categorized as HDFS commands.
**#hdfs commands**
namenode|secondarynamenode|datanode|dfs|dfsadmin|fsck|balancer|fetchdt|oiv|dfsgroups
So even if you use Hadoop dfs , it will look locate hdfs and delegate that command to hdfs dfs
F. hadoop的HDFS文件格式化hadoop namenode -format,只需要在初始的时候格式化一次
1、hadoop namenode -format命令只对namenode有效,对其它节点无效。
2、集群增加节点,只要在namenode节点的配置文件中,将IP和端口以及数据目录配置一下就可以了。可以用更新或是重启服务的命令,那么新增的datanode就会自动追加到集中。
3、称这样的系统为高度自由可伸缩系统。增或减节点都能被智能控制节点监测到,并将相应的节点的变化,通过冗余机制给予解决。
再思考下吧。
G. 何时使用hadoop fs,hadoop dfs与hdfs dfs命令
hadoop fs:使用面最广,可以操作任何文件系统。 hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后者。 Following are the three commands which appears same but have minute diff...
H. hadoop中在HDFS中创建一个input目录,然后hadoop fs -ls命令
你创建input目录的时候是不是也用了sudo命令?这样的话就是使用了root用户来创建了input,所以生成的是user/root/input,而不是用了hadoop这个用户创的目录,所以没有生成/user/hadoop/input。hadoop的指令都不需要用sudo来使用root权限啊,
I. hadoop执行hdfs的指令出错 ./hadoop dfs mkdir 出错
core-site.xml配置中有错误
还有,一般创建目录一般使用这样的命令:hadoop fs -mkdir youdir
J. 何时使用hadoop fs,hadoop dfs与hdfs dfs命令
hadoop hdfs dfs基本操作
本文主要参考:
http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html
根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据,对数据进行操作。那么首先让我们看一下hdfs的版本,使用命令hdfs version。
好,下面上货:
1、查询
使用命令:
hdfs dfs -ls / 这条执行会列出/目录下的文件和目录
hdfs dfs -ls -R /这条会列出/目录下的左右文件,由于有-R参数,会在文件夹和子文件夹下执行ls操作。
2、添加文件夹
使用命令;
hdfs dfs -mkdir -p /xytest/testdata001/
这里需要注意的是,root用户是否拥有hdfs 的权限,如果有,我们可以继续操作,如果没有,我们可以直接使用hdfs用户,默认安装完cdh后,用户hdfs拥有所有的权限。如果对于权限有不明白的,推荐看一下我的另一篇文章:
http://blog.csdn.net/wild46cat/article/details/69664376
3、增加文件
使用命令:
hdfs dfs -FromLocal ~/123.txt /xytest/testdata001/
4、查看hdfs文件中的内容
使用命令:
hdfs dfs -cat /xytest/testdata001/123.txt
或者,可以把hdfs中的文件到本地
使用命令:
hdfs dfs -ToLocal /xytest/testdata001/123.txt ~/222.txt
5、删除文件
使用命令:
hdfs dfs -rm -f /xytest/testdata001/123.txt
6、删除文件夹
使用命令:
hdfs dfs -rm -r /xytest/testdata001