hbase常用命令

① HBase配置文件详解（一）

HBase使用与Hadoop相同的配置系统，所有配置文件都位于 conf/ 目录中，需要保持群集中每个节点的同步。

在对HBase进行配置，即编辑hbase-site.xml文件时，确保语法正确且XML格式良好。我们可以使用 xmllint 检查XML格式是否正确，默认情况下， xmllint 重新流动并将XML打印到标准输出。如果检查格式是否正确，并且只在存在错误时才打印输出，可以使用以下命令：

当在完全分布式环境下运行HBase时，在对HBase配置文件进行修改后，确保将 /conf/ 目录下的配置文件同步到集群其他节点上，可以使用 rsync 、 scp 或其他安全机制将配置文件复制到其他节点上。（对于大多数配置，服务器需要重新启动配置才能生效）

② HBase创建，删除，清空数据表

HBase shell窗口进入，执行命令hbase shell

语法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>}
例如：创建表t1，有两个family name：f1，f2，且版本数前者为3，后者为1

disable表
drop表

③ HBase存储架构

上图是HBase的存储架构图。

由上图可以知道，客户端是通过Zookeeper找到HMaster，然后再与具体的Hregionserver进行沟通读写数据的。

具体到物理实现，细节包括以下这些：

首先要清楚HBase在hdfs中的存储路径，以及各个目录的作用。在hbase-site.xml 文件中，配置项 <name> hbase.rootdir</name> 默认 “/hbase”，就是hbase在hdfs中的存储根路径。以下是hbase0.96版本的个路径作用。1.0以后的版本请参考这里: https://blog.bcmeng.com/post/hbase-hdfs.html

1、 /hbase/.archive
HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

2、 /hbase/.corrupt
存储HBase损坏的日志文件，一般都是为空的。

3、 /hbase/.hbck
HBase 运维过程中偶尔会遇到元数据不一致的情况，这时候会用到提供的 hbck 工具去修复，修复过程中会使用该目录作为临时过度缓冲。

4、 /hbase/logs
HBase 是支持 WAL（Write Ahead Log） 的，HBase 会在第一次启动之初会给每一台 RegionServer 在.log 下创建一个目录，若客户端如果开启WAL 模式，会先将数据写入一份到.log 下，当 RegionServer crash 或者目录达到一定大小，会开启 replay 模式，类似 MySQL 的 binlog。

5、 /hbase/oldlogs
当.logs 文件夹中的 HLog 没用之后会 move 到.oldlogs 中，HMaster 会定期去清理。

6、 /hbase/.snapshot
hbase若开启了 snapshot 功能之后，对某一个用户表建立一个 snapshot 之后，snapshot 都存储在该目录下，如对表test 做了一个 名为sp_test 的snapshot，就会在/hbase/.snapshot/目录下创建一个sp_test 文件夹，snapshot 之后的所有写入都是记录在这个 snapshot 之上。

7、 /hbase/.tmp
当对表做创建或者删除操作的时候，会将表move 到该 tmp 目录下，然后再去做处理操作。

8、 /hbase/hbase.id
它是一个文件，存储集群唯一的 cluster id 号，是一个 uuid。

9、 /hbase/hbase.version
同样也是一个文件，存储集群的版本号，貌似是加密的，看不到，只能通过web-ui 才能正确显示出来

10、 -ROOT-
该表是一张的HBase表，只是它存储的是.META.表的信息。通过HFile文件的解析脚本 hbase org.apache.hadoop.hbase.io.hfile.HFile -e -p -f 可以查看其存储的内容，如下所示：

以上可以看出，-ROOT-表记录的.META.表的所在机器是dchbase2，与web界面看到的一致：

11、 .META.
通过以上表能找到.META.表的信息，该表也是一张hbase表，通过以上命令，解析其中一个region：

以上可以看出，adt_app_channel表的数据记录在dchbase3这台reginserver上，也与界面一致，如果有多个region，则会在表名后面加上rowkey的范围：

通过以上描述，只要找到-ROOT-表的信息，就能根据rowkey找到对应的数据，那-ROOT-在哪里找呢？从本文一开始的图中可以知道，就是在zookeeper中找的。进入zookeeper命令行界面：

可以看出-ROOT-表存储在 dchbase3 机器中，对应界面如下：

以上就是HBase客户端根据指定的rowkey从zookeeper开始找到对应的数据的过程。

那在Region下HBase是如何存储数据的呢？

以下就具体操作一张表，查询对应的HFile文件，看HBase的数据存储过程。

在HBase创建一张表 test7，并插入一些数据，如下命令：

查看wal日志，通过 hbase org.apache.hadoop.hbase.regionserver.wal.HLog --mp -p 命令可以解析HLog文件，内容如下：

查看HFile文件，内容如下：

由此可见，HFile文件就是存储HBase的KV对，其中Key的各个字段包含了的信息如下：

由于hbase把cf和column都存储在HFile中，所以在设计的时候，这两个字段应该尽量短，以减少存储空间。

但删除一条记录的时候，HBase会怎么操作呢？执行以下命令：

删除了rowkey为200的记录，查看hdfs，原来的HFile并没有改变，而是生成了一个新的HFile，内容如下：

所以在HBase中，删除一条记录并不是修改HFile里面的内容，而是写新的文件，待HBase做合并的时候，把这些文件合并成一个HFile，用时间比较新的文件覆盖旧的文件。HBase这样做的根本原因是，HDFS不支持修改文件。

④ hbase数据库查询命令有什么

您好，对于你的遇到的问题，我很高兴能为你提供帮助，我之前也遇到过哟，以下是我的个人看法，希望能帮助到你，若有错误，还望见谅！。展开全部

1. select

2. *

3. from

4. a

5. where

6. 列名

7. <>0

8. --<>标示不等于

9. 2.--not

10. in

11. select

12. *

13. from

14. a

15. where

16. 列名

17. not

18. in(0)

19. --这样是用索

20. 不用。

21. 3.--子

22. where

23. select

24. *

25. from

26. a

27. where

28. a

29. not

30. in

31. (select

32. 列名from

33. a

34. where

35. a

36. ='1')非常感谢您的耐心观看，如有帮助请采纳，祝生活愉快！谢谢！
    

⑤ 如何获取hbase数据查询 语句

get命令和HTable类的get()方法用于从HBase表中读取数据。使用 get 命令，可以同时获取一行数据。它的语法如下：
get ’<table name>’,’row1’

下面的例子说明如何使用get命令。扫描emp表的第一行。
hbase(main):012:0> get 'emp', '1'

COLUMN CELL

personal : city timestamp=1417521848375, value=hyderabad

personal : name timestamp=1417521785385, value=ramu

professional: designation timestamp=1417521885277, value=manager

professional: salary timestamp=1417521903862, value=50000

4 row(s) in 0.0270 seconds

读取指定列
下面给出的是语法，使用get方法读取指定列。
hbase>get 'table name', ‘rowid’, {COLUMN => ‘column family:column name ’}

下面给出的示例，是用于读取HBase表中的特定列。
hbase(main):015:0> get 'emp', 'row1', {COLUMN=>'personal:name'}

COLUMN CELL

personal:name timestamp=1418035791555, value=raju

⑥ hbase怎么用

HBase安装及简单使用

通过之前的hadoop0.20.2的安装并调试成功，接下来我们继续安装hbase0.90.5。在安装hbase0.90.5之前，因为hbase0.90.5只支持jdk1.6，所以，我把之前的jdk1.8卸载，重新安装了jdk1.6。

第一步：

首先需要下载hbase0.90.5.tar.gz，并解压到/home/hadoop/的目录下，同时将目录修改为hbase0.90.5

第二步：

替换hadoop核心jar包，主要母的是防止hbase和hadoop版本不同出现兼容问题，造成hmaster启动异常

将hbase0.90.5/lib目录中的hadoop-core-0.20-append-r1056497.jar包进行备份后删除，再将/home/hadoop/hadoop下面的hadoop-0.20.2-core.jar赋值到/home/hadoop/hbase0.90.5目录下即可

第三步：

编辑配置文件

①/home/hadoop/hbase0.90.5/conf/hbase-env.sh

我们对行键'1001'中列族info的列名age赋值24（1001：info:age=>24），插入两次，会将最后一次的值进行合并，其中，用时间戳来区分。从图片中的时间戳不同可以看出保存的是最后一次put的内容。

⑦ 如何启动hbase 自带了一个 zkcli

常用到的HBase启动脚本有：
1.$HBASE_HOME/bin/start-hbase.sh
启动整个集群

2.$HBASE_HOME/bin/stop-hbase.sh
停止整个集群

3.$HBASE_HOME/bin/hbase-daemons.sh
启动或停止，所有的regionserver或zookeeper或backup-master

4.$HBASE_HOME/bin/hbase-daemon.sh
启动或停止，单个master或regionserver或zookeeper

以start-hbase.sh为起点，可以看看脚本间的一些调用关系
start-hbase.sh的流程如下：
1.运行hbase-config.sh（作用后面解释）
2.解析参数（0.96版本及以后才可以带唯一参数autorestart，作用就是重启）
3.调用hbase-daemon.sh来启动master；调用hbase-daemons.sh来启动regionserver zookeeper master-backup

hbase-config.sh的作用：
装载相关配置，如HBASE_HOME目录，conf目录，regionserver机器列表，java_HOME目录等，它会调用$HBASE_HOME/conf/hbase-env.sh

hbase-env.sh的作用：
主要是配置JVM及其GC参数，还可以配置log目录及参数，配置是否需要hbase管理ZK，配置进程id目录等

hbase-daemons.sh的作用：
根据需要启动的进程，
如为zookeeper,则调用zookeepers.sh
如为regionserver，则调用regionservers.sh
如为master-backup，则调用master-backup.sh

zookeepers.sh的作用：
如果hbase-env.sh中的HBASE_MANAGES_ZK" = "true"，那么通过ZKServerTool这个类解析xml配置文件，获取ZK节点列表（即hbase.zookeeper.quorum的配置值），然后通过SSH向这些节点发送远程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop zookeeper

regionservers.sh的作用：
与zookeepers.sh类似，通过${HBASE_CONF_DIR}/regionservers配置文件，获取regionserver机器列表，然后SSH向这些机器发送远程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop regionserver

master-backup.sh的作用：
通过${HBASE_CONF_DIR}/backup-masters这个配置文件，获取backup-masters机器列表（默认配置中，这个配置文件并不存在，所以不会启动backup-master）,然后SSH向这些机器发送远程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop master --backup

hbase-daemon.sh的作用：
无论是zookeepers.sh还是regionservers.sh或是master-backup.sh，最终都会调用本地的hbase-daemon.sh，其执行过程如下：
1.运行hbase-config.sh，装载各种配置（java环境、log配置、进程ID目录等）
2.如果是start命令？
滚动out输出文件，滚动gc日志文件，日志文件中输出启动时间+ulimit -a信息，如
“Mon Nov 26 10:31:42 CST 2012 Starting master on dwxx.yy.taobao”
"..open files (-n) 65536.."
3.调用$HBASE_HOME/bin/hbase start master/regionserver/zookeeper
4.执行wait，等待3中开启的进程结束
5.执行cleanZNode，将regionserver在zk上登记的节点删除，这样做的目的是：在regionserver进程意外退出的情况下，可以免去3分钟的ZK心跳超时等待，直接由master进行宕机恢复
6.如果是stop命令？
根据进程ID，检查进程是否存在；调用kill命令，然后等待到进程不存在为止
7.如果是restart命令？
调用stop后，再调用start。。。

$HBASE_HOME/bin/hbase的作用：
最终启动的实现由这个脚本执行
1.可以通过敲入$HBASE_HOME/bin/hbase查看其usage
DBA TOOLS
shell run the HBase shell
hbck run the hbase 'fsck' tool
hlog write-ahead-log analyzer
hfile store file analyzer
zkcli run the ZooKeeper shell
PROCESS MANAGEMENT
master run an HBase HMaster node
regionserver run an HBase HRegionServer node
zookeeper run a Zookeeper server
rest run an HBase REST server
thrift run the HBase Thrift server
thrift2 run the HBase Thrift2 server
avro run an HBase Avro server

PACKAGE MANAGEMENT
classpath mp hbase CLASSPATH
version print the version
or
CLASSNAME run the class named CLASSNAME

2.bin/hbase shell,这个就是常用的shell工具，运维常用的DDL和DML都会通过此进行，其具体实现（对hbase的调用）是用ruby写的

3.bin/hbase hbck, 运维常用工具，检查集群的数据一致性状态，其执行是直接调用
org.apache.hadoop.hbase.util.HBaseFsck中的main函数

4.bin/hbase hlog, log分析工具，其执行是直接调用
org.apache.hadoop.hbase.regionserver.wal.HLogPrettyPrinter中的main函数

5.bin/hbase hfile， hfile分析工具，其执行是直接调用
org.apache.hadoop.hbase.io.hfile.HFile中的main函数

6.bin/hbase zkcli,查看/管理ZK的shell工具，很实用，经常用，比如你可以通过（get /hbase-tianwu-94/master）其得知当前的active master,可以通过（get /hbase-tianwu-94/root-region-server）得知当前root region所在的server，你也可以在测试中通过（delete /hbase-tianwu-94/rs/dwxx.yy.taobao），模拟regionserver与ZK断开连接，，，
其执行则是调用了org.apache.zookeeper.ZooKeeperMain的main函数

7.回归到刚才hbase-daemon.sh对此脚本的调用为：
$HBASE_HOME/bin/hbase start master/regionserver/zookeeper
其执行则直接调用
org.apache.hadoop.hbase.master.HMaster
org.apache.hadoop.hbase.regionserver.HRegionServer
org.apache.hadoop.hbase.zookeeper.HQuorumPeer
的main函数，而这些main函数就是了new一个了Runnable的HMaster/HRegionServer/QuorumPeer，在不停的Running...

8.bin/hbase classpath 打印classpath

9.bin/hbase version 打印hbase版本信息

10.bin/hbase CLASSNAME， 这个很实用，所有实现了main函数的类都可以通过这个脚本来运行，比如前面的hlog hfile hbck工具，实质是对这个接口的一个快捷调用，而其他未提供快捷方式的class我们也可以用这个接口调用，如Region merge 调用：
$HBASE_HOME/bin/hbase/org.apache.hadoop.hbase.util.Merge

⑧ hbase基础语法

名称
命令表达式
创建表
create '表名', '列族名1','列族名2','列族名N'
查看所有表
list
描述表
describe ‘表名’
判断表存在
exists '表名'
判断是否禁用启用表
is_enabled '表名'
is_disabled ‘表名’
添加记录
put ‘表名’, ‘rowKey’, ‘列族 : 列‘ , '值'
查看记录rowkey下的所有数据
get '表名' , 'rowKey'
查看表中的记录总数
count '表名'
获取某个列族
get '表名','rowkey','列族'
获取某个列族的某个列
get '表名','rowkey','列族：列’
删除记录
delete ‘表名’ ,‘行名’ , ‘列族：列'
删除整行
deleteall '表名','rowkey'
删除一张表
先要屏蔽该表，才能对该表进行删除
第一步 disable ‘表名’ ，第二步 drop '表名'
清空表
truncate '表名'
查看所有记录
scan "表名"
查看某个表某个列中所有数据
scan "表名" , {COLUMNS=>'列族名:列名'}
更新记录
就是重写一遍，进行覆盖，hbase没有修改，都是追加

⑨ 如何用hive查询hbase中的数据

第一步，启动hadoop，命令：./start-all.sh
第二步，启动hive，命令：
./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hbase-0.20.3.jar,/home/dream-victor/hive-0.6.0/lib/zookeeper-3.2.2.jar -hiveconf hbase.master=127.0.0.1:60000
这里，-hiveconf hbase.master=指向自己在hbase-site.xml中hbase.master的值
第三步，启动hbase，命令：./start-hbase.sh
第四步，建立关联表，这里我们要查询的表在hbase中已经存在所以，使用CREATE EXTERNAL TABLE来建立，如下：
CREATE EXTERNAL TABLE hbase_table_2(key string, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "data:1")
TBLPROPERTIES("hbase.table.name" = "test");

�0�2hbase.columns.mapping指向对应的列族；多列时，data:1，data:2；多列族时，data1:1,data2:1；
�0�2hbase.table.name指向对应的表；
�0�2hbase_table_2(key string, value string)，这个是关联表
我们看一下HBase中要查询的表的结构，

⑩ hbase命令行方式插入一条数据到某个表中使用什么命令

命令：disable 'tableName' --disable表。注：修改表结构时，必须要先disable表。
命令：enable 'tableName' --使表可用
命令：drop 'tableName' --删除表