㈠ 如何查看hbase資料庫當前的狀態
可以訪問以下網站查看hbase服務狀態及master等等信息,
http。//retailvm1d。nam。nsroot。net。60010/zk.jsp
HBase is rooted at /hbase
Active master address: retailvm1d,39706,1377502441684
Backup master addresses:
Region server holding ROOT: retailvm1d,38110,1377502442130
Region servers:
retailvm1d,38110,1377502442130
Quorum Server Statistics:
localhost:2181
Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
Clients:
/127.0.0.1:36679[1](queued=0,recved=441,sent=448)
/127.0.0.1:36681[1](queued=0,recved=502,sent=503)
/127.0.0.1:36678[1](queued=0,recved=521,sent=543)
/127.0.0.1:37218[0](queued=0,recved=1,sent=0)
Latency min/avg/max: 0/0/159
Received: 1533
Sent: 1562
Connections: 4
Outstanding: 0
Zxid: 0x49
Mode: standalone
Node count: 23
㈡ 如何獲取hbase數據查詢 語句
get命令和HTable類的get()方法用於從HBase表中讀取數據。使用 get 命令,可以同時獲取一行數據。它的語法如下:
get 』<table name>』,』row1』
下面的例子說明如何使用get命令。掃描emp表的第一行。
hbase(main):012:0> get 'emp', '1'
COLUMN CELL
personal : city timestamp=1417521848375, value=hyderabad
personal : name timestamp=1417521785385, value=ramu
professional: designation timestamp=1417521885277, value=manager
professional: salary timestamp=1417521903862, value=50000
4 row(s) in 0.0270 seconds
讀取指定列
下面給出的是語法,使用get方法讀取指定列。
hbase>get 'table name', 『rowid』, {COLUMN => 『column family:column name 』}
下面給出的示例,是用於讀取HBase表中的特定列。
hbase(main):015:0> get 'emp', 'row1', {COLUMN=>'personal:name'}
COLUMN CELL
personal:name timestamp=1418035791555, value=raju
㈢ HBase配置文件詳解(一)
HBase使用與Hadoop相同的配置系統,所有配置文件都位於 conf/ 目錄中,需要保持群集中每個節點的同步。
在對HBase進行配置,即編輯hbase-site.xml文件時,確保語法正確且XML格式良好。我們可以使用 xmllint 檢查XML格式是否正確,默認情況下, xmllint 重新流動並將XML列印到標准輸出。如果檢查格式是否正確,並且只在存在錯誤時才列印輸出,可以使用以下命令:
當在完全分布式環境下運行HBase時,在對HBase配置文件進行修改後,確保將 /conf/ 目錄下的配置文件同步到集群其他節點上,可以使用 rsync 、 scp 或其他安全機制將配置文件復制到其他節點上。(對於大多數配置,伺服器需要重新啟動配置才能生效)
㈣ Hbase shell查詢命令 如何顯示整張表的某一列限定符的內容
1.hadoop是分布式平台,就把計算和存儲都由hadoop自動調節分布到接入的計算機單元中
2.hbase是hadoop上實現的kv資料庫
3.hbase+hadoop無需再與mysql搭配了, 而且kv資料庫與傳統關系資料庫區別很大
4.hadoop+hbase是分布式計算與分布式資料庫存儲的組合
5.增刪查改都是真的hbase的,
㈤ hbase資料庫查詢命令有什麼
您好,對於你的遇到的問題,我很高興能為你提供幫助,我之前也遇到過喲,以下是我的個人看法,希望能幫助到你,若有錯誤,還望見諒!。展開全部
select
*
from
a
where
列名
<>0
--<>標示不等於
2.--not
in
select
*
from
a
where
列名
not
in(0)
--這樣是用索
不用。
3.--子
where
select
*
from
a
where
a
not
in
(select
列名from
a
where
a
='1')非常感謝您的耐心觀看,如有幫助請採納,祝生活愉快!謝謝!
㈥ hbase怎麼查看配置文件
hbase有本地模式和分布式模式
hbase-site.xml配置
hbase.tmp.dir
本地文件系統tmp目錄,一般配置成local模式的設置一下,但是最好還是需要設置一下,因為很多文件都會默認設置成它下面的
線上配置
<property>
<name>hbase.tmp.dir</name>
<value>/mnt/路徑</value>
</property>
默認值:
${java.io.tmpdir}/hbase-${user.name}
寫到系統的/tmp目錄
hbase.rootdir
HBase集群中所有RegionServer共享目錄,用來持久化HBase的數據,一般設置的是hdfs的文件目錄,如hdfs://master:9000/hbasedata
線上配置
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbasedata</value>
</property>
默認值:
${hbase.tmp.dir}/hbase
hbase.cluster.distributed
集群的模式,分布式還是單機模式,如果設置成false的話,HBase進程和Zookeeper進程在同一個JVM進程。
線上配置為true
默認值:false
hbase.zookeeper.quorum
zookeeper集群的URL配置,多個host中間用逗號分割
線上配置
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave,slave1</value>
</property>
默認值:localhost
hbase.zookeeper.property.dataDir
ZooKeeper的zoo.conf中的配置。 快照的存儲位置
線上配置:/home/hadoop/zookeeperData
默認值:${hbase.tmp.dir}/zookeeper
zookeeper.session.timeout
客戶端與zk連接超時時間
線上配置:1200000(20min)
默認值:180000(3min)
hbase.zookeeper.property.tickTime
Client端與zk發送心跳的時間間隔
線上配置:6000(6s)
默認值:6000
hbase.security.authentication
HBase集群安全認證機制,目前的版本只支持kerberos安全認證。
線上配置:kerberos
默認值:空
hbase.security.authorization
HBase是否開啟安全授權機制
線上配置: true
默認值: false
hbase.regionserver.kerberos.principal
regionserver的kerberos認證的主體名稱(由三部分組成:服務或用戶名稱、實例名稱以及域名)
線上配置:hbase/[email protected]
默認:無
hbase.regionserver.keytab.file
regionserver keytab文件路徑
線上配置:/home/hadoop/etc/conf/hbase.keytab
默認值:無
hbase.master.kerberos.principal
master的kerberos認證的主體名稱(由三部分組成:服務或用戶名稱、實例名稱以及域名)
線上配置:hbase/[email protected]
默認:無
hbase.master.keytab.file
master keytab文件路徑
線上配置:/home/hadoop/etc/conf/hbase.keytab
默認值:無
hbase.regionserver.handler.count
regionserver處理IO請求的線程數
線上配置:50
默認配置:10
hbase.regionserver.global.memstore.upperLimit
RegionServer進程block進行flush觸發條件:該節點上所有region的memstore之和達到upperLimit*heapsize
線上配置:0.45
默認配置:0.4
hbase.regionserver.global.memstore.lowerLimit
RegionServer進程觸發flush的一個條件:該節點上所有region的memstore之和達到lowerLimit*heapsize
線上配置:0.4
默認配置:0.35
hbase.client.write.buffer
客戶端寫buffer,設置autoFlush為false時,當客戶端寫滿buffer才flush
線上配置:8388608(8M)
默認配置:2097152(2M)
hbase.hregion.max.filesize
單個ColumnFamily的region大小,若按照ConstantSizeRegionSplitPolicy策略,超過設置的該值則自動split
線上配置:107374182400(100G)
默認配置:21474836480(20G)
hbase.hregion.memstore.block.multiplier
超過memstore大小的倍數達到該值則block所有寫入請求,自我保護
線上配置:8(內存夠大可以適當調大一些,出現這種情況需要客戶端做調整)
默認配置:2
hbase.hregion.memstore.flush.size
memstore大小,當達到該值則會flush到外存設備
線上配置:104857600(100M)
默認值: 134217728(128M)
hbase.hregion.memstore.mslab.enabled
是否開啟mslab方案,減少因內存碎片導致的Full GC,提高整體性能
線上配置:true
默認配置: true
hbase.regionserver.maxlogs
regionserver的hlog數量
線上配置:128
默認配置:32
hbase.regionserver.hlog.blocksize
hlog大小上限,達到該值則block,進行roll掉
線上配置:536870912(512M)
默認配置:hdfs配置的block大小
hbase.hstore.compaction.min
進入minor compact隊列的storefiles最小個數
線上配置:10
默認配置:3
hbase.hstore.compaction.max
單次minor compact最多的文件個數
線上配置:30
默認配置:10
hbase.hstore.blockingStoreFiles
當某一個region的storefile個數達到該值則block寫入,等待compact
線上配置:100(生產環境可以設置得很大)
默認配置: 7
hbase.hstore.blockingWaitTime
block的等待時間
線上配置:90000(90s)
默認配置:90000(90s)
hbase.hregion.majorcompaction
觸發major compact的周期
線上配置:0(關掉major compact)
默認配置:86400000(1d)
hbase.regionserver.thread.compaction.large
large compact線程池的線程個數
線上配置:5
默認配置:1
hbase.regionserver.thread.compaction.small
small compact線程池的線程個數
線上配置:5
默認配置:1
hbase.regionserver.thread.compaction.throttle
compact(major和minor)請求進入large和small compact線程池的臨界點
線上配置:10737418240(10G)
默認配置:2 * this.minFilesToCompact * this.region.memstoreFlushSize
hbase.hstore.compaction.max.size
minor compact隊列中storefile文件最大size
線上配置:21474836480(20G)
默認配置:Long.MAX_VALUE
hbase.rpc.timeout
RPC請求timeout時間
線上配置:300000(5min)
默認配置:60000(10s)
hbase.regionserver.region.split.policy
split操作默認的策略
線上配置: org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy(採取老的策略,自己控制split)
默認配置: org.apache.hadoop.hbase.regionserver.(在region沒有達到maxFileSize的前提下,如果fileSize達到regionCount * regionCount * flushSize則進行split操作)
hbase.regionserver.regionSplitLimit
單台RegionServer上region數上限
線上配置:150
默認配置:2147483647
hbase-env.sh配置
指定系統運行環境
export JAVA_HOME=/usr/lib/jvm/java-6-sun/ #JDK HOME
export HBASE_HOME=/home/hadoop/cdh4/hbase-0.94.2-cdh4.2.1 # HBase 安裝目錄
export HBASE_LOG_DIR=/mnt/dfs/11/hbase/hbase-logs #日誌輸出路徑
JVM參數調優
export HBASE_OPTS="-verbose:gc -XX:+PrintGCDetails -Xloggc:${HBASE_LOG_DIR}/hbase-gc.log -XX:+PrintGCTimeStamps -XX:+ -XX:+PrintGCApplicationStoppedTime \
-server -Xmx20480m -Xms20480m -Xmn10240m -Xss256k -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=15 \
-XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection \
-XX:+CMSClassUnloadingEnabled -XX:=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSMaxAbortablePrecleanTime=5000 \
"