① zookeeper 四字命令怎麼用
zookeeper安裝和使用
zookeeper的安裝基本上可以按照 zookeeperStarted.html 這個頁面上的步驟完成安裝，這里主要介紹下部署一個集群的步驟，因為這個官方頁面似乎講得並不是非常詳細(Running Replicated Zookeeper)。
由於手頭機器不足，所以在一台機器上部署了3個server,如果你手頭也比較緊，也可以這么做。那麼我建了3個文件夾，如下
server1 server2 server3
然後每個文件夾裡面解壓一個zookeeper的下載包，並且還建了幾個文件夾，總體結構如下,最後那個是下載過來壓縮包的解壓文件
data dataLog logs zookeeper-3.3.2
那麼首先進入data目錄，創建一個myid的文件，裡面寫入一個數字，比如我這個是server1,那麼就寫一個1，server2對應myid文件就寫入2，server3對應myid文件就寫個3
然後進入zookeeper-3.3.2/conf目錄，那麼如果是剛下過來，會有3個文件，configuration.xml, log4j.properties,zoo_sample.cfg,這3個文件我們首先要做的就是在這個目錄創建一個zoo.cfg的配置文件，當然你可以把zoo_sample.cfg文件改成zoo.cfg，配置的內容如下所示：
tickTime=2000
initLimit=5
syncLimit=2
dataDir=xxxx/zookeeper/server1/data
dataLogDir=xxx/zookeeper/server1/dataLog
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890
標紅的幾個配置應該官網講得很清楚了，只是需要注意的是clientPort這個埠如果你是在1台機器上部署多個server,那麼每台機器都要不同的clientPort，比如我server1是2181,server2是2182，server3是2183，dataDir和dataLogDir也需要區分下。
最後幾行唯一需要注意的地方就是 server.X 這個數字就是對應 data/myid中的數字。你在3個server的myid文件中分別寫入了1，2，3，那麼每個server中的zoo.cfg都配server.1,server.2,server.3就OK了。因為在同一台機器上，後面連著的2個埠3個server都不要一樣，否則埠沖突，其中第一個埠用來集群成員的信息交換，第二個埠是在leader掛掉時專門用來進行選舉leader所用。
進入zookeeper-3.3.2/bin 目錄中，./zkServer.sh start啟動一個server,這時會報大量錯誤看其實沒什麼關系，因為現在集群只起了1台server，zookeeper伺服器端起來會根據zoo.cfg的伺服器列表發起選舉leader的請求，因為連不上其他機器而報錯，那麼當我們起第二個zookeeper實例後，leader將會被選出，從而一致性服務開始可以使用，這是因為3台機器只要有2台可用就可以選出leader並且對外提供服務(2n+1台機器，可以容n台機器掛掉)。
接下來就可以使用了，我們可以先通過 zookeeper自帶的客戶端交互程序來簡單感受下zookeeper到底做一些什麼事情。進入zookeeper-3.3.2/bin（3個server中任意一個）下，./zkCli.sh –server 127.0.0.1:2182,我連的是開著2182埠的機器。
那麼，首先我們隨便打個命令，因為zookeeper不認識，他會給出命令的help,如下圖
ls(查看當前節點數據),
ls2(查看當前節點數據並能看到更新次數等數據) ,
create(創建一個節點) ,
get(得到一個節點，包含數據和更新次數等數據),
set(修改節點)
delete(刪除一個節點)
通過上述命令實踐，我們可以發現，zookeeper使用了一個類似文件系統的樹結構，數據可以掛在某個節點上，可以對這個節點進行刪改。另外我們還發現，當改動一個節點的時候，集群中活著的機器都會更新到一致的數據。
② 查看當前節點的ZooKeeper角色的命令是
顯示根目錄下、文件:ls/使用ls命令來查看當前ZooKeeper中所包含的內容。
顯示根目錄下、文件:ls2/查看當前節點數據並能看到更新次數等數據
創建文件,並設置初始內容:create/zk"test"創建一個新的znode節點「zk」以及與它關聯的字元串
一些數據使用zkCli命令查看不到，使用四字命令則可以獲取到。（1）方式1，使用telnet命令。可通過telnet或nc命令向ZooKeeper埠發送4個字元的命令。windows下使用telnet比較不方便，需要多次輸入。例如：d:>telnet127.0.0.12181等待連接上ZooKeeper後，然後再輸入「wchc」命令。（2）方式2，使用nc命令。使用nc命令則可一次性完成，較為方便。
③ 如何使用命令查看zookeeper文件內容
zookeeper安裝和使用
zookeeper的安裝基本上可以按照 zookeeperStarted.html 這個頁面上的步驟完成安裝，這里主要介紹下部署一個集群的步驟，因為這個官方頁面似乎講得並不是非常詳細(Running Replicated Zookeeper)。
由於手頭機器不足，所以在一台機器上部署了3個server,如果你手頭也比較緊，也可以這么做。那麼我建了3個文件夾，如下
server1 server2 server3
然後每個文件夾裡面解壓一個zookeeper的下載包，並且還建了幾個文件夾，總體結構如下,最後那個是下載過來壓縮包的解壓文件
data dataLog logs zookeeper-3.3.2
那麼首先進入data目錄，創建一個myid的文件，裡面寫入一個數字，比如我這個是server1,那麼就寫一個1，server2對應myid文件就寫入2，server3對應myid文件就寫個3
然後進入zookeeper-3.3.2/conf目錄，那麼如果是剛下過來，會有3個文件，configuration.xml, log4j.properties,zoo_sample.cfg,這3個文件我們首先要做的就是在這個目錄創建一個zoo.cfg的配置文件，當然你可以把zoo_sample.cfg文件改成zoo.cfg，配置的內容如下所示：
tickTime=2000
initLimit=5
syncLimit=2
dataDir=xxxx/zookeeper/server1/data
dataLogDir=xxx/zookeeper/server1/dataLog
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890
標紅的幾個配置應該官網講得很清楚了，只是需要注意的是clientPort這個埠如果你是在1台機器上部署多個server,那麼每台機器都要不同的clientPort，比如我server1是2181,server2是2182，server3是2183，dataDir和dataLogDir也需要區分下。
最後幾行唯一需要注意的地方就是 server.X 這個數字就是對應 data/myid中的數字。你在3個server的myid文件中分別寫入了1，2，3，那麼每個server中的zoo.cfg都配server.1,server.2,server.3就OK了。因為在同一台機器上，後面連著的2個埠3個server都不要一樣，否則埠沖突，其中第一個埠用來集群成員的信息交換，第二個埠是在leader掛掉時專門用來進行選舉leader所用。
進入zookeeper-3.3.2/bin 目錄中，./zkServer.sh start啟動一個server,這時會報大量錯誤？其實沒什麼關系，因為現在集群只起了1台server，zookeeper伺服器端起來會根據zoo.cfg的伺服器列表發起選舉leader的請求，因為連不上其他機器而報錯，那麼當我們起第二個zookeeper實例後，leader將會被選出，從而一致性服務開始可以使用，這是因為3台機器只要有2台可用就可以選出leader並且對外提供服務(2n+1台機器，可以容n台機器掛掉)。
接下來就可以使用了，我們可以先通過 zookeeper自帶的客戶端交互程序來簡單感受下zookeeper到底做一些什麼事情。進入zookeeper-3.3.2/bin（3個server中任意一個）下，./zkCli.sh –server 127.0.0.1:2182,我連的是開著2182埠的機器。
那麼，首先我們隨便打個命令，因為zookeeper不認識，他會給出命令的help,如下圖
ls(查看當前節點數據),
ls2(查看當前節點數據並能看到更新次數等數據) ,
create(創建一個節點) ,
get(得到一個節點，包含數據和更新次數等數據),
set(修改節點)
delete(刪除一個節點)
通過上述命令實踐，我們可以發現，zookeeper使用了一個類似文件系統的樹結構，數據可以掛在某個節點上，可以對這個節點進行刪改。另外我們還發現，當改動一個節點的時候，集群中活著的機器都會更新到一致的數據。
④ Zookeeper在hadoop中充當什麼角色，bbo使用zookeeper又是幹嘛的
Apache Zookeeper是我最近遇到的最酷的技術，我是在研究Solr Cloud功能的時候發現的。Solr的分布式計算讓我印象深刻。你只要開啟一個新的實例就能自動在Solr Cloud中找到。它會將自己分派到某個分片中，並確定出自己是一個Leader（源）還是一個副本。不一會兒，你就可以在你的那些伺服器上查詢到了。即便某些伺服器宕機了也可以繼續工作。非常動態、聰明、酷。
將運行多個應用程序作為一個邏輯程序並不是什麼新玩意。事實上，我在幾年前就已寫過類似的軟體。這種架構比較讓人迷惑，使用起來也費勁。為此Apache Zookeeper提供了一套工具用於管理這種軟體。
為什麼叫Zoo？「因為要協調的分布式系統是一個動物園」。
在本篇文章中，我將說明如何使用php安裝和集成Apache ZooKeeper。我們將通過service來協調各個獨立的PHP腳本，並讓它們同意某個成為Leader（所以稱作Leader選舉）。當Leader退出（或崩潰）時，worker可檢測到並再選出新的leader。
ZooKeeper是一個中性化的Service，用於管理配置信息、命名、提供分布式同步，還能組合Service。所有這些種類的Service都會在分布式應用程序中使用到。每次編寫這些Service都會涉及大量的修bug和競爭情況。正因為這種編寫這些Service有一定難度，所以通常都會忽視它們，這就使得在應用程序有變化時變得難以管理應用程序。即使處理得當，實現這些服務的不同方法也會使得部署應用程序變得難以管理。
雖然ZooKeeper是一個java應用程序，但C也可以使用。這里就有個PHP的擴展，由Andrei Zmievski在2009創建並維護。你可以從PECL中下載，或從GitHub中直接獲取PHP-ZooKeeper。
要使用該擴展你首先要安裝ZooKeeper。可以從官方網站下載。
$ tar zxfv zookeeper-3.4.5.tar.gz
$ cd zookeeper-3.4.5/src/c
$ ./configure --prefix=/usr/
$ make
$ sudo make install
這樣就會安裝ZooKeeper的庫和頭文件。現在准備編譯PHP擴展。
$ cd$ git clone https://github.com/andreiz/php-zookeeper.git
$ cd php-zookeeper
$ phpize
$ ./configure
$ make
$ sudo make install
將「zookeeper.so」添加到PHP配置中。
$ vim /etc/php5/cli/conf.d/20-zookeeper.ini
因為我不需要運行在web服務環境下，所以這里我只編輯了CLI的配置。將下面的行復制到ini文件中。
extension=zookeeper.so
使用如下命令來確定擴展是否已起作用。
$ php -m | grep zookeeper
zookeeper
現在是時候運行ZooKeeper了。目前唯一還沒有做的是配置。創建一個用於存放所有service數據的目錄。
$ mkdir /home/you-account/zoo
$ cd$ cd zookeeper-3.4.5/
$ cp conf/zoo_sample.cfg conf/zoo.cfg
$ vim conf/zoo.cfg
找到名為「dataDir」的屬性，將其指向「/home/you-account/zoo」目錄。
$ bin/zkServer.sh start
$ bin/zkCli.sh -server 127.0.0.1:2181[zk: 127.0.0.1:2181(CONNECTED) 14] create /test 1
Created /test[zk: 127.0.0.1:2181(CONNECTED) 19] ls /[test, zookeeper]
此時，你已成功連到了ZooKeeper，並創建了一個名為「/test」的znode（稍後我們會用到）。ZooKeeper以樹形結構保存數據。這很類似於文件系統，但「文件夾」（譯者註：這里指非最底層的節點）又和文件很像。znode是ZooKeeper保存的實體。Node（節點）的說法很容易被混淆，所以為了避免混淆這里使用了znode。
因為我們稍後還會使用，所以這里我們讓客戶端保持連接狀態。開啟一個新窗口，並創建一個zookeeperdemo1.php文件。
<?php
class ZookeeperDemo extends Zookeeper {
public function watcher( $i, $type, $key ) {
echo "Insider Watcher\n";
// Watcher gets consumed so we need to set a new one
$this->get( '/test', array($this, 'watcher' ) );
}
}
$zoo = new ZookeeperDemo('127.0.0.1:2181');$zoo->get( '/test', array($zoo, 'watcher' ) );
while( true ) {
echo '.';
sleep(2);}
現在運行該腳本。
$ php zookeeperdemo1.php
此處應該會每隔2秒產生一個點。現在切換到ZooKeeper客戶端，並更新「/test」值。
[zk: 127.0.0.1:2181(CONNECTED) 20] set /test foo
這樣就會靜默觸發PHP腳本中的「Insider Watcher」消息。怎麼會這樣的？
ZooKeeper提供了可以綁定在znode的監視器。如果監視器發現znode發生變化，該service會立即通知所有相關的客戶端。這就是PHP腳本如何知道變化的。Zookeeper::get方法的第二個參數是回調函數。當觸發事件時，監視器會被消費掉，所以我們需要在回調函數中再次設置監視器。
現在你可以准備創建分布式應用程序了。其中的挑戰是讓這些獨立的程序決定哪個（是leader）協調它們的工作，以及哪些（是worker）需要執行。這個處理過程叫做leader選舉，在ZooKeeper Recipes and Solutions你能看到相關的實現方法。
這里簡單來說就是，每個處理（或伺服器）緊盯著相鄰的那個處理（或伺服器）。如果一個已被監視的處理（也即Leader）退出或者崩潰了，監視程序就會查找其相鄰（此時最老）的那個處理作為Leader。
在真實的應用程序中，leader會給worker分配任務、監控進程和保存結果。這里為了簡化，我跳過了這些部分。
創建一個新的PHP文件，命名為worker.php。
<?php
class Worker extends Zookeeper {
const CONTAINER = '/cluster';
protected $acl = array(
array(
'perms' => Zookeeper::PERM_ALL,
'scheme' => 'world',
'id' => 'anyone' ) );
private $isLeader = false;
private $znode;
public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) {
parent::__construct( $host, $watcher_cb, $recv_timeout );
}
public function register() {
if( ! $this->exists( self::CONTAINER ) ) {
$this->create( self::CONTAINER, null, $this->acl );
}
$this->znode = $this->create( self::CONTAINER . '/w-',
null,
$this->acl,
Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );
$this->znode = str_replace( self::CONTAINER .'/', '', $this->znode );
printf( "I'm registred as: %s\n", $this->znode );
$watching = $this->watchPrevious();
if( $watching == $this->znode ) {
printf( "Nobody here, I'm the leader\n" );
$this->setLeader( true ); }
else {
printf( "I'm watching %s\n", $watching );
}
}
public function watchPrevious() {
$workers = $this->getChildren( self::CONTAINER );
sort( $workers );
$size = sizeof( $workers );
for( $i = 0 ; $i < $size ; $i++ ) {
if( $this->znode == $workers[ $i ] ) {
if( $i > 0 ) {
$this->get( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) );
return $workers[ $i - 1 ];
}
return $workers[ $i ];
}
}
throw new Exception( sprintf( "Something went very wrong! I can't find myself: %s/%s",
self::CONTAINER,
$this->znode ) );
}
public function watchNode( $i, $type, $name ) {
$watching = $this->watchPrevious();
if( $watching == $this->znode ) {
printf( "I'm the new leader!\n" );
$this->setLeader( true );
}
else {
printf( "Now I'm watching %s\n", $watching ); }
}
public function isLeader() {
return $this->isLeader;
}
public function setLeader($flag) {
$this->isLeader = $flag;
}
public function run() {
$this->register();
while( true ) {
if( $this->isLeader() ) {
$this->doLeaderJob();
}
else {
$this->doWorkerJob();
}
sleep( 2 );
}
}
public function doLeaderJob() {
echo "Leading\n";
}
public function doWorkerJob() {
echo "Working\n";
}
}
$worker = new Worker( '127.0.0.1:2181' );$worker->run();
打開至少3個終端，在每個終端中運行以下腳本：
# term1
$ php worker.php
I'm registred as: w-0000000001Nobody here, I'm the leader
Leading
# term2
$ php worker.php
I'm registred as: w-0000000002I'm watching w-0000000001
Working
# term3
$ php worker.php
I'm registred as: w-0000000003I'm watching w-0000000002
Working
現在模擬Leader崩潰的情形。使用Ctrl+c或其他方法退出第一個腳本。剛開始不會有任何變化，worker可以繼續工作。後來，ZooKeeper會發現超時，並選舉出新的leader。
雖然這些腳本很容易理解，但是還是有必要對已使用的Zookeeper標志作注釋。
$this->znode = $this->create( self::CONTAINER . '/w-', null, $this->acl, Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );
每個znode都是EPHEMERAL和SEQUENCE的。
EPHEMRAL代表當客戶端失去連接時移除該znode。這就是為何PHP腳本會知道超時。SEQUENCE代表在每個znode名稱後添加順序標識。我們通過這些唯一標識來標記worker。
在PHP部分還有些問題要注意。該擴展目前還是beta版，如果使用不當很容易發生segmentation fault。比如，不能傳入普通函數作為回調函數，傳入的必須為方法。我希望更多PHP社區的同仁可以看到Apache ZooKeeper的好，同時該擴展也會獲得更多的支持。
ZooKeeper是一個強大的軟體，擁有簡潔和簡單的API。由於文檔和示例都做的很好，任何人都可以很容易的編寫分布式軟體。讓我們開始吧，這會很有趣的。
⑤ 如何啟動hbase 自帶了一個 zkcli
常用到的HBase啟動腳本有：
1.$HBASE_HOME/bin/start-hbase.sh
啟動整個集群
2.$HBASE_HOME/bin/stop-hbase.sh
停止整個集群
3.$HBASE_HOME/bin/hbase-daemons.sh
啟動或停止，所有的regionserver或zookeeper或backup-master
4.$HBASE_HOME/bin/hbase-daemon.sh
啟動或停止，單個master或regionserver或zookeeper
以start-hbase.sh為起點，可以看看腳本間的一些調用關系
start-hbase.sh的流程如下：
1.運行hbase-config.sh（作用後面解釋）
2.解析參數（0.96版本及以後才可以帶唯一參數autorestart，作用就是重啟）
3.調用hbase-daemon.sh來啟動master；調用hbase-daemons.sh來啟動regionserver zookeeper master-backup
hbase-config.sh的作用：
裝載相關配置，如HBASE_HOME目錄，conf目錄，regionserver機器列表，JAVA_HOME目錄等，它會調用$HBASE_HOME/conf/hbase-env.sh
hbase-env.sh的作用：
主要是配置JVM及其GC參數，還可以配置log目錄及參數，配置是否需要hbase管理ZK，配置進程id目錄等
hbase-daemons.sh的作用：
根據需要啟動的進程，
如為zookeeper,則調用zookeepers.sh
如為regionserver，則調用regionservers.sh
如為master-backup，則調用master-backup.sh
zookeepers.sh的作用：
如果hbase-env.sh中的HBASE_MANAGES_ZK" = "true"，那麼通過ZKServerTool這個類解析xml配置文件，獲取ZK節點列表（即hbase.zookeeper.quorum的配置值），然後通過SSH向這些節點發送遠程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop zookeeper
regionservers.sh的作用：
與zookeepers.sh類似，通過${HBASE_CONF_DIR}/regionservers配置文件，獲取regionserver機器列表，然後SSH向這些機器發送遠程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop regionserver
master-backup.sh的作用：
通過${HBASE_CONF_DIR}/backup-masters這個配置文件，獲取backup-masters機器列表（默認配置中，這個配置文件並不存在，所以不會啟動backup-master）,然後SSH向這些機器發送遠程命令：
cd ${HBASE_HOME};
$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop master --backup
hbase-daemon.sh的作用：
無論是zookeepers.sh還是regionservers.sh或是master-backup.sh，最終都會調用本地的hbase-daemon.sh，其執行過程如下：
1.運行hbase-config.sh，裝載各種配置（java環境、log配置、進程ID目錄等）
2.如果是start命令？
滾動out輸出文件，滾動gc日誌文件，日誌文件中輸出啟動時間+ulimit -a信息，如
「Mon Nov 26 10:31:42 CST 2012 Starting master on dwxx.yy.taobao」
"..open files (-n) 65536.."
3.調用$HBASE_HOME/bin/hbase start master/regionserver/zookeeper
4.執行wait，等待3中開啟的進程結束
5.執行cleanZNode，將regionserver在zk上登記的節點刪除，這樣做的目的是：在regionserver進程意外退出的情況下，可以免去3分鍾的ZK心跳超時等待，直接由master進行宕機恢復
6.如果是stop命令？
根據進程ID，檢查進程是否存在；調用kill命令，然後等待到進程不存在為止
7.如果是restart命令？
調用stop後，再調用start。。。
$HBASE_HOME/bin/hbase的作用：
最終啟動的實現由這個腳本執行
1.可以通過敲入$HBASE_HOME/bin/hbase查看其usage
DBA TOOLS
shell run the HBase shell
hbck run the hbase 'fsck' tool
hlog write-ahead-log analyzer
hfile store file analyzer
zkcli run the ZooKeeper shell
PROCESS MANAGEMENT
master run an HBase HMaster node
regionserver run an HBase HRegionServer node
zookeeper run a Zookeeper server
rest run an HBase REST server
thrift run the HBase Thrift server
thrift2 run the HBase Thrift2 server
avro run an HBase Avro server
PACKAGE MANAGEMENT
classpath mp hbase CLASSPATH
version print the version
or
CLASSNAME run the class named CLASSNAME
2.bin/hbase shell,這個就是常用的shell工具，運維常用的DDL和DML都會通過此進行，其具體實現（對hbase的調用）是用ruby寫的
3.bin/hbase hbck, 運維常用工具，檢查集群的數據一致性狀態，其執行是直接調用
org.apache.hadoop.hbase.util.HBaseFsck中的main函數
4.bin/hbase hlog, log分析工具，其執行是直接調用
org.apache.hadoop.hbase.regionserver.wal.HLogPrettyPrinter中的main函數
5.bin/hbase hfile， hfile分析工具，其執行是直接調用
org.apache.hadoop.hbase.io.hfile.HFile中的main函數
6.bin/hbase zkcli,查看/管理ZK的shell工具，很實用，經常用，比如你可以通過（get /hbase-tianwu-94/master）其得知當前的active master,可以通過（get /hbase-tianwu-94/root-region-server）得知當前root region所在的server，你也可以在測試中通過（delete /hbase-tianwu-94/rs/dwxx.yy.taobao），模擬regionserver與ZK斷開連接，，，
其執行則是調用了org.apache.zookeeper.ZooKeeperMain的main函數
7.回歸到剛才hbase-daemon.sh對此腳本的調用為：
$HBASE_HOME/bin/hbase start master/regionserver/zookeeper
其執行則直接調用
org.apache.hadoop.hbase.master.HMaster
org.apache.hadoop.hbase.regionserver.HRegionServer
org.apache.hadoop.hbase.zookeeper.HQuorumPeer
的main函數，而這些main函數就是了new一個了Runnable的HMaster/HRegionServer/QuorumPeer，在不停的Running...
8.bin/hbase classpath 列印classpath
9.bin/hbase version 列印hbase版本信息
10.bin/hbase CLASSNAME， 這個很實用，所有實現了main函數的類都可以通過這個腳本來運行，比如前面的hlog hfile hbck工具，實質是對這個介面的一個快捷調用，而其他未提供快捷方式的class我們也可以用這個介面調用，如Region merge 調用：
$HBASE_HOME/bin/hbase/org.apache.hadoop.hbase.util.Merge
⑥ 用Centos的命令如何查看zookeeper集群中已經注冊的服務
使用 zk 提供的客戶端 zkCli.sh 就可以登錄到 zk 查看了
用 zkCli.sh 登錄到 zk 後, 使用 ls / 就可以查看注冊到 zk 根節點的所有服務了