『壹』 如何使用Maven構建《hadoop權威指南3》隨書的源碼包
執行完上述步驟後，輸入hbase命令出現如下界面，就說明已經安裝成功了（別忘了執行". ~/.bashrc"使配置的環境變數生效）：
下面我們就可以切換到本書的源文件包的根目錄下使用maven來構建本書的jar包了：
% mvn package -DskipTests -Dhadoop.version=1.0.4
執行過這條命令後就是很長時間的等待，maven會到他的中央倉庫和apache的倉庫中下載所需要的jar包和pom.xml文件（這個過程可能要持續大約一個小時，要確保你的電腦已經連上網路，下載完成後在~/.m2/repository文件夾中——也即本地倉庫——可以看到已經下載下來的jar包和pom文件），然後再逐個構建根目錄下pom.xml中配置的moles，等所有的工作做完就可以看到已經打包的各個jar包，從而可以很方便的在命令行使用hadoop命令測試書中的代碼了
『貳』 hbase源代碼 純java開發的嗎
是的，純java開發的nosql
『叄』 如何啟動源碼hbase-0.98.10-src
編譯過程：
1.需要安裝（必須安裝前三個，都非常好安裝，直接export就好了）
Maven 3.3.1
findbugs 3.0.1
Java 1.7.0_06
Hadoop 2.2.0
HBase 0.98.1
2.生成pom
修改hadoop2版本：
vi pom.xml
<hadoop-two.version>2.2.0</hadoop-two.version>
『肆』 hbase源碼怎麼導入eclipse
hbase源碼導入eclipse分三步：
1.svn下載源碼
2.mvn package -Dmaven.test.skip.exec=true編譯源碼
3.導入eclipse，可以用插件，用mvn eclipse:eclipse生成eclipse文件，導入eclipse。
『伍』 hbase 源碼 什麼語言開發的
是用java開發的，hbase包含兩個核心服務，一個是HMaster，一個是HRegionServer，在hbase部署的伺服器上調用jps命令能查看到這兩個進程。
『陸』 hbase么,為什麼存儲速度快
1 ,了解hbase么，為什麼存儲速度快？
2理解spring么，它的AOP實現是基於什麼原理，bean的初始化過程是那些（涉及具體的源代碼）,在bean factory初始化前 ，運行中，初始化後想做些事情。該怎麼做？
3 struts1和strus2的區別，strust2關於 ThredLocal是什麼，strus2初始化部分的原理是什麼？
4多線程用過么？
5關於jvm，它是什麼樣的結構？，他的Gc演算法是什麼，什麼情況下會 out of memory?
6設計模式了解多少，工廠模式中的抽象工廠和簡單工廠模式用於那些場景，你怎麼理解策略模式，怎樣應用的？ 策略模式和狀態模式的本質區別，狀態模式和命令模式的區別？
7 連接池原理，連接池commit 後連接是否關閉？
1) HBASE存儲速度快嗎???請問hbase和誰比較,來說明存儲速度快?是在同等量級較差的MYSQL架構還是和mongodb/cassandra比較?
HBASE的存儲速度並不快,原因太多了.
2) bean factory初始化過程??這個問題是你問錯了,還是我TMD的不會啊??我只知道bean factory初始化bean的時候,可以使用factoryBean介面/InitializingBean介面,以及在bean配置文件中指定init初始化方法等來"補充"初始化過程...
3) struts這爛貨技術,我就不再羅嗦,對於threadLocal這個玩意,是spring/struts中框架中最常用的"基於線程內"對象引用管理的絕B手段,任何一個Thread實例(請參看Thread API)都有一個threadLocalMap屬性,此屬性即保持了當前thread中所有的threadLocal對象.ThreadLocal給我們提供了訪問和傳遞"用戶實現級別線程私有變數"的極佳的手段..
4) 多線程用戶嗎??MLGB的,這問題問的,老子經常用.面試官同學,你用過多線程嗎??你會死在多線程中,知道不??問點具體的行不??你用過java不??
你用過電腦不??
5) JVM的結構是什麼??請問你是想知道JVM的內存模型??這個,我可以不告訴嗎?你猜!!!
GC演算法是什麼??這個嘛,回答思路:對象標記演算法 ---->GC種類 -->GC演算法.
什麼時候會OOM?好多可能的奧,最直觀的說舊時代或者持久帶放不下了唄,無論是minor GC還是full GC還是創建對象都無法在數據重分配時滿足內存要求時,不過還有奧,就是你通過"直接內存分配"時OS也滿足不了你的時候,也會OOM奧..那你就講講minor GC和full GC的過程唄..
6) 設計模式嘛,這個玩意,目前在整個軟體工程中,就是個幽靈,說白了也算是個操蛋的理論....我不再贅述.
7) 連接池,是一個廣義的概念,廣泛存在於所有基於IO操作的server架構中.覆蓋了多種數據存儲服務/客戶端數據存取服務/基於server的web服務模式下.我們的tomcat,mysql,mongodb,甚至我們的基於OS的各種驅動器等等等等,fuck太多了....你是想問mysql嗎??
commit是提交數據變更(無論是顯式的還是隱式的),它和關閉連接由關系嗎??TMD的各種客戶端驅動程序實現都有,你到底想問那種實現呢??或者我問,為什麼要關閉連接呢??我TMD的commit一次,你給我關閉一次,你TMD的這么設計時坑爹的嗎??
http://www.iteye.com/topic/1129201
『柒』 在ubuntu環境下怎麼利用python將數據批量導入數據hbase
能夠單條導入就能夠批量導入
配置 thrift
python使用的包 thrift
個人使用的python 編譯器是pycharm community edition. 在工程中設置中，找到project interpreter， 在相應的工程下，找到package，然後選擇 「+」 添加， 搜索 hbase-thrift (Python client for HBase Thrift interface),然後安裝包。
安裝伺服器端thrift。
參考官網，同時也可以在本機上安裝以終端使用。
thrift Getting Started
也可以參考安裝方法 python 調用HBase 範例
首先，安裝thrift
下載thrift，這里，我用的是thrift-0.7.0-dev.tar.gz 這個版本
tar xzf thrift-0.7.0-dev.tar.gz
cd thrift-0.7.0-dev
sudo ./configure –with-cpp=no –with-ruby=no
sudo make
sudo make install
然後，到HBase的源碼包里，找到
src/main/resources/org/apache/hadoop/hbase/thrift/
執行
thrift –gen py Hbase.thrift
mv gen-py/hbase/ /usr/lib/python2.4/site-packages/ (根據python版本可能有不同)
獲取數據示例 1
# coding:utf-8
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
# from hbase.ttypes import ColumnDescriptor, Mutation, BatchMutation
from hbase.ttypes import *
import csv
def client_conn():
# Make socket
transport = TSocket.TSocket('hostname,like:localhost', port)
# Buffering is critical. Raw sockets are very slow
transport = TTransport.TBufferedTransport(transport)
# Wrap in a protocol
protocol = TBinaryProtocol.TBinaryProtocol(transport)
# Create a client to use the protocol encoder
client = Hbase.Client(protocol)
# Connect!
transport.open()
return client
if __name__ == "__main__":
client = client_conn()
# r = client.getRowWithColumns('table name', 'row name', ['column name'])
# print(r[0].columns.get('column name')), type((r[0].columns.get('column name')))
result = client.getRow("table name","row name")
data_simple =[]
# print result[0].columns.items()
for k, v in result[0].columns.items(): #.keys()
#data.append((k,v))
# print type(k),type(v),v.value,,v.timestamp
data_simple.append((v.timestamp, v.value))
writer.writerows(data)
csvfile.close()
csvfile_simple = open("data_xy_simple.csv", "wb")
writer_simple = csv.writer(csvfile_simple)
writer_simple.writerow(["timestamp", "value"])
writer_simple.writerows(data_simple)
csvfile_simple.close()
print "finished"
會基礎的python應該知道result是個list，result[0].columns.items()是一個dict 的鍵值對。可以查詢相關資料。或者通過輸出變數，觀察變數的值與類型。
說明：上面程序中 transport.open()進行鏈接，在執行完後，還需要斷開transport.close()
目前只涉及到讀數據，之後還會繼續更新其他dbase操作。
『捌』 如何解決 hbase regiontoobusyexception
Hbase掃描時拋出ScannerTimeoutException處理
在對Hbase進行Scan的時候有時候會拋出ScannerTimeoutException，場景如下：
2012 15:28:52 (14mins, 41sec)
org.apache.hadoop.hbase.client.ScannerTimeoutException: 60622ms passed since the last invocation, timeout is currently set to 60000
at org.apache.hadoop.hbase.client.HTable$ClientScanner.next(HTable.java:1196)
at org.apache.hadoop.hbase.maprece.TableRecordReaderImpl.nextKeyValue(TableRecordReaderImpl.java:133)
at org.apache.hadoop.hbase.maprece.TableRecordReader.nextKeyValue(TableRecordReader.java:142)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:532)
at org.apache.hadoop.maprece.MapContext.nextKeyValue(MapContext.java:67)
at org.apache.hadoop.maprece.Mapper.run(Mapper.java:143)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
原因查看步驟：
查找源碼如下：
long timeout = lastNext + scannerTimeout;
// If we are over the timeout, throw this exception to the client
// Else, it's because the region moved and we used the old id
// against the new region server; reset the scanner.
if (timeout < System.currentTimeMillis()) {
long elapsed = System.currentTimeMillis() - lastNext;
ScannerTimeoutException ex = new ScannerTimeoutException(
elapsed + "ms passed since the last invocation, " +
"timeout is currently set to " + scannerTimeout);
ex.initCause(e);
throw ex;
}
核實下如下代碼
long timeout = lastNext + scannerTimeout;
得出：ClientScanner.lastNext和HTable.scannerTimeout
跟蹤：HTable.scannerTimeout
this.scannerTimeout =
(int) conf.getLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY, HConstants.DEFAULT_HBASE_REGIONSERVER_LEASE_PERIOD);
查看HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY和HConstants.DEFAULT_HBASE_REGIONSERVER_LEASE_PERIOD
我們可以得知如果沒有設置HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY那麼他們採用默認值即
public static long DEFAULT_HBASE_REGIONSERVER_LEASE_PERIOD = 60000;
跟蹤：ClientScanner.lastNext發現此為上次訪問時間
解決方案：
可以通過設置HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY解決
代碼如下：
config.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY, 120000);
『玖』 cdh hbase源碼在什麼地方
V3源碼，專業齊全，完整
『拾』 zookeeper有多少行代碼
ZooKeeper是一個分布式的，開放源碼的分布式應用程序協調服務，是Google的Chubby一個開源的實現，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟體，提供的功能包括：配置維護、名字服務、分布式同步、組服務等。