『壹』 如何自己開發一套伺服器管理系統
轉載表面上看，是一套基於B/S方式實現的分布式管理系統，但其實背後的架構是基於C/S完成的。你以為他是一隻鞋嗎？其實他是一個吹風機。作為界面化的系統，瀏覽器框架是不可或缺的，但更加重要的東西在Socket上面。
一、需要解決中央控制端到各節點伺服器之間的通信。
這個其實牽扯到一個通信協議的問題，各語言都有自己的socket，thread的庫，直接調用即可。但是這個通信協議就需要自己來完成了。既不能太簡單，太簡單了，明碼傳輸，如果別人獲知了這個介面，就很容易執行一些令人討厭的操作。也不能太復雜，太復雜了等於是給自己找麻煩，所以簡單的數據包編解碼的工作或者用token驗證的方式是需要的。通信協議起碼要兩種，一種是傳輸命令執行的協議，一種是傳輸文件的協議。
二、跨語言的socket通信
為什麼要跨語言，主控端和代理端通信，用什麼語言開發其實無所謂。但是為了給自己省事，盡可能使用伺服器上已經有了的默認語言巧彎世，Ambari前期採用phppuppet的方式管理集群，這不是不可以，puppet自己解決了socket通信協議和文件傳輸鬧消的問題，可你需要為了puppet在每台伺服器上都安裝ruby。我是個有點伺服器和代碼潔癖的人。光是為了一個puppet就裝個ruby，我覺得心裡特對不起伺服器的資源。所以我自己寫了一個python的代理端。python是不管哪個linux系統在安裝的時候就都會有了。然後主控端的通信，可以用python實現，也可以用php實現，但是考慮到對於更多的使用者來說，改php可能要比改tornado簡單許多，所以就沒用python開發。hadoop分支版本眾多，發布出去，用戶要自己修改成安裝適合自己的hadoop發行版，就勢必要改源碼，會php的明顯比會python的多。php裡面的model封裝了所有的操作，而python只是個操作代理人的角色而已。
所以也延伸出一個問題，什麼語言用來做這種分布式管理系統的代理端比較合適，我自己覺得，也就是python比較合適了，操作系統自帶，原生的package功能基本夠用。用java和php也可以寫agent，但是你勢必在各節點預先就鋪設好jre或者php運行環境。這就跟為什麼用python和java寫mapred的人最多是一樣的。沒人攔著你用nodejs寫mapred，也可以寫，就是你得在每個節點都裝v8的解釋引擎，不嫌麻煩完全可以這樣干。原理參看map/rece論文，不解釋。perl也是操作系統原生帶的，但是perl的可維護性太差了，還是算了吧。
所以這就牽扯到一個跨語言的socket問題，理論上來說，這不存在什麼問題。但這是理論上的，實際開發過程中確實存在問題，比如socket長連接，通信數據包在底層的封裝方式不同。我沒有使用xml-rpc的原因之一就是我聽說php的xmlrpc跟其他語言的xmlrpc有不同的地方，需要修改才能用,我就沒有用這種辦法。最早是自己定義的操作協議，這時就遇到了這些問題，所以後來直接採用了thrift方式。就基本不存在跨語言的socket通信問題了。
三、代理端執行結果的獲取
無論命令還是文件是否在代理端執行成功，都需要獲取到執行結果返回給中央端。所以這里也涉及一個讀取節點上的stdout和stderr的問題。這個總體來說不是很難，都有現成的包。當然這個時候你需要的是阻塞執行，而不能搞非同步回調。
還有個問題是，我要盡可能使用python默認就帶的包，而盡量不讓伺服器去訪問internet下載第三方的包。
還有代理端最重要的一點，就是python的版本兼容性。centos5用python2.4，centos6用python2.6，ubuntu基本默認都是2.7。所以一定要最大限度的保證語言的跨版本兼容性，要是每個操作系統和每一個版本我都寫一個代理，我一個人就累死了。
四、瀏覽器端的model，view，controller
這裡面你要封裝好所有的通信協議，以及需要在節點上面執行的腳本。發送文件的操作和資料庫孝肢操作也要在model裡面完成。
如果對tcl/tk很熟，也可以寫基於操作系統界面方式的管理，不用瀏覽器就是了。
view對我來說是最痛苦的事，都是現學的jQuery怎麼用，前端的工作太可怕了。關於這方面，沒有太多可描述的，html和js帶給我的只有痛苦的回憶，萬惡的undefined。
五、跨操作系統的安裝文件封裝。
要適應不同的操作系統也是個很麻煩的事情，需要用agent提前獲知操作系統的發行分支，版本號。然後去找到對應的安裝文件去執行。你不能保證一個分布式系統的集群中所有的節點都可以訪問internet，更多的情況是這些節點都存在在一個安全的內網中。只有個別幾個節點是可以訪問外網的。所以，我勢必要把所有的安裝文件以及他們的依賴盡可能集中起來。我不確定安裝操作系統的lzo，yum或者apt-get會去下什麼鬼東西，甚至無論是yum還是apt-get，裡面都沒有hadoop-lzo的庫文件。所以，最好的辦法是自己編譯打包rpm和deb包。直接安裝就好了，別去找repo下載什麼。
這就是第五步工作，把需要的依賴的東西自己編譯打包成rpm和deb。
deb包很好解決，但是rpm就沒那麼好辦了，需要學習rpm的編譯文件如何編寫，這塊是挺麻煩的，但是這玩意用好了還是挺不錯的。現在我自製的安裝包裡面就已經包含了自己編譯的lzo和snappy兩種壓縮庫，以及hadoop-gpl-packaging的rpm和deb。下一個發布的easyhadoop將直接支持centos5,6，suse，以及ubuntu/debian的系統上安裝hadoop。已經自帶了lzo和snappy以及lzop和snzip。
六、把這些所有東西，整合到一個系統裡面。
關聯這些所有事情間的聯系，整合到一個瀏覽器界面裡面去。寫一個分布式的管理腳本不難，寫一個界面也不難，但是也許是我的水平不行，這兩件事結合起來讓他們協同工作還是有點難度的。對我來說，寫界面的工作可能更難一點。
Cloudera可能是十來個人在寫Manager的東西，ambari也是放到github和apachesvn上面，apache基金會的各種committer在寫。easyhadoop沒他們功能那麼強大，一年來只有我一個人設計架構，功能，各種語言的編碼，測試，發布。Fortheloveofgod,WhathaveIdone(英文部分請站在山頂仰天長嘯)?T_T。從前台到後台，到hadoop和生態系統以及他們的依賴軟體的單獨patch、編譯打包。(系統yum或者apt-get的包不如自己打的好使。)
從時間上來看，全球第一款開源的hadoop部署管理系統應該還是屬於ambari，2011年8月開始寫的，2012年9月底進入apache的incubator。我是大概2012年8月開始寫的easyhadoop，全球第一沒趕上，估計國內第一個開源的hadoop管理系統還是可以排上的。