javanagios

A. 為什麼運維用python

基於Python本身的優點：簡單，易學，速度快，免費、開源，高層語言，可移植性，解釋性，可擴展性，可嵌入性，豐富的庫，獨特的語法。Python已經成為現在編程的必備語言。作為「膠水語言」它能夠把其他語言製作的各種模塊輕松聯結在一起。
比起C和java，Python的魅力更為突顯，因為完成同一項任務，C語言需要1000行代碼，Java只需要100行代碼，而Python可能只需要20行就輕松搞定。
相關推薦：《Python入門教程》
Python在系統運維上的優勢在於其強大的開發多能力和完整的工業鏈，它的開發能力遠強於各種Shell和Perl，的確通過Shell腳本來實現自動化運維!藉助自動化運維來實現大規模集群維護的想法是對的，但由於Shell本身的可編程能力較弱，對很多日常維護中需要的特性支持不夠，也沒有現成的庫可以借鑒，各種功能都需要從頭寫起，所以說Shell腳本力量不夠。
而現Python是更好的選擇，Python除了易讀易寫更兼具面向對象和函數式風格，已經成為IT運維、科學計算、數據處理等領域的主要編譯語言。通過系統化的將各種管理工具結合，對各類工具進行二次開發，形成統一的伺服器管理系統。
和Python類似的Ruby也很適合編寫系統管理軟體，但是在相關庫和工具上比Python差遠了。
讓系統易運維管理是一個工程，Python在伺服器管理工具上非常豐富：配置管理(Saltstack)、批量執行( Fabric, saltstack)、監控(Zenoss, nagios 插件)、虛擬化管理( Python-libvirt)、進程管理 (Supervisor)、雲計算(Openstack)等，大部分系統C庫都有Python綁定。
作為一門編程語言，Python幾乎可以用在任何領域和場合，自身帶有無限可能，擔任任何角色。
從國內的豆瓣、搜狐、金山、騰訊、盛大、網易、網路、阿里、淘寶、熱酷、土豆、新浪、到國外的谷歌、NASA、YouTube、Facebook等互聯網巨頭公司都用Python完成各項任務。
隨著雲計算技術的發展與成熟，低端運維人員的市場越來越小，甚至是沒有市場，因為中小型公司不需要運維，而大公司的門檻高，低端運維沒有核心競爭力，會工程開發能力的運維才是大企業喜聞樂見的。
掌握linux技能是一個運維人員的基本，要勝任大公司以企業及的運維工作光會Linux還遠遠不夠。Linux+Python是運維的最佳搭配。

B. 大數據如何入門

首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

大數據

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

C. Java如何監控Linux系統。

啥叫監控linux系統？
寫java程序執行linux命令？
try {
String command = "ping localhost";
Process ps = Runtime.getRuntime().exec(command);
BufferedReader br = new BufferedReader(new InputStreamReader(ps
.getInputStream()));

String line;
System.out.println("------------------------");
while ((line = br.readLine()) != null) {
System.out.println(line);
}
System.out.println("------------------------");
} catch (Exception e) {
e.printStackTrace();
}
執行結果：

------------------------

Pinging xxx [127.0.0.1] with 32 bytes of data:

Reply from 127.0.0.1: bytes=32 time<1ms TTL=64

Reply from 127.0.0.1: bytes=32 time<1ms TTL=64

Reply from 127.0.0.1: bytes=32 time<1ms TTL=64

Reply from 127.0.0.1: bytes=32 time<1ms TTL=64

Ping statistics for 127.0.0.1:

Packets: Sent = 4, Received = 4, Lost = 0 (0% loss),

Approximate round trip times in milli-seconds:

Minimum = 0ms, Maximum = 0ms, Average = 0ms

------------------------
修改對應的command就應該可以了 不知道你是不是這個需求？

D. 如何設計一個mysql性能監控的軟體

首先介紹下 pt-stalk，它是 Percona-Toolkit 工具包中的一個工具，說起 PT 工具包大家都不陌生，平時常用的 pt-query-digest、 pt-online-schema-change 等工具都是出自於這個工具包，這里就不多介紹了。

pt-stalk 的主要功能是在出現問題時收集 OS 及 MySQL 的診斷信息，這其中包括：

1. OS 層面的 CPU、IO、內存、磁碟、網路等信息；

2. MySQL 層面的行鎖等待、會話連接、主從復制，狀態參數等信息。

而且 pt-stalk 是一個 Shell腳本，對於我這種看不懂 perl 的人來說比較友好，腳本裡面的監控邏輯與監控命令也可以拿來參考，用於構建自己的監控體系。

三、使用

接著我們來看下如何使用這個工具。

pt-stalk 通常以後台服務形式監控 MySQL 並等待觸發條件，當觸發條件時收集相關診斷數據。

觸發條件相關的參數有以下幾個：

• function：

  ∘默認為 status，代表監控 SHOW GLOBAL STATUS 的輸出；

  ∘也可以設置為 processlist，代表監控 show processlist 的輸出；

• variable：

  ∘默認為 Threads_running，代表 監控參數，根據上述監控輸出指定具體的監控項；

• threshold：

  ∘默認為 25，代表 監控閾值，監控參數超過閾值，則滿足觸發條件；

  ∘監控參數的值非數字時，需要配合 match 參數一起使用，如 processlist 的 state 列；

• cycles：

  ∘默認為 5，表示連續觀察到五次滿足觸發條件時，才觸發收集；

連接參數：host、password、port、socket。

• 其他一些重要參數：

• iterations：該參數指定 pt-stalk 在觸發收集幾次後退出，默認會一直運行。

• run-time：觸發收集後，該參數指定收集多長時間的數據，默認 30 秒。

• sleep：該參數指定在觸發收集後，sleep 多久後繼續監控，默認 300 秒。

• interval：指定狀態參數的檢查頻率，判斷是否需要觸發收集，默認 1 秒。

• dest：監控數據存放路徑，默認為 /var/lib/pt-stalk。

• retention-time ：監控數據保留時長，默認 30 天。

• daemonize：以後台服務運行，默認不開啟。

• log：後台運行日誌，默認為 /var/log/pt-stalk.log。

• collect：觸發發生時收集診斷數據，默認開啟。

  ∘collect-gdb：收集 GDB 堆棧跟蹤，需要 gdb 工具。

  ∘collect-strace：收集跟蹤數據，需要 strace 工具。

  ∘collect-tcpmp：收集 tcpmp 數據，需要 tcpmp 工具。

E. java如何對監控Mysql資料庫對象是否出現錯誤

你說的資料庫對象時什麼不太明白。。。

一般做資料庫監控都是定時執行一條簡單的sql就OK了

類似：

select(0)fromtest；

不過這個功能很多有數據源的服務，或者監控系統都實現了。

weblogic、nagios啥的都有這個功能，自己配一下就行。

資料庫監控埠也行，定時telnet