第一步: 配置存儲池
Virsh命令行工具是一款管理virsh客戶域的用戶界面。virsh程序能在命令行中運行所給的命令以及它的參數。
本節中，我們要用它給我們的KVM環境創建存儲池。想知道關於這個工具的更多信息，用以下這條命令。
# man virsh
用virsh帶pool-define-as的命令來定義新的存儲池，你需要指定名字、類型和類型參數。
本例中，我們將名字取為Spool1，類型為目錄。默認情況下你可以提供五個參數給該類型：
source-host
source-path
source-dev
source-name
target
對於目錄類型，我們需要用最後一個參數「target」來指定存儲池的路徑，其它參數項我們可以用「-」來填充。
# virsh pool-define-as Spool1 dir - - - - "/mnt/personal-data/SPool1/"
創建新存儲池
2. 查看環境中我們所有的存儲池，用以下命令。
# virsh pool-list --all
列出所有存儲池
3. 現在我們來構造存儲池了，用以下命令來構造我們剛才定義的存儲池。
# virsh pool-build Spool1
構造存儲池
4. 用帶pool-start參數的virsh命令來激活並啟動我們剛才創建並構造完成的存儲池。
# virsh pool-start Spool1
激活存儲池
5. 查看環境中存儲池的狀態，用以下命令。
# virsh pool-list --all
2. linux開機啟動會依次載入哪些腳本
1、相關基礎知識點x0dx0a 1）redhat的啟動方式和執行次序是： x0dx0a載入內核 x0dx0a執行init程序 x0dx0a /etc/rc.d/rc.sysinit # 由init執行的第一個腳本 x0dx0a /etc/rc.d/rc $RUNLEVEL # $RUNLEVEL為預設的運行模式 x0dx0a /etc/rc.d/rc.local #相應級別服務啟動之後、在執行該文件（其實也可以把需要執行的命令寫到該文件中）x0dx0a /sbin/mingetty # 等待用戶登錄 x0dx0ax0dx0a在Redhat中，/etc/rc.d/rc.sysinit主要做在各個運行模式中相同的初始化工作，包括： x0dx0a調入keymap以及系統字體 x0dx0a啟動swapping x0dx0a設置主機名 x0dx0a設置NIS域名 x0dx0a檢查（fsck）並mount文件系統 x0dx0a打開quota x0dx0a裝載音效卡模塊 x0dx0a設置系統時鍾 x0dx0ax0dx0a等等。 x0dx0a /etc/rc.d/rc則根據其參數指定的運行模式(運行級別，你在inittab文件中可以設置)來執行相應目錄下的腳本。凡是以Kxx開頭的，都以stop為參數來調用；凡是以Sxx開頭的，都以start為參數來調用。調用的順序按xx從小到大來執行。(其中xx是數字、表示的是啟動順序)例如，假設預設的運行模式是3，/etc/rc.d/rc就會按上述方式調用 /etc/rc.d/rc3.d/下的腳本。 x0dx0ax0dx0a值得一提的是，Redhat中的運行模式2、3、5都把/etc/rc.d/rc.local做為初始化腳本中的最後一個，所以用戶可以自己在這個文件中添加一些需要在其他初始化工作之後，登錄之前執行的命令。 x0dx0a init在等待/etc/rc.d/rc執行完畢之後（因為在/etc/inittab中/etc/rc.d/rc的 x0dx0a action是wait），將在指定的各個虛擬終端上運行/sbin/mingetty，等待用戶的登錄。 x0dx0ax0dx0a至此，LINUX的啟動結束。x0dx0a 2、init運行級別及指令x0dx0ax0dx0a一、什麼是INIT: x0dx0ainit是Linux系統操作中不可缺少的程序之一。 x0dx0a所謂的init進程，它是一個由內核啟動的用戶級進程。 x0dx0a內核自行啟動（已經被載入內存，開始運行，並已初始化所有的設備驅動程序和數據結構等）之後，就通過啟動一個用戶級程序init的方式，完成引導進程。所以,init始終是第一個進程（其進程編號始終為1）。 x0dx0a內核會在過去曾使用過init的幾個地方查找它，它的正確位置（對Linux系統來說）是/sbin/init。如果內核找不到init，它就會試著運行/bin/sh，如果運行失敗，系統的啟動也會失敗。x0dx0a二、運行級別 x0dx0a那麼，到底什麼是運行級呢？ x0dx0a簡單的說，運行級就是操作系統當前正在運行的功能級別。這個級別從1到6 ，具有不同的功能。 x0dx0a不同的運行級定義如下 x0dx0a# 0 - 停機（千萬不能把initdefault 設置為0 ） x0dx0a# 1 - 單用戶模式 # s init s = init 1x0dx0a# 2 - 多用戶，沒有 NFS x0dx0a# 3 - 完全多用戶模式(標準的運行級) x0dx0a# 4 - 沒有用到 x0dx0a# 5 - X11 多用戶圖形模式（xwindow) x0dx0a# 6 - 重新啟動 （千萬不要把initdefault 設置為6 ） x0dx0a這些級別在/etc/inittab 文件里指定。這個文件是init 程序尋找的主要文件，最先運行的服務是放在/etc/rc.d 目錄下的文件。在大多數的Linux 發行版本中，啟動腳本都是位於 /etc/rc.d/init.d中的。這些腳本被用ln 命令連接到 /etc/rc.d/rcn.d 目錄。(這里的n 就是運行級0-6) x0dx0a 3）：chkconfig 命令（redhat 操作系統下）x0dx0ax0dx0a不像DOS 或者 Windows，Linux 可以有多種運行級。常見的就是多用戶的2,3,4,5 ，很多人知道 5 是運行 X-Windows 的級別，而 0 就x0dx0a是關機了。運行級的改變可以通過 init 命令來切換。例如，假設你要維護系統進入單用戶狀態，那麼，可以使用 init 1 來切換。在 Linux 的運行級的切換過程中，系統會自動尋找對應運行級的目錄/etc/rc[0-6].d下的K 和 S 開頭的文件，按後面的數字順序，執行這x0dx0a些腳本。對這些腳本的維護，是很繁瑣的一件事情，Linux 提供了chkconfig 命令用來更新和查詢不同運行級上的系統服務。 x0dx0ax0dx0a語法為： x0dx0a chkconfig --list [name] x0dx0a chkconfig --add name x0dx0a chkconfig --del name x0dx0a chkconfig [--level levels] name x0dx0a chkconfig [--level levels] name x0dx0a chkconfig 有五項功能：添加服務，刪除服務，列表服務，改變啟動信息以及檢查特定服務的啟動狀態。 x0dx0a chkconfig 沒有參數運行時，顯示用法。如果加上服務名，那麼就檢查這個服務是否在當前運行級啟動。如果是，返回 true，否則返回false。 --level 選項可以指定要查看的運行級而不一定是當前運行級。 x0dx0ax0dx0a如果在服務名後面指定了on，off 或者 reset，那麼 chkconfig 會改變指定服務的啟動信息。on 和 off 分別指服務在改變運行級時的啟動和停止。reset 指初始化服務信息，無論有問題的初始化腳本指定了什麼。 x0dx0ax0dx0a對於 on 和 off 開關，系統默認只對運行級 3，4， 5有效，但是 reset 可以對所有運行級有效。指定 --level 選項時，可以選擇特定的運行級。 x0dx0a x0dx0a需要說明的是，對於每個運行級，只能有一個啟動腳本或者停止腳本。當切換運行級時，init 不會重新啟動已經啟動的服務，也不會再次去停止已經停止的服務。 x0dx0ax0dx0a選項介紹： x0dx0a --level levels x0dx0ax0dx0a指定運行級，由數字 0 到 7 構成的字元串，如： x0dx0a --level 35 表示指定運行級3 和5。 x0dx0ax0dx0a要在運行級別3、4、5中停運 nfs 服務，使用下面的命令：chkconfig --level 345 nfs off x0dx0a --add name x0dx0ax0dx0a這個選項增加一項新的服務，chkconfig 確保每個運行級有一項啟動(S) 或者 殺死(K) 入口。如有缺少，則會從預設的init 腳本自動x0dx0a建立。 x0dx0a --del name x0dx0ax0dx0a用來刪除服務，並把相關符號連接從 /etc/rc[0-6].d 刪除。 x0dx0a --list name x0dx0ax0dx0a列表，如果指定了name 那麼只是顯示指定的服務名，否則，列出全部服務在不同運行級的狀態。 x0dx0ax0dx0a運行級文件 x0dx0ax0dx0a每個被chkconfig 管理的服務需要在對應的init.d 下的腳本加上兩行或者更多行的注釋。 x0dx0ax0dx0a第一行告訴 chkconfig 預設啟動的運行級以及啟動和停止的優先順序。如果某服務預設不在任何運行級啟動，那麼使用 - 代替運行級。 x0dx0ax0dx0a第二行對服務進行描述，可以用 跨行注釋。 x0dx0ax0dx0a例如，random.init 包含三行： x0dx0a # chkconfig: 2345 20 80 x0dx0a # description: Saves and restores system entropy pool for x0dx0a # higher quality random number generation. x0dx0ax0dx0a表明 random 腳本應該在運行級 2, 3, 4, 5 啟動，啟動優先權為20，停止優先權為 80。 x0dx0ax0dx0a好了，介紹就到這里了，去看看自己目錄下的/etc/rc.d/init.d 下的腳本吧。 x0dx0ax0dx0a設置自啟動服務:chkconfig --level 345 nfs on x0dx0a2. 實例介紹：x0dx0a 1、在linux下安裝了apache 服務（通過下載二進制文件經濟編譯安裝、而非rpm包）、apache 服務啟動命令： /server/apache/bin/apachectl start 。讓apache服務運行在運行級別3下面。x0dx0a命令如下： x0dx0a 1）touch /etc/rc.d/init.d/apachex0dx0a vi /etc/rc.d/init.d/apachex0dx0a chown -R root /etc/rc.d/init.d/apachex0dx0a chmod 700 /etc/rc.d/init.d/apachex0dx0a ln -s /etc/rc.d/init.d/apache /etc/rc.d/rc3.d/S60apache #S 是start的簡寫、代表啟動、K是kill的簡寫、代表關閉。60數字x0dx0a代表啟動的順序。（對於iptv系統而言、許多服務都是建立在資料庫啟動的前提下才能夠正常啟動的、可以通過該數字就行調整腳本的啟動順序）） x0dx0a apache的內容：x0dx0a #!/bin/bashx0dx0a #Start httpd servicex0dx0a /server/apache/bin/apachectl startx0dx0ax0dx0a至此 apache服務就可以在運行級別3下 隨機自動啟動了。（可以結合chkconfig 對啟動服務進行相應的調整）。x0dx0a由於相關變數定義不同, 所以以下啟動順序僅供參考x0dx0a在Redhat Redflag centos fc linux系統裡面腳本的啟動x0dx0a先後：x0dx0a第一步：通過/boot/vm進行啟動 vmlinuzx0dx0a第二步：init /etc/inittabx0dx0a第三步：啟動相應的腳本，並且打開終端x0dx0arc.sysinitx0dx0arc.d(裡面的腳本）x0dx0arc.localx0dx0a第四步：啟動login登錄界面 loginx0dx0a第五步:在用戶登錄的時候執行sh腳本的順序：每次登錄的時候都會完全執行的x0dx0a/etc/profile.d/filex0dx0a/etc/profilex0dx0a/etc/bashrcx0dx0a/root/.bashrcx0dx0a/root/.bash_profilex0dx0a編者註：x0dx0aNtsysv命令也可以實現根據不同運行級別啟動不同的服務，但是一定要注意，使用ntsysv命令，默認採用圖形的方式管理服務的啟動，但是在這種情況下設置的服務，只對當前的運行級別有效果！因此，建議最好還是使用 chkconfig 來進行服務的管理。
3. 關於linux下多線程編程
pthread_join 線程停止等待函數沒有調用
pthread_create 線程生成後，沒有等子線程停止，主線程就先停止了。
主線程停止後，整個程序停止，子線程在沒有printf的時候就被結束了。
結論：不是你沒有看到結果，而是在子線程printf("..................\n");之前整個程序就已經停止了。
#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <string.h>
#include <unistd.h>
#include <pthread.h>
#define FALSE -1
#define TRUE 0
void *shuchu( void *my )
{
int j;
printf("..................\n");
}
int main()
{
int i = 0;
int rc = 0;
int ret1;
pthread_t p_thread1;
if(0!=(ret1 = pthread_create(&p_thread1, NULL, shuchu, NULL)))printf("sfdfsdfi\n");
printf("[%d]\n",p_thread1);
pthread_join(p_thread1, NULL);
return TRUE;
}
4. 配置Linux的時鍾同步
Ubuntu系統默認的時鍾同步伺服器是ntp.ubuntu.com，Debian則是0.debian.pool.ntp.org等， 各Linux發行版都有自己的NTP官方伺服器。身在中國，使用這些都會有高延遲，但對時鍾同步這件事來說影響不大。
在某些環境下，比如公司內網、雲上子網等，是與互聯網隔絕的。這時要想做時鍾同步，就只能自己配置了。
本文介紹如何自己配置時鍾同步，不介紹如何自建NTP伺服器。
一般timesync是預裝的。如果沒有，可以使用以下命令手動安裝。
sudo apt install systemd-timesyncd 它和ntp是沖突的，二者只能安裝一個。
修改/etc/systemd/timesyncd.conf，把NTP設為華為內綠區可達的NTP伺服器。
修改完成後，需要restart後這個配置才生效。
如果以上systemd-timesyncd.service因為什麼原因而不存在，則可通過以下命令修復：
一般查看日期與時間是使用date。使用timedatectl可以查看到更多時鍾同步相關信息。
以下給出一些阿里雲的NTP列表，可以通過ping擇優使用。
以上就是 良許教程網 為各位朋友分享的配置Linux的時鍾同步。
最後，最近很多小夥伴找我要 Linux學習路線圖 ，於是我根據自己的經驗，利用業余時間熬夜肝了一個月，整理了一份電子書。無論你是面試還是自我提升，相信都會對你有幫助！目錄如下：
免費送給大家，只求大家金指給我點個贊！
電子書 | Linux開發學習路線圖
也希望有小夥伴能加入我，把這份電子書做得更完美！
推薦閱讀：
5. 請教LINUX怎麼配置主備DHCP伺服器
第一節：安裝軟體包
用命令行安裝軟體包（在第5張光碟上）或直接「添加刪除程序--網路伺服器」，只要安裝dhcp-3.0.1-59.EL4.i386.rpm：
第二節：配置DHCP雙機負載均衡
目前DHCP-Failover（雖然叫failover，但實際上是雙機同時在工作）僅支持最多兩個節點。配置文件和單機配置一樣，依然是/etc/dhcpd.conf；但出於方便管理的目的，在部署時，我們把地址池的配置放在/etc/dhcpd.master文件中，然後在/etc/dhcpd.conf中調用。
主節點的/etc/dhcpd.conf：
authoritative;
ddns-update-style interim;
ignore client-updates;
one-lease-per-client true;
failover peer "dhcp" {
primary;
address 10.14.0.9;
port 520;
peer address 10.14.0.13;
peer port 519;
max-response-delay 60;
max-unacked-updates 10;
mclt 600;
split 128;
load balance max seconds 3;
}
include "/etc/dhcpd.master";
次節點的/etc/dhcpd.conf：
authoritative;
ddns-update-style interim;
ignore client-updates;
one-lease-per-client true;
failover peer "dhcp" {
secondary;
address 10.14.0.13;
port 519;
peer address 10.14.0.9;
peer port 520;
max-response-delay 60;
max-unacked-updates 10;
}
include "/etc/dhcpd.master";
【注意】
1、兩台dhcp server的時間必須同步，可用ntp
2、Dhcp Failover的互相監聽地址可以採用專用網卡互相直連做心跳的方式，甚至心跳卡可以考慮雙網卡綁定！從而使監聽和網路數據流分開，即使網路中斷亦不會因此導致dhcp雙機中斷，如下所示：
這種時候Failover專用介面所在網段，可在地址池中定義一個空池，不做任何地址分配操作：
subnet x.x.x.x netmask 255.255.255.248 {
}
本文列出的配置是採用心跳和數據網卡混用的方式。
/etc/dhcpd.conf
主控伺服器
authoritative;
ddns-update-style interim;
ignore client-updates;
one-lease-per-client true;
failover peer "dhcp" {
primary;
address 10.14.0.9;
port 520;
peer address 10.14.0.13;
peer port 519;
max-response-delay 60;
max-unacked-updates 20;
mclt 3600;
split 128;
load balance max seconds 3;
}
include "/etc/dhcpd.master";
說明
說明這是正式（官方）伺服器，而非測試用
動態DNS的更新方式，有3種1
不允許客戶機更新DNS記錄
每一個客戶機對應一個租約信息（文件）2
指定本機所屬failover域的識別碼為dhcp
指定本機為主控伺服器
指定本機的監聽地址
指定本機的監聽埠
對端的監聽地址
對端的監聽埠
最大無響應時間 60秒，如果地址池很多這個時間可加大3
在得到對端響應之前，最多連續發送20個消息
雙機聯系中斷時所分配的地址的租約時間，3600秒
負載分擔比例，取值0－256，128為平均分擔負載
地址池文件
【注1】這個style參數必須是interim(推薦)、ad-hoc或者none
【注2】假如這個標志配置成true（enabled），當一個客戶端發送一個DHCPREQUEST信息來租用租約時，伺服器會自動釋放任何這個客戶的任何其他租約。伺服器假定當一個客戶端發送DHCPREQUEST信息時，他已忘記任何他沒有在 DHCPREQUEST中提到的租約，例如，客戶端只是個簡單的網路介面，不能記住原來擁有而現在不用的租約。這些假定都是沒有確保，而且不可證實的，因此小心使用這個語句。
【注3】如果這個值不夠大，會發生地址池還未同步結束，就產生連接中斷現象。在擁有近1萬個地址池時，這個值被設為180。
/etc/dhcpd.master
兩個節點的地址池配置必須保持完全一致。
option domain-name-servers 10.14.0.9,10.14.0.13;
default-lease-time 21600;
max-lease-time 43200;
subnet 10.14.0.8 netmask 255.255.255.248 {
option routers 10.14.0.14;
pool {
failover peer "dhcp";
range 10.14.0.11 10.14.0.12;
deny dynamic bootp clients;
}
}
#shuniu
subnet 10.0.0.0 netmask 255.255.224.0 {
option routers 10.0.31.254;
pool {
failover peer "dhcp";
range 10.0.0.1 10.0.31.250;
deny dynamic bootp clients;
}
}
......
有多少個網段就有多少個地址池，一個個配置下去。
域名伺服器
默認租約時間（6小時）
最大租約時間
定義子網/掩碼
定義子網的網關
地址池
屬於名為 dhcp 的failover組
地址范圍，可多條range
拒絕bootp客戶端
第三節：管理操作
在兩個節點依次啟動dhcp服務，先主後備。
# service dhcpd start
配置自動啟動
# chkconfig dhcpd on
驗證
# netstat -anutp | grep dhcpd
udp 0 0 0.0.0.0:67 0.0.0.0:* 6581/dhcpd
查看地址租借信息
# cat /var/lib/dhcp/dhcpd.leases
3.1、租約文件
dhcpd每次都會把所有的租借信息寫到/var/lib/dhcpd.leases文件中，上一次的租借文件被改名成dhcpd.leases~
3.2、地址池同步
每次重啟DHCP服務時，雙機都會自動執行地址池同步操作。
在次伺服器上：
# service dhcpd congrestart
3.3、查看日誌信息
凡是有任何和DHCP伺服器的地址分配有關的故障，都可以通過查看日誌文件分析出原因並得以處理。
# tail -f /var/log/messages
其他的故障絕大部分是由於作為中轉的DHCP-RELAY設備配置有問題導致。
3.4、簡要故障
1、某台伺服器無法為某個網段的客戶機提供地址租借服務
有時會由於某種原因導致雙機地址池無法合理分配，比如主伺服器掌控了某個地址池的所有地址，這時需要先停止兩個節點的dhcp服務，刪除兩個節點的地址租約文件，然後依次重啟服務。
2、無法形成雙機
請注意兩個節點的時間是否一致，如果時間差距太大，比如2分鍾，兩台dhcp伺服器將無法形成集群。可通過配置ntp保持兩個節點的時間同步。
6. 如何看懂《Linux多線程服務端編程
一：進程和線程
每個進程有自己獨立的地址空間。「在同一個進程」還是「不在同一個進程」是系統功能劃分的重要決策點。《Erlang程序設計》[ERL]把進程比喻為人：
每個人有自己的記憶（內存），人與人通過談話（消息傳遞）來交流，談話既可以是面談（同一台伺服器），也可以在電話里談（不同的伺服器，有網路通信）。面談和電話談的區別在於，面談可以立即知道對方是否死了（crash,SIGCHLD），而電話談只能通過周期性的心跳來判斷對方是否還活著。
有了這些比喻，設計分布式系統時可以採取「角色扮演」，團隊里的幾個人各自扮演一個進程，人的角色由進程的代碼決定（管登錄的、管消息分發的、管買賣的等等）。每個人有自己的記憶，但不知道別人的記憶，要想知道別人的看法，只能通過交談（暫不考慮共享內存這種IPC）。然後就可以思考：
·容錯：萬一有人突然死了
·擴容：新人中途加進來
·負載均衡：把甲的活兒挪給乙做
·退休：甲要修復bug，先別派新任務，等他做完手上的事情就把他重啟
等等各種場景，十分便利。
線程的特點是共享地址空間，從而可以高效地共享數據。一台機器上的多個進程能高效地共享代碼段(操作系統可以映射為同樣的物理內存)，但不能共享數據。如果多個進程大量共享內存，等於是把多進程程序當成多線程來寫，掩耳盜鈴。
「多線程」的價值，我認為是為了更好地發揮多核處理器(multi-cores)的效能。在單核時代，多線程沒有多大價值（個人想法：如果要完成的任務是CPU密集型的，那多線程沒有優勢，甚至因為線程切換的開銷，多線程反而更慢；如果要完成的任務既有CPU計算，又有磁碟或網路IO，則使用多線程的好處是，當某個線程因為IO而阻塞時，OS可以調度其他線程執行，雖然效率確實要比任務的順序執行效率要高，然而，這種類型的任務，可以通過單線程的」non-blocking IO+IO multiplexing」的模型（事件驅動）來提高效率，採用多線程的方式，帶來的可能僅僅是編程上的簡單而已）。Alan Cox說過：」A computer is a state machine.Threads are for people who can』t program state machines.」（計算機是一台狀態機。線程是給那些不能編寫狀態機程序的人准備的）如果只有一塊CPU、一個執行單元，那麼確實如Alan Cox所說，按狀態機的思路去寫程序是最高效的。
二：單線程伺服器的常用編程模型
據我了解，在高性能的網路程序中，使用得最為廣泛的恐怕要數」non-blocking IO + IO multiplexing」這種模型，即Reactor模式。
在」non-blocking IO + IO multiplexing」這種模型中，程序的基本結構是一個事件循環（event loop），以事件驅動（event-driven）和事件回調的方式實現業務邏輯：
[cpp] view plain
//代碼僅為示意，沒有完整考慮各種情況
while(!done)
{
int timeout_ms = max(1000, getNextTimedCallback());
int retval = poll(fds, nfds, timeout_ms);
if (retval<0){
處理錯誤，回調用戶的error handler
}else{
處理到期的timers,回調用戶的timer handler
if(retval>0){
處理IO事件，回調用戶的IO event handler
}
}
}
這里select(2)/poll(2)有伸縮性方面的不足（描述符過多時，效率較低），Linux下可替換為epoll(4)，其他操作系統也有對應的高性能替代品。
Reactor模型的優點很明顯，編程不難，效率也不錯。不僅可以用於讀寫socket，連接的建立(connect(2)/accept(2))，甚至DNS解析都可以用非阻塞方式進行，以提高並發度和吞吐量(throughput)，對於IO密集的應用是個不錯的選擇。lighttpd就是這樣，它內部的fdevent結構十分精妙，值得學習。
基於事件驅動的編程模型也有其本質的缺點，它要求事件回調函數必須是非阻塞的。對於涉及網路IO的請求響應式協議，它容易割裂業務邏輯，使其散布於多個回調函數之中，相對不容易理解和維護。
三：多線程伺服器的常用編程模型
大概有這么幾種：
a：每個請求創建一個線程，使用阻塞式IO操作。在Java 1.4引人NIO之前，這是Java網路編程的推薦做法。可惜伸縮性不佳（請求太多時，操作系統創建不了這許多線程）。
b：使用線程池，同樣使用阻塞式IO操作。與第1種相比，這是提高性能的措施。
c：使用non-blocking IO + IO multiplexing。即Java NIO的方式。
d：Leader/Follower等高級模式。
在默認情況下，我會使用第3種，即non-blocking IO + one loop per thread模式來編寫多線程C++網路服務程序。
1：one loop per thread
此種模型下，程序里的每個IO線程有一個event loop，用於處理讀寫和定時事件（無論周期性的還是單次的）。代碼框架跟「單線程伺服器的常用編程模型」一節中的一樣。
libev的作者說：
One loop per thread is usually a good model. Doing this is almost never wrong, some times a better-performance model exists, but it is always a good start.
這種方式的好處是：
a：線程數目基本固定，可以在程序啟動的時候設置，不會頻繁創建與銷毀。
b：可以很方便地在線程間調配負載。
c：IO事件發生的線程是固定的，同一個TCP連接不必考慮事件並發。
Event loop代表了線程的主循環，需要讓哪個線程幹活，就把timer或IO channel（如TCP連接）注冊到哪個線程的loop里即可：對實時性有要求的connection可以單獨用一個線程；數據量大的connection可以獨佔一個線程，並把數據處理任務分攤到另幾個計算線程中（用線程池）；其他次要的輔助性connections可以共享一個線程。
比如，在dbproxy中，一個線程用於專門處理客戶端發來的管理命令；一個線程用於處理客戶端發來的MySQL命令，而與後端資料庫通信執行該命令時，是將該任務分配給所有事件線程處理的。
對於non-trivial（有一定規模）的服務端程序，一般會採用non-blocking IO + IO multiplexing，每個connection/acceptor都會注冊到某個event loop上，程序里有多個event loop，每個線程至多有一個event loop。
多線程程序對event loop提出了更高的要求，那就是「線程安全」。要允許一個線程往別的線程的loop里塞東西，這個loop必須得是線程安全的。
在dbproxy中，線程向其他線程分發任務，是通過管道和隊列實現的。比如主線程accept到連接後，將表示該連接的結構放入隊列，並向管道中寫入一個位元組。計算線程在自己的event loop中注冊管道的讀事件，一旦有數據可讀，就嘗試從隊列中取任務。
2：線程池
不過，對於沒有IO而光有計算任務的線程，使用event loop有點浪費。可以使用一種補充方案，即用blocking queue實現的任務隊列：
[cpp] view plain
typedef boost::functionFunctor;
BlockingQueue taskQueue; //線程安全的全局阻塞隊列
//計算線程
void workerThread()
{
while (running) //running變數是個全局標志
{
Functor task = taskQueue.take(); //this blocks
task(); //在產品代碼中需要考慮異常處理
}
}
// 創建容量（並發數）為N的線程池
int N = num_of_computing_threads;
for (int i = 0; i < N; ++i)
{
create_thread(&workerThread); //啟動線程
}
//向任務隊列中追加任務
Foo foo; //Foo有calc()成員函數
boost::function task = boost::bind(&Foo::calc，&foo);
taskQueue.post(task);
除了任務隊列，還可以用BlockingQueue實現數據的生產者消費者隊列，即T是數據類型而非函數對象，queue的消費者從中拿到數據進行處理。其實本質上是一樣的。
3：總結
總結而言，我推薦的C++多線程服務端編程模式為：one (event) loop per thread + thread pool：
event loop用作IO multiplexing，配合non-blockingIO和定時器；
thread pool用來做計算，具體可以是任務隊列或生產者消費者隊列。
以這種方式寫伺服器程序，需要一個優質的基於Reactor模式的網路庫來支撐，muo正是這樣的網路庫。比如dbproxy使用的是libevent。
程序里具體用幾個loop、線程池的大小等參數需要根據應用來設定，基本的原則是「阻抗匹配」（解釋見下），使得CPU和IO都能高效地運作。所謂阻抗匹配原則：
如果池中線程在執行任務時，密集計算所佔的時間比重為 P (0 < P <= 1)，而系統一共有 C 個 CPU，為了讓這 C 個 CPU 跑滿而又不過載，線程池大小的經驗公式 T = C/P。（T 是個 hint，考慮到 P 值的估計不是很准確，T 的最佳值可以上下浮動 50%）
以後我再講這個經驗公式是怎麼來的，先驗證邊界條件的正確性。
假設 C = 8，P = 1.0，線程池的任務完全是密集計算，那麼T = 8。只要 8 個活動線程就能讓 8 個 CPU 飽和，再多也沒用，因為 CPU 資源已經耗光了。
假設 C = 8，P = 0.5，線程池的任務有一半是計算，有一半等在 IO 上，那麼T = 16。考慮操作系統能靈活合理地調度 sleeping/writing/running 線程，那麼大概 16 個「50%繁忙的線程」能讓 8 個 CPU 忙個不停。啟動更多的線程並不能提高吞吐量，反而因為增加上下文切換的開銷而降低性能。
如果 P < 0.2，這個公式就不適用了，T 可以取一個固定值，比如 5*C。
另外，公式里的 C 不一定是 CPU 總數，可以是「分配給這項任務的 CPU 數目」，比如在 8 核機器上分出 4 個核來做一項任務，那麼 C=4。
四：進程間通信只用TCP
Linux下進程間通信的方式有：匿名管道(pipe)、具名管道(FIFO)、POSIX消息隊列、共享內存、信號(signals)，以及Socket。同步原語有互斥器(mutex)、條件變數(condition variable)、讀寫鎖(reader-writer lock)、文件鎖(record locking)、信號量(semaphore)等等。
進程間通信我首選Sockets（主要指TCP，我沒有用過UDP，也不考慮Unix domain協議）。其好處在於：
可以跨主機，具有伸縮性。反正都是多進程了，如果一台機器的處理能力不夠，很自然地就能用多台機器來處理。把進程分散到同一區域網的多台機器上，程序改改host:port配置就能繼續用；
TCP sockets和pipe都是操作文件描述符，用來收發位元組流，都可以read/write/fcntl/select/poll等。不同的是，TCP是雙向的，Linux的pipe是單向的，進程間雙向通信還得開兩個文件描述符，不方便；而且進程要有父子關系才能用pipe，這些都限制了pipe的使用；
TCP port由一個進程獨占，且進程退出時操作系統會自動回收文件描述符。因此即使程序意外退出，也不會給系統留下垃圾，程序重啟之後能比較容易地恢復，而不需要重啟操作系統（用跨進程的mutex就有這個風險）；而且，port是獨占的，可以防止程序重復啟動，後面那個進程搶不到port，自然就沒法初始化了，避免造成意料之外的結果；
與其他IPC相比，TCP協議的一個天生的好處是「可記錄、可重現」。tcpmp和Wireshark是解決兩個進程間協議和狀態爭端的好幫手，也是性能（吞吐量、延遲）分析的利器。我們可以藉此編寫分布式程序的自動化回歸測試。也可以用tcp之類的工具進行壓力測試。TCP還能跨語言，服務端和客戶端不必使用同一種語言。
分布式系統的軟體設計和功能劃分一般應該以「進程」為單位。從宏觀上看，一個分布式系統是由運行在多台機器上的多個進程組成的，進程之間採用TCP長連接通信。
使用TCP長連接的好處有兩點：一是容易定位分布式系統中的服務之間的依賴關系。只要在機器上運行netstat -tpna|grep 就能立刻列出用到某服務的客戶端地址（Foreign Address列），然後在客戶端的機器上用netstat或lsof命令找出是哪個進程發起的連接。TCP短連接和UDP則不具備這一特性。二是通過接收和發送隊列的長度也較容易定位網路或程序故障。在正常運行的時候，netstat列印的Recv-Q和Send-Q都應該接近0，或者在0附近擺動。如果Recv-Q保持不變或持續增加，則通常意味著服務進程的處理速度變慢，可能發生了死鎖或阻塞。如果Send-Q保持不變或持續增加，有可能是對方伺服器太忙、來不及處理，也有可能是網路中間某個路由器或交換機故障造成丟包，甚至對方伺服器掉線，這些因素都可能表現為數據發送不出去。通過持續監控Recv-Q和Send-Q就能及早預警性能或可用性故障。以下是服務端線程阻塞造成Recv-Q和客戶端Send-Q激增的例子：
[cpp] view plain
$netstat -tn
Proto Recv-Q Send-Q Local Address Foreign
tcp 78393 0 10.0.0.10:2000 10.0.0.10:39748 #服務端連接
tcp 0 132608 10.0.0.10:39748 10.0.0.10:2000 #客戶端連接
tcp 0 52 10.0.0.10:22 10.0.0.4:55572
五：多線程伺服器的適用場合
如果要在一台多核機器上提供一種服務或執行一個任務，可用的模式有：
a：運行一個單線程的進程；
b：運行一個多線程的進程；
c：運行多個單線程的進程；
d：運行多個多線程的進程；
考慮這樣的場景：如果使用速率為50MB/s的數據壓縮庫，進程創建銷毀的開銷是800微秒，線程創建銷毀的開銷是50微秒。如何執行壓縮任務？
如果要偶爾壓縮1GB的文本文件，預計運行時間是20s，那麼起一個進程去做是合理的，因為進程啟動和銷毀的開銷遠遠小於實際任務的耗時。
如果要經常壓縮500kB的文本數據，預計運行時間是10ms，那麼每次都起進程 似乎有點浪費了，可以每次單獨起一個線程去做。
如果要頻繁壓縮10kB的文本數據，預計運行時間是200微秒，那麼每次起線程似 乎也很浪費，不如直接在當前線程搞定。也可以用一個線程池，每次把壓縮任務交給線程池，避免阻塞當前線程（特別要避免阻塞IO線程）。
由此可見，多線程並不是萬靈丹(silver bullet)。
1：必須使用單線程的場合
據我所知，有兩種場合必須使用單線程：
a：程序可能會fork(2)；
實際編程中，應該保證只有單線程程序能進行fork(2)。多線程程序不是不能調用fork(2)，而是這么做會遇到很多麻煩：
fork一般不能在多線程程序中調用，因為Linux的fork只克隆當前線程的thread of control，不可隆其他線程。fork之後，除了當前線程之外，其他線程都消失了。
這就造成一種危險的局面。其他線程可能正好處於臨界區之內，持有了某個鎖，而它突然死亡，再也沒有機會去解鎖了。此時如果子進程試圖再對同一個mutex加鎖，就會立即死鎖。因此，fork之後，子進程就相當於處於signal handler之中（因為不知道調用fork時，父進程中的線程此時正在調用什麼函數，這和信號發生時的場景一樣），你不能調用線程安全的函數（除非它是可重入的），而只能調用非同步信號安全的函數。比如，fork之後，子進程不能調用：
malloc，因為malloc在訪問全局狀態時幾乎肯定會加鎖；
任何可能分配或釋放內存的函數，比如snprintf；
任何Pthreads函數；
printf系列函數，因為其他線程可能恰好持有stdout/stderr的鎖；
除了man 7 signal中明確列出的信號安全函數之外的任何函數。
因此，多線程中調用fork，唯一安全的做法是fork之後，立即調用exec執行另一個程序，徹底隔斷子進程與父進程的聯系。
在多線程環境中調用fork，產生子進程後。子進程內部只存在一個線程，也就是父進程中調用fork的線程的副本。
使用fork創建子進程時，子進程通過繼承整個地址空間的副本，也從父進程那裡繼承了所有互斥量、讀寫鎖和條件變數的狀態。如果父進程中的某個線程佔有鎖，則子進程同樣佔有這些鎖。問題是子進程並不包含佔有鎖的線程的副本，所以子進程沒有辦法知道它佔有了哪些鎖，並且需要釋放哪些鎖。
盡管Pthread提供了pthread_atfork函數試圖繞過這樣的問題，但是這回使得代碼變得混亂。因此《Programming With Posix Threads》一書的作者說：」Avoid using fork in threaded code except where the child process will immediately exec a new program.」。
b：限製程序的CPU佔用率；
這個很容易理解，比如在一個8核的伺服器上，一個單線程程序即便發生busy-wait，占滿1個core，其CPU使用率也只有12.5%，在這種最壞的情況下，系統還是有87.5%的計算資源可供其他服務進程使用。
因此對於一些輔助性的程序，如果它必須和主要服務進程運行在同一台機器的話，那麼做成單線程的能避免過分搶奪系統的計算資源。
7. LINUX時間同步腳本或命令！
Linux
下
時間同步命令：
ntpdate
linux系統下默認安裝了ntp服務，手動進行ntp同步如下
$ntpdate
ntp1.nl.net
當然，也可以指定其它的ntp伺服器
公網上的NTP伺服器列表：
http://www.pool.ntp.org/zone/asia
根據這個列表，中國有個伺服器：cn.pool.ntp.org
用
ntpdate
命令來同步時間：
ntpdate
cn.pool.ntp.org
可以將這個命令加到
cron
table
裡面，每天執行。
8. 如何使兩台linux伺服器時間同步
Linux自帶了ntp服務 -- /etc/init.d/ntpd，這個服務不僅可以設置讓本機和某台/某些機器做時間同步，他本身還可以扮演一個timeserver的角色，讓其他機器和他同步時間。
配置文件就是/etc/ntp.conf。
為了測試，設置讓node2 -- 192.168.1.102和node1 -- 192.168.1.101做時間同步。
第一步，
node1做time server，node1本身不和其他機器時間同步，就是取本地時間。
所以，先把node1機器的時間調准了：
[root@node1 ~]date -s 08/03/2011
[root@node1 ~]date -s11:12:00
[root@node1 ~]clock -w
[root@node1 ~]hwclock --systohc
後兩個命令是把設置的時間寫到硬體時間中去（也就是CMOS裡面的時間）。
第二步，
然後將node1配置成一個time server，修改/etc/ntp.conf，
[root@node1 ~]vi /etc/ntp.conf
其他的配置不怎麼需要改，只需要關注restrict的配置：
1. 注釋掉原來的restrict default ignore這一行，這一行本身是不響應任何的ntp更新請求，其實也就是禁用了本機的ntp server的功能，所以需要注釋掉。
2. 加入：restrict 192.168.1.0 mask 255.255.255.0 -- 讓192.168.1.0/24網段上的機器能和本機做時間同步
3. 這樣就可以了，記得下面的：
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
這兩行需要，這是讓本機的ntpd和本地硬體時間同步。
當然，我們也可以添加server xxx.xxx.xxx.xxx，讓他和其他的time server時間同步。
4. /etc/init.d/ntpd restart
5. chkconfig ntpd on
6. 修改iptables配置，將tcp和udp 123埠開放，這是ntp需要的埠，在/etc/services中可以查到這個埠。
第三步，
這樣node1就成為一台time server了，現在我們配置node2這台機器，也是修改/etc/ntp.conf ，
[root@node2 ~]vi /etc/ntp.conf
1. restrict default ignore這行保留為注釋狀態，因為sales不需要做time server
2. 注釋掉server 127.127.1.0, fudge 127.127.1.0 stratum 10這兩行，因為這台機器不需要和本地硬體時鍾同步了。
3. 加入server 192.168.1.101這行，和node1機器同步。
這樣就OK了。看看時間，已經和node1同步了。往後默認配置好像是5分鍾和time server同步一次。ntpdate命令是顯式的和某台機器做時間同步，以前將ntpdate放到crontab中定期同步也是可以的，但是既然ntpd本身就可以做這個時間
第四步，將ntpdate放到crontab中定期步也是可以的
[root@node2 ~]#vi ntpupdate.sh
/usr/sbin/ntpdate 192.168.1.101
[root@node2 ~]#chmod 755 ntpupdate.sh
[root@node2 ~]#crontab -e
*/1 * * * * /root/ntpupdate.sh
[root@node2 ~]#/etc/init.d/crond restart