『壹』 linux管道(pipeline)
管道就是我們生活中看到的凈水,它有兩個水口,一個連接著進水管,一個連接著出水管,通過這個管道,我們就可以把水流一步步過濾處理,最終輸出我們想要的凈水。
linux中的管道也是同樣的道理,它使用|表示。
比如我們經常看到統計排序的例子
為了避免死鎖並利用並行性,通常,帶有一個或多個新管道的Unix進程將調用fork()創建新進程。然後,每個過程將在產生或使用任何數據之前關閉將不使用的管道末端。或者,進程可以創建一個新線程並使用管道在它們之間進行通信。
也可以使用mkfifo()或創建命名管道mknod(),然後在調用它們時將它們作為輸入或輸出文件呈現給程序。它們允許創建多路徑管道,並且在與標准錯誤重定向或結合使用時特別有效。
『貳』 linux包含哪些模塊
一、進程調度模塊
Linux以進程作為系統資源分配的基本單位,並採用動態優先順序的進程高級演算法,保證各個進程使用處理機的合理性。進程調度模塊主要是對進程使用的處理機進行管理和控制。
二、進程間通信模塊
進程間通信主要用於控制不同進程之間在用戶空間的同步、數據共享和交換。由於不同的用戶進程擁有不同的進程空間,因此進程間的通信要藉助於內核的中轉來實現。一般情況下,當一個進程等待硬體操作完成時,會被掛起。當硬體操作完成,進程被恢復執行,而協調這個過程的就是進程間的通信機制。
進程間通信模塊保證了Linux支持多種進程間通信機制,包括管道、命名管道、消息隊列、信號量和共享內存等。
三、內存管理模塊
Linux的內存管理模塊採用先進的虛擬存儲機制,實現對多進程的存儲管理。它提供了十分可靠的存儲保護措施,對進程賦予不同的許可權,用戶不能直接訪問系統的程序和數據,保證了系統的安全性。同時,為每個用戶進程分配一個相互獨立的虛擬地址空間。
四、文件系統模塊
Linux的文件系統模塊採用先進的虛擬文件系統技術,屏蔽了各種文件系統的差別,為處理各種不同的文件系統提供了統一的介面,支持多種不同的物理文件系統達90多種。同時,Linux把各種硬體設備看作一種特殊的文件來處理,用管理文件的方法管理設備,非常方便、有效。
五、網路介面模塊
Linux具有最強大的網路功能。網路介面模塊通過套接字機制實現計算機之間的網路通信,並採用網路層次模型提供對多種網路協議和網路硬體設備的支持。
網路介面提供了對各種網路標準的實現和各種網路硬體的支持。網路介面一般分為網路協議和網路驅動程序。網路協議部分負責實現每一種可能的網路傳輸協議。網路設備驅動程序則主要負責與硬體設備進行通信,每一種可能的網路硬體設備都有相應的設備驅動程序。
『叄』 linux系統的進程間通信有哪幾種方式
數據傳輸
一個進程需要將它的數據發送給另一個進程,發送的數據量在一個位元組到幾M位元組之間
共享數據
多個進程想要操作共享數據,一個進程對共享數據
通知事
一個進程需要向另一個或一組進程發送消息,通知它(它們)發生了某種事件(如進程終止時要通知父進程)。
資源共享
多個進程之間共享同樣的資源。為了作到這一點,需要內核提供鎖和同步機制。
進程式控制制
有些進程希望完全控制另一個進程的執行(如Debug進程),此時控制進程希望能夠攔截另一個進程的所有陷入和異常,並能夠及時知道它的狀態改變。
Linux 進程間通信(IPC)的發展
linux下的進程通信手段基本上是從Unix平台上的進程通信手段繼承而來的。而對Unix發展做出重大貢獻的兩大主力AT&T的貝爾實驗室及BSD(加州大學伯克利分校的伯克利軟體發布中心)在進程間通信方面的側重點有所不同。
前者對Unix早期的進程間通信手段進行了系統的改進和擴充,形成了「system V IPC」,通信進程局限在單個計算機內;
後者則跳過了該限制,形成了基於套介面(socket)的進程間通信機制。
Linux則把兩者繼承了下來
早期UNIX進程間通信
基於System V進程間通信
基於Socket進程間通信
POSIX進程間通信。
UNIX進程間通信方式包括:管道、FIFO、信號。
System V進程間通信方式包括:System V消息隊列、System V信號燈、System V共享內存
POSIX進程間通信包括:posix消息隊列、posix信號燈、posix共享內存。
由於Unix版本的多樣性,電子電氣工程協會(IEEE)開發了一個獨立的Unix標准,這個新的ANSI Unix標准被稱為計算機環境的可移植性操作系統界面(PSOIX)。現有大部分Unix和流行版本都是遵循POSIX標準的,而Linux從一開始就遵循POSIX標准;
BSD並不是沒有涉足單機內的進程間通信(socket本身就可以用於單機內的進程間通信)。事實上,很多Unix版本的單機IPC留有BSD的痕跡,如4.4BSD支持的匿名內存映射、4.3+BSD對可靠信號語義的實現等等。
linux使用的進程間通信方式
管道(pipe),流管道(s_pipe)和有名管道(FIFO)
信號(signal)
消息隊列
共享內存
信號量
套接字(socket)
管道( pipe )
管道這種通訊方式有兩種限制,一是半雙工的通信,數據只能單向流動,二是只能在具有親緣關系的進程間使用。進程的親緣關系通常是指父子進程關系。
流管道s_pipe: 去除了第一種限制,可以雙向傳輸.
管道可用於具有親緣關系進程間的通信,命名管道:name_pipe克服了管道沒有名字的限制,因此,除具有管道所具有的功能外,它還允許無親緣關系進程間的通信;
信號量( semophore )
信號量是一個計數器,可以用來控制多個進程對共享資源的訪問。它常作為一種鎖機制,防止某進程正在訪問共享資源時,其他進程也訪問該資源。因此,主要作為進程間以及同一進程內不同線程之間的同步手段。
信號是比較復雜的通信方式,用於通知接受進程有某種事件發生,除了用於進程間通信外,進程還可以發送信號給進程本身;linux除了支持Unix早期信號語義函數sigal外,還支持語義符合Posix.1標準的信號函數sigaction(實際上,該函數是基於BSD的,BSD為了實現可靠信號機制,又能夠統一對外介面,用sigaction函數重新實現了signal函數);
消息隊列( message queue )
消息隊列是由消息的鏈表,存放在內核中並由消息隊列標識符標識。消息隊列克服了信號傳遞信息少、管道只能承載無格式位元組流以及緩沖區大小受限等缺點。
消息隊列是消息的鏈接表,包括Posix消息隊列system V消息隊列。有足夠許可權的進程可以向隊列中添加消息,被賦予讀許可權的進程則可以讀走隊列中的消息。消息隊列克服了信號承載信息量少,管道只能承載無格式位元組流以及緩沖區大小受限等缺點。
信號 ( singal )
信號是一種比較復雜的通信方式,用於通知接收進程某個事件已經發生。
主要作為進程間以及同一進程不同線程之間的同步手段。
共享內存( shared memory )
共享內存就是映射一段能被其他進程所訪問的內存,這段共享內存由一個進程創建,但多個進程都可以訪問。共享內存是最快的 IPC 方式,它是針對其他進程間通信方式運行效率低而專門設計的。它往往與其他通信機制,如信號量,配合使用,來實現進程間的同步和通信。
使得多個進程可以訪問同一塊內存空間,是最快的可用IPC形式。是針對其他通信機制運行效率較低而設計的。往往與其它通信機制,如信號量結合使用,來達到進程間的同步及互斥。
套接字( socket )
套解口也是一種進程間通信機制,與其他通信機制不同的是,它可用於不同機器間的進程通信
更為一般的進程間通信機制,可用於不同機器之間的進程間通信。起初是由Unix系統的BSD分支開發出來的,但現在一般可以移植到其它類Unix系統上:Linux和System V的變種都支持套接字。
進程間通信各種方式效率比較
類型
無連接
可靠
流控制
記錄消息類型
優先順序
普通PIPE N Y Y N
流PIPE N Y Y N
命名PIPE(FIFO) N Y Y N
消息隊列 N Y Y Y
信號量 N Y Y Y
共享存儲 N Y Y Y
UNIX流SOCKET N Y Y N
UNIX數據包SOCKET Y Y N N
注:無連接: 指無需調用某種形式的OPEN,就有發送消息的能力流控制:
如果系統資源短缺或者不能接收更多消息,則發送進程能進行流量控制
各種通信方式的比較和優缺點
管道:速度慢,容量有限,只有父子進程能通訊
FIFO:任何進程間都能通訊,但速度慢
消息隊列:容量受到系統限制,且要注意第一次讀的時候,要考慮上一次沒有讀完數據的問題
信號量:不能傳遞復雜消息,只能用來同步
共享內存區:能夠很容易控制容量,速度快,但要保持同步,比如一個進程在寫的時候,另一個進程要注意讀寫的問題,相當於線程中的線程安全,當然,共享內存區同樣可以用作線程間通訊,不過沒這個必要,線程間本來就已經共享了同一進程內的一塊內存
如果用戶傳遞的信息較少或是需要通過信號來觸發某些行為.前文提到的軟中斷信號機制不失為一種簡捷有效的進程間通信方式.
但若是進程間要求傳遞的信息量比較大或者進程間存在交換數據的要求,那就需要考慮別的通信方式了。
無名管道簡單方便.但局限於單向通信的工作方式.並且只能在創建它的進程及其子孫進程之間實現管道的共享:
有名管道雖然可以提供給任意關系的進程使用.但是由於其長期存在於系統之中,使用不當容易出錯.所以普通用戶一般不建議使用。
消息緩沖可以不再局限於父子進程,而允許任意進程通過共享消息隊列來實現進程間通信,並由系統調用函數來實現消息發送和接收之間的同步,從而使得用戶在使用消息緩沖進行通信時不再需要考慮同步問題,使用方便,但是信息的復制需要額外消耗CPU的時間,不適宜於信息量大或操作頻繁的場合。
共享內存針對消息緩沖的缺點改而利用內存緩沖區直接交換信息,無須復制,快捷、信息量大是其優點。
但是共享內存的通信方式是通過將共享的內存緩沖區直接附加到進程的虛擬地址空間中來實現的,因此,這些進程之間的讀寫操作的同步問題操作系統無法實現。必須由各進程利用其他同步工具解決。另外,由於內存實體存在於計算機系統中,所以只能由處於同一個計算機系統中的諸進程共享。不方便網路通信。
共享內存塊提供了在任意數量的進程之間進行高效雙向通信的機制。每個使用者都可以讀取寫入數據,但是所有程序之間必須達成並遵守一定的協議,以防止諸如在讀取信息之前覆寫內存空間等競爭狀態的出現。
不幸的是,Linux無法嚴格保證提供對共享內存塊的獨占訪問,甚至是在您通過使用IPC_PRIVATE創建新的共享內存塊的時候也不能保證訪問的獨占性。 同時,多個使用共享內存塊的進程之間必須協調使用同一個鍵值。
『肆』 在linux程序中如何使用命名管道實現對文件的讀寫、求幫助
//創建server管道。
mkfifo(Server_FIFO_Name,0777);
//打開伺服器埠,等待讀取。此時如果客戶端還未寫入數據伺服器端會被阻塞。
server_fifo_fd = open(Server_FIFO_Name , O_RDONLY);
if( -1 == server_fifo_fd ){
fprintf( stderr , "Server fifo failure\n" );
exit(EXIT_FAILURE);
}
//從管道中讀取數據。
read_res = read ( server_fifo_fd , &my_data , sizeof(my_data));
if(read_res > 0){
//將字元串翻轉.
reverse ( my_data.str );
//將客戶端的pid號加入回送管道文件名中.
sprintf ( client_fifo, Client_FIFO_Name , my_data.client_pid);
//打開回送管道。
client_fifo_fd = open ( client_fifo , O_WRONLY );
if( -1 != client_fifo_fd ){
//向管道中寫入返回的數據.
write ( client_fifo_fd , &my_data, sizeof(my_data));
close ( client_fifo_fd );
}
}
『伍』 Linux - 進程間通信與線程通信方式
每個進程的用戶地址空間都是獨立的,一般而言是不能互相訪問的,但內核空間是每個進程都共享的,所以進程之間要通信必須通過內核。
上面命令行里的「|」豎線就是一個管道,它的功能是將前一個命令(ps auxf)的輸出,作為後一個命令(grep mysql)的輸入,從這功能描述,可以看出管道傳輸數據是單向的,如果想相互通信,我們需要創建兩個管道才行。
同時,我們得知上面這種管道是沒有名字,所以「|」表示的管道稱為匿名管道,用完了就銷毀。
管道還有另外一個類型是命名管道,也被叫做 FIFO,因為數據是先進先出的傳輸方式。
在使用命名管道前,先需要通過 mkfifo 命令來創建,並且指定管道名字
myPipe 就是這個管道的名稱,基於 Linux 一切皆文件的理念,所以管道也是以文件的方式存在,我們可以用 ls 看一下,這個文件的類型是 p,也就是 pipe(管道) 的意思:
你操作了後,你會發現命令執行後就停在這了,這是因為管道里的內容沒有被讀取,只有當管道里的數據被讀完後,命令才可以正常退出。
於是,我們執行另外一個命令來讀取這個管道里的數據:
可以看到,管道里的內容被讀取出來了,並列印在了終端上,另外一方面,echo 那個命令也正常退出了。
我們可以看出,管道這種通信方式效率低,不適合進程間頻繁地交換數據。當然,它的好處,自然就是簡單,同時也我們很容易得知管道里的數據已經被另一個進程讀取了。
前面說到管道的通信方式是效率低的,因此管道不適合進程間頻繁地交換數據。
對於這個問題,消息隊列的通信模式就可以解決。比如,A 進程要給 B 進程發送消息,A 進程把數據放在對應的消息隊列後就可以正常返回了,B 進程需要的時候再去讀取數據就可以了。同理,B 進程要給 A 進程發送消息也是如此。
再來,消息隊列是保存在內核中的消息鏈表,在發送數據時,會分成一個一個獨立的數據單元,也就是消息體(數據塊),消息體是用戶自定義的數據類型,消息的發送方和接收方要約定好消息體的數據類型,所以每個消息體都是固定大小的存儲塊,不像管道是無格式的位元組流數據。如果進程從消息隊列中讀取了消息體,內核就會把這個消息體刪除。
消息隊列生命周期隨內核,如果沒有釋放消息隊列或者沒有關閉操作系統,消息隊列會一直存在,而前面提到的匿名管道的生命周期,是隨進程的創建而建立,隨進程的結束而銷毀。
消息這種模型,兩個進程之間的通信就像平時發郵件一樣,你來一封,我回一封,可以頻繁溝通了。
但郵件的通信方式存在不足的地方有兩點,一是通信不及時,二是附件也有大小限制,這同樣也是消息隊列通信不足的點。
消息隊列不適合比較大數據的傳輸,因為在內核中每個消息體都有一個最大長度的限制,同時所有隊列所包含的全部消息體的總長度也是有上限。在 Linux 內核中,會有兩個宏定義 MSGMAX 和 MSGMNB,它們以位元組為單位,分別定義了一條消息的最大長度和一個隊列的最大長度。
消息隊列通信過程中,存在用戶態與內核態之間的數據拷貝開銷,因為進程寫入數據到內核中的消息隊列時,會發生從用戶態拷貝數據到內核態的過程,同理另一進程讀取內核中的消息數據時,會發生從內核態拷貝數據到用戶態的過程。
消息隊列的讀取和寫入的過程,都會有發生用戶態與內核態之間的消息拷貝過程。那共享內存的方式,就很好的解決了這一問題。
現代操作系統,對於內存管理,採用的是虛擬內存技術,也就是每個進程都有自己獨立的虛擬內存空間,不同進程的虛擬內存映射到不同的物理內存中。所以,即使進程 A 和 進程 B 的虛擬地址是一樣的,其實訪問的是不同的物理內存地址,對於數據的增刪查改互不影響。
用了共享內存通信方式,帶來新的問題,那就是如果多個進程同時修改同一個共享內存,很有可能就沖突了。例如兩個進程都同時寫一個地址,那先寫的那個進程會發現內容被別人覆蓋了。
為了防止多進程競爭共享資源,而造成的數據錯亂,所以需要保護機制,使得共享的資源,在任意時刻只能被一個進程訪問。正好,信號量就實現了這一保護機制。
信號量其實是一個整型的計數器,主要用於實現進程間的互斥與同步,而不是用於緩存進程間通信的數據。
信號量表示資源的數量,控制信號量的方式有兩種原子操作:
P 操作是用在進入共享資源之前,V 操作是用在離開共享資源之後,這兩個操作是必須成對出現的。
接下來,舉個例子,如果要使得兩個進程互斥訪問共享內存,我們可以初始化信號量為 1。
具體的過程如下:
可以發現,信號初始化為 1,就代表著是互斥信號量,它可以保證共享內存在任何時刻只有一個進程在訪問,這就很好的保護了共享內存。
另外,在多進程里,每個進程並不一定是順序執行的,它們基本是以各自獨立的、不可預知的速度向前推進,但有時候我們又希望多個進程能密切合作,以實現一個共同的任務。
例如,進程 A 是負責生產數據,而進程 B 是負責讀取數據,這兩個進程是相互合作、相互依賴的,進程 A 必須先生產了數據,進程 B 才能讀取到數據,所以執行是有前後順序的。
那麼這時候,就可以用信號量來實現多進程同步的方式,我們可以初始化信號量為 0。
具體過程:
可以發現,信號初始化為 0,就代表著是同步信號量,它可以保證進程 A 應在進程 B 之前執行。
跨機器進程間通信方式
同個進程下的線程之間都是共享進程的資源,只要是共享變數都可以做到線程間通信,比如全局變數,所以對於線程間關注的不是通信方式,而是關注多線程競爭共享資源的問題,信號量也同樣可以在線程間實現互斥與同步:
『陸』 請教,Linux裡面提到的管道是什麼意思
管道的話是Linux進程間通訊的工具。
分為匿名管道(pipe)和命名管道(fifo)。
主要是通過管道文件來完成本地進程間的通訊。
匿名管道
http://blog.csdn.net/oguro/article/details/53841949
命名管道
http://blog.csdn.net/ljianhui/article/details/10202699
『柒』 命名管道和無名管道的區別是什麼
1、管道是linux 提供的最早的進程間通信方式之一,大致可以分為有無名管道和命名管道兩種。linux中的命名管道提供兩個進程之間的通訊方式,可以把一個程序的輸出直接連接到另一個程序的輸入。
2、管道通常用於從一個進程讀取數據直接發送給第二個進程處理的場合。例如:
ps -ef|grep java 查看系統的進程,「|」表示無名管道通過它把結果傳給grep,grep過濾包含java的進程。
『捌』 在linux下可以用命名管道實現c程序與qt的數據通信嗎
當然可以了。不過可以直接使用dbus進行進程間通訊,C程序發送數據(libdbus),Qt去捕獲信號(QDbus),這樣來的更方便點,否則你要自己封裝管道的收發介面。