編譯優化並行計算什麼意思

『壹』 [高性能計算的三大研究領域]高性能計算領域的研究內容

科學計算、海量信息處理與檢索以及正在普及的多核個人計算機是高性能計算的主要研究領域，由於領域的不同，對於高性能計算各自都有不同的研究重點。 美國宇航局(NASA)是超級計算機最大的用戶之一

從起源來看，計算機系統的原始需求來自軍事，如第一台計算機ENIAC是美國軍隊為了計算彈道而投資研製的。在隨後的30年中，計大逗算機主要應用於與國家安全相關的領域，如核武器設計、密碼破譯等。到20世紀70年代末，高性能計算機開始應用於石油工業、汽車工業等資本密集型工業。隨後，高性能計算機開始廣泛進入各個行業，協助進行產品設計、用戶分析等等。如醫葯公司使用高性能計算機輔助進行葯物設計，可以大大節省新葯的研發開支; 超市使用高性能計算機分析用戶消費模式，以推出恰當促銷措施等等。在這些領域，更高的計算性能就意味著在產品和服務方面的競爭優勢。在科學研究領域，數值模擬方法成為現代科學方法的重要組成部分，這里更高的計算性能就意味著更快的科學發現速度。目前，高性能計算技術已成為促進科技創新和經濟發展的重要手段，是一個國家綜合國力的重要組成部分。本文將就高性能的幾個最重要的應用領域進行介紹。
用高性能計算機解決科學挑戰
許多重要的科學問題非常復雜，需要功能非常強大的計算機來進行數值模擬，這些問題被視作科學上的重大挑戰，可以分為如下幾類:
1. 量子化學、統計力學和相對論物理學;
搜純2. 宇宙學和天體物理學;
3. 計算流體力學和湍流;
4. 材料設計和超導;
5. 生物學、制葯研究、基因組序列分析、基因工程、蛋白質折疊、酶活動和細胞建模;
6. 葯物、人類骨骼和器官建模;
7. 全球天氣和環境建模。
這些重大世仿咐挑戰問題大多可以看作傳統的高性能計算應用的延伸，其特點是: 大部分是浮點密集型應用程序，並行演算法要求多個並行進程之間進行較為頻繁的通信和同步，而非簡單的多個計算用例之間的並行，因此無法使用多台規模較小的系統來替代一台大規模系統。
這些重大挑戰問題對計算能力的需求遠遠超出了現有的高性能計算機的性能。以量子化學計算為例，需要20T～100Tflops的持續計算能力才能夠對目前進行的實際實驗結果進行預測。在核聚變研究領域，需要20Tflops的持續計算能力才能夠進行全規模的系統模擬。蛋白質折疊的計算需要1Tflops的持續計算速度。另一方面，重大挑戰問題對數據的存儲也提出了更高的要求，以計算生物學為例，進行蛋白質分析時需要使用的一台質譜儀每天就可以產生100GB的數據，50台質譜儀1天就可以產生5TB的數據。
目前，世界上最快IBM BlueGene/L的處理器個數為131072個，Linpack速度為280.6TFlops，達到了其峰值速度的76.5%（2005年11月數據）。但一般並行演算法要比Linpack的通信更加頻繁，訪存局部性也沒有Linpack好，這使得其並行效率相當低，通常僅能達到系統峰值速度的10％，甚至更低。為了能夠有效地解決上述重大挑戰性的問題，需要研製千萬億次高性能計算機系統，這就需要攻克系統結構、軟體工具和並行演算法等多方面的難關:

1. 能耗控制
隨著現代處理器頻率的增加，其功率也大幅度增加，最新處理器的功耗已經超過100W。這使得高性能計算系統本身的耗電問題已經十分嚴重。同時由於系統散發的大量熱量，必須在機房中採用大功率的空調系統才能保持系統機房的正常溫度。這兩方面的因素造成系統的整體電能消耗非常巨大，維護成本很高。分析結果表明，未來系統主要的維護成本將來自系統的電能消耗。在研製千萬億次高性能計算機系統時，必須重視系統的能耗問題。
目前有幾種方法來處理系統能耗問題，一是給處理器設定較低的工作電壓，通過並行性來獲得高性能，例如BlueGene/L處理器的工作頻率僅有700Mhz，因此單個內核的處理能力遠遠低於其他高頻率的處理器。但BlueGene/L通過大量的處理器來彌補單個處理器能力的不足，達到了較高的整體系統性能，並獲得了優化的性能/能耗比。另一種方法是通過軟體和硬體感測器確定和預測需要使用的部件和不需要使用的部件，然後將不需要立即使用的部分通過某種措施，如降低頻率或完全關閉來減少其耗電量，從而達到降低整個系統功耗的目的。這方面的工作根據控制的粒度不同可分為晶元級、主板/BIOS級以及結點級。

2. 高性能計算軟體與演算法
大規模並行處理硬體系統僅僅為高性能計算提供了一個平台，真正的功能還要通過高性能計算軟體來完成。高性能計算軟體與演算法的主要工作可以分為3類:
（1） 提出具有較低理論復雜度或較好實際性能的串列演算法
盡管可以通過並行計算來加快運算的速度，但並行處理往往需要較大的軟體開發成本和硬體成本，因此在進行並行演算法的開發之前，必須考察是否存在可以解決問題的更好串列演算法。以整數排序問題為例，使用並行的冒泡排序演算法，其效果還不如使用串列的快速排序演算法。因此，高效的串列演算法研究是高性能演算法研究的重要課題。著名的演算法包括線性規劃問題的單純型法、FFT、快速排序、矩陣特徵值的QR演算法、快速多極演算法等。近年來在演算法方面的突破使印度學者在素數判定問題上提出了多項式復雜度演算法。
（2） 優化現有演算法
演算法只提供了理論上的性能，要在實際系統上獲得高性能，必須對演算法的實現進行優化。現代處理器大多使用多級Cache來隱藏訪存延遲，因此必須根據目標系統的Cache參數來優化演算法的訪存行為。此外，許多處理器還提供了SIMD指令，合理使用這些指令可以達到較高的性能。許多優化的數學庫，如ATLAS、Intel公司的MKL等已經為不同的體系結構，特別是Cache配置進行了特別優化，可以達到較高的執行效率，為優化演算法實現提供了很好的幫助。
(3) 並行演算法與並行應用的開發
並行演算法的研究與串列演算法有聯系也有區別。優秀的串列演算法並不一定適合並行化，某些時候在串列演算法中並非最優的演算法在並行實現時卻能體現出較大的優勢。對於千萬億次計算機而言，其處理器（核）個數在10萬以上，並行應用的並行度需要達到數萬個並行進程才能有效地利用千萬億次計算機。並行演算法的三個主要優化目標是: 通信優化、負載平衡以及最大化並行區。通信優化的目標是盡量減少通信次數和通信量，減少由於處理器之間通信帶寬限制引起的性能下降。在大規模並行程序中，負載平衡問題也非常突出，少數負載不平衡的任務會使得整體性能急劇下降。同樣的，根據Amdahl定律，應用加速比的上限是串列區所佔比例的倒數，即應用中1％的串列區域就會使得整個應用程序的加速比不可能超過100。因此，要在數萬個並行進程的情況下取得理想的加速比給並行演算法的開發提出了很大的挑戰。

3. 系統可靠性與可管理性
隨著系統內結點個數的增加，系統失效的可能性也隨著增大。並行程序的特點是只要有一個並行進程失敗，整個並行程序都執行不成功。對可靠性問題的處理方法之一是設法提高系統的穩定性，這包括硬體系統可靠性和軟體系統的可靠性。但目前公認的結論是: 大規模系統的故障是在設計時必須考慮的前提條件，而並非可以通過技術手段加以解決的問題。因此，必須考慮如何在系統結點出現故障的情況下仍然能夠保證系統服務質量不發生顯著下降。
故障監測技術和動態系統重構技術可以用來減少或消除系統失效對應用的影響，即盡快隔離出現問題的結點，使得用戶可以使用狀態正常的結點進行計算。與系統動態重構技術類似的技術還有系統動態劃分技術，主要用於向不同的用戶提供相互獨立的結點集，使得整個系統的管理和使用更加有效和安全。
但是上述技術僅能解決系統對新的應用的服務質量問題，無法保證已經執行的應用在某個計算結點出現問題後的處理。某些並行應用，如石油數據處理需要連續運行幾十天的時間，一旦某個結點出現錯誤，會使得前面的計算前功盡棄，需要從頭開始計算。並行檢查點技術主要提供應用級的容錯，即能夠自動地定期記錄並行程序的狀態（稱作檢查點），在計算過程中某個結點發生失效後，可以從所記錄的並行程序檢查點恢復執行，避免了重新執行整個程序。

高性能計算與海量信息處理

人類所產生的信息量以指數速度增長，如何存儲、檢索和利用這些信息為信息技術提出了重要挑戰。從20世紀90年代開始，互聯網的飛速發展給信息的傳播與服務提供了新的機遇。傳統的信息服務系統以資料庫為中心，典型應用是OLTP（事務聯機處理）。而以Google為代表的海量信息檢索與處理服務是另一類重要應用，以Google集群系統為代表的系統體現了高性能計算系統的另一個發展方向。
信息檢索與處理服務系統的特點與科學計算非常不同，對處理系統也提出了不同的要求:
1. 信息處理與服務應用需要頻繁訪問動態的數據結構，包含很多不可預測的分支，使得現有超標量處理器中的許多技術，如分支預測、數據預取、亂序和推測執行等功能無法很好地發揮作用，應用的指令級並行性較差。
2. 大部分信息處理與服務應用具有較好的數據並行性，可以很容易地在分布式系統上執行。以信息檢索為例，一個信息檢索請求可以被分配到多個伺服器上進行並行檢索，最後再將搜索結果統一處理返回給用戶。這個過程中大多數的訪問是只讀的數據，並行任務之間的通信非常少，並行效率比較高。
3. 系統的性能指標一般不以單個服務請求的響應時間為量度，而更關注系統整體的吞吐率。以搜索引擎為例，信息服務系統更重視在1分鍾內能夠完成的用戶搜索次數，而對單次搜索在0.5秒內完成還是1秒內完成並不特別敏感。
4. 系統需要很高的可靠性和可維護性。可靠性是對服務而言的，即組成的系統必須能夠近乎不間斷地為用戶提供服務。可維護性是指系統的更換與維修可以簡單快捷地完成，新更換的結點可以快捷地加入到系統中。
5. 低成本。這包括系統構建成本和總擁有成本兩部分。海量信息處理和服務所需的系統規模極為龐大，Google Cluster在2003年就達到了15000台計算機的規模。如此巨大規模的系統，需要盡可能地降低成本。
為了能夠有效滿足上述信息處理與服務系統的要求，人們對於如何高效地構建相應的服務系統也展開了研究與實踐:
1. 使用副本技術通過軟體提供可靠性
在大規模系統中，單個系統結點的失效是不可避免的。現有的通過冗餘底層硬體提高系統可靠性的方式，比如冗餘電源、RAID技術等，成本較高，性價比較差。相反，在信息服務系統中可以廣泛使用軟體提供服務級別的可靠性。主要的方法是採用副本，即將服務和數據復制到多個系統結點上，即使單個系統結點的可靠性不是很高，多個副本提供了服務所需的可靠性。另一個使用副本技術的優點在於其提高系統可靠性的同時也提高了系統的性能，即保存副本的多個系統結點可以同時向用戶提供服務。
2. 注重系統的性能/價格比
由於信息服務系統應用容易並行的特點，採用大量低端系統組合的方法比使用少量高端系統在性能價格比方面更具有優勢（此處所指的低端系統是指1～2個CPU的PC機或入門伺服器，高端系統是指大規模處理器伺服器，如HP 的Superdom伺服器、IBM的P690伺服器等）。此外，信息服務系統與用於科學計算的高性能系統面臨同樣的挑戰: 能耗問題。在大規模信息處理與服務系統中，電費成本（包括系統本身耗電和空調系統耗電）將佔有總擁有成本的很大一部分。因此，在選用系統時，應選擇性能/能耗比較高的系統也是一個重要的原則。
(3) 使用多內核處理器
由於信息服務程序的特點，它更適合使用多個簡單內核構成的處理器，這些簡單內核僅需要按序執行，並使用較短的流水線。由於信息服務應用的指令級並行度較差，按序執行不會造成太多的性能下降，但可以節省復雜的亂序執行單元電路，從而可以降低功耗。另一方面，較短的流水線可以降低分支預測失效的開銷。
並行計算與個人計算機
隨著半導體工藝的發展，單個晶元上能夠集成的元件個數還將在5～10年內遵循摩爾定律繼續以指數級增長。但是當前的晶元散熱技術已無法支持晶元頻率的進一步提高，而通過提高發射寬度、提高分支預測效率以及數據預取等進一步在體系結構上提高單線程執行速度的方法也逐漸失去了有效性。多內核晶元通過在一個晶元內集成多個處理器內核，採用線程級並行提高處理器性能，已成為微處理器的主要發展趨勢。IBM公司在幾年前就推出了雙內核Power晶元，Intel公司和AMD在2005年推出的雙內核晶元更是標志著多內核技術進入了普及階段。支持更多核心的處理器晶元也正在快速涌現，如Sun公司已經推出了8核的Nigeria晶元，用於面向提高吞吐率的伺服器應用; IBM則聯合索尼和東芝推出了面向娛樂應用的9內核Cell晶元。Intel公司甚至已經在計劃100內核以上的處理器。
多核處理器的出現給計算機的使用帶來了新的挑戰。隨著多內核處理器的普及，成千上萬的桌面電腦將成為並行計算機。目前在桌面機上執行的應用程序大多數是單線程程序，無法有效利用多內核處理器提供的能力。如何有效地在個人電腦上利用多個處理器內核成為高性能計算領域一個重要的研究課題，從目前的趨勢來看主要有以下幾個方向:
1.使用多任務帶來的並發性
Intel的 雙核ViiV家用電腦是這方面的典型例子。ViiV電腦的典型使用模式是一個人在客廳使用ViiV電腦看電影，另一個在自己的房間里使用同一台電腦玩游戲，兩個人使用同一台電腦中的不同處理器內核，從而達到了有效發揮雙核能力的目的。但這種依靠多個用戶同時使用一台電腦的模式具有很大局限性，因為家庭成員的個數是有限的，對於4內核以上的多內核處理器，這種模式無法提供有效的支持。
2.聚合多內核的能力，加速串列程序的執行速度
計算機科學家們正在研究一種稱作推測多線程（TLS: Thread-Level Speculation）的技術，該技術可以自動分析串列程序，推測其中能夠並行執行的部分，在多個內核上並行執行。但一旦發現並行執行的部分有沖突，就撤銷其中一個沖突線程的執行，執行補償操作並重新執行該線程。推測多線程技術的優點在於無需用戶干預就可以在多內核系統上加速現有單線程程序，其缺點在於對於性能提高的幅度有限,大約在4內核系統上僅能比在單個內核上提高性能30％，而且再增加內核數，其加速比也不會顯著增加。因此，這種方式也無法支持更多內核的處理器。
另一種有前途的技術是自動並行化技術。自動並行化技術可以在編譯時識別程序中的並行性，並將其轉化為多線程並行程序。過去的自動並行化技術主要是面向SMP系統的，但不是很成功，原因是對真實應用程序，自動並行化無法得到滿意的加速比。一個程序通過自動並行化在4 CPU的SMP系統上得到20%的加速比是不能令人滿意的，因為4 CPU的系統通常價格是單CPU價格的10倍以上，自動並行化無法提供性能價格比上的優勢。但是對於多內核系統，如果能夠在四內核系統上通過自動並行化得到20％的加速比，應該是比較令人滿意的結果，因為這些內核是「免費」提供給用戶的，即用戶無法用四內核處理器1/4的價格購買一個單內核處理器。因此，多內核處理器在家用電腦上的普及，將大大降低人們對自動並行化效果的期望，使得自動並行化技術重新被接受和應用。
3. 並行化現有的桌面應用
既然採用多內核處理器加速串列應用無法充分利用多內核處理器的能力，那麼並行化現有的桌面應用就成為了一個重要選擇。這方面的研究主要是分析現有的桌面應用，對有代表性的應用進行手工並行化，這些研究試圖回答下面的問題: 哪些桌面應用能夠被有效並行化，哪些不能？並行化本身的難度有多大？應如何改進現有的編程模型、編程工具以及系統軟體來更好地支持應用的並行化？
研究表明，桌面系統上的大部分應用，如圖像處理、3D圖形運算、多媒體數據編碼與解碼、數據與文本挖掘、文本與媒體搜索、游戲與博弈等都可以有效地被並行化，並在多內核系統上得到有效的執行。但是，手工程序並行化的開銷仍然很大，並行程序員需要了解並行計算的有關知識，並對計算機體系結構、操作系統、編譯原理等有一定了解才能寫出有效率的並行程序。並行編程模型與並行編程工具還需要提供更好的支持，以幫助並行程序員開發、調試並行程序。
今天，高性能計算技術已成為整個計算機領域的引領技術。多內核處理器的出現，使得並行計算技術將很快普及到我們的每台計算機，滲入到我們生活的方方面面，這是計算機產業發展史上的一個重大變革，對我國而言是一次難得的機會。在「十一五」期間，我國將進一步加強對高性能計算技術研究的支持，注重引導企業應用高性能計算技術促進產業升級和科技創新，同時更加特別重視高性能計算技術的教育培訓工作，在高校的理工專業廣泛開設並行程序設計課程，培養更多了解和使用高性能計算技術的人才，在此次變革中實現跨越性的發展。

作者簡介
陳文光
清華大學計算機博士，清華大學計算機系副教授，863高性能計算機評測中心副主任。曾任Opportunity International Inc.總工程師。主要研究領域為並行計算的編程模型、並行化編譯和並行應用分析。

鏈接:高性能計算發展趨勢
隨著應用的需求與計算機技術本身的發展，近年來高性能計算的發展體現出一些新的特點，可以用「大，寬，小」來代表這三個特點:
「大」是指高性能計算系統向更大規模發展，處理器個數可達10萬個以上，主要用於解決超大規模的數值模擬問題。
「寬」是指在傳統的數值計算之外，高性能計算系統正越來越廣泛地應用於信息處理和服務領域，為海量信息的存儲與檢索以及網路服務提供有效的保證。
「小」是指多內核CPU的出現和普及，將使得今後的每台個人計算機都成為並行計算機，如何有效地利用個人計算機的多個內核是對高性能計算技術提出的新挑戰。

『貳』 什麼是並行處理

並行處理是計算機系統中能同時執行兩個或多個處理的一種計算方法。並行處理可同時工作於同一程序的不同方面。並行處理的主要目的是節省大型和復雜問題的解決時間。

為使用並行處理，首先需要對程序進行並行化處理，也就是說將工作各部分分配到不同處理進程（線程）中。並行處理由於存在相互關聯的問題，因此不能自動實現。

另外，並行也不能保證加速。從理論上講，在 n 個並行處理的執行速度可能會是在單一處理機上執行的速度的 n 倍。

(2)編譯優化並行計算什麼意思擴展閱讀：

利用計算機語言進行並行性描述的時候主要有三種方案：

1．語言擴展方案：也就是利用各種語言的庫函數來進行並行性功能的擴展。

2．編譯制導法：也稱為智能編譯，它是隱式並行策略的體現，主要是由並行編譯系統進行程序表示、由相關分析得到方法庫管理方案，由優化分析得到知識庫管理方案，從而形成並行程序。

3．新的語言結構法：這是顯式並行策略的體現。也就是建立一種全新的並行語言的體系，而這種並行語言通過編譯就能直接形成並行程序 。

『叄』 編譯器優化怎麼定義

常見的優化和變新有：函數內嵌（inlining），無用代碼刪除（Dead code elimination），標准化循環結構（loop normalization），循環體展開（loop unrolling），循環體合並，分裂（loop fusion，loop fission），數組填充（array padding），等等。 優化和變形的目的是減少代碼的長度，提高內存（memory），緩存（cache）的使用率，減少讀寫磁碟，訪問網路數據的頻率。更高級的優化甚至可以把序列化的代碼（serial code）變成並行運算，多線程的代碼（parallelized，multi-threaded code）。

機器代碼的生成是優化變型後的中間代碼轉換成機器指令的過程。現代編譯器主要採用生成匯編代碼（assembly code）策略，而不直接生成二進制的目標代碼（binary object code）。即使在代碼生成階段，高級編譯器仍然要做很多分析，優化，變形工作。例如如何分配寄存器（register allocatioin），如何選擇合適的機器指令，如何合並幾句代碼成一句等等。

『肆』 並行處理的並行演算法的基本策略

在並行處理技術中所使用的演算法主要遵循三種策略：
1．分而治之法：也就是把多個任務分解到多個處理器或多個計算機中，然後再按照一定的拓撲結構來進行求解。
2．重新排序法：分別採用靜態或動態的指令詞度方式。
3．顯式/隱式並行性結合：顯式指的是並行語言通過編譯形成並行程序，隱式指的是串列語言通過編譯形成並行程序，顯式/隱式並行性結合的關鍵就在於並行編譯，而並行編譯涉及到語句、程序段、進程以及各級程序的並行性。
二、並行性描述定義
利用計算機語言進行並行性描述的時候主要有三種方案：
1．語言擴展方案：也就是利用各種語言的庫函數來進行並行性功能的擴展。
2．編譯制導法：也稱為智能編譯，它是隱式並行策略的體現，主要是由並行編譯系統進行程序表示、控制流的分析、相關分析、優化分析和並行化劃分，由相關分析得到方法庫管理方案，由優化分析得到知識庫管理方案，由並行化劃分得到程序重構，從而形成並行程序。
3．新的語言結構法：這是顯式並行策略的體現。也就是建立一種全新的並行語言的體系，而這種並行語言通過編譯就能直接形成並行程序。
三、並行軟體
並行軟體可分成並行系統軟體和並行應用軟體兩大類，並行系統軟體主要指並行編譯系統和並行操作系統，並行應用軟體主要指各種軟體工具和應用軟體包。在軟體中所牽涉到的程序的並行性主要是指程序的相關性和網路互連兩方面。
1．程序的相關性：程序的相關性主要分為數據相關、控制相關和資源相關三類。
數據相關說明的是語句之間的有序關系，主要有流相關、反相關、輸出相關、I/O相關和求知相關等，這種關系在程序運行前就可以通過分析程序確定下來。數據相關是一種偏序關系，程序中並不是每一對語句的成員都是相關聯的。可以通過分析程序的數據相關，把程序中一些不存在相關性的指令並行地執行，以提高程序運行的速度。
控制相關指的是語句執行次序在運行前不能確定的情況。它一般是由轉移指令引起的，只有在程序執行到一定的語句時才能判斷出語句的相關性。控制相關常使正在開發的並行性中止，為了開發更多的並行性，必須用編譯技術克服控制相關。
而資源相關則與系統進行的工作無關，而與並行事件利用整數部件、浮點部件、寄存器和存儲區等共享資源時發生的沖突有關。軟體的並行性主要是由程序的控制相關和數據相關性決定的。在並行性開發時往往把程序劃分成許多的程序段——顆粒。顆粒的規模也稱為粒度，它是衡量軟體進程所含計算量的尺度，一般用細、中、粗來描述。劃分的粒度越細，各子系統間的通信時延也越低，並行性就越高，但系統開銷也越大。因此，我們在進行程序組合優化的時候應該選擇適當的粒度，並且把通訊時延盡可能放在程序段中進行，還可以通過軟硬體適配和編譯優化的手段來提高程序的並行度。
2．網路互連：將計算機子系統互連在一起或構造多處理機或多計算機時可使用靜態或動態拓撲結構的網路。靜態網路由點一點直接相連而成，這種連接方式在程序執行過程中不會改變，常用來實現集中式系統的子系統之間或分布式系統的多個計算結點之間的固定連接。動態網路是用開關通道實現的，它可動態地改變結構，使之與用戶程序中的通信要求匹配。動態網路包括匯流排、交叉開關和多級網路，常用於共享存儲型多處理機中。在網路上的消息傳遞主要通過尋徑來實現。常見的尋徑方式有存儲轉發尋徑和蟲蝕尋徑等。在存儲轉發網路中以長度固定的包作為信息流的基本單位，每個結點有一個包緩沖區，包從源結點經過一系列中間結點到達目的結點。存儲轉發網路的時延與源和目的之間的距離(段數)成正比。而在新型的計算機系統中採用蟲蝕尋徑，把包進一步分成一些固定長度的片，與結點相連的硬體尋徑器中有片緩沖區。消息從源傳送到目的結點要經過一系列尋徑器。同一個包中所有的片以流水方式順序傳送，不同的包可交替地傳送，但不同包的片不能交叉，以免被送到錯誤的目的地。蟲蝕尋徑的時延幾乎與源和目的之間的距離無關。在尋徑中產生的死鎖問題可以由虛擬通道來解決。虛擬通道是兩個結點間的邏輯鏈，它由源結點的片緩沖區、結點間的物理通道以及接收結點的片緩沖區組成。物理通道由所有的虛擬通道分時地共享。虛擬通道雖然可以避免死鎖，但可能會使每個請求可用的有效通道頻寬降低。因此，在確定虛擬通道數目時，需要對網路吞吐量和通信時延折衷考慮。
四、硬體技術在硬體技術方面主要從處理機、存儲器和流水線三個方面來實現並行。
1．處理機：主要的處理機系列包括CISC、RISC、超標量、VL1W、超流水線、向量以及符號處理機。
傳統的處理機屬於復雜指令系統計算(CISC)結構。指令系統大，指令格式可變，通用寄存器個數較少，基本上使用合一的指令與數據高速緩存，時鍾頻率較低，CPI較高，大多數利用ROM 實現微碼控制CPU，而當今的精簡指令系統計算(RISC)處理機指令格式簡單規范，面向寄存器堆，採用重疊寄存器窗口技術，具有多級Cache，多種流水線結構，強調編譯優化技術，時鍾頻率快，CPI低，大多數用硬連線控制CPU。
CISC或RISC標量處理機都可以採用超標量或向量結構來改善性能。標量處理機在每個周期內只發射一條指令並要求周期只完成從流水線來的一條指令。而在超標量處理機中，使用了多指令流水線，每個周期要發射多條指令並產生多個結果。由於希望程序中有許多的指令級並行性，因此超標量處理機更要依靠優化編譯器去開發並行性。
VL1W 結構是將水平微碼和超標量處理這兩種普遍採用的概念結合起來產生的。典型的超長指令字VL1W 機器指令字長度有數百位。在VLlW 處理機中，多個功能部件是並發工作的，所有的功能部件共享使用公用大型寄存器堆，由功能部件同時執行的各種操作是用VL1W 指令來同步的，每條指令可指定多個操作。VL1W 指令解碼比超標量指令容易，但在開發不同數量的並行性時總是需要不同的指令系統。VL1W 主要是開發標量操作之間的並行性，它的成功與否很大程度取決於代碼壓縮的效率，其結構和任何傳統的通用處理機完全不兼容。即使同一結構的不同實現也不大可能做到彼此二進制兼容。VL1W 的主要優點在於它的硬體結構和指令系統簡單，在科學應用領域可以發揮良好作用，但在一般應用場合可能並不很好用。
向量處理機對數組執行向量指令，每條指令都包含一串重復的操作。它是專門設計用來完成向量運算的協處理機，通常用於多流水線超級計算機中。向量處理機可以利用循環級展開所得的並行性，它可以附屬於任何標量處理機。專用的向量流水線可以在循環控制中消除某些軟體開銷，它的效果與優化編譯器將順序代碼向量化的性能很有關系。從理論上說，向量機可以具有和超標量處理機同樣的性能，因此可以說向量機的並行性與超標量機相同。
符號處理機是為AI應用而研製的，已用於定理證明、模式識別、專家系統、知識工程、文本檢索、科學以及機器智能等許多應用領域。在這些應用中，數據和知識表達式、原語操作、演算法特性、存儲器、I/0和通信以及專用的結構特性與數值計算是不一樣的，符號處理機也稱為邏輯程序設計語言處理機、表處理語言處理機或符號變換器。符號處理並不和數值數據打交道，它處理的是邏輯程序、符號表、對象、劇本、黑板、產生式系統、語義網路、框架以及人工神經網路等問題。這些操作需要專門的指令系統，通常不使用浮點操作。
2．存儲器：存儲設備按容量和存取時間從低到高可分為寄存器、高速緩存、主存儲器、磁碟設備和磁帶機五個層次。較低層存儲設備與較高層的相比，存取速度較快、容量較小，每位元組成本較高、帶寬較寬、傳輸單位較小。
存放在存儲器層次結構中的信息滿足三個重要特性：包含性、一致性和局部性。所謂包含性，指的是一個信息字的復製品可以在比它高的所有層中找到，而如果在高層中丟失了一個信息，則在比它低的所有層中此信息也將丟失。CPU 和高速緩存之間的信息傳送是按字進行的，高速緩存和主存儲器間用塊作為數據傳送的基本單位，主存和磁碟之間又是以頁面為基本單位來傳送信息的，而在磁碟和磁帶機之間的數據傳送則是按文件級處理的。所謂一致性要求的是同一個信息項與後繼存儲器層次上的副本是一致的。也就是說，如果在高速緩存中的一個字被修改過，那麼在所有更高層上該字的副本也必須立即或最後加以修改。為了盡量減少存儲器層次結構的有效存取時間，通常把頻繁使用的信息放在較低層次。維護存儲器層次結構一致性一般有兩種策略，一種是寫直達策略，也就是如果，則立即在所有高層存儲器中進行同樣的修改；另一種是寫回策略，也就是在較低層中對信息進行修改後並不立即在高層存儲器中進行相應的修改，而是等到該信息將被替換或將從低層中消失時才在所有高層存儲器中進行同樣的修改。甚至可以將寫直達和寫回策略的優點結合起來，形成寫一次協議來維護存儲器的一致性。
存儲器的層次結構是在一種程序行為——訪問的局部性基礎上開發出來的。主要有時間局部性、空間局部性和順序局部性。時間局部性指的是最近的訪問項很可能在不久的將來再次被訪問。它往往會引起對最近使用區域的集中訪問。空間局部性表示一種趨勢，指的是一個進程訪問的各項其地址彼此很近。順序局部性指的是在典型程序中，除非是轉移指令，一般指令都是順序執行的。
在多處理機系統中一般使用共享存儲器。對共享存儲器的組織一般採用低位交叉、高位交叉、高低位交叉三種方法。低位交叉又稱並發存取，它是把相鄰的地址放在相鄰的存儲器模塊中，在訪問時不容易產生沖突，並行性較好，但可靠性容錯能力和擴展性均較差。高位交叉又稱允許同時存取，它是把相鄰地址分配到同一個存儲器模塊中，可靠性、容錯能力和擴展性均較強，但訪問時易產生沖突，帶寬較窄，並行性較差。高低位交叉存取又稱C—s存取，它是結合了高位交叉和低位交叉兩種方法的優點，既解決了沖突問題，又能有效地提高容錯能力和並行性，最適合於向量處理機結構。
3．流水線：流水線技術主要有指令流水線技術和運算流水線技術兩種。
指令流水線技術主要目的是要提高計算機的運行效率和吞吐率。它主要通過設置預取指令緩沖區、設置多功能部件、進行內部數據定向、採取適當的指令調度策略來實現。指令調度的策略主要有靜態和動態兩種，靜態詞度是基於軟體的，主要由編譯器完成，動態詞度是基於硬體的，主要是通過硬體技術進行。
運算流水線主要有單功能流水線和多功能流水線兩種。其中多功能流水線又可分為靜態流水線和動態流水線。靜態流水線技術只用來實現確定的功能，而動態流水線可以在不同時間重新組合，實現不同的功能，它除流線連接外，還允許前饋和反饋連接，因此也稱為非線性流水線。這些前饋和反饋連接使得進入流水線的相繼事件的詞度變得很不簡單。由於這些連接，流水線不一定從最後一段輸出。根據不同的數據流動模式，人們可以用同一條流水線求得不同功能的值。
並行計算機發展簡述
40 年代開始的現代計算機發展歷程可以分為兩個明顯的發展時代：串列計算時代、並行計算時代。每一個計算時代都從體系結構發展開始，接著是系統軟體（特別是編譯器與操作系統）、應用軟體，最後隨著問題求解環境的發展而達到頂峰。創建和使用並行計算機的主要原因是因為並行計算機是解決單處理器速度瓶頸的最好方法之一。
並行計算機是由一組處理單元組成的，這組處理單元通過相互之間的通信與協作，以更快的速度共同完成一項大規模的計算任務。因此，並行計算機的兩個最主要的組成部分是計算節點和節點間的通信與協作機制。並行計算機體系結構的發展也主要體現在計算節點性能的提高以及節點間通信技術的改進兩方面。
60 年代初期，由於晶體管以及磁芯存儲器的出現，處理單元變得越來越小，存儲器也更加小巧和廉價。這些技術發展的結果導致了並行計算機的出現，這一時期的並行計算機多是規模不大的共享存儲多處理器系統，即所謂大型主機（Mainframe）。IBM360 是這一時期的典型代表。
到了60 年代末期，同一個處理器開始設置多個功能相同的功能單元，流水線技術也出現了。與單純提高時鍾頻率相比，這些並行特性在處理器內部的應用大大提高了並行計算機系統的性能。伊利諾依大學和Burroughs 公司此時開始實施IlliacIV 計劃，研製一台64 個CPU 的SIMD 主機系統，它涉及到硬體技術、體系結構、I/O 設備、操作系統、程序設計語言直至應用程序在內的眾多研究課題。不過，當一台規模大大縮小了的16CPU 系統終於在1975 年面世時，整個計算機界已經發生了巨大變化。
首先是存儲系統概念的革新，提出虛擬存儲和緩存的思想。IBM360/85 系統與360/91是屬於同一系列的兩個機型，360/91 的主頻高於360/85，所選用的內存速度也較快，並且採用了動態調度的指令流水線；但是，360/85 的整體性能卻高於360/91，唯一的原因就是前者採用了緩存技術，而後者則沒有。
其次是半導體存儲器開始代替磁芯存儲器。最初，半導體存儲器只是在某些機器被用作緩存，而CDC7600 則率先全面採用這種體積更小、速度更快、可以直接定址的半導體存儲器，磁芯存儲器從此退出了歷史舞台。與此同時，集成電路也出現了，並迅速應用到了計算機中。元器件技術的這兩大革命性突破，使得IlliacIV 的設計者們在底層硬體以及並行體系結構方面提出的種種改進都大為遜色。
1976 年CRAY-1 問世以後，向量計算機從此牢牢地控制著整個高性能計算機市場15 年。CRAY-1 對所使用的邏輯電路進行了精心的設計，採用了我們如今稱為RISC 的精簡指令集，還引入了向量寄存器，以完成向量運算。這一系列全新技術手段的使用，使CRAY-1 的主頻達到了80MHz。
微處理器隨著機器的字長從4 位、8 位、16 位一直增加到32 位，其性能也隨之顯著提高。正是因為看到了微處理器的這種潛力，卡內基- 梅隆大學開始在當時流行的DECPDP11 小型計算機的基礎上研製成功一台由16 個PDP11/40 處理機通過交叉開關與16 個共享存儲器模塊相連接而成的共享存儲多處理器系統C.mmp。
從80 年代開始，微處理器技術一直在高速前進。稍後又出現了非常適合於SMP 方式的匯流排協議，而伯克利加州大學則對匯流排協議進行了擴展，提出了Cache 一致性問題的處理方案。從此，C.mmp 開創出的共享存儲多處理器之路越走越寬；現在，這種體系結構已經基本上統治了伺服器和桌面工作站市場。
同一時期，基於消息傳遞機制的並行計算機也開始不斷涌現。80 年代中期，加州理工成功地將64 個i8086/i8087 處理器通過超立方體互連結構連結起來。此後，便先後出現了Intel iPSC 系列、INMOS Transputer 系列，Intel Paragon 以及IBM SP 的前身Vulcan 等基於消息傳遞機制的並行計算機。
80 年代末到90 年代初，共享存儲器方式的大規模並行計算機又獲得了新的發展。IBM將大量早期RISC 微處理器通過蝶形互連網路連結起來。人們開始考慮如何才能在實現共享存儲器緩存一致的同時，使系統具有一定的可擴展性（Scalability）。90 年代初期，斯坦福大學提出了DASH 計劃，它通過維護一個保存有每一緩存塊位置信息的目錄結構來實現分布式共享存儲器的緩存一致性。後來，IEEE 在此基礎上提出了緩存一致性協議的標准。
90 年代以來，主要的幾種體系結構開始走向融合。屬於數據並行類型的CM-5 除大量採用商品化的微處理器以外，也允許用戶層的程序傳遞一些簡單的消息；CRAY T3D是一台NUMA 結構的共享存儲型並行計算機，但是它也提供了全局同步機制、消息隊列機制，並採取了一些減少消息傳遞延遲的技術。
隨著商品化微處理器、網路設備的發展，以及MPI/PVM 等並行編程標準的發布，機群架構的並行計算機出現。IBM SP2 系列機群系統就是其中的典型代表。在這些系統中，各個節點採用的都是標準的商品化計算機，它們之間通過高速網路連接起來。
今天，越來越多的並行計算機系統採用商品化的微處理器加上商品化的互連網路構造，這種分布存儲的並行計算機系統稱為機群。國內幾乎所有的高性能計算機廠商都生產這種具有極高性能價格比的高性能計算機，並行計算機就進入了一個新的時代，並行計算的應用達到了前所未有的廣度和深度。
並行計算機隨著微處理晶元的發展，已經進入了一個新時代。目前並行計算機的性能已經突破20PFLOPS，正在向百億億次發展。我國並行計算機的研製已經走在世界前列。2003年由聯想公司生產的深騰6800 在2003 年11 月世界TOP500 排名中位列第14 名，2004 年曙光公司生產的曙光4000A 在2004 年6 月的世界TOP500 排名中位列第10 名，這是我國公開發布的高性能計算機在世界TOP500 中首次進入前十名，這標志著我國在並行計算機系統的研製和生產中已經趕上了國際先進水平，為提高我國的科學研究水平奠定了物質基礎。2013年國際超級計算機大會最新發布的世界超級計算機500強排名中，國防科技大學研製的天河二號超級計算機系統，以峰值計算速度每秒5.49億億次、持續計算速度每秒3.39億億次雙精度浮點運算的優異性能位居榜首。
從TOP500 的前10 名來看，美國仍然是超級計算機的最大擁有者。按照世界TOP500 的統計數據來分析，美國在計算能力上佔有近全世界的一半，在TOP500 中的所有計算機中擁有的數量超過50%。