並行編程

1. 並行程序設計的目錄

第一部分 基本技術第1章 並行計算機 21.1 對計算速度的需求 21.2 提高計算速度的潛力 41.2.1加速系數 41.2.2 什麼是最大的加速比 51.2.3 消息傳遞計算 91.3 並行計算機的類型 91.3.1 共享存儲器多處理機系統 101.3.2 消息傳遞多計算機 111.3.3 分布式共享存儲器 171.3.4MIMD和SIMD的分類 171.4 機群計算 181.4.1 以互聯計算機作為計算平台 181.4.2 機群的配置 231.4.3 打造「Beowulf風格」的專用機群 261.5 小結 27推薦讀物 27參考文獻 28習題 30第2章 消息傳遞計算 312.1 消息傳遞程序設計基礎 312.1.1 編程的選擇 312.1.2 進程的創建 312.1.3 消息傳遞常式 332.2 使用計算機機群 372.2.1 軟體工具 372.2.2 MPI 372.2.3 偽代碼構造 442.3 並行程序的評估 452.3.1 並行執行時間方程式 452.3.2 時間復雜性 482.3.3 對漸近分析的評注 502.3.4 廣播/集中的通信時間 502.4 用經驗方法進行並行程序的調試和評估 512.4.1 低層調試 522.4.2 可視化工具 522.4.3 調試策略 532.4.4 評估程序 532.4.5 對優化並行代碼的評注 552.5 小結 55推薦讀物 55參考文獻 56習題 57第3章 易並行計算 593.1 理想的並行計算 593.2 易並行計算舉例 603.2.1 圖像的幾何轉換 603.2.2 曼德勃羅特集 643.2.3 蒙特卡羅法 693.3 小結 73推薦讀物 73參考文獻 73習題 74第4章 劃分和分治策略 794.1 劃分 794.1.1 劃分策略 794.1.2 分治 824.1.3 M路分治 864.2 分治技術舉例 874.2.1 使用桶排序法排序 874.2.2 數值積分 914.2.3 N體問題 934.3 小結 96推薦讀物 97參考文獻 97習題 98第5章 流水線計算 1045.1 流水線技術 1045.2 流水線應用的計算平台 1075.3 流水線程序舉例 1075.3.1 數字相加 1085.3.2 數的排序 1105.3.3 生成質數 1125.3.4 線性方程組求解—特殊個例 1145.4 小結 117推薦讀物 117參考文獻 117習題 117第6章 同步計算 1226.1 同步 1226.1.1 障柵 1226.1.2 計數器實現 1236.1.3 樹實現 1246.1.4 蝶形障柵 1256.1.5 局部同步 1266.1.6 死鎖 1266.2 同步計算 1276.2.1 數據並行計算 1276.2.2 同步迭代 1296.3 同步迭代程序舉例 1306.3.1 用迭代法解線性方程組 1306.3.2 熱分布問題 1356.3.3 細胞自動機 1426.4 部分同步方法 1436.5 小結 144推薦讀物 144參考文獻 144習題 145第7章 負載平衡與終止檢測 1517.1 負載平衡 1517.2 動態負載平衡 1527.2.1 集中式動態負載平衡 1527.2.2 分散式動態負載平衡 1537.2.3 使用線形結構的負載平衡 1557.3 分布式終止檢測演算法 1577.3.1 終止條件 1577.3.2 使用確認消息實現終止 1587.3.3 環形終止演算法 1587.3.4 固定能量分布式終止演算法 1607.4 程序舉例 1607.4.1 最短路徑問題 1607.4.2 圖的表示 1617.4.3 圖的搜索 1627.5 小結 166推薦讀物 166參考文獻 167習題 168第8章 共享存儲器程序設計 1728.1 共享存儲器多處理機 1728.2 說明並行性的構造 1738.2.1 創建並發進程 1738.2.2 線程 1758.3 共享數據 1788.3.1 創建共享數據 1798.3.2 訪問共享數據 1798.4 並行程序設計語言和構造 1858.4.1 並行語言 1858.4.2 並行語言構造 1868.4.3 相關性分析 1878.5 OpenMP 1898.6 性能問題 1938.6.1 共享數據的訪問 1938.6.2 共享存儲器的同步 1958.6.3 順序一致性 1968.7 程序舉例 1998.7.1 使用UNIX進程的舉例 1998.7.2 使用Pthread的舉例 2018.7.3 使用Java的舉例 2038.8 小結 204推薦讀物 205參考文獻 205習題 206第9章 分布式共享存儲器系統及其程序設計 2119.1 分布式共享存儲器 2119.2 分布式共享存儲器的實現 2129.2.1 軟體DSM系統 2129.2.2 DSM系統的硬體實現 2139.2.3 對共享數據的管理 2149.2.4 基於頁面系統的多閱讀器/單寫入器策略 2149.3 在DSM系統中實現一致性存儲器 2149.4 分布式共享存儲器的程序設計原語 2169.4.1 進程的創建 2169.4.2 共享數據的創建 2169.4.3 共享數據的訪問 2179.4.4 同步訪問 2179.4.5 改進性能的要點 2179.5 分布式共享存儲器的程序設計 2199.6 實現一個簡易的DSM系統 2199.6.1 使用類和方法作為用戶介面 2209.6.2 基本的共享變數實現 2209.6.3 數據組的重疊 2229.7 小結 224推薦讀物 224參考文獻 224習題 225第二部分 演算法和應用第10章 排序演算法 23010.1 概述 23010.1.1 排序 23010.1.2 可能的加速比 23010.2 比較和交換排序演算法 23110.2.1 比較和交換 23110.2.2 冒泡排序與奇偶互換排序 23310.2.3 歸並排序 23610.2.4 快速排序 23710.2.5 奇偶歸並排序 23910.2.6 雙調諧歸並排序 24010.3 在專用網路上排序 24310.3.1 二維排序 24310.3.2 在超立方體上進行快速排序 24410.4 其他排序演算法 24710.4.1 秩排序 24810.4.2 計數排序 24910.4.3 基數排序 25010.4.4 采樣排序 25210.4.5 在機群上實現排序演算法 25310.5 小結 253推薦讀物 254參考文獻 254習題 255第11章 數值演算法 25811.1 矩陣回顧 25811.1.1 矩陣相加 25811.1.2 矩陣相乘 25811.1.3 矩陣-向量相乘 25911.1.4 矩陣與線性方程組的關系 25911.2 矩陣乘法的實現 25911.2.1 演算法 25911.2.2 直接實現 26011.2.3 遞歸實現 26211.2.4 網格實現 26311.2.5 其他矩陣相乘方法 26611.3 求解線性方程組 26611.3.1 線性方程組 26611.3.2 高斯消去法 26611.3.3 並行實現 26711.4 迭代方法 26911.4.1 雅可比迭代 26911.4.2 快速收斂方法 27211.5小結 274推薦讀物 275參考文獻 275習題 276第12章 圖像處理 27912.1 低層圖像處理 27912.2 點處理 28012.3 直方圖 28112.4 平滑、銳化和雜訊消減 28112.4.1 平均值 28112.4.2 中值 28312.4.3 加權掩碼 28412.5 邊緣檢測 28512.5.1 梯度和幅度 28512.5.2 邊緣檢測掩碼 28612.6 霍夫變換 28812.7 向頻域的變換 29012.7.1 傅里葉級數 29112.7.2 傅里葉變換 29112.7.3 圖像處理中的傅里葉變換 29212.7.4 離散傅里葉變換演算法的並行化 29412.7.5 快速傅里葉變換 29612.8 小結 300推薦讀物 300參考文獻 300習題 302第13章 搜索和優化 30513.1 應用和技術 30513.2 分支限界搜索 30613.2.1 順序分支限界 30613.2.2 並行分支限界 30713.3 遺傳演算法 30813.3.1 進化演算法和遺傳演算法 30813.3.2 順序遺傳演算法 31013.3.3 初始種群 31013.3.4 選擇過程 31213.3.5 後代的生成 31213.3.6 變異 31413.3.7 終止條件 31413.3.8 並行遺傳演算法 31413.4 連續求精 31713.5 爬山法（hill climbing） 31813.5.1 銀行業務應用問題 31913.5.2 爬山法在金融業務中的應用 32013.5.3 並行化 3.6 小結 321推薦讀物 321參考文獻 322習題 323附錄A 基本的MPI常式 329附錄B 基本的Pthread常式 335附錄C OpenMP命令、庫函數以及環境變數 339索引 347

2. 並行編程技術，什麼是並行編程技術

並行編程通常是指軟體代碼，它促進在同一時間執行多個計算任務的性能。
這有點像有一個操場上有20個滑梯而不是一個。孩子們不必排隊等待輪到自己，因為他們可以同時玩。你可以使用電腦滑鼠，一邊聽在線廣播，一邊更新電子表格中的信息，並對你的個人電腦做病毒掃描，這唯一的理由就是並發編程。

3. 五 淺談CPU 並行編程和 GPU 並行編程的區別

CPU可以並行計算，傳統的計算陣列也是用CPU組建的。
現在的GPU計算是因為單個GPU的多核心，重復計算能力強，通過低投入的GPU計算陣列就可以達到以往大型CPU陣列並行系統的效率。
CPU計算在通用計算上的價值更大。
比如說大量數據的重復運算就可以用並行計算的方式來進行，可利用GPU加速，而線性處理的時候GPU效率較低，此時CPU效率更高。
因此現在全球超級計算機前幾名的機器都採用了混合架構，也就是CPU-GPU混合架構。

4. c++如何並行編程

多線程才可以啊，好比一個人的大腦，計算機也不能同時工作的，即使是多線程，也是交替使用cpu的資源的

5. 並行程序開發的語言現在有多少種

一般沒有專門的獨立語言，都是附加在傳統語言之上的，比如：
OpenMP附加在C、C++、Fortran之上
MPI（有多種，如MPICH）附加在C、C++、Fortran、python、JAVA等語言之上
類似的還有Ateji PX、CUDA、OpenCL、OpenHMPP、PVM、Intel TBB、Boost Thread、Global Arrays、Charm++、Cilk、Dryad、DryadLINQ等等

還有傳統語言的並行化改進版，如Parallel C、High Performance Fortran、Co-array Fortran等

6. 什麼是並行編程環境以及並行環境編程的優缺點

喵的，真給吉大計算機丟人，青樓的悲情啊！！！！！

7. 並行程序設計的並行程序設計:

對於所希望的應用,很多並行代碼似乎不存在的;即使有,也常不能用於用戶的並行機上.因為並行代碼原來都是為不同的並行結構寫的.
其原因是:①並行程序設計不但包含了串列程序設計,而且還包含了更多的富有挑戰性的問題;②串列程序設計僅有一個普遍被接受的馮*諾依曼模型,而並行計算模型雖有好多,但沒有一個被共同認可;③並行程序設計對環境工具的要求遠比串列程序設計先進得多;④串列程序設計比較適合於自然習慣,且人們在過去積累了大量的編程知識和寶貴的軟體財富.
它的問題是:至今並行演算法範例不能被很好地理解和廣泛地接受;並行程序設計是建立在不同的計算模型上的,而它們沒有能像馮*諾依曼模型那樣被普遍的接受和認可.絕大部分被使用的並行程序設計語言都是Fortran和C的推廣,他們都不能夠充分地表達不同並行結構的特點,既不成熟也不通用.並行程序設計工具依賴於具體的並行結構和計算機代的更迭,既不通用也不穩定,在某個並行平台上開發的並行程序很難移植到別的或將來的並行機上.

8. 採用並行計算的程序用什麼編程語言開發最好

分布式(即並行計算)的編寫一般用的是C++（也有用JAVA的，但是都是娛樂性質的項目了，不是主流），基本不用MPI介面。並行計算用MPI或者OpenMP。如果把網格計算算做分布式計算（網格計算是分布式計算的一種特例，但是有區別，區別僅僅在編程方法和實際應用的范圍上），網格計算使用中間件！而且對聯網的各台計算機的操作系統的要求比較特殊。
當然vb也是可以的，c++這方面的類庫比較多。

9. python 並行編程

如果你的bsub和這個ABC沒什麼關系的話，你可以：
subprocess.Popen("A1;A2",shell=True)
subprocess.Popen("B1;B2",shell=True)
subprocess.Popen("C1;C2",shell=True)

如果你在win而不再*nix的話，用「&」代替「；」。