并行编程

1. 并行程序设计的目录

第一部分 基本技术第1章 并行计算机 21.1 对计算速度的需求 21.2 提高计算速度的潜力 41.2.1加速系数 41.2.2 什么是最大的加速比 51.2.3 消息传递计算 91.3 并行计算机的类型 91.3.1 共享存储器多处理机系统 101.3.2 消息传递多计算机 111.3.3 分布式共享存储器 171.3.4MIMD和SIMD的分类 171.4 机群计算 181.4.1 以互联计算机作为计算平台 181.4.2 机群的配置 231.4.3 打造“Beowulf风格”的专用机群 261.5 小结 27推荐读物 27参考文献 28习题 30第2章 消息传递计算 312.1 消息传递程序设计基础 312.1.1 编程的选择 312.1.2 进程的创建 312.1.3 消息传递例程 332.2 使用计算机机群 372.2.1 软件工具 372.2.2 MPI 372.2.3 伪代码构造 442.3 并行程序的评估 452.3.1 并行执行时间方程式 452.3.2 时间复杂性 482.3.3 对渐近分析的评注 502.3.4 广播/集中的通信时间 502.4 用经验方法进行并行程序的调试和评估 512.4.1 低层调试 522.4.2 可视化工具 522.4.3 调试策略 532.4.4 评估程序 532.4.5 对优化并行代码的评注 552.5 小结 55推荐读物 55参考文献 56习题 57第3章 易并行计算 593.1 理想的并行计算 593.2 易并行计算举例 603.2.1 图像的几何转换 603.2.2 曼德勃罗特集 643.2.3 蒙特卡罗法 693.3 小结 73推荐读物 73参考文献 73习题 74第4章 划分和分治策略 794.1 划分 794.1.1 划分策略 794.1.2 分治 824.1.3 M路分治 864.2 分治技术举例 874.2.1 使用桶排序法排序 874.2.2 数值积分 914.2.3 N体问题 934.3 小结 96推荐读物 97参考文献 97习题 98第5章 流水线计算 1045.1 流水线技术 1045.2 流水线应用的计算平台 1075.3 流水线程序举例 1075.3.1 数字相加 1085.3.2 数的排序 1105.3.3 生成质数 1125.3.4 线性方程组求解—特殊个例 1145.4 小结 117推荐读物 117参考文献 117习题 117第6章 同步计算 1226.1 同步 1226.1.1 障栅 1226.1.2 计数器实现 1236.1.3 树实现 1246.1.4 蝶形障栅 1256.1.5 局部同步 1266.1.6 死锁 1266.2 同步计算 1276.2.1 数据并行计算 1276.2.2 同步迭代 1296.3 同步迭代程序举例 1306.3.1 用迭代法解线性方程组 1306.3.2 热分布问题 1356.3.3 细胞自动机 1426.4 部分同步方法 1436.5 小结 144推荐读物 144参考文献 144习题 145第7章 负载平衡与终止检测 1517.1 负载平衡 1517.2 动态负载平衡 1527.2.1 集中式动态负载平衡 1527.2.2 分散式动态负载平衡 1537.2.3 使用线形结构的负载平衡 1557.3 分布式终止检测算法 1577.3.1 终止条件 1577.3.2 使用确认消息实现终止 1587.3.3 环形终止算法 1587.3.4 固定能量分布式终止算法 1607.4 程序举例 1607.4.1 最短路径问题 1607.4.2 图的表示 1617.4.3 图的搜索 1627.5 小结 166推荐读物 166参考文献 167习题 168第8章 共享存储器程序设计 1728.1 共享存储器多处理机 1728.2 说明并行性的构造 1738.2.1 创建并发进程 1738.2.2 线程 1758.3 共享数据 1788.3.1 创建共享数据 1798.3.2 访问共享数据 1798.4 并行程序设计语言和构造 1858.4.1 并行语言 1858.4.2 并行语言构造 1868.4.3 相关性分析 1878.5 OpenMP 1898.6 性能问题 1938.6.1 共享数据的访问 1938.6.2 共享存储器的同步 1958.6.3 顺序一致性 1968.7 程序举例 1998.7.1 使用UNIX进程的举例 1998.7.2 使用Pthread的举例 2018.7.3 使用Java的举例 2038.8 小结 204推荐读物 205参考文献 205习题 206第9章 分布式共享存储器系统及其程序设计 2119.1 分布式共享存储器 2119.2 分布式共享存储器的实现 2129.2.1 软件DSM系统 2129.2.2 DSM系统的硬件实现 2139.2.3 对共享数据的管理 2149.2.4 基于页面系统的多阅读器/单写入器策略 2149.3 在DSM系统中实现一致性存储器 2149.4 分布式共享存储器的程序设计原语 2169.4.1 进程的创建 2169.4.2 共享数据的创建 2169.4.3 共享数据的访问 2179.4.4 同步访问 2179.4.5 改进性能的要点 2179.5 分布式共享存储器的程序设计 2199.6 实现一个简易的DSM系统 2199.6.1 使用类和方法作为用户接口 2209.6.2 基本的共享变量实现 2209.6.3 数据组的重叠 2229.7 小结 224推荐读物 224参考文献 224习题 225第二部分 算法和应用第10章 排序算法 23010.1 概述 23010.1.1 排序 23010.1.2 可能的加速比 23010.2 比较和交换排序算法 23110.2.1 比较和交换 23110.2.2 冒泡排序与奇偶互换排序 23310.2.3 归并排序 23610.2.4 快速排序 23710.2.5 奇偶归并排序 23910.2.6 双调谐归并排序 24010.3 在专用网络上排序 24310.3.1 二维排序 24310.3.2 在超立方体上进行快速排序 24410.4 其他排序算法 24710.4.1 秩排序 24810.4.2 计数排序 24910.4.3 基数排序 25010.4.4 采样排序 25210.4.5 在机群上实现排序算法 25310.5 小结 253推荐读物 254参考文献 254习题 255第11章 数值算法 25811.1 矩阵回顾 25811.1.1 矩阵相加 25811.1.2 矩阵相乘 25811.1.3 矩阵-向量相乘 25911.1.4 矩阵与线性方程组的关系 25911.2 矩阵乘法的实现 25911.2.1 算法 25911.2.2 直接实现 26011.2.3 递归实现 26211.2.4 网格实现 26311.2.5 其他矩阵相乘方法 26611.3 求解线性方程组 26611.3.1 线性方程组 26611.3.2 高斯消去法 26611.3.3 并行实现 26711.4 迭代方法 26911.4.1 雅可比迭代 26911.4.2 快速收敛方法 27211.5小结 274推荐读物 275参考文献 275习题 276第12章 图像处理 27912.1 低层图像处理 27912.2 点处理 28012.3 直方图 28112.4 平滑、锐化和噪声消减 28112.4.1 平均值 28112.4.2 中值 28312.4.3 加权掩码 28412.5 边缘检测 28512.5.1 梯度和幅度 28512.5.2 边缘检测掩码 28612.6 霍夫变换 28812.7 向频域的变换 29012.7.1 傅里叶级数 29112.7.2 傅里叶变换 29112.7.3 图像处理中的傅里叶变换 29212.7.4 离散傅里叶变换算法的并行化 29412.7.5 快速傅里叶变换 29612.8 小结 300推荐读物 300参考文献 300习题 302第13章 搜索和优化 30513.1 应用和技术 30513.2 分支限界搜索 30613.2.1 顺序分支限界 30613.2.2 并行分支限界 30713.3 遗传算法 30813.3.1 进化算法和遗传算法 30813.3.2 顺序遗传算法 31013.3.3 初始种群 31013.3.4 选择过程 31213.3.5 后代的生成 31213.3.6 变异 31413.3.7 终止条件 31413.3.8 并行遗传算法 31413.4 连续求精 31713.5 爬山法（hill climbing） 31813.5.1 银行业务应用问题 31913.5.2 爬山法在金融业务中的应用 32013.5.3 并行化 3.6 小结 321推荐读物 321参考文献 322习题 323附录A 基本的MPI例程 329附录B 基本的Pthread例程 335附录C OpenMP命令、库函数以及环境变量 339索引 347

2. 并行编程技术，什么是并行编程技术

并行编程通常是指软件代码，它促进在同一时间执行多个计算任务的性能。
这有点像有一个操场上有20个滑梯而不是一个。孩子们不必排队等待轮到自己，因为他们可以同时玩。你可以使用电脑鼠标，一边听在线广播，一边更新电子表格中的信息，并对你的个人电脑做病毒扫描，这唯一的理由就是并发编程。

3. 五 浅谈CPU 并行编程和 GPU 并行编程的区别

CPU可以并行计算，传统的计算阵列也是用CPU组建的。
现在的GPU计算是因为单个GPU的多核心，重复计算能力强，通过低投入的GPU计算阵列就可以达到以往大型CPU阵列并行系统的效率。
CPU计算在通用计算上的价值更大。
比如说大量数据的重复运算就可以用并行计算的方式来进行，可利用GPU加速，而线性处理的时候GPU效率较低，此时CPU效率更高。
因此现在全球超级计算机前几名的机器都采用了混合架构，也就是CPU-GPU混合架构。

4. c++如何并行编程

多线程才可以啊，好比一个人的大脑，计算机也不能同时工作的，即使是多线程，也是交替使用cpu的资源的

5. 并行程序开发的语言现在有多少种

一般没有专门的独立语言，都是附加在传统语言之上的，比如：
OpenMP附加在C、C++、Fortran之上
MPI（有多种，如MPICH）附加在C、C++、Fortran、python、JAVA等语言之上
类似的还有Ateji PX、CUDA、OpenCL、OpenHMPP、PVM、Intel TBB、Boost Thread、Global Arrays、Charm++、Cilk、Dryad、DryadLINQ等等

还有传统语言的并行化改进版，如Parallel C、High Performance Fortran、Co-array Fortran等

6. 什么是并行编程环境以及并行环境编程的优缺点

喵的，真给吉大计算机丢人，青楼的悲情啊！！！！！

7. 并行程序设计的并行程序设计:

对于所希望的应用,很多并行代码似乎不存在的;即使有,也常不能用于用户的并行机上.因为并行代码原来都是为不同的并行结构写的.
其原因是:①并行程序设计不但包含了串行程序设计,而且还包含了更多的富有挑战性的问题;②串行程序设计仅有一个普遍被接受的冯*诺依曼模型,而并行计算模型虽有好多,但没有一个被共同认可;③并行程序设计对环境工具的要求远比串行程序设计先进得多;④串行程序设计比较适合于自然习惯,且人们在过去积累了大量的编程知识和宝贵的软件财富.
它的问题是:至今并行算法范例不能被很好地理解和广泛地接受;并行程序设计是建立在不同的计算模型上的,而它们没有能像冯*诺依曼模型那样被普遍的接受和认可.绝大部分被使用的并行程序设计语言都是Fortran和C的推广,他们都不能够充分地表达不同并行结构的特点,既不成熟也不通用.并行程序设计工具依赖于具体的并行结构和计算机代的更迭,既不通用也不稳定,在某个并行平台上开发的并行程序很难移植到别的或将来的并行机上.

8. 采用并行计算的程序用什么编程语言开发最好

分布式(即并行计算)的编写一般用的是C++（也有用JAVA的，但是都是娱乐性质的项目了，不是主流），基本不用MPI接口。并行计算用MPI或者OpenMP。如果把网格计算算做分布式计算（网格计算是分布式计算的一种特例，但是有区别，区别仅仅在编程方法和实际应用的范围上），网格计算使用中间件！而且对联网的各台计算机的操作系统的要求比较特殊。
当然vb也是可以的，c++这方面的类库比较多。

9. python 并行编程

如果你的bsub和这个ABC没什么关系的话，你可以：
subprocess.Popen("A1;A2",shell=True)
subprocess.Popen("B1;B2",shell=True)
subprocess.Popen("C1;C2",shell=True)

如果你在win而不再*nix的话，用“&”代替“；”。