openmp編程指南

⑴ 從並行計算的角度對比,MPI 與 OpenMP 有什麼區別

OpenMP和MPI是並行編程的兩個手段，對比如下：

OpenMP:線程級（並行粒度）；共享存儲；隱式（數據分配方式）；可擴展性差。

MPI：進程級；分布式存儲；顯式；可擴展性好。OpenMP採用共享存儲，意味著它只適應於SMP,DSM機器，不適合於集群。MPI雖適合於各種機器，但它的編程模型復雜。

需要分析及劃分應用程序問題，並將問題映射到分布式進程集合。需要解決通信延遲大和負載不平衡兩個主要問題。

延伸論述：

我認為，要理解OpenMP和MPI，首先要有一些操作系統知識和系統編程基礎——OpenMP對應的實際上是單進程多線程的並發編程模型，可以將一個單線程的程序按for循環拆分成多線程——相當於pthread_create。

對於同一個進程的多個線程來說，由於它們只是獨占自己的棧內存，堆內存是共享的，因此數據交換十分地容易，直接通過共享變數就可以進行交換，編程模型非常簡單易用，並且對於操作系統來說，線程的上下文切換成本也比進程低很多。

然而另一方面，由於線程不能脫離進程獨立存在，而一個進程不能存在於多台機器上，所以OpenMP只適用於擁有多個CPU核心的單台電腦。並且多線程編程存在臨界區（Critical Section），需要你自己去加鎖，解決Race Condition問題，否則的話很容易導致不可預知的後果。

而MPI則是多進程的並發編程模型，相當於你自己調用fork——每一個進程的內存地址空間都是獨立的，它們彼此之間幾乎什麼都不共享，只能通過進程間通信（IPC）來交換彼此的數據，因此編程難度明顯要大很多。

MPI有一個非常顯著的優點，那就是對於一個分布式系統來說，進程是可以在分布式系統的每一台電腦之間轉移的，因此對於擁有多台電腦的分布式系統來說，其並發性要明顯好於OpenMP。

⑵ 用OpenMP並行編程計算sum=1+2+3+.....N 用MPI並行編程計算sum=1+2+3+......N

OpenMP:

#include"omp.h"

constintN=100;

voidmain()
{
intsum=0;
#pragmaompparallelfor
for(inti=0;i<N;i++)
sum+=i;
print("Resultofadding1to%dis:%d",N,sum);
}

MPI:

#include<iostream>
#include<mpi.h>
intmain(intargc,char**argv){
intmynode,numnodes;
intsum,startval,endval,accum;
MPI::Statusstatus;
MPI::Init(argc,argv);
numnodes=MPI::COMM_WORLD.Get_size();
mynode=MPI::COMM_WORLD.Get_rank();
sum=0;
startval=1000*mynode/numnodes+1;
endval=1000*(mynode+1)/numnodes;

for(inti=startval;i<=endval;++i){
sum=sum+i;
}
if(mynode!=0){
MPI::COMM_WORLD.Send(&sum,1,MPI::INT,0,1);
}
else{
for(intj=1;j<numnodes;++j){
MPI::COMM_WORLD.Recv(&accum,1,MPI::INT,j,1,
status);
sum=sum+accum;
}
}
if(mynode==0)
std::cout<<"Thesumfrom0to1000is:"<<sum
<<std::endl;
MPI::Finalize();
}

⑶ 吐血整理：C++編程語言資源匯總

關於 C++ 框架、庫和資源的一些匯總列表，內容包括：標准庫、Web應用框架、人工智慧、資料庫、圖片處理、機器學習、日誌、代碼分析等。有需要的小夥伴可以收藏一下！

C++標准庫，包括了STL容器，演算法和函數等。

C++ Standard Library：是一系列類和函數的集合，使用核心語言編寫，也是C++ISO自身標準的一部分。

Standard Template Library：標准模板庫

C POSIX library ： POSIX系統的C標准庫規范

ISO C++ Standards Committee ：C++標准委員會

C++通用框架和庫

Apache C++ Standard Library：是一系列演算法，容器，迭代器和其他基本組件的集合

ASL ：Adobe源代碼庫提供了同行的評審和可移植的C++源代碼庫。

Boost ：大量通用C++庫的集合。

BDE ：來自於彭博資訊實驗室的開發環境。

Cinder：提供專業品質創造性編碼的開源開發社區。

Cxxomfort：輕量級的，只包含頭文件的庫，將C++ 11的一些新特性移植到C++03中。

Dlib：使用契約式編程和現代C++ 科技 設計的通用的跨平台的C++庫。

EASTL ：EA-STL公共部分

ffead-cpp ：企業應用程序開發框架

Folly：由Facebook開發和使用的開源C++庫

JUCE ：包羅萬象的C++類庫，用於開發跨平台軟體

libPhenom：用於構建高性能和高度可擴展性系統的事件框架。

LibSourcey ：用於實時的視頻流和高性能網路應用程序的C++11 evented IO

LibU ： C語言寫的多平台工具庫

Loki ：C++庫的設計，包括常見的設計模式和習語的實現。

MiLi ：只含頭文件的小型C++庫

openFrameworks ：開發C++工具包，用於創意性編碼。

Qt ：跨平台的應用程序和用戶界面框架

Reason ：跨平台的框架，使開發者能夠更容易地使用Java，.Net和Python，同時也滿足了他們對C++性能和優勢的需求。

ROOT ：具備所有功能的一系列面向對象的框架，能夠非常高效地處理和分析大量的數據，為歐洲原子能研究機構所用。

STLport：是STL具有代表性的版本

STXXL：用於額外的大型數據集的標准模板庫。

Ultimate++ ：C++跨平台快速應用程序開發框架

Windows Template Library：用於開發Windows應用程序和UI組件的C++庫

Yomm11 ：C++11的開放multi-methods.

btsk ： 游戲 行為樹啟動器工具

Evolving Objects：基於模板的，ANSI C++演化計算庫，能夠幫助你非常快速地編寫出自己的隨機優化演算法。

Neu：C++11框架，編程語言集，用於創建人工智慧應用程序的多用途軟體系統。

Boost.Asio：用於網路和底層I/O編程的跨平台的C++庫。

libev ：功能齊全，高性能的時間循環，輕微地仿效libevent，但是不再像libevent一樣有局限性，也修復了它的一些bug。

libevent ：事件通知庫

libuv ：跨平台非同步I/O。

音頻，聲音，音樂，數字化音樂庫

FMOD ：易於使用的跨平台的音頻引擎和音頻內容的 游戲 創作工具。

Maximilian ：C++音頻和音樂數字信號處理庫

OpenAL ：開源音頻庫—跨平台的音頻API

Opus：一個完全開放的，免版稅的，高度通用的音頻編解碼器

Speex：免費編解碼器，為Opus所廢棄

Tonic： C++易用和高效的音頻合成

Vorbis： Ogg Vorbis是一種完全開放的，非專有的，免版稅的通用壓縮音頻格式。

生物信息，基因組學和生物技術

libsequence：用於表示和分析群體遺傳學數據的C++庫。

SeqAn：專注於生物數據序列分析的演算法和數據結構。

Vcflib ：用於解析和處理VCF文件的C++庫

Wham：直接把聯想測試應用到BAM文件的基因結構變異。

壓縮和歸檔庫

bzip2：一個完全免費，免費專利和高質量的數據壓縮

doboz：能夠快速解壓縮的壓縮庫

PhysicsFS：對各種歸檔提供抽象訪問的庫，主要用於視頻 游戲 ，設計靈感部分來自於Quake3的文件子系統。

KArchive：用於創建，讀寫和操作文件檔案（例如zip和 tar）的庫，它通過QIODevice的一系列子類，使用gzip格式，提供了透明的壓縮和解壓縮的數據。

LZ4 ：非常快速的壓縮演算法

LZHAM ：無損壓縮資料庫，壓縮比率跟LZMA接近，但是解壓縮速度卻要快得多。

LZMA ：7z格式默認和通用的壓縮方法。

LZMAT ：及其快速的實時無損數據壓縮庫

miniz：單一的C源文件，緊縮/膨脹壓縮庫，使用zlib兼容API，ZIP歸檔讀寫，PNG寫方式。

Minizip：Zlib最新bug修復，支持PKWARE磁碟跨越，AES加密和IO緩沖。

Snappy ：快速壓縮和解壓縮

ZLib ：非常緊湊的數據流壓縮庫

ZZIPlib：提供ZIP歸檔的讀許可權。

並發執行和多線程

Boost.Compute ：用於OpenCL的C++GPU計算庫

Bolt ：針對GPU進行優化的C++模板庫

C++React ：用於C++11的反應性編程庫

Intel TBB ：Intel線程構件塊

Libclsph：基於OpenCL的GPU加速SPH流體模擬庫

OpenCL ：並行編程的異構系統的開放標准

OpenMP：OpenMP API

Thrust ：類似於C++標准模板庫的並行演算法庫

HPX ：用於任何規模的並行和分布式應用程序的通用C++運行時系統

VexCL ：用於OpenCL/CUDA 的C++向量表達式模板庫。

C++ B-tree ：基於B樹數據結構，實現命令內存容器的模板庫

Hashmaps： C++中開放定址哈希表演算法的實現

Bcrypt ：一個跨平台的文件加密工具，加密文件可以移植到所有可支持的操作系統和處理器中。

BeeCrypt：

Botan： C++加密庫

Crypto++：一個有關加密方案的免費的C++庫

GnuPG： OpenPGP標準的完整實現

GnuTLS ：實現了SSL，TLS和DTLS協議的安全通信庫

Libgcrypt

libmcrypt

LibreSSL：免費的SSL/TLS協議，屬於2014 OpenSSL的一個分支

LibTomCrypt：一個非常全面的，模塊化的，可移植的加密工具

libsodium：基於NaCI的加密庫，固執己見，容易使用

Nettle 底層的加密庫

OpenSSL ： 一個強大的，商用的，功能齊全的，開放源代碼的加密庫。

Tiny AES128 in C ：用C實現的一個小巧，可移植的實現了AES128ESB的加密演算法

資料庫，SQL伺服器，ODBC驅動程序和工具

hiberlite ：用於Sqlite3的C++對象關系映射

Hiredis： 用於Redis資料庫的很簡單的C客戶端庫

LevelDB： 快速鍵值存儲庫

LMDB：符合資料庫四大基本元素的嵌入鍵值存儲

MySQL++：封裝了MySql的C API的C++ 包裝器

RocksDB：來自Facebook的嵌入鍵值的快速存儲

SQLite：一個完全嵌入式的，功能齊全的關系資料庫，只有幾百KB，可以正確包含到你的項目中。

調試庫， 內存和資源泄露檢測，單元測試

Boost.Test：Boost測試庫

Catch：一個很 時尚 的，C++原生的框架，只包含頭文件，用於單元測試，測試驅動開發和行為驅動開發。

CppUnit：由JUnit移植過來的C++測試框架

CTest：CMake測試驅動程序

googletest：谷歌C++測試框架

ig-debugheap：用於跟蹤內存錯誤的多平台調試堆

libtap：用C語言編寫測試

MemTrack —用於C++跟蹤內存分配

microprofile- 跨平台的網路試圖分析器

minUnit ：使用C寫的迷你單元測試框架，只使用了兩個宏

Remotery：用於web視圖的單一C文件分析器

UnitTest++：輕量級的C++單元測試框架

Cocos2d-x ：一個跨平台框架，用於構建2D 游戲 ，互動圖書，演示和其他圖形應用程序。

Grit ：社區項目，用於構建一個免費的 游戲 引擎，實現開放的世界3D 游戲 。

Irrlicht ：C++語言編寫的開源高性能的實時#D引擎

Polycode：C++實現的用於創建 游戲 的開源框架（與Lua綁定）。

CEGUI ： 很靈活的跨平台GUI庫

FLTK ：快速，輕量級的跨平台的C++GUI工具包。

GTK+： 用於創建圖形用戶界面的跨平台工具包

gtkmm ：用於受歡迎的GUI庫GTK+的官方C++介面。

imgui：擁有最小依賴關系的立即模式圖形用戶界面

libRocket ：libRocket 是一個C++ HTML/CSS 游戲 介面中間件

MyGUI ：快速，靈活，簡單的GUI

Ncurses：終端用戶界面

QCustomPlot ：沒有更多依賴關系的Qt繪圖控制項

Qwt ：用戶與技術應用的Qt 控制項

QwtPlot3D ：功能豐富的基於Qt/OpenGL的C++編程庫，本質上提供了一群3D控制項

OtterUI ：OtterUI 是用於嵌入式系統和互動 娛樂 軟體的用戶界面開發解決方案

PDCurses 包含源代碼和預編譯庫的公共圖形函數庫

wxWidgets C++庫，允許開發人員使用一個代碼庫可以為widows， Mac OS X，Linux和其他平台創建應用程序

bgfx：跨平台的渲染庫

Cairo：支持多種輸出設備的2D圖形庫

Horde3D 一個小型的3D渲染和動畫引擎

magnum C++11和OpenGL 2D/3D 圖形引擎

Ogre 3D 用C++編寫的一個面向場景，實時，靈活的3D渲染引擎（並非 游戲 引擎）

OpenSceneGraph 具有高性能的開源3D圖形工具包

Panda3D 用於3D渲染和 游戲 開發的框架，用Python和C++編寫。

Skia 用於繪制文字，圖形和圖像的完整的2D圖形庫

urho3d 跨平台的渲染和 游戲 引擎。

Boost.GIL：通用圖像庫

CImg ：用於圖像處理的小型開源C++工具包

CxImage ：用於載入，保存，顯示和轉換的圖像處理和轉換庫，可以處理的圖片格式包括 BMP, JPEG, GIF, PNG, TIFF, MNG, ICO, PCX, TGA, WMF, WBMP, JBG, J2K。

FreeImage ：開源庫，支持現在多媒體應用所需的通用圖片格式和其他格式。

GDCM：Grassroots DICOM 庫

ITK：跨平台的開源圖像分析系統

Magick++：ImageMagick程序的C++介面

MagickWnd：ImageMagick程序的C++介面

OpenCV ： 開源計算機視覺類庫

tesseract-ocr：OCR引擎

VIGRA ：用於圖像分析通用C++計算機視覺庫

VTK ：用於3D計算機圖形學，圖像處理和可視化的開源免費軟體系統。

最後， 對於學習編程或者在工作想升職的程序員兄弟，如果你想更好的提升你的編程能力幫助你提升水平！ 筆者這里或許可以幫到你~

編程學習書籍分享：

編程學習視頻分享：

分享（源碼、項目實戰視頻、項目筆記，基礎入門教程）

歡迎轉行和學習編程的夥伴，利用更多的資料學習成長比自己琢磨更快哦！

⑷ 求MPI的主要實現和各主要實現的優缺點

OpenMP（Open Multi-Processing）是一套支持跨平台共享內存方式的多線程並發的編程API，使用C,C++和Fortran語言，可以在大多數的處理器體系和操作系統中運行，包括Solaris, AIX, HP-UX, GNU/Linux, Mac OS X, 和Microsoft Windows。包括一套編譯器指令、庫和一些能夠影響運行行為的環境變數。OpenMP採用可移植的、可擴展的模型，為程序員提供了一個簡單而靈活的開發平台，從標准桌面電腦到超級計算機的並行應用程序介面[1]。
消息傳遞界面/介面（英語：Message Passing Interface，縮寫MPI）是一個並行計算的應用程序介面（API），常在超級電腦、電腦簇等非共享內存環境程序設計[2]。
下面是我在使用他們的過程中，對這兩種API優缺點的認識。
OpenMP的優點：
- OpenMP相對於MPI而言更容易使用。
- OpenMp對原串列代碼改動較小，可以保護代碼原貌。
- 代碼更容易理解和維護
- 允許漸進式並行化
OpenMP的缺點 ：
- 所有線程共享內存空間，硬體制約較大
- 目前主要針對循環並行化
MPI的優點：
- 無論硬體是否共享內存空間，都可以使用。（但是線程間不共享內存空間）
- 與OpenMP相比，可以處理規模更大的問題
- 每個線程有自己的內存和變數，這樣不用擔心
MPI的缺點：
- 演算法上經常有較大改動（建立communication等）
- 較難使用
- 性能上會受到通信網路的影響

⑸ 中如下的編譯選項什麼意思

1.編譯目標文件
icc -c -offload-attribute-target=mic -O3 -openmp -std=c99 -DMKL_ILP64 -I/opt/intel/composer_xe_2013_sp1.1.106/mkl/include fft.c -o fft_new.o
2.連接產生可執行文件
icc fft_new.o -openmp -Wl,--start-group /opt/intel/composer_xe_2013_sp1.2.144/mkl/lib/intel64/libmkl_intel_ilp64.a /opt/intel/composer_xe_2013_sp1.2.144/mkl/lib/intel64/libmkl_intel_thread.a /opt/intel/composer_xe_2013_sp1.2.144/mkl/lib/intel64/libmkl_core.a -Wl,--end-group -Ip-offload-option,mic,compiler,"-Wl,--start-group /opt/intel/composer_xe_2013_sp1.2.144/mkl/lib/mic/libmkl_intel_ilp64.a /opt/intel/composer_xe_2013mkl/lib/mic/libmkl_intel_thread.a /opt/intel/composer_xe_2013_sp1.2.144/mkl/lib/mic/libmkl_core.a -Wl,--end-group" -o fft_new.out
這里的東西較多，看上去比較復雜。
1.對於第一步，編譯出目標文件。這裡面的幾個編譯選項：
-O3 ：表示最大可能優化級別。各種循環優化都執行了，並且各種文件級性質也用來改善性能
-openmp:採用了openmp並行編程
-std=c99:ANSI C是89年成為了標准，被ISO認證。之後99年ISO更新了新的C標准。所以-std用來指明編譯的C標准。在某些情況下，如果使用GCC，可能在有沖突的時候使用其他標准，比如：-std=gnu89
-DMKL_ILP64:這個是intel提供的編譯選項，主要是一個平台的指示。
-I:指定頭文件目錄
-o:重命名。
2.對於第二步，鏈接過程。其中幾個編譯選項：
-openmp:同上
-Wl:Wl選項告訴編譯器將後面的參數傳遞給鏈接器。
--start-group 和--stop-group：庫文件參數傳遞的開始和結束。
--offload-option,mic：使用offload方式使用協處理器進行運算
轉自CSDN社區beglorious的專欄