編譯分布式存儲系統開發

㈠ 國內做分布式存儲研發的公司有哪些

做過一些集成項目，國內集群NAS（分布式文件系統）這塊了解一些，隨便說說，僅限於通用集群NAS。宣傳自研集群NAS的公司不少，OEM居多，做研發的不多，完全自研就更少了。列一些接觸過，完全自研，產品化程度相對高一些的吧。大一點的，華為 （oceanstor 9000），曙光（parastor）。市場上見的比較多了。小一點的，龍存，這個算是老牌子了。聚存，這個知道的人不多。基於ceph的公司這幾年不少，用過其中一家的東西，塊這塊還行，文件這塊還需要時間。分布式存儲其實是一個比較大的領域。有分布式資料庫、分布式文件系統、分布式塊（ServerSAN）、分布式對象存儲之類。做的公司挺多，不過真正都自己的代碼的挺少，很多都是開源改的。分布式數據來說一般互聯網公司用的多，像阿里，騰訊、網路都有自己分布式資料庫。國內做分布式文件系統來說，數中科院的一幫人做的最早。從中科院出來人基本的分為三家，曙光，龍存，達沃。這三家基本都屬於自研並且應用時間都在國內來說時間最久了。也有像華為、淘寶、網路、騰訊的文件系統。

㈡ 哪些分布式文件系統是由python編寫的呢

我知道分布式文件系統完全用Python 寫的只有openstack 的swift。

其他還有一些不知名的分布式文件系統用python 寫的如：
NCFS（基於多個雲存儲的分布式文件系統）
一般考慮性能都不會採用python 作為分布式文件系統的開發語言

㈢ 分布式文件存儲系統採用什麼方式來提升可用性和可靠性

一。分布式Session的幾種實現方式 1.基於資料庫的Session共享 2.基於NFS共享文件系統 3.基於memcached 的session，如何保證 memcached 本身的高可用性？ 4. 基於resin/tomcat web容器本身的session復制機制 5. 基於TT/Redis 或 jbosscache 進行 session 共享。 6. 基於cookie 進行session共享 或者是： 一、Session Replication 方式管理 (即session復制) 簡介：將一台機器上的Session數據廣播復制到集群中其餘機器上 使用場景：機器較少，網路流量較小 優點：實現簡單、配置較少、當網路中有機器Down掉時不影響用戶訪問 缺點：廣播式復制到其餘機器有一定廷時，帶來一定網路開銷 二、Session Sticky 方式管理 簡介：即粘性Session、當用戶訪問集群中某台機器後，強制指定後續所有請求均落到此機器上 使用場景：機器數適中、對穩定性要求不是非常苛刻 優點：實現簡單、配置方便、沒有額外網路開銷 缺點：網路中有機器Down掉時、用戶Session會丟失、容易造成單點故障 三、緩存集中式管理 簡介：將Session存入分布式緩存集群中的某台機器上，當用戶訪問不同節點時先從緩存中拿Session信息 使用場景：集群中機器數多、網路環境復雜 優點：可靠性好 缺點：實現復雜、穩定性依賴於緩存的穩定性、Session信息放入緩存時要有合理的策略寫入 二。Session和Cookie的區別和聯系以及Session的實現原理 1、session保存在伺服器，客戶端不知道其中的信息；cookie保存在客戶端，伺服器能夠知道其中的信息。 2、session中保存的是對象，cookie中保存的是字元串。 3、session不能區分路徑，同一個用戶在訪問一個網站期間，所有的session在任何一個地方都可以訪問到。而cookie中如果設置了路徑參數，那麼同一個網站中不同路徑下的cookie互相是訪問不到的。 4、session需要藉助cookie才能正常<nobr oncontextmenu="return false;" onmousemove="kwM(3);" id="key3" onmouseover="kwE(event,3, this);" style="COLOR: #6600ff; BORDER-BOTTOM: 0px dotted; BACKGROUND-COLOR: transparent; TEXT-DECORATION: underline" onclick="return kwC();" onmouseout="kwL(event, this);" target="_blank">工作</nobr>。如果客戶端完全禁止cookie，session將失效。 http是無狀態的協議，客戶每次讀取web頁面時，伺服器都打開新的會話，而且伺服器也不會自動維護客戶的上下文信息，那麼要怎麼才能實現網上商店中的 購物車呢，session就是一種保存上下文信息的機制，它是針對每一個用戶的，變數的值保存在伺服器端，通過SessionID來區分不同的客 戶,session是以cookie或URL重寫為基礎的，默認使用cookie來實現，系統會創造一個名為JSESSIONID的輸出cookie，我 們叫做session cookie,以區別persistent cookies,也就是我們通常所說的cookie,注意session cookie是存儲於瀏覽器內存中的，並不是寫到硬碟上的，這也就是我們剛才看到的JSESSIONID，我們通常情是看不到JSESSIONID的，但 是當我們把瀏覽器的cookie禁止後，web伺服器會採用URL重寫的方式傳遞Sessionid，我們就可以在地址欄看到 sessionid=KWJHUG6JJM65HS2K6之類的字元串。 明白了原理，我們就可以很容易的分辨出persistent cookies和session cookie的區別了，網上那些關於兩者安全性的討論也就一目瞭然了，session cookie針對某一次會話而言，會話結束session cookie也就隨著消失了，而persistent cookie只是存在於客戶端硬碟上的一段文本（通常是加密的），而且可能會遭到cookie欺騙以及針對cookie的跨站腳本攻擊，自然不如 session cookie安全了。 通常session cookie是不能跨窗口使用的，當你新開了一個瀏覽器窗口進入相同頁面時，系統會賦予你一個新的sessionid，這樣我們信息共享的目的就達不到 了，此時我們可以先把sessionid保存在persistent cookie中，然後在新窗口中讀出來，就可以得到上一個窗口SessionID了，這樣通過session cookie和persistent cookie的結合我們就實現了跨窗口的session tracking（會話跟蹤）。 在一些web開發的書中，往往只是簡單的把Session和cookie作為兩種並列的http傳送信息的方式，session cookies位於伺服器端，persistent cookie位於客戶端，可是session又是以cookie為基礎的，明白的兩者之間的聯系和區別，我們就不難選擇合適的技術來開發web service了。 總之： 一、cookie機制和session機制的區別 具體來說cookie機制採用的是在客戶端保持狀態的方案，而session機制採用的是在伺服器端保持狀態的方案。 同時我們也看到，由於在伺服器端保持狀態的方案在客戶端也需要保存一個標識，所以session機制可能需要藉助於cookie機制來達到保存標識的目的，但實際上還有其他選擇。 二、會話cookie和持久cookie的區別 如果不設置過期時間，則表示這個cookie生命周期為瀏覽器會話期間，只要關閉瀏覽器窗口，cookie就消失了。這種生命期為瀏覽會話期的cookie被稱為會話cookie。會話cookie一般不保存在硬碟上而是保存在內存里。 如果設置了過期時間，瀏覽器就會把cookie保存到硬碟上，關閉後再次打開瀏覽器，這些cookie依然有效直到超過設定的過期時間。 存儲在硬碟上的cookie可以在不同的瀏覽器進程間共享，比如兩個IE窗口。而對於保存在內存的cookie，不同的瀏覽器有不同的處理方式。 三、如何利用實現自動登錄 當用戶在某個網站注冊後，就會收到一個惟一用戶ID的cookie。客戶後來重新連接時，這個用戶ID會自動返回，伺服器對它進行檢查，確定它是否為注冊用戶且選擇了自動登錄，從而使用戶無需給出明確的用戶名和密碼，就可以訪問伺服器上的資源。 四、如何根據用戶的愛好定製站點 網站可以使用cookie記錄用戶的意願。對於簡單的設置，網站可以直接將頁面的設置存儲在cookie中完成定製。然而對於更復雜的定製，網站只需僅將一個惟一的標識符發送給用戶，由伺服器端的資料庫存儲每個標識符對應的頁面設置。 五、cookie的發送 1.創建Cookie對象 2.設置最大時效 3.將Cookie放入到HTTP響應報頭 如果你創建了一個cookie，並將他發送到瀏覽器，默認情況下它是一個會話級別的cookie:存儲在瀏覽器的內存中，用戶退出瀏覽器之後被刪除。如 果你希望瀏覽器將該cookie存儲在磁碟上，則需要使用maxAge，並給出一個以秒為單位的時間。將最大時效設為0則是命令瀏覽器刪除該 cookie。 發送cookie需要使用HttpServletResponse的addCookie方法，將cookie插入到一個 Set-Cookie HTTP請求報頭中。由於這個方法並不修改任何之前指定的Set-Cookie報頭，而是創建新的報頭，因此我們將這個方法稱為是addCookie，而 非setCookie。同樣要記住響應報頭必須在任何文檔內容發送到客戶端之前設置。 六、cookie的讀取 1.調用request.getCookie 要獲取有瀏覽器發送來的cookie，需要調用HttpServletRequest的getCookies方法，這個調用返回Cookie對象的數組，對應由HTTP請求中Cookie報頭輸入的值。 2.對數組進行循環，調用每個cookie的getName方法，直到找到感興趣的cookie為止 cookie與你的主機(域)相關，而非你的servlet或JSP頁面。因而，盡管你的servlet可能只發送了單個cookie，你也可能會得到許多不相關的cookie。 例如： String cookieName = 「userID」; Cookie cookies［］ = request.getCookies(); if (cookies!=null){ for(int i=0;i Cookie cookie = cookies［i］; if (cookieName.equals(cookie.getName())){ doSomethingWith(cookie.getValue()); } } } 七、如何使用cookie檢測初訪者 A.調用HttpServletRequest.getCookies()獲取Cookie數組 B.在循環中檢索指定名字的cookie是否存在以及對應的值是否正確 C.如果是則退出循環並設置區別標識 D.根據區別標識判斷用戶是否為初訪者從而進行不同的操作 八、使用cookie檢測初訪者的常見錯誤 不能僅僅因為cookie數組中不存在在特定的數據項就認為用戶是個初訪者。如果cookie數組為null，客戶可能是一個初訪者，也可能是由於用戶將cookie刪除或禁用造成的結果。 但是，如果數組非null,也不過是顯示客戶曾經到過你的網站或域，並不能說明他們曾經訪問過你的servlet。其它servlet、JSP頁面以及 非java Web應用都可以設置cookie，依據路徑的設置，其中的任何cookie都有可能返回給用戶的瀏覽器。 正確的做法是判斷cookie數組是否為空且是否存在指定的Cookie對象且值正確。 九、使用cookie屬性的注意問題 屬性是從伺服器發送到瀏覽器的報頭的一部分；但它們不屬於由瀏覽器返回給伺服器的報頭。 因此除了名稱和值之外，cookie屬性只適用於從伺服器輸出到客戶端的cookie；伺服器端來自於瀏覽器的cookie並沒有設置這些屬性。 因而不要期望通過request.getCookies得到的cookie中可以使用這個屬性。這意味著，你不能僅僅通過設置cookie的最大時效， 發出它，在隨後的輸入數組中查找適當的cookie,讀取它的值，修改它並將它存回Cookie，從而實現不斷改變的cookie值。 十、如何使用cookie記錄各個用戶的訪問計數 1.獲取cookie數組中專門用於統計用戶訪問次數的cookie的值 2.將值轉換成int型 3.將值加1並用原來的名稱重新創建一個Cookie對象 4.重新設置最大時效 5.將新的cookie輸出 十一、session在不同環境下的不同含義 session，中文經常翻譯為會話，其本來的含義是指有始有終的一系列動作/消息，比如打電話是從拿起電話撥號到掛斷電話這中間的一系列過程可以稱之為一個session。 然而當session一詞與網路協議相關聯時，它又往往隱含了「面向連接」和/或「保持狀態」這樣兩個含義。 session在Web開發環境下的語義又有了新的擴展，它的含義是指一類用來在客戶端與伺服器端之間保持狀態的解決方案。有時候Session也用來指這種解決方案的存儲結構。 十二、session的機制 session機制是一種伺服器端的機制，伺服器使用一種類似於散列表的結構(也可能就是使用散列表)來保存信息。 但程序需要為某個客戶端的請求創建一個session的時候，伺服器首先檢查這個客戶端的請求里是否包含了一個session標識－稱為session id,如果已經包含一個session id則說明以前已經為此客戶創建過session，伺服器就按照session id把這個session檢索出來使用(如果檢索不到，可能會新建一個，這種情況可能出現在服務端已經刪除了該用戶對應的session對象，但用戶人為 地在請求的URL後面附加上一個JSESSION的參數)。 如果客戶請求不包含session id，則為此客戶創建一個session並且生成一個與此session相關聯的session id，這個session id將在本次響應中返回給客戶端保存。 十三、保存session id的幾種方式 A．保存session id的方式可以採用cookie，這樣在交互過程中瀏覽器可以自動的按照規則把這個標識發送給伺服器。 B． 由於cookie可以被人為的禁止，必須有其它的機制以便在cookie被禁止時仍然能夠把session id傳遞回伺服器，經常採用的一種技術叫做URL重寫，就是把session id附加在URL路徑的後面，附加的方式也有兩種，一種是作為URL路徑的附加信息，另一種是作為查詢字元串附加在URL後面。網路在整個交互過程中始終 保持狀態，就必須在每個客戶端可能請求的路徑後面都包含這個session id。 C．另一種技術叫做表單隱藏欄位。就是伺服器會自動修改表單，添加一個隱藏欄位，以便在表單提交時能夠把session id傳遞回伺服器。 十四、session什麼時候被創建 一個常見的錯誤是以為session在有客戶端訪問時就被創建，然而事實是直到某server端程序(如Servlet)調用HttpServletRequest.getSession(true)這樣的語句時才會被創建。 十五、session何時被刪除 session在下列情況下被刪除： A．程序調用HttpSession.invalidate() B．距離上一次收到客戶端發送的session id時間間隔超過了session的最大有效時間 C．伺服器進程被停止 再次注意關閉瀏覽器只會使存儲在客戶端瀏覽器內存中的session cookie失效，不會使伺服器端的session對象失效。

㈣ rust可以開發分布式系統嗎

rust是可以開發分布式系統的。

引子

構建一個分布式系統 並不是一件容易的事情，我們需要考慮很多的問題，首先就是我們的系統到底需要提供什麼樣的功能，譬如：

• 一致性：我們是否需要保證整個系統的線性一致性，還是能容忍短時間的數據不一致，只支持最終一致性。

• 穩定性：我們能否保證系統 7 x 24 小時穩定運行。系統的可用性是 4 個 9，還有 5 個 9？如果出現了機器損壞等災難情況，系統能否做的自動恢復。

• 擴展性：當數據持續增多，能否通過添加機器就自動做到數據再次平衡，並且不影響外部服務。

• 分布式事務：是否需要提供分布式事務支持，事務隔離等級需要支持到什麼程度。

上面的問題在系統設計之初，就需要考慮好，作為整個系統的設計目標。為了實現這些特性，我們就需要考慮到底採用哪一種實現方案，取捨各個方面的利弊等。

後面，我將以我們開發的分布式 Key-Value TiKV 作為實際例子，來說明下我們是如何取捨並實現的。

TiKV

TiKV 是一個分布式 Key-Value store，它使用 Rust 開發，採用 Raft 一致性協議保證數據的強一致性，以及穩定性，同時通過 Raft 的 Configuration Change 機制實現了系統的可擴展性。

TiKV 提供了基本的 KV API 支持，也就是通常的 Get，Set，Delete，Scan 這樣的 API。TiKV 也提供了支持 ACID 事務的 Transaction API，我們可以使用 Begin 開啟一個事務，在事務裡面對 Key 進行操作，最後再用 Commit 提交一個事務，TiKV 支持 SI 以及 SSI 事務隔離級別，用來滿足用戶的不同業務場景。

Rust

在規劃好 TiKV 的特性之後，我們就要開始進行 TiKV 的開發。這時候，我們面臨的第一個問題就是採用什麼樣的語言進行開發。當時，擺在我們眼前的有幾個選擇：

• Go，Go 是我們團隊最擅長的一門語言，而且 Go 提供的 goroutine，channel 這些機制，天生的適合大規模分布式系統的開發，但靈活方便的同時也有一些甜蜜的負擔，首先就是 GC，雖然現在 Go 的 GC 越來越完善，但總歸會有短暫的卡頓，另外 goroutine 的調度也會有切換開銷，這些都可能會造成請求的延遲增高。

• Java，現在世面上面有太多基於 Java 做的分布式系統了，但 Java 一樣有 GC 等開銷問題，同時我們團隊在 Java 上面沒有任何開發經驗，所以沒有採用。

• C++，C++ 可以認為是開發高性能系統的代名詞，但我們團隊沒有特別多的同學能熟練掌握 C++，所以開發大型 C++ 項目並不是一件非常容易的事情。雖然使用現代 C++ 的編程方式能大量減少 data race，dangling pointer 等風險，我們仍然可能犯錯。

當我們排除了上面幾種主流語言之後，我們發現，為了開發 TiKV，我們需要這門語言具有如下特性：

• 靜態語言，這樣才能最大限度的保證運行性能。

• 無 GC，完全手動控制內存。

• Memory safe，盡量避免 dangling pointer，memory leak 等問題。

• Thread safe，不會遇到 data race 等問題。

• 包管理，我們可以非常方便的使用第三方庫。

• 高效的 C 綁定，因為我們還可能使用一些 C library，所以跟 C 交互不能有開銷。

綜上，我們決定使用 Rust，Rust 是一門系統編程語言，它提供了我們上面想要的語言特性，但選擇 Rust 對我們來說也是很有風險的，主要有兩點：

• 我們團隊沒有任何 Rust 開發經驗，全部都需要花時間學習 Rust，而偏偏 Rust 有一個非常陡峭的學習曲線。

• 基礎網路庫的缺失，雖然那個時候 Rust 已經出了 1.0，但我們發現很多基礎庫都沒有，譬如在網路庫上面只有 mio，沒有好用的 RPC 框架，HTTP 也不成熟。

但我們還是決定使用 Rust，對於第一點，我們團隊花了將近一個月的時間來學習 Rust，跟 Rust 編譯器作斗爭，而對於第二點，我們就完全開始自己寫。

幸運的，當我們越過 Rust 那段陣痛期之後，發現用 Rust 開發 TiKV 異常的高效，這也就是為啥我們能在短時間開發出 TiKV 並在生產環境中上線的原因。

一致性協議

對於分布式系統來說，CAP 是一個不得不考慮的問題，因為 P 也就是 Partition Tolerance 是一定存在的，所以我們就要考慮到底是選擇 C - Consistency 還是 A - Availability。

我們在設計 TiKV 的時候就決定 - 完全保證數據安全性，所以自然就會選擇 C，但其實我們並沒有完全放棄 A，因為多數時候，畢竟斷網，機器停電不會特別頻繁，我們只需要保證 HA - High Availability，也就是 4 個 9 或者 5 個 9 的可用性就可以了。

既然選擇了 C，我們下一個就考慮的是選用哪一種分布式一致性演算法，現在流行的無非就是 Paxos 或者 Raft，而 Raft 因為簡單，容易理解，以及有很多現成的開源庫可以參考，自然就成了我們的首要選擇。

在 Raft 的實現上，我們直接參考的 etcd 的 Raft。etcd 已經被大量的公司在生產環境中使用，所以它的 Raft 庫質量是很有保障的。雖然 etcd 是用 Go 實現的，但它的 Raft library 是類似 C 的實現，所以非常便於我們用 Rust 直接翻譯。在翻譯的過程中，我們也給 etcd 的 Raft fix 了一些 bug，添加了一些功能，讓其變得更加健壯和易用。

現在 Raft 的代碼仍然在 TiKV 工程裡面，但我們很快會將獨立出去，變成獨立的 library，這樣大家就能在自己的 Rust 項目中使用 Raft 了。

使用 Raft 不光能保證數據的一致性，也可以藉助 Raft 的 Configuration Change 機制實現系統的水平擴展，這個我們會在後面的文章中詳細的說明。

存儲引擎

選擇了分布式一致性協議，下一個就要考慮數據存儲的問題了。在 TiKV 裡面，我們會存儲 Raft log，然後也會將 Raft log 裡面實際的客戶請求應用到狀態機裡面。

首先來看狀態機，因為它會存放用戶的實際數據，而這些數據完全可能是隨機的 key - value，為了高效的處理隨機的數據插入，自然我們就考慮使用現在通用的 LSM Tree 模型。而在這種模型下，RocksDB 可以認為是現階段最優的一個選擇。

RocksDB 是 Facebook 團隊在 LevelDB 的基礎上面做的高性能 Key-Value Storage，它提供了很多配置選項，能讓大家根據不同的硬體環境去調優。這里有一個梗，說的是因為 RocksDB 配置太多，以至於連 RocksDB team 的同學都不清楚所有配置的意義。

關於我們在 TiKV 中如何使用，優化 RocksDB，以及給 RocksDB 添加功能，fix bug 這些，我們會在後面文章中詳細說明。

而對於 Raft Log，因為任意 Log 的 index 是完全單調遞增的，譬如 Log 1，那麼下一個 Log 一定是 Log 2，所以 Log 的插入可以認為是順序插入。這種的，最通常的做法就是自己寫一個 Segment File，但現在我們仍然使用的是 RocksDB，因為 RocksDB 對於順序寫入也有非常高的性能，也能滿足我們的需求。但我們不排除後面使用自己的引擎。

因為 RocksDB 提供了 C API，所以可以直接在 Rust 裡面使用，大家也可以在自己的 Rust 項目裡面通過 rust-rocksdb 這個庫來使用 RocksDB。

分布式事務

要支持分布式事務，首先要解決的就是分布式系統時間的問題，也就是我們用什麼來標識不同事務的順序。通常有幾種做法：

• TrueTime，TrueTime 是 Google Spanner 使用的方式，不過它需要硬體 GPS + 原子鍾支持，而且 Spanner 並沒有在論文裡面詳細說明硬體環境是如何搭建的，外面要自己實現難度比較大。

• HLC，HLC 是一種混合邏輯時鍾，它使用 Physical Time 和 Logical Clock 來確定事件的先後順序，HLC 已經在一些應用中使用，但 HLC 依賴 NTP，如果 NTP 精度誤差比較大，很可能會影響 commit wait time。

• TSO，TSO 是一個全局授時器，它直接使用一個單點服務來分配時間。TSO 的方式很簡單，但會有單點故障問題，單點也可能會有性能問題。

TiKV 採用了 TSO 的方式進行全局授時，主要是為了簡單。至於單點故障問題，我們通過 Raft 做到了自動 fallover 處理。而對於單點性能問題，TiKV 主要針對的是 PB 以及 PB 以下級別的中小規模集群，所以在性能上面只要能保證每秒百萬級別的時間分配就可以了，而網路延遲上面，TiKV 並沒有全球跨 IDC 的需求，在單 IDC 或者同城 IDC 情況下，網路速度都很快，即使是異地 IDC，也因為有專線不會有太大的延遲。

解決了時間問題，下一個問題就是我們採用何種的分布式事務演算法，最通常的就是使用 2 PC，但通常的 2 PC 演算法在一些極端情況下面會有問題，所以業界要不通過 Paxos，要不就是使用 3 PC 等演算法。在這里，TiKV 參考 Percolator，使用了另一種增強版的 2 PC 演算法。

這里先簡單介紹下 Percolator 的分布式事務演算法，Percolator 使用了樂觀鎖，也就是會先緩存事務要修改的數據，然後在 Commit 提交的時候，對要更改的數據進行加鎖處理，然後再更新。採用樂觀鎖的好處在於對於很多場景能提高整個系統的並發處理能力，但在沖突嚴重的情況下反而沒有悲觀鎖高效。

對於要修改的一行數據，Percolator 會有三個欄位與之對應，Lock，Write 和 Data：

• Lock，就是要修改數據的實際 lock，在一個 Percolator 事務裡面，有一個 primary key，還有其它 secondary keys， 只有 primary key 先加鎖成功，我們才會再去嘗試加鎖後續的 secondary keys。

• Write，保存的是數據實際提交寫入的 commit timestamp，當一個事務提交成功之後，我們就會將對應的修改行的 commit timestamp 寫入到 Write 上面。

• Data，保存實際行的數據。

當事務開始的時候，我們會首先得到一個 start timestamp，然後再去獲取要修改行的數據，在 Get 的時候，如果這行數據上面已經有 Lock 了，那麼就可能終止當前事務，或者嘗試清理 Lock。

當我們要提交事務的時候，先得到 commit timestamp，會有兩個階段：

• Prewrite：先嘗試給 primary key 加鎖，然後嘗試給 second keys 加鎖。如果對應 key 上面已經有 Lock，或者在 start timestamp 之後，Write 上面已經有新的寫入，Prewrite 就會失敗，我們就會終止這次事務。在加鎖的時候，我們也會順帶將數據寫入到 Data 上面。

• Commit：當所有涉及的數據都加鎖成功之後，我們就可以提交 primay key，這時候會先判斷之前加的 Lock 是否還在，如果還在，則刪掉 Lock，將 commit timestamp 寫入到 Write。當 primary key 提交成功之後，我們就可以非同步提交 second keys，我們不用在乎 primary keys 是否能提交成功，即使失敗了，也有機制能保證數據被正常提交。

㈤ 什麼是分布式存儲系統

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(5)編譯分布式存儲系統開發擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

㈥ 基於mogileFS搭建分布式文件系統--海量小文件的存儲利器

1.簡介

分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣。

當下我們處在一個互聯網飛速發展的信息 社會 ，在海量並發連接的驅動下每天所產生的數據量必然以幾何方式增長，隨著信息連接方式日益多樣化，數據存儲的結構也隨著發生了變化。在這樣的壓力下使得人們不得不重新審視大量數據的存儲所帶來的挑戰，例如：數據採集、數據存儲、數據搜索、數據共享、數據傳輸、數據分析、數據可視化等一系列問題。

傳統存儲在面對海量數據存儲表現出的力不從心已經是不爭的事實，例如：縱向擴展受陣列空間限制、橫向擴展受交換設備限制、節點受文件系統限制。

然而分布式存儲的出現在一定程度上有效的緩解了這一問題，之所以稱之為緩解是因為分布式存儲在面對海量數據存儲時也並非十全十美毫無壓力，依然存在的難點與挑戰例如：節點間通信、數據存儲、數據空間平衡、容錯、文件系統支持等一系列問題仍處在不斷摸索和完善中。

2.分布式文件系統的一些解決方案

Google Filesystem適合存儲海量大個文件，元數據存儲與內存中

HDFS（Hadoop Filesystem）GFS的山寨版，適合存儲大量大個文件

TFS（Taobao Filesystem）淘寶的文件系統，在名稱節點上將元數據存儲與關系資料庫中，文件數量不在受限於名稱節點的內容空間，可以存儲海量小文件LustreOracle開發的企業級分布式系統，較重量級MooseFS基於FUSE的格式，可以進行掛載使用MogileFS

擅長存儲海量的小數據，元數據存儲與關系型資料庫中

1.簡介

MogileFS是一個開源的分布式文件系統，用於組建分布式文件集群，由LiveJournal旗下DangaInteractive公司開發，Danga團隊開發了包括 Memcached、MogileFS、Perlbal等不錯的開源項目：(註：Perlbal是一個強大的Perl寫的反向代理伺服器)。MogileFS是一個開源的分布式文件系統。

目前使用 MogileFS 的公司非常多,比如國外的一些公司,日本前幾名的公司基本都在使用這個.

國內所知道的使用 MogileFS 的公司有圖片託管網站 yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量，圖片都超過 30T 以上。

2.MogileFS特性

1) 應用層提供服務，不需要使用核心組件

2）無單點失敗，主要有三個組件組成，分為tracker（跟蹤節點）、mogstore（存儲節點）、database（資料庫節點）

3）自動復制文件，復制文件的最小單位不是文件，而是class

4）傳輸中立，無特殊協議，可以通過NFS或HTTP實現通信

5）簡單的命名空間：沒有目錄，直接存在與存儲空間上，通過域來實現

6）不用共享任何數據

3.MogileFS的組成

1）Tracker--跟蹤器，調度器

MogileFS的核心，是一個調度器，mogilefsd進程就是trackers進程程序,trackers的主要職責有：刪除數據、復制數據、監控、查詢等等.這個是基於事件的( event-based ) 父進程/消息匯流排來管理所有來之於客戶端應用的交互(requesting operations to be performed), 包括將請求負載平衡到多個"query workers"中,然後讓 mogilefs的子進程去處理.

mogadm,mogtool的所有操作都要跟trackers打交道,Client的一些操作也需要定義好trackers,因此最好同時運行多個trackers來做負載均衡.trackers也可以只運行在一台機器上，使用負載均衡時可以使用搞一些簡單的負載均衡解決方案，如haproxy，lvs，nginx等，

tarcker的配置文件為/etc/mogilefs/mogilefsd.conf，監聽在TCP的7001埠

2）Database--資料庫部分

主要用來存儲mogilefs的元數據，所有的元數據都存儲在資料庫中，因此，這個數據相當重要，如果資料庫掛掉，所有的數據都不能用於訪問，因此，建議應該對資料庫做高可用

3）mogstored--存儲節點

數據存儲的位置，通常是一個HTTP（webDAV）伺服器，用來做數據的創建、刪除、獲取，任何 WebDAV 伺服器都可以, 不過推薦使用 mogstored . mogilefsd可以配置到兩個機器上使用不同埠… mogstored 來進行所有的 DAV 操作和流量,IO監測, 並且你自己選擇的HTTP伺服器(默認為 perlbal)用來做 GET 操作給客戶端提供文件.

典型的應用是一個掛載點有一個大容量的SATA磁碟. 只要配置完配置文件後mogstored程序的啟動將會使本機成為一個存儲節點.當然還需要mogadm這個工具增加這台機器到Cluster中.

配置文件為/etc/mogilefs/mogstored.conf，監聽在TCP的7500埠

4.基本工作流程

應用程序請求打開一個文件 (通過RPC 通知到 tracker, 找到一個可用的機器). 做一個 「create_open」 請求.

tracker 做一些負載均衡(load balancing)處理，決定應該去哪兒，然後給應用程序一些可能用的位置。

應用程序寫到其中的一個位置去 (如果寫失敗，他會重新嘗試並寫到另外一個位置去）.

應用程序 (client) 通過」create_close」 告訴tracker文件寫到哪裡去了.

tracker 將該名稱和域命的名空間關聯 (通過資料庫來做的)

tracker, 在後台, 開始復制文件，知道他滿足該文件類別設定的復制規則

然後,應用程序通過 「get_paths」 請求 domain+key (key == 「filename」) 文件, tracker基於每一位置的I/O繁忙情況回復(在內部經過 database/memcache/etc 等的一些抉擇處理), 該文件可用的完整 URLs地址列表.

應用程序然後按順序嘗試這些URL地址. (tracker』持續監測主機和設備的狀態，因此不會返回死連接,默認情況下他對返回列表中的第一個元素做雙重檢查，除非你不要他這么做..)

1.拓撲圖

說明：1.用戶通過URL訪問前端的nginx

2.nginx根據特定的挑選演算法，挑選出後端一台tracker來響應nginx請求

3.tracker通過查找database資料庫，獲取到要訪問的URL的值，並返回給nginx

4.nginx通過返回的值及某種挑選演算法挑選一台mogstored發起請求

5.mogstored將結果返回給nginx

6.nginx構建響應報文返回給客戶端

2.ip規劃

角色運行軟體ip地址反向代理nginx192.168.1.201存儲節點與調度節點1

mogilefs192.168.1.202存儲節點與調度節點2

mogilefs192.168.1.203資料庫節點

MariaDB192.168.1.204

3.資料庫的安裝操作並為授權

關於資料庫的編譯安裝，請參照本人相關博文http://wangfeng7399.blog.51cto.com/3518031/1393146，本處將不再累贅，本處使用的為yum源的安裝方式安裝mysql

4.安裝mogilefs. 安裝mogilefs，可以使用yum安裝，也可以使用編譯安裝，本處通過yum安裝

5.初始化資料庫

可以看到在資料庫中創建了一些表

6.修改配置文件，啟動服務

7.配置mogilefs

添加存儲主機

添加存儲設備

添加域

添加class

8.配置192.168.1.203的mogilefs 。切記不要初始化資料庫，配置應該與192.168.1.202一樣

9.嘗試上傳數據，獲取數據，客戶端讀取數據

上傳數據，在任何一個節點上傳都可以

獲取數據

客戶端查看數據

我們可以通過任何一個節點查看到數據

要想nginx能夠實現對後端trucker的反向代理，必須結合第三方模塊來實現

1.編譯安裝nginx

2.准備啟動腳本

3.nginx與mofilefs互聯

查看效果

5.配置後端truckers的集群

查看效果

大功告成了，後續思路，前段的nginx和資料庫都存在單點故障，可以實現高可用集群

㈦ 什麼是分布式系統！作用是什麼、好處是什麼

故名思義，分布式系統就是將系統的應用層，數據層或其它部分構架成分布（物理和邏輯上的都可以）狀（通常是網狀）。分布式系統通常是為了增強系統的可擴展性、穩定性和執行效率。比如在線游戲通常就是分布系統，裡面所謂的「區」就是分布系統里子常式。而分布式資料庫其實也可以稱作分布式系統，數據持久化層是分布的（數據存在不同的資料庫中，可交互，有一套綜管系統來維護數據的完整性和准確性）
所以說分布式系統更准確地說是一種系統構架概念，不是一種技術，
C#對網路的支持挺不錯的，封裝得很好，你主要可能看看網路通信這一塊東西。然後機械工業出版社有一本分布式系統的書，做了全面闡述。你可以看看。~

下面是網路給出的解釋：

分布式軟體系統(Distributed Software Systems)
是支持分布式處理的軟體系統,是在由通信網路互聯的多處理機體系結構上執行任務的系統。它包括分布式操作系統、分布式程序設計語言及其編譯(解釋)系統、分布式文件系統和分布式資料庫系統等。
分布式操作系統負責管理分布式處理系統資源和控制分布式程序運行。它和集中式操作系統的區別在於資源管理、進程通信和系統結構等方面。
分布式程序設計語言用於編寫運行於分布式計算機系統上的分布式程序。一個分布式程序由若干個可以獨立執行的程序模塊組成,它們分布於一個分布式處理系統的多台計算機上被同時執行。它與集中式的程序設計語言相比有三個特點：分布性、通信性和穩健性。
分布式文件系統具有執行遠程文件存取的能力,並以透明方式對分布在網路上的文件進行管理和存取。
分布式資料庫系統由分布於多個計算機結點上的若干個資料庫系統組成,它提供有效的存取手段來操縱這些結點上的子資料庫。分布式資料庫在使用上可視為一個完整的資料庫,而實際上它是分布在地理分散的各個結點上。當然,分布在各個結點上的子資料庫在邏輯上是相關的。
分布式資料庫系統是由若干個站集合而成。這些站又稱為節點，它們在通訊網路中聯接在一起，每個節點都是一個獨立的資料庫系統，它們都擁有各自的資料庫、中央處理機、終端，以及各自的局部資料庫管理系統。因此分布式資料庫系統可以看作是一系列集中式資料庫系統的聯合。它們在邏輯上屬於同一系統，但在物理結構上是分布式的。
分布式資料庫系統已經成為信息處理學科的重要領域，正在迅速發展之中，原因基於以下幾點：
1、它可以解決組織機構分散而數據需要相互聯系的問題。比如銀行系統，總行與各分行處於不同的城市或城市中的各個地區，在業務上它們需要處理各自的數據，也需要彼此之間的交換和處理，這就需要分布式的系統。
2、如果一個組織機構需要增加新的相對自主的組織單位來擴充機構，則分布式資料庫系統可以在對當前機構影響最小的情況下進行擴充。
3、均衡負載的需要。數據的分解採用使局部應用達到最大，這使得各處理機之間的相互干擾降到最低。負載在各處理機之間分擔，可以避免臨界瓶頸。
4、當現有機構中已存在幾個資料庫系統，而且實現全局應用的必要性增加時，就可以由這些資料庫自下而上構成分布式資料庫系統。
5、相等規模的分布式資料庫系統在出現故障的幾率上不會比集中式資料庫系統低，但由於其故障的影響僅限於局部數據應用，因此就整個系統來講它的可靠性是比較高的。
特點
1、在分布式資料庫系統里不強調集中控制概念，它具有一個以全局資料庫管理員為基礎的分層控制結構，但是每個局部資料庫管理員都具有高度的自主權。
2、在分布式資料庫系統中數據獨立性概念也同樣重要，然而增加了一個新的概念，就是分布式透明性。所謂分布式透明性就是在編寫程序時好像數據沒有被分布一樣，因此把數據進行轉移不會影響程序的正確性。但程序的執行速度會有所降低。
3、集中式資料庫系統不同，數據冗餘在分布式系統中被看作是所需要的特性，其原因在於：首先，如果在需要的節點復制數據，則可以提高局部的應用性。其次，當某節點發生故障時，可以操作其它節點上的復制數據，因此這可以增加系統的有效性。當然，在分布式系統中對最佳冗餘度的評價是很復雜的。
分布式系統的類型，大致可以歸為三類：
1、分布式數據，但只有一個總資料庫，沒有局部資料庫。
2、分層式處理，每一層都有自己的資料庫。
3、充分分散的分布式網路，沒有中央控制部分，各節點之間的聯接方式又可以有多種，如鬆散的聯接，緊密的聯接，動態的聯接，廣播通知式聯接等。
---------------------
什麼是分布式智能?
NI LabVIEW 8的分布式智能結合了相關的技術和工具，解決了分布式系統開發會碰到的一些挑戰。更重要的是，NI LabVIEW 8的分布式智能提供的解決方案不僅令這些挑戰迎刃而解，且易於實施。LabVIEW 8的分布式智能具體包括:
可對分布式系統中的所有結點編程——包括主機和終端。尤為可貴的是，您可以利用LabVIEW圖形化編程方式，對大量不同類型的對象進行編程，如桌面處理器、實時系統、FPGA、PDA、嵌入式微處理器和DSP。
導航所有系統結點的查看系統——LabVIEW Project Explorer。您可使用Project Explorer查看、編輯、運行和調試運行於任何對象上的結點。
經簡化的數據共享編程界面——共享變數。使用共享變數，您可輕松地在系統間(甚至實時系統間)傳輸數據且不影響性能。無通信循環，無RT FIFO，無需低層次TCP函數。您可以利用簡單的對話完成共享變數的配置，從而將數據在各系統間傳輸或將數據連接到不同的數據源。您還可添加記錄、警報、事件等數據服務――一切僅需簡單的對話即可完成。
實現了遠程設備及系統內部或設備及系統之間的同步操作——定時和同步始終是定義高性能測量和控制系統的關鍵問題。利用基於NI技術的系統，探索設備內部並編寫其內部運行機制，從而取得比傳統儀器或PLC方式下更為靈活的解決方案。
--------------------
在分布式計算機操作系統支持下，互連的計算機可以互相協調工作，共同完成一項任務。
也可以這么解釋:
一種計算機硬體的配置方式和相應的功能配置方式。它是一種多處理器的計算機系統，各處理器通過互連網路構成統一的系統。系統採用分布式計算結構，即把原來系統內中央處理器處理的任務分散給相應的處理器，實現不同功能的各個處理器相互協調，共享系統的外設與軟體。這樣就加快了系統的處理速度，簡化了主機的邏輯結構 。

希望對你有所幫助~ ：）

㈧ 現在使用較廣泛的分布式存儲產品有哪些

分布式存儲應用十分廣泛，在雲計算領域十分常見。因為業務特點和自身實力和資源等綜合原因，很多大型的雲計算廠商都會選擇自主開發或二次開發分布式存儲系統，這些廠商本身的產品性能也會比較穩定，在此我列舉一下這些廠商。
1. 公有雲方面：阿里雲的盤古和騰訊的PaxosStore，這兩個存儲系統分別支撐了大多數阿里雲和騰訊系產品的存儲和計算。
2. 私有雲方面：國外的有VMware的vSAN，谷歌的Google Megastore等；國內的有新華三的ONEStor、華為的FusionStorage、雲宏的WinStore等。
在這里特別提一下雲宏的WinStore存儲，他們的產品在金融領域應用非常廣泛，除了自主研發的虛擬化平台，他們也特別提到這個存儲技術，WinStore是他們自主研發的分布式存儲系統，使得他們的產品在數據存儲安全性和容災性能上有優勢。

㈨ 分布式開發主要用到什麼

在談分布式系統架構前，我們先來看看，什麼是分布式系統？
假設原來我們有一個系統，代碼量30多萬行。現在拆分成20個小系統，每個小系統1萬多行代碼。
原本代碼之間都是直接基於Spring框架走JVM內存調用，現在拆開來，將20個小系統部署在不同的機器上，然後基於分布式服務框架（比如bbo）搞一個rpc調用，介面與介面之間通過網路通信來進行請求和響應。
所以分布式系統很重要的特點就是服務間要跨網路進行調用。
此外，分布式系統可以大概可以分成兩類。
（一）、底層的分布式系統
比如hadoop hdfs（分布式存儲系統）、spark（分布式計算系統）、storm（分布式流式計算系統）、elasticsearch（分布式搜索系統）、kafka（分布式發布訂閱消息系統）等。
（二）、分布式業務系統
分布式業務系統，把原來用java開發的一個大塊系統，給拆分成多個子系統，多個子系統之間互相調用，形成一個大系統的整體。
舉個例子，假設原來你做了一個OA系統，裡麵包含了許可權模塊、員工模塊、請假模塊、財務模塊，一個工程，裡麵包含了一堆模塊，模塊與模塊之間會互相去調用，1台機器部署。
現在如果你把他這個系統給拆開，許可權系統，員工系統，請假系統，財務系統，4個系統，4個工程，分別在4台機器上部署。
然後一個請求過來，完成這個請求，員工系統去調用許可權系統，調用請假系統，調用財務系統，4個系統分別完成了一部分的事情。
最後4個系統都幹完了以後，才認為是這個請求已經完成了。這就是所謂的分布式業務系統。

㈩ 《大規模分布式存儲系統原理解析與架構實戰》epub下載在線閱讀，求百度網盤雲資源

《大規模分布式存儲系統》（楊傳輝）電子書網盤下載免費在線閱讀

鏈接：https://pan..com/s/1CG8nBAVixYg53OHREZc_3g

書名：大規模分布式存儲系統

作者：楊傳輝

豆瓣評分：7.8

出版社：機械工業出版社

出版年份：2013-9-1

頁數：293

內容簡介：

《大規模分布式存儲系統：原理解析與架構實戰》是分布式系統領域的經典著作，由阿里巴巴高級技術專家「阿里日照」（OceanBase核心開發人員）撰寫，陽振坤、章文嵩、楊衛華、汪源、余鋒（褚霸）、賴春波等來自阿里、新浪、網易和網路的資深技術專家聯袂推薦。理論方面，不僅講解了大規模分布式存儲系統的核心技術和基本原理，而且對谷歌、亞馬遜、微軟和阿里巴巴等國際型大互聯網公司的大規模分布式存儲系統進行了分析；實戰方面，首先通過對阿里巴巴的分布式資料庫OceanBase的實現細節的深入剖析完整地展示了大規模分布式存儲系統的架構與設計過程，然後講解了大規模分布式存儲技術在雲計算和大數據領域的實踐與應用。

《大規模分布式存儲系統：原理解析與架構實戰》內容分為四個部分：基礎篇——分布式存儲系統的基礎知識，包含單機存儲系統的知識，如數據模型、事務與並發控制、故障恢復、存儲引擎、壓縮/解壓縮等；分布式系統的數據分布、復制、一致性、容錯、可擴展性等。范型篇——介紹谷歌、亞馬遜、微軟、阿里巴巴等著名互聯網公司的大規模分布式存儲系統架構，涉及分布式文件系統、分布式鍵值系統、分布式表格系統以及分布式資料庫技術等。實踐篇——以阿里巴巴的分布式資料庫OceanBase為例，詳細介紹分布式資料庫內部實現，以及實踐過程中的經驗。專題篇——介紹分布式系統的主要應用：雲存儲和大數據，這些是近年來的熱門領域，本書介紹了雲存儲平台、技術與安全，以及大數據的概念、流式計算、實時分析等。

作者簡介：

楊傳輝，阿里巴巴高級技術專家，花名日照，OceanBase核心開發人員，對分布式系統的理論和工程實踐有深刻理解。曾在網路作為核心成員參與類MapRece系統、類Bigtable系統和網路分布式消息隊列等底層基礎設施架構工作。熱衷於分布式存儲和計算系統設計，樂於分享，有技術博客NosqlNotes。