分布式系統概念與設計pdf

❶ 《區塊鏈原理、設計與應用》pdf下載在線閱讀，求百度網盤雲資源

《區塊鏈原理、設計與應用》（楊保華）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接：

書名：區塊鏈原理、設計與應用

作者：楊保華

豆瓣評分：7.2

出版社：機械工業出版社

出版年份：2017-8-21

頁數：366

內容簡介：

本書由超級賬本核心設計和開發者撰寫，是區塊鏈開發落地專業指南。由淺入深，系統化介紹超級賬本Fabric設計精華、應用開發等。全書分為理論篇和實踐篇兩大部分；第1~3章介紹區塊鏈技術的由來、核心思想及典型的應用場景；第4~5章重點介紹區塊鏈技術中大量出現的分布式系統技術和密碼學安全技術；第6~8章介紹區塊鏈領域的三個典型開源項目：比特幣、以太坊以及超級賬本；第9~11章以超級賬本 Fabric 項目為例，具體講解了安裝部署、配置管理，以及使用 Fabric CA 進行證書管理的實踐經驗；第12章重點剖析超級賬本 Fabric 項目的核心架構設計；第13章介紹區塊鏈應用開發的相關技巧和示例；第14章介紹區塊鏈服務平台的設計與開發，並講解應用超級賬本 Cello 項目構建服務平台的相關知識。本書覆蓋了區塊鏈和分布式賬本領域的最新技術，可幫助讀者深入理解區塊鏈核心原理和典型設計實現，以及高效地開發基於區塊鏈平台的分布式應用。

作者簡介：

楊保華

博士，畢業於清華大學。超級賬本（Hyperledger）大中華區技術工作組主席，IBM 大中華區Blockchain技術社區首席顧問，資深研究員。曾主持多個大規模系統平台的架構設計和研發實施，是區塊鏈、雲計算、大數據等技術的早期研究者和實踐者。他熱愛開源技術，曾貢獻於OpenStack、OpenDaylight 等開源項目，是超級賬本Fabric項目的核心設計和開發者，Cello和Fabric-SDK-Py項目的發起人。個人主頁為https://yeasy.github.com。

陳昌

畢業於清華大學。紙貴科技 CTO，曾任 IBM 高級研究員。技術方向包括雲計算、區塊鏈、機器學習等。他是區塊鏈技術的早期研究和推動者，是超級賬本（Hyperledger）項目的核心開發者。他有豐富的區塊鏈應用實踐經驗，曾負責金融行業區塊鏈解決方案的架構設計和實施，並主導開發了若干區塊鏈服務平台。

❷ 《大規模分布式系統架構與設計實戰豆瓣》pdf下載在線閱讀全文，求百度網盤雲資源

《大規模分布式系統架構與設計實戰豆瓣》網路網盤pdf最新全集下載:
鏈接: https://pan..com/s/1kFdPR4e5S1K3PW43mc1RVw

❸ 《分布式實時計算框架原理及實踐案例》pdf下載在線閱讀全文，求百度網盤雲資源

《分布式實時計算框架原理及實踐案例》網路網盤pdf最新全集下載:
鏈接: https://pan..com/s/1mRd2oGCC97YKNMTjSpr37Q

❹ 《操作系統概念（第六版）》pdf下載在線閱讀全文，求百度網盤雲資源

《操作系統概念（第六版）》（（美）西爾伯斯查茲）電子書網盤下載免費在線閱讀

鏈接:

書名：操作系統概念（第六版）

作者：（美）西爾伯斯查茲

譯者：鄭扣根

豆瓣評分：7.5

出版社：高等教育出版社

出版年份：2005-11

頁數：741

內容簡介：

《操作系統概念》(第6版翻譯版)是討論了操作系統中的基本概念和演算法，並對大量實例(如Linux系統)進行了研究。全書內容共分七部分。第一部分概要解釋了操作系統是什麼、做什麼、是怎樣設計與構造的，也解釋了操作系統概念是如何發展起來的，操作系統的公共特性是什麼。第二部分進程管理描述了作為現代操作系統核心的進程以及並發的概念。第三部分存儲管理描述了存儲管理的經典結構與演算法以及不同的存儲管理方案。第四部分I／O系統對I／O進行了深入的討論，包括I／O系統設計、介面、內部結構與功能等。第五部分分布式系統介紹了分布式系統的一般結構以及連接它們的網路，討論了分布存取策略、分布式文件系統及分布式系統中同步、通信等機制。第六部分保護與安全介紹了操作系統中對文件、內存、CPU及其他資源進行操作的安全與保護機制。第七部分案例研究，分析與討論了Linux系統、Windows 2000、WindowsXP、FreeBSD、Mach及Nachos等實例。

❺ 分布式系統在油氣田地質檔案管理中的應用研究

徐殿桂

(中國石油化工股份有限公司西南油氣分公司信息中心檔案館)

摘要 本文通過對分布式管理技術的研究，分析了分布式管理系統的特點，結合油氣田地質資料的管理模式，提出了分布式管理平台建設方案，形成了油氣田分公司級地質資料分布式管理網路，並在生產科研中取得了良好應用效果。

關鍵詞 分布式管理模式 地質資料管理系統 地質檔案應用 系統架構

0 引言

由於西南油氣田礦業權涉及四省一市，點多面廣，為了更好地讓地質檔案服務於科研生產，在地質檔案管理上採用了區域集中、統一管理的模式。近年來，又先後開展了地質檔案的目錄資料庫建設、地質成果資料全文資料庫建設以及地質資料管理系統建設，實現了各區域內的網路發布與利用。但各區域之間的資料查詢和利用仍然較為困難，數據孤島現象依然存在。為了解決這一問題，西南油氣田決定充分利用分布式管理技術，將各區域端點的地質檔案數據在中心管理平台上進行科學的組織與同步，並通過有效的手段發布分享，使之成為群體知識和共享成果，提供技術、成果互動交流的平台，實現地質檔案收藏數字化、傳遞網路化和資源共享化。

1 西南油氣田地質檔案分布式管理現狀

西南油氣田於2006年完成地質資料管理系統節點程序開發，按區域集中方式，在四川省、雲南省、貴州省及廣西壯族自治區四省內按研究機構、採油氣廠、測、錄、鑽、采、試等專業性質，部署二級站點，同時通過股份公司下達的成果地質資料涉密清理、原始和實物地質資料清理、國土資源部油氣地質資料委託管理資料庫建設以及西南油氣田下達的成果地質資料數字化建設等工作，於2010年全面實現了油氣田個單位地質檔案管理的網路化發布與應用。2010年啟動《西南油氣田地質資料分布式管理系統》的建立與推廣部署項目。在勘探開發研究院、工程設計院、廣西采氣廠等12個分站點建設的基礎上，應用分布和協同的部署理念研發與部署分布式服務系統和二級單位地質檔案管總控平台。在西南油氣田范圍內建成了一個龐大的跨越4個省12個單位的地質檔案信息資料庫，解決了西南油氣田資料管理的規范化和統一性問題，實現了各單位之間資料的共享，形成一個完整的分布式環境，開創了地質資料遠程管理的成功模式，提高地質檔案資料的管理、使用水平，進一步完善了西南油氣田地質資料發布與應用網路。在生產科研過程中，節約了成本，取得了良好的經濟效益，其主要特點有如下幾個方面。

1)利用網路信息資源、突破地域限制，一組相互之間在物理上距離較遠的人員可以一起進行工作，有效突破地域的限制。

2)分布系統各節點的管理無須配置高性能、大容量的存儲設備，可充分利用油氣田各單位現有的硬體資源，分散存儲，統一管理。

3)高度容錯應用。分布式系統管理中的每個節點是自治的。一個單元或資源(軟體或硬體)的故障不影響其他資源的正常功能。

4)擴展功能強大，通過增加節點管理的方式，能有效解決因企業發展、機構變遷所帶來的影響。

5)獨立管理、共享資源。各節點系統由各二級單位按照統一模式自主建設、自主管理，自主審批等方式保障了各單位的合法權益，同時通過集中發布實現資源共享。

2 西南油氣田分布式系統管理應用解析

2.1 分布式系統概述

分布式系統(distributed system)是建立在網路之上的軟體系統。正是因為軟體的特性，所以分布式系統具有高度的內聚性、透明性、開放性及可擴展性。在一個分布式系統中，一組獨立的計算機展現給用戶的是一個統一的整體。系統擁有多種通用的物理和邏輯資源，可以動態地分配任務，分散的物理和邏輯資源通過計算機網路實現信息交換。系統中存在一個以全局的方式管理計算機資源的分布式應用系統。

分布式軟體系統(Distributed Software Systems)是支持分布式處理的軟體系統，是在由通信網路互聯的多處理機體系結構上執行任務的系統。它包括分布式操作系統、分布式程序設計語言及其編譯(解釋)系統、分布式文件系統和分布式資料庫系統等。

分布式操作系統負責管理分布式處理系統資源和控制分布式程序運行。它和集中式操作系統的區別在於資源管理、進程通信和系統結構等方面。

分布式程序設計語言用於編寫運行於分布式計算機系統上的分布式程序。一個分布式程序由若干個可以獨立執行的程序模塊組成，它們分布於一個分布式處理系統的多台計算機上被同時執行。它與集中式的程序設計語言相比有三個特點：分布性、通信性和穩健性。

分布式文件系統具有執行遠程文件存取的能力，並以透明方式對分布在網路上的文件進行管理和存取。

分布式資料庫系統由分布於多個計算機節點上的若干個資料庫系統組成，它提供有效的存取手段來操縱這些節點上的子資料庫。分布式資料庫在使用上可視為一個完整的資料庫，而實際上它是分布在地理分散的各個節點上。

西南油氣田分布式系統管理分為兩個環節進行，首先在各個二級單位部署地質資料管理獨立子系統，解決局部單位的資料管理、查詢、借閱、下載等基本工作，其次在各個獨立子系統的基礎上設立一個分布式服務系統，包含了分布管理需要操作系統、程序設計語言與文件系統，實現各個二級單位之間和油氣田之間的有效整合，形成分布式環境(圖1)。

圖1 西南油氣田分布管理系統圖

利用WebService技術構建多層分布式應用系統的體系結構，該結構真正實現了應用系統邏輯上的多層架構和物理上的站點分布，實現了跨平台、資料負載平衡。使各個二級單位(四川、廣西、雲南…)Web站點的部署真正做到了不受地域限制，各個站點對資料均衡管理，以及網內用戶資料共享。能夠實現基於分布式系統的內容交互，為異構資源庫之間的查詢交互提供了一種良好的手段。基於分布式系統的資源描述和檢索方法可以使資源的描述和用戶的檢索以一種更加語義化的方式進行，因此可以大大提高資源檢索的查准率和查全率。

2.2 分布式系統功能架構

分布式系統功能主要為跨站點查詢利用和地質資料管理系統節點配套功能兩大部分。系統功能架構見圖2。

圖2 西南油氣田分布式系統功能架構示意圖

2.2.1 分布式查詢利用功能

分布式查詢服務模塊：用戶向WebService查詢伺服器提交查詢請求，查詢服務模塊分析查詢請求，執行資料庫中數據查詢和文件體查詢。將查詢結果組織成相應格式發給查詢用戶。該查詢可以同時查詢各個二級單位的資料，也可以查詢某個單位的資料。

用戶管理：該功能模塊可管理加入系統的用戶和用戶組，系統管理員管理系統中用戶的增加、修改、刪除並把用戶系統發送到各個二級單位，二級單位管理員根據總系統發來的用戶信息進行文件授權。

借閱管理：系統可以根據用戶查詢資料的選擇情況自動產生借閱申請單，並且自動根據資料的所屬情況分為各個二級單位的借閱申請單，自動發送到各二級單位；二級單位的管理員對借閱單據審批。

數據同步接收：各個二級站點將二級單位資料的更新數據同步發送到總站點後接收同步數據，該功能是自動執行。

分布式查詢服務自助管理模塊：該模塊工作在分布式查詢服務系統中。主要是對接收的數據執行索引，釋放垃圾數據，記錄工作日誌，對數據異常情況進行容錯處理。

分布式查詢服務數據備份恢復：該模塊工作在分布式查詢服務系統中。主要是對接收的索引數據進行備份和恢復。

2.2.2 節點系統配套功能

信息提示與發布技術：對於待審批的電子申請單或者系統異常信息，開機後提示管理員(類似MSN郵件提示)。管理員進入系統後可以執行相關的操作。

數據同步發送：各個二級站點將二級單位資料的更新數據同步發送到分布式服務中心站點中，該功能是自動執行。該服務功能需要在各個二級單位的伺服器上部署。

讀者留言板：讀者可以對管理員提出自己的要求和意見，如讀者對管理員要求放開某檔資料的許可權，管理員看到後可以作相關的處理。

基於文件的全文查詢管理：為基於文件的全文檢索建立索引服務，該功能可以設置執行時間，系統會自動在指定的時間執行。

基於文件索引伺服器的文件索引及全文檢索過程如下：採取了提交—建索引—查找—組織結果—返回的過程來完成全文檢索。一旦非結構化數據被提交到了文件伺服器。索引服務程序就創建或者更新索引文件，當用戶發出檢索請求時，系統會從索引文件中找到符合的內容，並且到資料庫中取得相關的結構化信息，最終組合並打包成資料體返回給請求者。在建立索引時，索引服務程序能夠從掃描的文件中自動抽取文本內容(前提是此文件是基於文本的，例如Word文檔、Excel文檔，以及由文本類型的文件轉換的PDF文檔)，這個過程見圖3。

圖3 西南油氣田分布式系統索引流程圖

2.3 分布式系統層次架構

系統可以分為5個層次：①資料管理系統，是系統的次頂層；②系統服務支持環境，第三層，是為系統提供服務的支撐環境。如：ORACLE資料庫服務、Web服務，系統使用的組件服務；③操作系統，第四層，是為系統支撐環境提供服務；④硬體和網路環境，第五層，為系統提供底層服務；⑤查詢服務層，它受分公司控制，獨立於各個單位系統外，為各個獨立子系統的用戶提供Web查詢服務，其數據來源是建立在各獨立子系統的資料信息的基礎上的，因此它處於整個系統的最高層。

為了提高系統的工作效率以及程序與數據的安全性，我們在底層硬體方面採用了磁碟陣列和伺服器雙機備份。首先採用了磁碟陣列技術(RAID)可以提高了存儲容量，多台磁碟驅動器可並行工作，提高了數據傳輸率；其次採用伺服器雙機備份技術，當一台伺服器出現故障時，可以由另一台伺服器承擔服務任務，從而在不需要人工干預的情況下，自動保證系統能持續提供服務。系統軟硬體整體架構見圖4。

圖4 西南油氣田分布式系統層次整體架構圖

2.4 分布式系統網路架構

分布式系統的基本網路工作模式主要分為服務端和客戶端，其中讀者通過IE瀏覽器(客戶端)訪問伺服器站點，發送請求，伺服器接收客戶端的請求，解析後再請求資料庫伺服器和文件伺服器提供相應的資源，獲取資源後在服務端組織結果信息發送到客戶端。

在分布式環境下，系統的網路架構在不改變系統的網路工作模式條件下，增加了一個WebService查詢服務系統使得讀者資料查詢方式發生了變化，當讀者查詢外部二級單位資料的時候，只需要登錄系統總控站點，系統獲取查詢請求後，轉換為請求WebService查詢。WebService查詢伺服器在服務端組織結果信息發送到客戶端。

採用這樣的架構優勢在於可以將查詢功能剝離為Web服務，為其他數據管理系統使用本系統提供的查詢服務提供一個公共的介面。數據同步服務為WebService查詢服務系統提供同步數據。系統總控台為系統中所有的用戶提供用戶管理和借閱管理服務。系統網路架構見圖5。

圖5 西南油氣田分布式系統網路架構示意圖

3 結論與建議

分布式系統是新時期互聯網技術、信息技術與地質檔案管理相結合的產物，通過協同辦公、同步操作、統一管理，有效節約資源，提升地質檔案的利用效率，同時也能解決檔案管理的規范化、流程化與全局資源共享等諸多問題。

分布系統管理是油田企業地質檔案管理發展的重要趨勢，具有較好的推廣與應用價值，建議各油氣田可依據自身檔案管理的模式，發展分布式管理平台，同時，通過多級分布式管理程序研發，最終實現全國性的資源共享與利用。

參考文獻

[1]葉幼霞.福建省分布式檔案網站系統的優點與不足[J].蘭台世界，2011(7)：20～21.

[2]許桂清，李映天.遼寧省分布式檔案異構資料庫的探索與研究[J].中國檔案，2010(2)：58～60.

[3]時昶.基於分布式資料庫的檔案查詢系統設計[J].水利水電快報，2009(12)：36～38.

❻ 《ZooKeeper:分布式過程協同技術詳解分布式過程協同技術詳解》pdf下載在線閱讀，求百度網盤雲資源

《ZooKeeper:分布式過程協同技術詳解》（Flavio Junqueira）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接：https://pan..com/s/1HrACV0QnQUAmm9oK2Bw13w

書名：ZooKeeper:分布式過程協同技術詳解

作者：Flavio Junqueira

譯者：謝超

豆瓣評分：7.0

出版社：機械工業出版社

出版年份：2016-1-1

頁數：208

內容簡介：

本書分三部分，共10章。第一部分（第1～2章）闡述ApacheZooKeeper這類系統的設計目的和動機，並介紹分布式系統的一些必要背景知識。第1章介紹ZooKeeper可以做什麼，以及其設計如何支撐這些任務。第2章介紹基本概念和基本組成模塊，並通過命令行工具的具體操作介紹了ZooKeeper可以做什麼。第二部分（第3～8章）闡述開發人員所需要掌握的ZooKeeper庫調用方法和編程技巧。第3章介紹Java語言的API.第4章解釋如何跟蹤和處理ZooKeeper中的狀態變更情況。第5章介紹如何在系統或網路故障時恢復應用。第6章介紹需要注意來避免故障的一些繁雜卻很重要的場景。第7章介紹C語言版的API介面，也可以作為非Java語言實現的ZooKeeperAPI的基礎，對非Java語言的開發人員非常有幫助。第8章介紹一款更高層級的封裝的ZooKeeper介面。第三部分（第9～10章）主要介紹ZooKeeper內部原理及如何運行ZooKeeper.第9章介紹ZooKeeper的作者們在設計時所採用的方案。第10章介紹如何對ZooKeeper進行配置。

作者簡介：

作者介紹Flavio Junqueira 是微軟研究院在英國劍橋大學的研究人員之一。他擁有美國加州大學聖地亞哥分校計算機科學博士學位。他的研究范圍涉及分布式系統的各個方面，包括分布式演算法、並發性和可擴展性。他是Apache項目如Apache ZooKeeper（PMC主席和提交者）和Apache BookKeeper（提交者）的積極貢獻者。他一有空就喜歡睡覺。

Benjamin Reed 是一位負責Facebook中所有細節工作的軟體工程師。他以前的職位包括雅虎研究院首席研究科學家（負責所有大的方向）和IBM Almaden Research的研究人員（負責所有事情，無論大小）。他擁有加州大學聖克魯斯分校計算機科學博士學位。他從事的工作涉及分布式計算、大數據處理、分布式存儲、系統管理和嵌入式框架等領域。他參加了各種開源項目，如Hadoop和Linux操作系統等。他幫助啟動了由Apache軟體基金會主辦的項目如Pig、ZooKeeper和BookKeeper。

❼ 想從事分布式系統，計算，hadoop等方面，需要哪些基礎，推薦哪些書籍

What are some good resources for learning about distributed computing? Why? 今天在quora上看到這個問題，感覺特別全面，質量也都A+級別的，貼在這里供大家參考。

課程：
MIT 6.824: Distributed Computer Systems Engineering——經典和詳細的介紹了分布式系統的技術和工程實現經驗，值得每個做分布式系統的人去看一遍，繼續錘煉和提高自己的眼界和技術。

補充三篇論文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，這篇論文是SOSP2007的Best Paper，闡述了一種構建分布式文件系統的範式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文。
2. The Chubby lock service for loosely-coupled distributed systems，http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//archive/chubby-osdi06.pdf，這篇論文詳細介紹了Google的分布式鎖實現機制Chubby。Chubby是一個基於文件實現的分布式鎖，Google的Bigtable、Maprece和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基於Chubby的開源實現，但是根據在Google工作的朋友講，zookeeper跟Chubby在性能和功能上都還有差距。
3. Spanner: Google's Globally-Distributed Database，這個是第一個全球意義上的分布式資料庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還採用了原子鍾，同樣在分布式系統方面具有很強的借鑒意義。

另外，還有一本書:
剛出的，讀了一下樣章，感覺還不錯，一起推薦給大家——《大規模分布式存儲系統:原理解析與架構實戰》華章圖書 - 大規模分布式存儲系統:原理解析與架構實戰