分布式系统概念与设计pdf

❶ 《区块链原理、设计与应用》pdf下载在线阅读，求百度网盘云资源

《区块链原理、设计与应用》（杨保华）电子书网盘下载免费在线阅读

资源链接：

链接：

书名：区块链原理、设计与应用

作者：杨保华

豆瓣评分：7.2

出版社：机械工业出版社

出版年份：2017-8-21

页数：366

内容简介：

本书由超级账本核心设计和开发者撰写，是区块链开发落地专业指南。由浅入深，系统化介绍超级账本Fabric设计精华、应用开发等。全书分为理论篇和实践篇两大部分；第1~3章介绍区块链技术的由来、核心思想及典型的应用场景；第4~5章重点介绍区块链技术中大量出现的分布式系统技术和密码学安全技术；第6~8章介绍区块链领域的三个典型开源项目：比特币、以太坊以及超级账本；第9~11章以超级账本 Fabric 项目为例，具体讲解了安装部署、配置管理，以及使用 Fabric CA 进行证书管理的实践经验；第12章重点剖析超级账本 Fabric 项目的核心架构设计；第13章介绍区块链应用开发的相关技巧和示例；第14章介绍区块链服务平台的设计与开发，并讲解应用超级账本 Cello 项目构建服务平台的相关知识。本书覆盖了区块链和分布式账本领域的最新技术，可帮助读者深入理解区块链核心原理和典型设计实现，以及高效地开发基于区块链平台的分布式应用。

作者简介：

杨保华

博士，毕业于清华大学。超级账本（Hyperledger）大中华区技术工作组主席，IBM 大中华区Blockchain技术社区首席顾问，资深研究员。曾主持多个大规模系统平台的架构设计和研发实施，是区块链、云计算、大数据等技术的早期研究者和实践者。他热爱开源技术，曾贡献于OpenStack、OpenDaylight 等开源项目，是超级账本Fabric项目的核心设计和开发者，Cello和Fabric-SDK-Py项目的发起人。个人主页为https://yeasy.github.com。

陈昌

毕业于清华大学。纸贵科技 CTO，曾任 IBM 高级研究员。技术方向包括云计算、区块链、机器学习等。他是区块链技术的早期研究和推动者，是超级账本（Hyperledger）项目的核心开发者。他有丰富的区块链应用实践经验，曾负责金融行业区块链解决方案的架构设计和实施，并主导开发了若干区块链服务平台。

❷ 《大规模分布式系统架构与设计实战豆瓣》pdf下载在线阅读全文，求百度网盘云资源

《大规模分布式系统架构与设计实战豆瓣》网络网盘pdf最新全集下载:
链接: https://pan..com/s/1kFdPR4e5S1K3PW43mc1RVw

❸ 《分布式实时计算框架原理及实践案例》pdf下载在线阅读全文，求百度网盘云资源

《分布式实时计算框架原理及实践案例》网络网盘pdf最新全集下载:
链接: https://pan..com/s/1mRd2oGCC97YKNMTjSpr37Q

❹ 《操作系统概念（第六版）》pdf下载在线阅读全文，求百度网盘云资源

《操作系统概念（第六版）》（（美）西尔伯斯查兹）电子书网盘下载免费在线阅读

链接:

书名：操作系统概念（第六版）

作者：（美）西尔伯斯查兹

译者：郑扣根

豆瓣评分：7.5

出版社：高等教育出版社

出版年份：2005-11

页数：741

内容简介：

《操作系统概念》(第6版翻译版)是讨论了操作系统中的基本概念和算法，并对大量实例(如Linux系统)进行了研究。全书内容共分七部分。第一部分概要解释了操作系统是什么、做什么、是怎样设计与构造的，也解释了操作系统概念是如何发展起来的，操作系统的公共特性是什么。第二部分进程管理描述了作为现代操作系统核心的进程以及并发的概念。第三部分存储管理描述了存储管理的经典结构与算法以及不同的存储管理方案。第四部分I／O系统对I／O进行了深入的讨论，包括I／O系统设计、接口、内部结构与功能等。第五部分分布式系统介绍了分布式系统的一般结构以及连接它们的网络，讨论了分布存取策略、分布式文件系统及分布式系统中同步、通信等机制。第六部分保护与安全介绍了操作系统中对文件、内存、CPU及其他资源进行操作的安全与保护机制。第七部分案例研究，分析与讨论了Linux系统、Windows 2000、WindowsXP、FreeBSD、Mach及Nachos等实例。

❺ 分布式系统在油气田地质档案管理中的应用研究

徐殿桂

(中国石油化工股份有限公司西南油气分公司信息中心档案馆)

摘要 本文通过对分布式管理技术的研究，分析了分布式管理系统的特点，结合油气田地质资料的管理模式，提出了分布式管理平台建设方案，形成了油气田分公司级地质资料分布式管理网络，并在生产科研中取得了良好应用效果。

关键词 分布式管理模式 地质资料管理系统 地质档案应用 系统架构

0 引言

由于西南油气田矿业权涉及四省一市，点多面广，为了更好地让地质档案服务于科研生产，在地质档案管理上采用了区域集中、统一管理的模式。近年来，又先后开展了地质档案的目录数据库建设、地质成果资料全文数据库建设以及地质资料管理系统建设，实现了各区域内的网络发布与利用。但各区域之间的资料查询和利用仍然较为困难，数据孤岛现象依然存在。为了解决这一问题，西南油气田决定充分利用分布式管理技术，将各区域端点的地质档案数据在中心管理平台上进行科学的组织与同步，并通过有效的手段发布分享，使之成为群体知识和共享成果，提供技术、成果互动交流的平台，实现地质档案收藏数字化、传递网络化和资源共享化。

1 西南油气田地质档案分布式管理现状

西南油气田于2006年完成地质资料管理系统节点程序开发，按区域集中方式，在四川省、云南省、贵州省及广西壮族自治区四省内按研究机构、采油气厂、测、录、钻、采、试等专业性质，部署二级站点，同时通过股份公司下达的成果地质资料涉密清理、原始和实物地质资料清理、国土资源部油气地质资料委托管理数据库建设以及西南油气田下达的成果地质资料数字化建设等工作，于2010年全面实现了油气田个单位地质档案管理的网络化发布与应用。2010年启动《西南油气田地质资料分布式管理系统》的建立与推广部署项目。在勘探开发研究院、工程设计院、广西采气厂等12个分站点建设的基础上，应用分布和协同的部署理念研发与部署分布式服务系统和二级单位地质档案管总控平台。在西南油气田范围内建成了一个庞大的跨越4个省12个单位的地质档案信息数据库，解决了西南油气田资料管理的规范化和统一性问题，实现了各单位之间资料的共享，形成一个完整的分布式环境，开创了地质资料远程管理的成功模式，提高地质档案资料的管理、使用水平，进一步完善了西南油气田地质资料发布与应用网络。在生产科研过程中，节约了成本，取得了良好的经济效益，其主要特点有如下几个方面。

1)利用网络信息资源、突破地域限制，一组相互之间在物理上距离较远的人员可以一起进行工作，有效突破地域的限制。

2)分布系统各节点的管理无须配置高性能、大容量的存储设备，可充分利用油气田各单位现有的硬件资源，分散存储，统一管理。

3)高度容错应用。分布式系统管理中的每个节点是自治的。一个单元或资源(软件或硬件)的故障不影响其他资源的正常功能。

4)扩展功能强大，通过增加节点管理的方式，能有效解决因企业发展、机构变迁所带来的影响。

5)独立管理、共享资源。各节点系统由各二级单位按照统一模式自主建设、自主管理，自主审批等方式保障了各单位的合法权益，同时通过集中发布实现资源共享。

2 西南油气田分布式系统管理应用解析

2.1 分布式系统概述

分布式系统(distributed system)是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性、透明性、开放性及可扩展性。在一个分布式系统中，一组独立的计算机展现给用户的是一个统一的整体。系统拥有多种通用的物理和逻辑资源，可以动态地分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。系统中存在一个以全局的方式管理计算机资源的分布式应用系统。

分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统，是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。

分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、进程通信和系统结构等方面。

分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。一个分布式程序由若干个可以独立执行的程序模块组成，它们分布于一个分布式处理系统的多台计算机上被同时执行。它与集中式的程序设计语言相比有三个特点：分布性、通信性和稳健性。

分布式文件系统具有执行远程文件存取的能力，并以透明方式对分布在网络上的文件进行管理和存取。

分布式数据库系统由分布于多个计算机节点上的若干个数据库系统组成，它提供有效的存取手段来操纵这些节点上的子数据库。分布式数据库在使用上可视为一个完整的数据库，而实际上它是分布在地理分散的各个节点上。

西南油气田分布式系统管理分为两个环节进行，首先在各个二级单位部署地质资料管理独立子系统，解决局部单位的资料管理、查询、借阅、下载等基本工作，其次在各个独立子系统的基础上设立一个分布式服务系统，包含了分布管理需要操作系统、程序设计语言与文件系统，实现各个二级单位之间和油气田之间的有效整合，形成分布式环境(图1)。

图1 西南油气田分布管理系统图

利用WebService技术构建多层分布式应用系统的体系结构，该结构真正实现了应用系统逻辑上的多层架构和物理上的站点分布，实现了跨平台、资料负载平衡。使各个二级单位(四川、广西、云南…)Web站点的部署真正做到了不受地域限制，各个站点对资料均衡管理，以及网内用户资料共享。能够实现基于分布式系统的内容交互，为异构资源库之间的查询交互提供了一种良好的手段。基于分布式系统的资源描述和检索方法可以使资源的描述和用户的检索以一种更加语义化的方式进行，因此可以大大提高资源检索的查准率和查全率。

2.2 分布式系统功能架构

分布式系统功能主要为跨站点查询利用和地质资料管理系统节点配套功能两大部分。系统功能架构见图2。

图2 西南油气田分布式系统功能架构示意图

2.2.1 分布式查询利用功能

分布式查询服务模块：用户向WebService查询服务器提交查询请求，查询服务模块分析查询请求，执行数据库中数据查询和文件体查询。将查询结果组织成相应格式发给查询用户。该查询可以同时查询各个二级单位的资料，也可以查询某个单位的资料。

用户管理：该功能模块可管理加入系统的用户和用户组，系统管理员管理系统中用户的增加、修改、删除并把用户系统发送到各个二级单位，二级单位管理员根据总系统发来的用户信息进行文件授权。

借阅管理：系统可以根据用户查询资料的选择情况自动产生借阅申请单，并且自动根据资料的所属情况分为各个二级单位的借阅申请单，自动发送到各二级单位；二级单位的管理员对借阅单据审批。

数据同步接收：各个二级站点将二级单位资料的更新数据同步发送到总站点后接收同步数据，该功能是自动执行。

分布式查询服务自助管理模块：该模块工作在分布式查询服务系统中。主要是对接收的数据执行索引，释放垃圾数据，记录工作日志，对数据异常情况进行容错处理。

分布式查询服务数据备份恢复：该模块工作在分布式查询服务系统中。主要是对接收的索引数据进行备份和恢复。

2.2.2 节点系统配套功能

信息提示与发布技术：对于待审批的电子申请单或者系统异常信息，开机后提示管理员(类似MSN邮件提示)。管理员进入系统后可以执行相关的操作。

数据同步发送：各个二级站点将二级单位资料的更新数据同步发送到分布式服务中心站点中，该功能是自动执行。该服务功能需要在各个二级单位的服务器上部署。

读者留言板：读者可以对管理员提出自己的要求和意见，如读者对管理员要求放开某档资料的权限，管理员看到后可以作相关的处理。

基于文件的全文查询管理：为基于文件的全文检索建立索引服务，该功能可以设置执行时间，系统会自动在指定的时间执行。

基于文件索引服务器的文件索引及全文检索过程如下：采取了提交—建索引—查找—组织结果—返回的过程来完成全文检索。一旦非结构化数据被提交到了文件服务器。索引服务程序就创建或者更新索引文件，当用户发出检索请求时，系统会从索引文件中找到符合的内容，并且到数据库中取得相关的结构化信息，最终组合并打包成资料体返回给请求者。在建立索引时，索引服务程序能够从扫描的文件中自动抽取文本内容(前提是此文件是基于文本的，例如Word文档、Excel文档，以及由文本类型的文件转换的PDF文档)，这个过程见图3。

图3 西南油气田分布式系统索引流程图

2.3 分布式系统层次架构

系统可以分为5个层次：①资料管理系统，是系统的次顶层；②系统服务支持环境，第三层，是为系统提供服务的支撑环境。如：ORACLE数据库服务、Web服务，系统使用的组件服务；③操作系统，第四层，是为系统支撑环境提供服务；④硬件和网络环境，第五层，为系统提供底层服务；⑤查询服务层，它受分公司控制，独立于各个单位系统外，为各个独立子系统的用户提供Web查询服务，其数据来源是建立在各独立子系统的资料信息的基础上的，因此它处于整个系统的最高层。

为了提高系统的工作效率以及程序与数据的安全性，我们在底层硬件方面采用了磁盘阵列和服务器双机备份。首先采用了磁盘阵列技术(RAID)可以提高了存储容量，多台磁盘驱动器可并行工作，提高了数据传输率；其次采用服务器双机备份技术，当一台服务器出现故障时，可以由另一台服务器承担服务任务，从而在不需要人工干预的情况下，自动保证系统能持续提供服务。系统软硬件整体架构见图4。

图4 西南油气田分布式系统层次整体架构图

2.4 分布式系统网络架构

分布式系统的基本网络工作模式主要分为服务端和客户端，其中读者通过IE浏览器(客户端)访问服务器站点，发送请求，服务器接收客户端的请求，解析后再请求数据库服务器和文件服务器提供相应的资源，获取资源后在服务端组织结果信息发送到客户端。

在分布式环境下，系统的网络架构在不改变系统的网络工作模式条件下，增加了一个WebService查询服务系统使得读者资料查询方式发生了变化，当读者查询外部二级单位资料的时候，只需要登录系统总控站点，系统获取查询请求后，转换为请求WebService查询。WebService查询服务器在服务端组织结果信息发送到客户端。

采用这样的架构优势在于可以将查询功能剥离为Web服务，为其他数据管理系统使用本系统提供的查询服务提供一个公共的接口。数据同步服务为WebService查询服务系统提供同步数据。系统总控台为系统中所有的用户提供用户管理和借阅管理服务。系统网络架构见图5。

图5 西南油气田分布式系统网络架构示意图

3 结论与建议

分布式系统是新时期互联网技术、信息技术与地质档案管理相结合的产物，通过协同办公、同步操作、统一管理，有效节约资源，提升地质档案的利用效率，同时也能解决档案管理的规范化、流程化与全局资源共享等诸多问题。

分布系统管理是油田企业地质档案管理发展的重要趋势，具有较好的推广与应用价值，建议各油气田可依据自身档案管理的模式，发展分布式管理平台，同时，通过多级分布式管理程序研发，最终实现全国性的资源共享与利用。

参考文献

[1]叶幼霞.福建省分布式档案网站系统的优点与不足[J].兰台世界，2011(7)：20～21.

[2]许桂清，李映天.辽宁省分布式档案异构数据库的探索与研究[J].中国档案，2010(2)：58～60.

[3]时昶.基于分布式数据库的档案查询系统设计[J].水利水电快报，2009(12)：36～38.

❻ 《ZooKeeper:分布式过程协同技术详解分布式过程协同技术详解》pdf下载在线阅读，求百度网盘云资源

《ZooKeeper:分布式过程协同技术详解》（Flavio Junqueira）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1HrACV0QnQUAmm9oK2Bw13w

书名：ZooKeeper:分布式过程协同技术详解

作者：Flavio Junqueira

译者：谢超

豆瓣评分：7.0

出版社：机械工业出版社

出版年份：2016-1-1

页数：208

内容简介：

本书分三部分，共10章。第一部分（第1～2章）阐述ApacheZooKeeper这类系统的设计目的和动机，并介绍分布式系统的一些必要背景知识。第1章介绍ZooKeeper可以做什么，以及其设计如何支撑这些任务。第2章介绍基本概念和基本组成模块，并通过命令行工具的具体操作介绍了ZooKeeper可以做什么。第二部分（第3～8章）阐述开发人员所需要掌握的ZooKeeper库调用方法和编程技巧。第3章介绍Java语言的API.第4章解释如何跟踪和处理ZooKeeper中的状态变更情况。第5章介绍如何在系统或网络故障时恢复应用。第6章介绍需要注意来避免故障的一些繁杂却很重要的场景。第7章介绍C语言版的API接口，也可以作为非Java语言实现的ZooKeeperAPI的基础，对非Java语言的开发人员非常有帮助。第8章介绍一款更高层级的封装的ZooKeeper接口。第三部分（第9～10章）主要介绍ZooKeeper内部原理及如何运行ZooKeeper.第9章介绍ZooKeeper的作者们在设计时所采用的方案。第10章介绍如何对ZooKeeper进行配置。

作者简介：

作者介绍Flavio Junqueira 是微软研究院在英国剑桥大学的研究人员之一。他拥有美国加州大学圣地亚哥分校计算机科学博士学位。他的研究范围涉及分布式系统的各个方面，包括分布式算法、并发性和可扩展性。他是Apache项目如Apache ZooKeeper（PMC主席和提交者）和Apache BookKeeper（提交者）的积极贡献者。他一有空就喜欢睡觉。

Benjamin Reed 是一位负责Facebook中所有细节工作的软件工程师。他以前的职位包括雅虎研究院首席研究科学家（负责所有大的方向）和IBM Almaden Research的研究人员（负责所有事情，无论大小）。他拥有加州大学圣克鲁斯分校计算机科学博士学位。他从事的工作涉及分布式计算、大数据处理、分布式存储、系统管理和嵌入式框架等领域。他参加了各种开源项目，如Hadoop和Linux操作系统等。他帮助启动了由Apache软件基金会主办的项目如Pig、ZooKeeper和BookKeeper。

❼ 想从事分布式系统，计算，hadoop等方面，需要哪些基础，推荐哪些书籍

What are some good resources for learning about distributed computing? Why? 今天在quora上看到这个问题，感觉特别全面，质量也都A+级别的，贴在这里供大家参考。

课程：
MIT 6.824: Distributed Computer Systems Engineering——经典和详细的介绍了分布式系统的技术和工程实现经验，值得每个做分布式系统的人去看一遍，继续锤炼和提高自己的眼界和技术。

补充三篇论文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文。
2. The Chubby lock service for loosely-coupled distributed systems，http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//archive/chubby-osdi06.pdf，这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Maprece和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分布式事务的基础，具有非常高的参考价值。另外，着名的zookeeper就是基于Chubby的开源实现，但是根据在Google工作的朋友讲，zookeeper跟Chubby在性能和功能上都还有差距。
3. Spanner: Google's Globally-Distributed Database，这个是第一个全球意义上的分布式数据库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分布式系统方面具有很强的借鉴意义。

另外，还有一本书:
刚出的，读了一下样章，感觉还不错，一起推荐给大家——《大规模分布式存储系统:原理解析与架构实战》华章图书 - 大规模分布式存储系统:原理解析与架构实战