1. 如何用java 建立一个分布式系统
分布式架构的演进
系统架构演化历程-初始阶段架构
初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP
特征：
应用程序、数据库、文件等所有的资源都在一台服务器上。
描述：
通常服务器操作系统使用Linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用MySQL，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。
系统架构演化历程-应用服务和数据服务分离
好景不长，发现随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台webserver
特征：
应用程序、数据库、文件分别部署在独立的资源上。
描述：
数据量增加，单台服务器性能及存储空间不足，需要将应用和数据分离，并发处理能力和数据存储空间得到了很大改善。
系统架构演化历程-使用缓存改善性能
特征：
数据库中访问较集中的一小部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压力。
描述：
系统访问特点遵循二八定律，即80%的业务访问集中在20%的数据上。
缓存分为本地缓存和远程分布式缓存，本地缓存访问速度更快但缓存数据量有限，同时存在与应用程序争用内存的情况。
系统架构演化历程-使用应用服务器集群
在做完分库分表这些工作后，数据库上的压力已经降到比较低了，又开始过着每天看着访问量暴增的幸福生活了，突然有一天，发现系统的访问又开始有变慢的趋势了，这个时候首先查看数据库，压力一切正常，之后查看webserver，发现apache阻塞了很多的请求，而应用服务器对每个请求也是比较快的，看来 是请求数太高导致需要排队等待，响应速度变慢
特征：
多台服务器通过负载均衡同时向外部提供服务，解决单台服务器处理能力和存储空间上限的问题。
描述：
使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源，提升系统的并发处理能力，使得服务器的负载压力不再成为整个系统的瓶颈。
系统架构演化历程-数据库读写分离
享受了一段时间的系统访问量高速增长的幸福后，发现系统又开始变慢了，这次又是什么状况呢，经过查找，发现数据库写入、更新的这些操作的部分数据库连接的资源竞争非常激烈，导致了系统变慢
特征：
多台服务器通过负载均衡同时向外部提供服务，解决单台服务器处理能力和存储空间上限的问题。
描述：
使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源，使得服务器的负载压力不在成为整个系统的瓶颈。
系统架构演化历程-反向代理和CDN加速
特征：
采用CDN和反向代理加快系统的 访问速度。
描述：
为了应付复杂的网络环境和不同地区用户的访问，通过CDN和反向代理加快用户访问的速度，同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存。
系统架构演化历程-分布式文件系统和分布式数据库
随着系统的不断运行，数据量开始大幅度增长，这个时候发现分库后查询仍然会有些慢，于是按照分库的思想开始做分表的工作
特征：
数据库采用分布式数据库，文件系统采用分布式文件系统。
描述：
任何强大的单一服务器都满足不了大型系统持续增长的业务需求，数据库读写分离随着业务的发展最终也将无法满足需求，需要使用分布式数据库及分布式文件系统来支撑。
分布式数据库是系统数据库拆分的最后方法，只有在单表数据规模非常庞大的时候才使用，更常用的数据库拆分手段是业务分库，将不同的业务数据库部署在不同的物理服务器上。
系统架构演化历程-使用NoSQL和搜索引擎
特征：
系统引入NoSQL数据库及搜索引擎。
描述：
随着业务越来越复杂，对数据存储和检索的需求也越来越复杂，系统需要采用一些非关系型数据库如NoSQL和分数据库查询技术如搜索引擎。应用服务器通过统一数据访问模块访问各种数据，减轻应用程序管理诸多数据源的麻烦。
系统架构演化历程-业务拆分
特征：
系统上按照业务进行拆分改造，应用服务器按照业务区分进行分别部署。
描述：
为了应对日益复杂的业务场景，通常使用分而治之的手段将整个系统业务分成不同的产品线，应用之间通过超链接建立关系，也可以通过消息队列进行数据分发，当然更多的还是通过访问同一个数据存储系统来构成一个关联的完整系统。
纵向拆分：
将一个大应用拆分为多个小应用，如果新业务较为独立，那么就直接将其设计部署为一个独立的Web应用系统
纵向拆分相对较为简单，通过梳理业务，将较少相关的业务剥离即可。
横向拆分：将复用的业务拆分出来，独立部署为分布式服务，新增业务只需要调用这些分布式服务
横向拆分需要识别可复用的业务，设计服务接口，规范服务依赖关系。
系统架构演化历程-分布式服务
特征：
公共的应用模块被提取出来，部署在分布式服务器上供应用服务器调用。
描述：
随着业务越拆越小，应用系统整体复杂程度呈指数级上升，由于所有应用要和所有数据库系统连接，最终导致数据库连接资源不足，拒绝服务。
Q：分布式服务应用会面临哪些问题？
A：
(1) 当服务越来越多时，服务URL配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。
(2) 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪个应用要在哪个应用之前启动，架构师都不能完整的描述应用的架构关系。
(3) 接着，服务的调用量越来越大，服务的容量问题就暴露出来，这个服务需要多少机器支撑？什么时候该加机器？
(4) 服务多了，沟通成本也开始上升，调某个服务失败该找谁？服务的参数都有什么约定？
(5) 一个服务有多个业务消费者，如何确保服务质量？
(6) 随着服务的不停升级，总有些意想不到的事发生，比如cache写错了导致内存溢出，故障不可避免，每次核心服务一挂，影响一大片，人心慌慌，如何控制故障的影响面？服务是否可以功能降级？或者资源劣化？
Java分布式应用技术基础
分布式服务下的关键技术：消息队列架构
消息对列通过消息对象分解系统耦合性，不同子系统处理同一个消息
分布式服务下的关键技术：消息队列原理
分布式服务下的关键技术：服务框架架构
服务框架通过接口分解系统耦合性，不同子系统通过相同的接口描述进行服务启用
服务框架是一个点对点模型
服务框架面向同构系统
适合：移动应用、互联网应用、外部系统
分布式服务下的关键技术：服务框架原理
分布式服务下的关键技术：服务总线架构
服务总线同服务框架一样，均是通过接口分解系统耦合性，不同子系统通过相同的接口描述进行服务启用
服务总线是一个总线式的模型
服务总线面向同构、异构系统
适合：内部系统
分布式服务下的关键技术：服务总线原理
分布式架构下系统间交互的5种通信模式
request/response模式（同步模式）：客户端发起请求一直阻塞到服务端返回请求为止。
Callback（异步模式）：客户端发送一个RPC请求给服务器，服务端处理后再发送一个消息给消息发送端提供的callback端点，此类情况非常合适以下场景：A组件发送RPC请求给B，B处理完成后，需要通知A组件做后续处理。
Future模式：客户端发送完请求后，继续做自己的事情，返回一个包含消息结果的Future对象。客户端需要使用返回结果时，使用Future对象的.get(),如果此时没有结果返回的话，会一直阻塞到有结果返回为止。
Oneway模式：客户端调用完继续执行，不管接收端是否成功。
Reliable模式：为保证通信可靠，将借助于消息中心来实现消息的可靠送达，请求将做持久化存储，在接收方在线时做送达，并由消息中心保证异常重试。
五种通信模式的实现方式-同步点对点服务模式
五种通信模式的实现方式-异步点对点消息模式1
五种通信模式的实现方式-异步点对点消息模式2
五种通信模式的实现方式-异步广播消息模式
分布式架构下的服务治理
服务治理是服务框架/服务总线的核心功能。所谓服务治理，是指服务的提供方和消费方达成一致的约定，保证服务的高质量。服务治理功能可以解决将某些特定流量引入某一批机器，以及限制某些非法消费者的恶意访问，并在提供者处理量达到一定程度是，拒绝接受新的访问。
基于服务框架Dubbo的服务治理-服务管理
可以知道你的系统，对外提供了多少服务，可以对服务进行升级、降级、停用、权重调整等操作
可以知道你提供的服务，谁在使用，因业务需求，可以对该消费者实施屏蔽、停用等操作
基于服务框架Dubbo的服务治理-服务监控
可以统计服务的每秒请求数、平均响应时间、调用量、峰值时间等，作为服务集群规划、性能调优的参考指标。
基于服务框架Dubbo的服务治理-服务路由
基于服务框架Dubbo的服务治理-服务保护
基于服务总线OSB的服务治理-功能介绍
基于服务总线OSB的服务治理
Q：Dubbo到底是神马？
A：
淘宝开源的高性能和透明化的RPC远程调用服务框架
SOA服务治理方案
Q：Dubbo原理是？
A：
-结束-
2. 如何在恒讯云服务器上搭建个人IPFS分布式存储文件系统
我们从恒讯云了解到，全球云服务市场正在迅猛增长，
有数据预计到2024年，全球云服务市场规模将增长至2840亿美元，约合人民币2万亿元
恒讯云松鼠矿机
这时，有人做了这样一个假设，如若IPFS的市值未来能等同于这2万亿元的云服务市场，Filecoin总共发行的20亿FIL，每个FIL的未来价值不可限量，
因为全球各个商家及用户购买IPFS的服务，唯一筹码便是Filecoin，而我们便可以在各个交易所兑换成法币。
一个很好的形容就是，如今的IPFS&Filecoin市场很像是白昼前的黎明，
市场在资本、散户等参与者的不断进场下，热度愈发上涨。
互联网因中心化存储带来的痛点你我都不陌生，
如传输速度慢、数据易丢失、无法永久存储数据、带宽有限等。
而IPFS就是为了改变这些而诞生。
数字经济时代的到来，让人们有了越来越多的数据需要去记录和存储，
5G、大数据、云计算、人工智能等蓬勃发展后，数据存储需求也爆发式增长。
恒讯云松鼠矿机
根据恒讯云预测，到2025年，全球数据将增长至175ZB。
对比已知的2018年32ZB的数字，即将增长近6倍，现行网络限于中心化协议的弊端愈发凸显，不得不投向分布式存储，
有数据显示，2018年，全球公有云市场规模达到 1363 亿美元，增速 23.01%。
未来几年市场平均增长率在 20% 左右，预计到 2022 年市场规模将超过 2700 亿美元。
恒讯云数据也曾预测，到2023年，实时数据将占全球数据圈24.5%的份额。
许多企业场景下，实时的数据采集、存储和分析的要求变得越来越严苛，企业的IT供应商需要提供更好的存储介质，以确保响应速度满足未来数据实时性。
3. 创建使用分布式文件系统
当微软公司最初介绍分布式文件系统(Distributed File System，简称DFS)的时候，它把终端用户希望让事情变得简单一些的注意力都集中在自己身上。这种技术的思路是用户本身并不需要知道哪些服务器资源是真正存在的。他们只要简单地通过一个特殊的共享就可以访问到文件系统，而且还可以访问到所有他们所需要的数据，无论这些数据是集中存储在本地还是分散存储在许多不同的服务器中。
尽管在用户端把把事情变得简单总是好处多多，但是我认为DFS的用途要比仅仅用于负载平衡与容错要多得多。DFS可以用来把用户的工作量分配到多个含有文件副本的服务器中。除此之外，如果一个副本的服务器失效，或者管理员需要对一台服务器进行脱机维护，那么通过使用DFS，用户仍然可以不间断地持续访问副本服务器。(在第二部分中，我将会更为详细地讨论负载平衡与容错问题。)
在第一部分中，现在我将要向你介绍如何在Windows 2003 server中创建一个分布式文件系统。
第一步:创建控制台
开始这个过程首先要在“运行”命令中输入Microsoft Management Console(管理控制台，MMC)命令。当你输入之后，Windows将会载入一个空的管理控制台。现在，你要在控制台的“文件”菜单中选择“添加或移除管理单元(Snap-In)”命令。Windows随后会显示出添加或移除管理单元的属性菜单。在这个时候，要点击基于属性菜单中“Standalone”标签下的“添加”按钮，以便显示出所有可用管理单元的表列。从表列中选择分布式文件系统选项，并点击“添加”按钮，接下来点击“关闭”和“确认”按钮。
第二步:创建DFS根
“根”就是DFS层级结构的最顶层。一个根当中包含了多个共享文件夹。要在目前含有你的一些数据的服务器中创建根，你需要在控制台中用鼠标右键点击“分布式文件系统容器(container)”，然后从快捷菜单中选择“新的根”命令。这样做能够使Windows载入新的根安装向导程序。点击“下一步”越过安装向导的欢迎界面。这时向导会询问你是要创建一个独立的根还是创建一个域的根。域的根只存在于Windows Server 2003中。它们支持自动的数据复制。对于本文的目的而言，应该选择域的根选项，然后点击“下一步”。
向导的下一个界面是询问你哪一个域作为你所创建的根的主域。选择合适的域，然后点击“下一步”。现在，你必须输入将要做为新创建的根的主机的服务器的名称。这个服务器必须是你在上一步所选择的域的一个成员。输入完全符合域的要求的服务器名称，然后点击“下一步”。
第三步:给根命名
向导的下一个界面要求你输入你所创建的根的名称。Windows将会创建一个与你所输入的根的名称一致的共享名称。我还推荐你应该输入一些描述文字，以便帮助你记住这个根是做什么用的。点击“下一步”来继续我们的工作。
第四步:文件夹选择
在这个界面中，向导将会要求你指定一个Windows能够把共享文件分配到其中的文件夹。我推荐你选择一个已经包含了你的数据的文件夹。点击“下一步”，接下来点击“完成”，结束根的创建。
你的DFS共享现在应该是被激活的。为了确认根是有效的，可以用鼠标右键点击它，然后快捷菜单中选择“检查状态”命令。正确的状态应该显示为“联机”。
如何创建副本服务器
这是为本系列的第二部分所进行的准备，我希望向你介绍如何创建一个副本服务器的方法。
要开始这个过程，首先要进入你希望创建为副本的服务器中，并且要选择一个可用磁盘空间充足的卷。做完这个步骤之后，在这个卷上创建一个文件夹，用来存储你将要向该服务器中复制的数据。
创建了文件夹之后，你需要把该文件夹设成共享，并使用与你指定给DFS根一样的共享名称。我建议在共享级别上对任何人都给予完全的控制权，并使用NTFS许可来保护数据，而不是依赖于共享级别的许可。在设置了共享之后，你需要等待15分钟，以便网络能够对该共享进行识别。在你等待的过程中，打开“服务”控制台，并启动分布式文件系统服务。
现在回到DFS控制台，用鼠标右键点击你先前所创建的DFS根，并在快捷菜单中选择“新的根目标”命令。现在，你将会被提示在你希望创建的根目标处输入服务器的名称。在我的系统中，我需要输入服务器的NetBIOS名称，而不是其完全符合域的要求的名称，这样做是为了让Windows识别服务器。这里你需要做出你自己的选择，然后点击“下一步”。等待一会儿之后，你将会看到一个通知你已经完成了该向导的界面。点击“完成”，然后继续下面的工作。
这个时候你的DFS根应该是打开而且处于运行状态。现在你应该对复制过程进行初始化。你可以用鼠标右键点击DFS根，然后在快捷菜单中选择“设置复制”命令。Windows将会载入设置复制向导。点击“下一步”越过向导的欢迎界面，然后你会被提示选择初始化主文件。选择目前包含数据的共享文件，然后点击“下一步”。在你看到的下一个界面中，向导会要求你选择一个复制的拓扑结构。我推荐你使用完全网状拓扑结构。点击“完成”。随后，你可能会看到一条信息，提示你文件需要在副本服务器上将复制服务(File Replication Service)设置成自动启动。如果出现了这条信息，那么就要使用服务器上的“服务”控制台来把文件复制服务的启动方式改变成自动启动。启动服务，然后点击“是”来重试复制设置。
4. 如何在海量数据环境下，搭建分布式数据库系统
如果做分布式的话，首先需要对数据做个有效的划分， 可以通过地区属性或者其他类似属性做水平扩展，把不同地域的数据放在不同数据库上。 但是这种水平分割应当尽量避免跨区的访问。或者设计一个数据中心，把各个区中和报表相关的汇总数据抽取到仓库里面去，提供报表。
这样的做法在联机游戏中非常常见，比如魔兽世界，fifa on line等
或者做垂直分割，根据时间或者类似属性把数据分割到不同数据库上去，基本架构是一台在用服务器支持读写操作，几台历史服务器提供数据查询，一些转储脚本定期把数据从在用服务器迁移到历史服务器上去...
5. 如何构建一个现代分布式架构
你如何有效地构建一个分布式企业架构?这是一个艰巨的，并且有点模糊的问题，类似于问别人你如何建立一个房子?答案取决于你要建什么样的住宅。同样，你如何决定构建你的分布式系统，将在很大程度上取决于可用的资源和业务需求。分布式架构有许多方面和很多选择，每个都有它自己的目的，优缺点，以及用例。这里有一些关键元素概述：客户端和服务器客户端/服务器分布和客户本身的性质(最终用户设备)，就是在理解分布式架构的重要因素。如果客户端只是提供一个用户界面，那么服务器几乎将要做所有的工作。如果客户端托管一部分或全部应用程序，甚至一些数据(例如瘦或者胖客户端)，那么它代表了架构的一个重要部分。一台台式电脑通常有很多自己的内存空间和处理能力，来托管和运行应用程序，只是偶尔才从服务器更新。相比之下，移动设备(甚至是很多智能手机)没有大量资源，要严重依赖服务器来处理大部分的工作负载。在某些情况下，这似乎是一个胖客户端的安排，而实际上是一个瘦客户端。例如，一个远程桌面应用程序可能是托管在一个服务器或虚拟PC上，这样可以轻松地在本地通过用户界面来使用PC。这张前景图上缺少了什么?显然，上述示例遗漏了现代分布式架构一个非常重要组件——中间层。网络是最明显的例子，它使用一个多层次的设计。web服务器负责通过浏览器将静态或动态内容显示给终端用户。应用程序服务器托管实际应用程序，这些应用是通过浏览器来访问的。数据库服务器存储所有通过应用交付的、使用的和收集到的数据。(记住，每一层之间的连接和沟通作为架构的一个部分，和他们层次本身同样重要)。企业想向公司以外的终端用户公开应用程序，如客户、合作伙伴和供应商，通常用这种方式选择基于web的分布式架构。当然，企业数据本身可能被进一步分布到多个数据库，创建一个更不同的架构。一些数据可能位于一个传统的关系型SQL数据库中。非结构化数据可以驻留在一个或多个NoSQL数据库中，在数据管理领域相对较新的选择方案。《理解NoSQL(Making Sense of NoSQL)》一书的作者，Dan McCreary(与Ann Kelly合着)指出，大数据不仅仅改变数据库的表面。它也会慢慢影响到企业软件。“我们在管理大型数据集方面已经有了巨大的创新,并且这能够使开发人员更敏捷。我想接下来的10年，在公司构建软件的方式上，会有很大的影响。”当一个不够时使用基于网络的“即服务”模式，一部分或所有这些服务器和数据库可能位于云端。这将把我们带入下一个分布式计算主要方面中去——使用多个服务器。使用多个服务器的最大好处是没有单点故障。在 “点对点”的分布式架构中，每台机器可以处理所有任务(虽然没有一台机器可以一次处理所有的任务)。工作量负载随着需求在服务器之间进行分配和重新平衡。这种方法使得资源利用率最大化，并且如果一个节点宕掉了，允许故障转移到其他仍在运行的服务器上。数据，计算工作量和沟通都是分布式的，降低影响性能瓶颈的发病率。这是一个创建分布式系统高度可扩展的方法。它比使用单一的大型服务器使用更少的昂贵设备，并且为应用程序的持续可用性提供了大量的冗余。当需要多个服务器时，他们可能会在本地或数据中心中提供。许多企业现在在因为他们分布式架构的不同方面包括软件、平台或基础设施，使用私有云或混合云。分布式架构框架和协议构建一个分布式系统涉及很多很多不同的组件，包括从API和数据库到服务器以及通信网络。在非常放大的层面，你需要一个框架，用于实现和管理这些组件，比如当前流行的Hadoop框架。在缩小层面，你需要方法和规则，从而在事务处理层确实的把事情做好。这往往是SOA(面向服务架构)及其相关协议发挥作用之处。Nice Systems公司的架构总监Arnon Rotem-Gal-Oz这样说，“SOA仅仅是我们用来构建分布式系统的一个好的方法。当你正在通过框架，比如.net，构建一个系统时，你会发现一种不错的方式来模块化和组件化你的系统，当在SOA原则基础上建议灵活性时。”他指出,实际上将SOA部署在框架(比如hadoop)的顶部来获得双方的利益是可行的。你可能会说，分布式架构“房子”的蓝图一直以来变得越来越复杂。然而，尽管功能可能改变，潜在的好处对于企业保持惊人的一致：更多的计算能力、更好的可扩展性、更多的一致性、更多的可用性、更高的速度和更少的开销。责编：罗信
6. 如何搭建分布式网站服务器
需要建立IIS 还由DNS WIN 服务器的 还有更改主机名 很麻烦的 不多说了。。。
7. 如何搭建分布式web服务器
太简单了，所有文件共享，session共享或者改写，然后外边就可以简单的套一层负载均衡了
负载均衡后端web服务器数量就可以随意调整了