‘壹’ 分布式限流 redis-cell
redis 4.0 以后开始支持扩展模块， redis-cell 是一个用rust语言编写的基于令牌桶算法的的限流模块，提供原子性的限流功能，并允许突发流量，可以很方便的应用于分布式环境中。
令牌桶算法的原理是定义一个按一定速率产生token的桶，每次去桶中申请token，若桶中没有足岁隐梁够的token则申请失败，否则成功。在请求不多的情况下，桶中的token基本会饱和，此时若流量激增，并不会马上拒绝请求，所以这种算法允许一定的流量激增。
这几个步骤可以采用redis提供的原生命令去实现，但是，但是，但是高并发的时候数据会不一致，所以 redis-cell 将这个过程原子化，完美解决了分布式环境下数据的一致性问题。
官方提供了安装包和源码编译两种方式，源码编译要安装rust环境，比较复杂，这里介绍安装包方式安装：
执行完以上步骤就可以使用其提供的限流功能了。
该模块只提供了一个命令： CL.THROTTLE
CL.THROTTLE test 100 400 60 3
test： redis key
100： 官方叫 max_burst ，没理解什么意思，其值为令牌桶的容量 - 1， 首次执行时令牌桶会默认填满
400： 与下一个参数一起，表示在指定时间窗口内允许访问的次数
60： 指定的时间窗口，单位：秒
3： 表示本次要申请的令牌数，不写则默认为 1
以上命令表示 从一个初始值为100的令牌桶中取3个令牌，携扒该令牌桶的速率限制为400次/60秒 。
1： 是否成功，0：成功，1：拒绝
2： 令牌桶的容量，大小为初始值+1
3： 当前令牌桶中可用的令牌
4： 若乎运请求被拒绝，这个值表示多久后才令牌桶中会重新添加令牌，单位：秒， 可以作为重试时间
5： 表示多久后令牌桶中的令牌会存满
下面以一个速率稍慢一点的令牌桶来演示一下，连续快速执行以下命令：
通过命令可以看到，每次从桶中取出3个令牌，当桶中令牌不足时，请求被拒绝。
因为业务的原因（周末请求比平时多），最近公司的服务一到周末就嗝屁，消防群里忙的不可开交，有几次跟redis有关系导致服务雪崩，后来架构那边出建议各个业务组减少对其他服务的依赖。
一方面其他服务都不可靠，一方面一些核心业务不能做降级，并且公司日益壮大，服务太多，出错排查的成本太大，基于这些原因，能在自己服务内解决的就不要依赖其他服务。
个人觉得，项目不大的，维护成本不高的话，可以采用 直接使用 redsi-cell ，否则可以考虑细粒度的控制到每个服务节点去限流，配合相应的负载均衡策略去实现。以上为个人理解，仅供参考。
‘贰’ hadoop分布式部署（转载）--贼靠谱
原文地址：https://blog.csdn.net/sjmz30071360/article/details/79889055
1. 集群搭建形式
Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式
单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。
伪分布式—— 也是在一台单机上运行，但不同的是java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算，故称为“伪分布式”。
完全分布式—— 真正的分布式，由3个及以上的实体机或者虚拟机组成的机群。一个Hadoop集群环境中，NameNode，SecondaryName和DataNode是需要分配在不同的节点上，也就需要三台服务器。
前两种模式一般用在开发或测试环境下，生产环境下都是搭建完全分布式模式。
从分布式存储的角度来说，集群中的节点由一个NameNode和若干个DataNode组成，另有一个SecondaryNameNode作为NameNode的备份。
从分布式应用的角度来说，集群中的节点由一个JobTracker和若干个TaskTracker组成。JobTracker负责任务的调度，TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上，这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。
2. 环境
操作系统：CentOS7（红帽开源版）
机器：虚拟机3台，（master 192.168.0.104, slave1 192.168.0.102, slave2 192.168.0.101）
JDK：1.8（jdk-8u162-linux-x64.tar）
Hadoop：2.9.0（http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz）
3. 搭建步骤
3.1 每台机器安装&配置JDK（1台做好后，克隆出其它机器）
1) 创建目录 mkdir /usr/java
2) 上传jdk安装包到 /usr/java/
3) 解压 tar -xvf jdk-8u162-linux-x64.tar
4) 追加环境变量 vi /etc/profile
5) 使环境变量生效 source /etc/profile
6) 检测jdk正确安装 java -version
3.2 修改每台机器主机名(hostname)
hostnamectl set-hostname master （立即生效）
hostnamectl set-hostname slave1 （立即生效）
hostnamectl set-hostname slave2 （立即生效）
确认修改
3.3 修改每台机器/etc/hosts文件
vi /etc/hosts
修改其中1台，然后scp到其它机器
scp 文件名 远程主机用户名@远程主机名或ip:存放路径
scp hosts [email protected]:/etc/
scp hosts [email protected]:/etc/
修改完之后，互ping其它机器，能互ping则说明修改OK
ping -c 3 slave1 （※ 3表示发送 3 个数据包）
3.4 配置ssh，实现无密码登录
无密码登录，效果也就是在master上，通过ssh slave1或者ssh slave2就可以登录对方机器，而不用输入密码。
1） 每台机器执行ssh-keygen -t rsa，接下来一路回车即可
执行ssh-keygen -t rsa主要是生成 密钥 和 密钥的存放路径
我们用的root用户，公钥私钥都会保存在~/.ssh下
2） 在master上将公钥放到authorized_keys里，命令：cat id_rsa.pub > authorized_keys
3） 将master上的authorized_keys放到其它机器上
scp authorized_keys root@slave1:~/.ssh/
scp authorized_keys root@slave2:~/.ssh/
4） 测试是否成功
3.5 上传&配置hadoop（配置完master后，将/usr/hadoop/整个目录内容到其它机器）
1） 创建目录 mkdir /usr/hadoop
2） 上传hadoop安装包hadoop-2.9.0.tar.gz到 /usr/hadoop/
3） 解压 tar -xvf hadoop-2.9.0.tar.gz
4） 追加环境变量 vi /etc/profile（其它机器也要相应配置一次hadoop环境变量）
5） 使环境变量生效 source /etc/profile
6） 确认环境变量配置OK
7） 创建HDFS存储目录
cd /usr/hadoop
mkdir hdfs
cd hdfs
mkdir name data tmp
/usr/hadoop/hdfs/name --存储namenode文件
/usr/hadoop/hdfs/data --存储数据
/usr/hadoop/hdfs/tmp --存储临时文件
8） 修改/usr/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh文件，设置JAVA_HOME为实际路径
否则启动集群时，会提示路径找不到
9） 修改/usr/hadoop/hadoop-2.9.0/etc/hadoop/yarn-env.sh文件，设置JAVA_HOME为实际路径
10） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/core-site.xml
增加hadoop.tmp.dir 和 fs.default.name
11） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/hdfs-site.xml
dfs.replication：默认值3
dfs.permissions：默认值为true，设置为true有时候会遇到数据因为权限访问不了；设置为false可以不要检查权限就生成dfs上的文件
12） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml
cd /usr/hadoop/hadoop-2.9.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
maprece.framework.name：指定maprece运行在yarn平台，默认为local
13） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/yarn-site.xml
yarn.resourcemanager.hostname：指定yarn的resourcemanager的地址
yarn.nodemanager.aux-services：recer获取数据的方式
yarn.nodemanager.vmem-check-enabled：意思是忽略虚拟内存的检查，如果安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。如果是在实体机上，并且内存够多，可以将这个配置去掉
14） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/slaves文件，将里面的localhost删除，配置后内容如下：
15） 整个/usr/hadoop/目录到其它机器
scp -r hadoop root@slave1:/usr/
scp -r hadoop root@slave2:/usr/
3.6 启动Hadoop
1） 启动之前需要格式化一下。因为master是namenode，slave1和slave2都是datanode，所以在master上运行
hadoop namenode -format
格式化成功后，可以看到在/usr/hadoop/hdfs/name目录下多了一个current目录，而且该目录下有一系列文件，如下：
2） 执行启动（namenode只能在master上启动，因为配置在master上；datanode每个节点上都可以启动）
执行 start-all.sh
master上执行jps，会看到NameNode, SecondaryNameNode, ResourceManager
其它节点上执行jps，会看到DataNode, NodeManager
3） 在wins上打开网页，查看HDFS管理页面 http://192.168.0.104:50070查看，提示无法访问
在master上，执行以下命令关闭防火墙，即可访问（为了能够正常访问node节点，最好把其它机器的防火墙也stop了）
systemctl stop firewalld.service
HDFS管理首页
HDFS Datenodes页
访问Yarn管理页： http://192.168.0.104:8088
4）通过主机名也可以访问的设置
win7为例，需要将以下信息追加到C:\Windows\System32\drivers\etc\hosts文件中
192.168.0.104 master
192.168.0.102 slave1
192.168.0.101 slave2
Over！！！搭建成功！！！
4. 运行实例
cd /usr/hadoop/hadoop-2.9.0/share/hadoop/maprece
hadoop jar hadoop-maprece-examples-2.9.0.jar pi 5 10
。。。。。。
=====================================================
如果不关防火墙，子节点可能出现，输入jps后只有jps一个进程，或者是缺进程的情况，关闭防火墙就好了。
‘叁’ Redis的Setnx命令实现分布式锁
首先，分布式锁和我们平常讲到的锁原理基本一样，目的就是确保在多个线程并发时，只有一个线程在同一刻操作这个业务或者说方法、变量。
在一个进程中，也就是一个jvm或者说应用中，我们很容易去处理控制，在 java.util 并发包中已经为我们提供了这些方法去加锁，比如 synchronized 关键字或者 Lock 锁，都可以处理。
但是如果在分布式环境下，要保证多个线程同时只有1个能访问某个资源，就需要用到分布式锁。这里我们将介绍用Redis的 setnx 命令来实现分布式锁。
其实目前通常所说的 setnx 命令，并非单指redis的 setnx key value 这条命令，这条命令可能会在后期redis版本中删除。
一般代指redis中对 set 命令加上 nx 参数进行使用， set 这个命令，目前已经支持这么多参数可选：
从 Redis 2.6.12 版本开始， SET 命令的行为可以通过一系列参数来修改：
注入bean
这里同时启动5个线程并发往redis中存储 lock 这个key（key可以自定义，但需要一致），同时设置10秒的过期时间。
setIfAbsent 这个函数实现的功能与 setnx 命令一样，代表如果没有这个key则set成功获取到锁，否则set失败没有获取到锁。
获得锁后进行资源的操作，最后释放锁。
执行效果 ：
可以看到同时只有1个线程能够获取到锁。
使用 setnx 命令方式虽然操作比较简单方便，但是会有如下问题：
可以在丛肢再次获取锁时，如果锁被占用就get值，判断值是否是当前线程存的随机值，如果是则再次执行 set 命令重新上锁；当然为了保证原子性这些操作都要用 lua 脚本来执行。
可以使用 while 循环重复执行 setnx 命令，并设置一个超时时间退出循环。
可以尽量把锁自动过期的时间设的冗余一些。但也不能绝橡彻底解决。
可以在删除锁的时候先get值，判断值是否是当前线程存的随机值，只有相同才执行渗宏世删锁的操作；当然也要使用 lua 脚本执行来保证原子性。
分布式锁需要满足的特性
综上：使用 setnx 命令来实现分布式锁并不是一个很严谨的方案，如果是Java技术栈，我们可以使用 Redisson 库来解决以上问题，接下来的文章会介绍如何使用。
Redisson实现分布式锁
Redlock实现分布式锁
‘肆’ python面试之分布式
主要用于分散压力，所以分布式的服务都是部署在不同的服务器上的，再将服务做集群
根据“分层”的思想进行拆分。
例如，可以将一个项目根据“三层架构” 拆分
然后再分开部署 ：
根据业务进行拆分。
例如，可以根据业务逻辑，将“电商项目”拆分成 “订单项目”、“用户项目”和“秒杀项目” 。显然这三个拆分后的项目，仍然可以作为独立的项目使用。像这种拆分的方法，就成为垂直拆分
主要用于分散能力，主要是将服务的颗粒度尽量细化，且自成一脉，压力这块并不是其关注的点，所以多个微服务是可以部署在同一台服务器上的
微服务可以理解为一种 非常细粒度的垂直拆分 。例如，以上“订单项目”本来就是垂直拆分后的子项目，但实际上“订单项目”还能进一步拆分为“购物项目”、“结算项目”和“售后项目”，如图
现在看图中的“订单项目”，它完全可以作为一个分布式项目的组成元素，但就不适合作为微服务的组成元素了（因为它还能再拆，而微服务应该是不能再拆的“微小”服务，类似于“原子性”）
分布式服务需要提供给别的分布式服务去调用，单独拆出来 未必外部可用
微服务自成一脉，可以系统内部调用，也可以单独提供服务
为什么需要用分布式锁，见下图
变量A存在三个服务器内存中（这个变量A主要体现是在一个类中的一个成员变量，是一个有状态的对象），如果不加任何控制的话，变量A同时都会在分配一块内存，三个请求发过来同时对这个变量操作，显然结果是不对的！即使不是同时发过来，三个请求分别操作三个不同内存区域的数据，变量A之间不存在共享，也不具有可见性，处理的结果也是不对的。
分布式锁应该具备哪些条件：
1、在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行；
2、高可用的获取锁与释放锁；
3、高性能的获取锁与释放锁；
4、具备可重入特性；
5、具备锁失效机制，防止死锁；
6、具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败
Redis性能高
命令简单，实现方便
使用setnx加锁，key为锁名，value随意不重复就行（一般用uuid）
给锁添加expire时间，超过该时间redis过期（即自动释放锁）
设置获取锁的超时时间，若超过时间，则放弃获取锁
通过锁名获取锁值
比较锁值和当前uuid是否一致，一致则释放锁（通过delete命令删除redis键值对）
2PC：two phase commit protocol，二阶段提交协议，是一种强一致性设计。
同步阻塞（导致长久的资源锁定） ，只有第一阶段全部正常完成（返回失败，回字返回超时都会返回 “准备失败” ），才会进入第二阶段
因为协调者可能会在任意一个时间点（发送准备命令之前，发送准备命令之后，发送回滚事务命令之前，发送回滚事务命令之后，发送提交事务命令之前，发送提交事务命令之后）故障，导致资源阻塞。
T：try，指的是预留，即资源的预留和锁定，注意是预留
C：confirm，指的是确认操作，这一步其实就是真正的执行了
C：cancel，指的是撤销操作，可以理解为把预留阶段的动作撤销了
从思想上看和 2PC 差不多，都是先试探性的执行，如果都可以那就真正的执行，如果不行就回滚。
适用于对实时性要求没那么高的业务场景，如：短信通知
‘伍’ 分布式minio搭建指南
分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。
在大数据领域，通常的设计理念都是无中心和分布式的。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。
分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot。
分布式Minio至少需要4个硬盘，使用分布式Minio自动引入了纠删码功能。
单机Minio服务存在单点故障，相反，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。
例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服务器宕机，这个集群仍然是可读的，不过你需要9台服务器才能写数据。
注意，只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘，也可以使用4个节点，每个节点两块硬盘，诸如此类。
Minio在分布式和单机模式下，所有读写操作都严格遵守 read-after-write 一致性模型。
如果你了解Minio单机模式的搭建的话，分布式搭建的流程基本一样，Minio服务基于命令行传入的参数自动切换成单机模式还是分布式模式。
安装Minio - Minio快速入门.
启动一个分布式Minio实例，你只需要把硬盘位置做为参数传给minio server命令即可，然后，你需要在所有其它节点运行同样的命令。
注意
目录创建
run：启动脚本及二进制文件目录；
data：数据存储目录；
/etc/minio：配置文件目录；
集群启动文件
配置为系统服务
将minio二进制文件上传到/data/minio/run目录
给所有涉及到的文件或目录添加权限！
集群启动