A. nginx 支持一致性hash吗
ngx_http_upstream_consistent_hash 模块是一个负载均衡器，使用一个内部一致性hash算法来选择合适的后端节点。与php的memcache模块memcache.hash_strategy兼容，这意味着可以使用php-memcache模块将内容存储到memcached集群中，而后通过nginx在集群中找到值。
该模块通过使用客户端信息(如：$ip, $uri, $args等变量)作为参数，使用一致性hash算法将客户端映射到后端节点。
该模块可以根据配置参数采取不同的方式将请求均匀映射到后端机器，比如：
consistent_hash $remote_addr：可以根据客户端ip映射
consistent_hash $request_uri： 根据客户端请求的uri映射
consistent_hash $args：根据客户端携带的参数进行映射
指令
语法：consistent_hash variable_name
默认值：none
上下文：upstream
配置upstream采用一致性hash作为负载均衡算法，并使用配置的变量名作为hash输入。
安装
1
2
3
4
5
# wget https://github.com/replay/ngx_http_consistent_hash/archive/master.zip
# unzip master.zip
# ./configure --add-mole=./3thparty/ngx_http_consistent_hash-master
# make
# make install
例子
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
upstream somestream {
consistent_hash $request_uri;
server 10.50.1.3:11211;
server 10.50.1.4:11211;
server 10.50.1.5:11211;
}
...
server {
listen 80;
server_name localhost;
location / {
default_type text/html;
set $memcached_key $request_uri;
memcached_pass somestream;
error_page 500 404 405 = @fallback;
}
location @fallback {
root /srv/www/whatever;
fastcgi_intercept_errors on;
error_page 404 = @404;
set $script $uri;
set $path_info "";
include /usr/local/nginx/conf/fastcgi_params;
fastcgi_param SCRIPT_FILENAME /srv/www/whatever/test.php;
fastcgi_param SCRIPT_NAME $script;
fastcgi_param REQUEST_URI $uri;
fastcgi_pass 127.0.0.1:9000;
}
}
B. Nginx运行原理和配置详解（个人总结笔记）
话不多说，撸起键盘就是干！正所谓知其然知其所以然，个人总结了下Nginx运行原理和配置详解，便于理解和后续复盘。
先来看这一张图。
nginx启动后会有 一个master进程和多个worker进程 。master进程用来管理worker进程， 一个worker进程处理一个请求 ，一个请求，只可能在一个worker进程中处理，一个worker进程，不可能处理其它进程的请求。 worker进程的个数是可以设置的，一般我们会设置与机器cpu核数一致 ，这里面的原因与nginx的进程模型以及事件处理模型是分不开的 ，过多的worker数，只会导致进程来竞争cpu资源，从而带来不必要的上下文切换。
PHP WEB服务器目前最佳方式之一就是： Nginx + FastCGI（解决CGI并发重复fork问题） + PHP-FPM（管理PHP-CGI进程） 。nginx是怎么做到把请求抛给PHP解释来处理的呢？这个过程又是怎么实现的呢？稍后我们来看一下参数配置。
代理，反向代理，负载均衡是Nginx常用功能。
Http代理，反向代理：作为web服务器最常用的功能之一，尤其是反向代理。如果你和小马之前一样还是分不清代理和反向代理的区别，下面这个图对理解会有所帮助。
它们的区别就是，前者知道我要找的人并知道地址在哪，代理服务器按这个地址代为请求一下然后把他说的话返回给我。后者就是，我知道我要找谁问话但不知袭冲道地址在哪，我也袜弊不想管，代理服务你自己去找，只要帮我返回他要说的话就可以了。
负载均衡：其实也是 反向代理 的一种。负载均衡，热备等等其实都属于高可用范畴，Nginx提供的负载均衡策略有2种：内置策略和扩展策略。内置策略为 轮询，加权轮询，Ip hash 等等。扩展策略，就天马行空，只有你想不到的没有他做不到的啦，你可以参照所有的负载均衡算法，给他做下实现。思考一个问题，IP hash真的能解决session共享的问题么？
我们来简单看下两个 配置示例 。
这个配置将请求转发转向mysvr 定义的服务器列表。 注意proxy_pass配置。其实这块也是负载均衡的配置 。如下：
在访问网站时，由于配置了proxy_pass地址，所有请求都会先通过nginx反向代理服务器，在服务器将请求转发给目的主机时，读取upstream为 tomcatsever1的地址，读取分发策略，配置tomcat1权重为3，所以nginx会告禅族将大部分请求发送给49服务器上的tomcat1，也就是8080端口；较少部分给tomcat2来实现有条件的负载均衡，当然这个条件就是服务器1、2的硬件指数处理请求能力。
负载均衡配置 还有其他的相关参数，这是只是打个样，不赘述。
可以认为fastcgi_pass这个配置非常关键，将Nginx + FastCGI + PHP-FPM串连 。这个配置将PHP请求都交给 fastcgi_pass配置的PHP-FPM处理。 location分别通过正则过滤和转发配置决定了各个请求URL将要转发交与的处理方式 ，location /表示默认请求，location ~\.php(.*)$ 表示PHP 脚本请求全部转发到 FastCGI处理。 使用FastCGI默认配置.。
以上配置指定了这些 静态文件要nginx自己处理 。
NGINX负载均衡可以用于很多服务负载均衡的实现，比如做Redis服务的负载均衡，配置upstream的IP列表再配置 proxy_pass 代理即可。那要实现负载均衡除了NGINX，还有哪些呢？
根据7层OSI模型可将负载均衡分为 ：
1）二层负载均衡（一般是用虚拟mac地址方式，外部对虚拟MAC地址请求，负载均衡接收后分配后端实际的MAC地址响应）；
2）三层负载均衡（一般采用虚拟IP地址方式，外部对虚拟的ip地址请求，负载均衡接收后分配后端实际的IP地址响应）；
3）四层负载均衡（在三次负载均衡的基础上，用 ip+port 接收请求，再转发到对应的机器）；
4）七层负载均衡（根据虚拟的url或是IP，主机名接收请求，再转向相应的处理服务器）。
这其中，最常见的是四层和七层负载均衡。思考一下，NGINX的负载均衡是属于哪一种？
关于负载均衡的架构
C. 不容错过的Nginx配置详解，一文带你搞懂Nginx
Nginx是一个高性能的HTTP和反向代理服务器，特点是占用内存少，并发能力强，事实上Nginx的并发能力确实在同类型的网页服务器中表现好。Nginx专为性能优化而开发，性能是其最重要的考量，实现上非常注重效率，能经受高负载的考验，有报告表明能支持高达50000个并发连接数。
需要客户自己在浏览器配置代理服务器地址。
例如：在大陆访问www.google.com，我们需要一个代理服务器，我们通过代理服务器去访问谷歌，这个过程就是正向代理。
反向代理，客户端对代理是无感知的，因为客户端不需要任何配置就可以访问，我们只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴露的是代理服务器地址，隐藏了真实服务器IP地址。
单个服务器解决不了，我们增加服务器的数量，然后将请求分发到各个服务器上，将原先请求集中到单个服务器上的情况改为将请求分发到多个服务器上，将负载分发到不同的服务器，也就是我们说的负载均衡。
为了加快网站的解析速度，可以把动态页面和静态页面由不同的服务器来解析，加快解析速度。降低原来单个服务器的压力。
进入到下面的目录，然后使用命令
配置文件所在位置：/usr/local/nginx/conf/nginx.conf
由全局块+events块+http块组成
从配置文件开始到events之间的内容，主要会设置一些影响Nginx服务器整体运行的配置指令，主要包括配置运行Nginx服务器的用户（组）、允许生成的worker process数，进程pid存放路径、日志存放路径和类型以及配置文件的引入等。
events块设计的指令主要影响Nginx服务器与用户的网络连接，常用的设置包括是否开启对多work process下的网络连接进行序列化，是否允许同时接收多个网络连接，选取哪种事件驱动模型来处理连接请求，每个work process可以同时支持的最大连接数等。下面的例子表示每个work process支持的最大连接数为1024。这部分配置对Nginx的性能影响较大，在实际中应该灵活配置。
Nginx服务器配置中最频繁的部分，代理、缓存和日志定义等绝大多数功能和第三方模块的配置都在这里，http块又包括http全局块和server块。
http全局块配置的指令包括文件引入、MIME-TYPE定义、日志自定义、连接超时时间、单链接请求数上限等。
这块和虚拟主机有密切关系，虚拟主机从用户角度看，和一台独立的硬件主机是完全一样的，该技术的产生是为了节省互联网服务器硬件成本。
每个http块可以包括多个server块，而每个server块就相当于一个虚拟主机。
每个server块也可以分为全局server块，以及可以同时包含多个location块。
最常见的配置时本虚拟主机的监听配置和本虚拟主机的名称或IP配置。
一个server块可以配置多个location块。
这块的主要作用是基于Nginx服务器接收到的请求字符串（例如server_name/uri-string），对虚拟主机名称（也可以是IP别名）之外的字符串（例如前面的/uri-string）进行匹配，对特定的请求进行处理。地址定向、数据缓存和应答控制等功能，还有许多第三方模块的配置也在这里进行。
访问http://ip，访问到的是Tomcat的主页面http://ip:8080。
Nginx+JDK8+Tomcat
访问：http://192.168.71.167/，看到的是Tomcat的首页。
根据访问的路径跳转到不同的服务器中去。
访问http://ip:9001/e 直接跳到http://127.0.0.1:8080/e
访问http://ip:9001/vod 直接跳到http://127.0.0.1:9090/vod
Nginx+JDK8+配置两个Tomcat，Tomcat的配置不再讲述。
访问http://192.168.71.167:9001/e/a.html跳到了http://127.0.0.1:8080/e/a.html页面。
访问http://192.168.71.167:9001/vod/a.html跳到了http://127.0.0.1:9090/vod/a.html页面。
假如Nginx代理服务器Server的配置为：192.168.71.167:9001，跳到：127.0.0.1:8080，访问者的IP为：192.168.71.200:20604。
通过访问http://192.168.71.167/e/a.html，实现负载均衡的效果，平均分摊到8080和8081端口中。
Nginx+JDK8+2台Tomcat，一台8080，一台8081。
访问：http://192.168.71.167/e/a.html，8080和8081交替访问。
1 轮询（默认）
每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。
2 weight
weight代表权重，默认为1，权重越高被分配的客户端越多。
指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。
3 ip_hash
每个请求按访问IP的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，示例如下：
4 fair（第三方）
按后端服务器的响应时间来分配请求，响应时间短的优先分配。
访问图片：http://192.168.71.167/image/1.jpg
访问页面：http://192.168.71.167/www/a.html
访问目录：http://192.168.71.167/image/（因为设置了autoindex on;）
两台机器，每台机器都装有keepalived+Nginx+Tomcat。
主备keepalived服务器中只有master一台机器会出现VIP地址，否则会出现脑裂问题。
【提示】脚本要加+x的执行权限：chmod +x chk_nginx.sh
在Nginx里把虚拟IP配置进去即可。
一个Nginx是由一个master进程和多个worker进程组成的。
客户端发送请求到Master，然后给worker，再由这些work争抢处理这个请求。
1 可以使用nginx -s reload进行热部署方式；
2 每个worker是独立的进程，如果有其中的一个worker出现了问题，其他worker独立的继续进行争抢，实现请求的过程，不会造成服务的中断；
Nginx和Redis类似，都采用了io多路复用机制。每个worker进程都可以把CPU发挥到极致，一般来说worker数和服务器的CPU数相等是最为适宜的。
发送请求：访问静态资源占用2个连接，反向代理占用4个连接。
【温馨提示】
D. nginx 负载均衡之一致性hash，普通hash
哈希负载均衡原理
ngx_http_upstream_hash_mole支持普通的hash及一致性hash两种负载均衡算法，默认的是普通的hash来进行负载均衡。
nginx 普通的hash算法支持配置http变量值作为hash值计算的key，通过hash计算得出的hash值和总权重的余数作为挑选server的依据；nginx的一致性hash(chash)算法则要复杂一些。这里会对一致性hash的机制原理作详细的说明。
一致性hash算法的原理
一致性hash用于对hash算法的改进，后端服务器在配置的server的数量发生变化后，同一个upstream server接收到的请求会的数量和server数量变化之间会有变化。尤其是在负载均衡配置的upstream server数量发生增长后，造成产生的请求可能会在后端的upstream server中并不均匀，有的upstream server负载很低，有的upstream server负载较高，这样的负载均衡的效果比较差，可能对upstream server造成不良的影响。由此，产生了一致性hash算法来均衡。
那么为什么一致性hash算法能改善这种情况呢？这里引用网上资料的一致性hash算法的图例。
因为对于hash(k)的范围在int范围，所以我们将0~2^32作为一个环。其步骤为：
1，求出每个服务器的hash（服务器ip）值，将其配置到一个 0~2^n 的圆环上（n通常取32）。
2，用同样的方法求出待存储对象的主键 hash值，也将其配置到这个圆环上，然后从数据映射到的位置开始顺时针查找，将数据分布到找到的第一个服务器节点上。
其分布如图：
除了上边的优点，其实还有一个优点：对于热点数据，如果发现node1访问量明显很大，负载高于其他节点，这就说明node1存储的数据是热点数据。这时候，为了减少node1的负载，我们可以在热点数据位置再加入一个node，用来分担热点数据的压力。
雪崩效应
接下来我们来看一下，当有节点宕机时会有什么问题。如下图：
如上图，当B节点宕机后，原本存储在B节点的k1，k2将会迁移到节点C上，这可能会导致很大的问题。如果B上存储的是热点数据，将数据迁移到C节点上，然后C需要承受B+C的数据，也承受不住，也挂了。。。。然后继续CD都挂了。这就造成了雪崩效应。
上面会造成雪崩效应的原因分析：
如果不存在热点数据的时候，每台机器的承受的压力是M/2(假设每台机器的最高负载能力为M)，原本是不会有问题的，但是，这个时候A服务器由于有热点数据挂了，然后A的数据迁移至B，导致B所需要承受的压力变为M（还不考虑热点数据访问的压力），所以这个失败B是必挂的，然后C至少需要承受1.5M的压力。。。。然后大家一起挂。。。
所以我们通过上面可以看到，之所以会大家一起挂，原因在于如果一台机器挂了，那么它的压力全部被分配到一台机器上，导致雪崩。
怎么解决雪崩问题呢，这时候需要引入虚拟节点来进行解决。
虚拟节点
虚拟节点，我们可以针对每个实际的节点，虚拟出多个虚拟节点，用来映射到圈上的位置，进行存储对应的数据。如下图：
如上图：A节点对应A1，A2，BCD节点同理。这时候，如果A节点挂了，A节点的数据迁移情况是:A1数据会迁移到C2，A2数据迁移到D1。这就相当于A的数据被C和D分担了，这就避免了雪崩效应的发送，而且虚拟节点我们可以自定义设置，使其适用于我们的应用。
ngx_http_upstream_consistent_hash
该模块可以根据配置参数采取不同的方式将请求均匀映射到后端机器，比如：
指令
语法：consistent_hash variable_name
默认值：none
上下文：upstream
配置upstream采用一致性hash作为负载均衡算法，并使用配置的变量名作为hash输入。
参考文档：
https://www.cnblogs.com/FengGeBlog/p/10615345.html
http://www.ttlsa.com/nginx/nginx-upstream-consistent-hash-mole/