1. Redis的Setnx命令实现分布式锁
首先,分布式锁和我们平常讲到的锁原理基本一样,目的就是确保在多个线程并发时,只有一个线程在同一刻操作这个业务或者说方法、变量。
在一个进程中,也就是一个jvm或者说应用中,我们很容易去处理控制,在 java.util 并发包中已经为我们提供了这些方法去加锁,比如 synchronized 关键字或者 Lock 锁,都可以处理。
但是如果在分布式环境下,要保证多个线程同时只有1个能访问某个资源,就需要用到分布式锁。这里我们将介绍用Redis的 setnx 命令来实现分布式锁。
其实目前通常所说的 setnx 命令,并非单指redis的 setnx key value 这条命令,这条命令可能会在后期redis版本中删除。
一般代指redis中对 set 命令加上 nx 参数进行使用, set 这个命令,目前已经支持这么多参数可选:
从 Redis 2.6.12 版本开始, SET 命令的行为可以通过一系列参数来修改:
注入bean
这里同时启动5个线程并发往redis中存储 lock 这个key(key可以自定义,但需要一致),同时设置10秒的过期时间。
setIfAbsent 这个函数实现的功能与 setnx 命令一样,代表如果没有这个key则set成功获取到锁,否则set失败没有获取到锁。
获得锁后进行资源的操作,最后释放锁。
执行效果 :
可以看到同时只有1个线程能够获取到锁。
使用 setnx 命令方式虽然操作比较简单方便,但是会有如下问题:
可以在丛肢再次获取锁时,如果锁被占用就get值,判断值是否是当前线程存的随机值,如果是则再次执行 set 命令重新上锁;当然为了保证原子性这些操作都要用 lua 脚本来执行。
可以使用 while 循环重复执行 setnx 命令,并设置一个超时时间退出循环。
可以尽量把锁自动过期的时间设的冗余一些。但也不能绝橡彻底解决。
可以在删除锁的时候先get值,判断值是否是当前线程存的随机值,只有相同才执行渗宏世删锁的操作;当然也要使用 lua 脚本执行来保证原子性。
分布式锁需要满足的特性
综上:使用 setnx 命令来实现分布式锁并不是一个很严谨的方案,如果是Java技术栈,我们可以使用 Redisson 库来解决以上问题,接下来的文章会介绍如何使用。
Redisson实现分布式锁
Redlock实现分布式锁
2. Redis中hash、set、zset的底层数据结构原理
Redis-哈希对象(hash)
Redis-集合对象(set)
其中hashtable的key为set中元素的值,而value为null
inset为可以理解为数组,使用inset数据结构需要满足下述两个条件:
intset的底层结构
查询方式一般采用二分查找法,实际查询复杂度也就在log(n)
Redis-有序集合对象(zset)
底层实现为 字典(dict) + 跳表(skiplist),当数据比较少的时候用ziplist编码结构存储。
同时满足以下两个条件采用ziplist存储:
ziplist存储方式
总结
3. Redis --- 八种数据类型(基本命令)
String、Hash、List、Set和Zset。
等同于java中的, Map<String,String> string 是redis里面的最基本的数据类型,一个key对应一个value。
应用场景 :String是最常用的一种数据类型,普通的key/value存储都可以归为此类,如用户信息,登录信息和配置信息等;
实现方式 :String在redis内部存储默认就是一个字符串,被redisObject所引用,当遇到incr、decr等操作(自增自减等原子操作)时会转成数值型进行计算,此时redisObject的encoding字段为int。
Redis虽然是用C语言写的,但却没有直接用C语言的字符串,而是自己实现了一套字符串。目的就是为了提升速度,提升性能。 Redis构建了一个叫做简单动态字符串(Simple Dynamic String),简称SDS。
Redis的字符串也会遵守C语言的字符串的实现规则,即 最后一个字符为空字符。然而这个空字符不会被计算在len里头。
Redis动态扩展步骤:
Redis字符串的性能优势
常用命令 :set/get/decr/incr/mget等,具体如下;
ps:计数器(字符串的内容为整数的时候可以使用),如 set number 1。
补充:
等同于java中的: Map<String,Map<String,String>> ,redis的hash是一个string类型的field和value的映射表, 特别适合存储对象。 在redis中,hash因为是一个集合,所以有两层。第一层是key:hash集合value,第二层是hashkey:string value。所以判断是否采用hash的时候可以参照有两层key的设计来做参考。并且注意的是, 设置过期时间只能在第一层的key上面设置。
应用场景 :我们要存储一个用户信息对象数据,其中包括用户ID、用户姓名、年龄和生日,通过用户ID我们希望获取该用户的姓名或者年龄或者生日;
实现方式 :Redis的Hash实际是内部存储的Value为一个HashMap,并提供了直接存取这个Map成员的接口。如,Key是用户ID, value是一个Map。 这个Map的key是成员的属性名,value是属性值 。这样对数据的修改和存取都可以直接通过其内部Map的Key(Redis里称内部Map的key为field), 也就是通过 key(用户ID) + field(属性标签) 就可以操作对应属性数据。 当前HashMap的实现有两种方式 :当HashMap的成员比较少时Redis为了节省内存会采用类似一维数组的方式来紧凑存储,而不会采用真正的HashMap结构,这时对应的value的redisObject的encoding为zipmap,当成员数量增大时会自动转成真正的HashMap,此时redisObject的encoding字段为int。
常用命令 :hget/hset/hgetall等,具体如下:
等同于java中的 Map<String,List<String>> ,list 底层是一个链表,在redis中,插入list中的值,只需要找到list的key即可,而不需要像hash一样插入两层的key。 list是一种有序的、可重复的集合。
应用场景 :Redis list的应用场景非常多,也是Redis最重要的数据结构之一,比如twitter的关注列表,粉丝列表等都可以用Redis的list结构来实现;
实现方式 :Redis list的实现为一个 双向链表 ,即可以支持反向查找和遍历,更方便操作,不过带来了部分额外的内存开销,Redis内部的很多实现,包括 发送缓冲队列 等也都是用的这个数据结构。
常用命令 :lpush/rpush/lpop/rpop/lrange等,具体如下:
性能总结 :
它是一个字符串链表,left、right都可以插入添加。
等同于java中的 Map<String,Set<String>> ,Set 是一种无序的,不能重复的集合。并且在redis中,只有一个key它的底层由hashTable实现的,天生去重。
应用场景 :Redis set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动去重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择,并且 set提供了判断某个成员是否在一个set集合内的重要接口 ,这个也是list所不能提供的;如保存一些标签的名字。标签的名字不可以重复,顺序是可以无序的。
实现方式 :set 的内部实现是一个 value永远为null的HashMap,实际就是通过计算hash的方式来快速排重的,这也是set能提供判断一个成员是否在集合内的原因。
常用命令 :sadd/spop/smembers/sunion等,具体如下:
ZSet(Sorted Set:有序集合) 每个元素都会关联一个double类型的分数score,分数允许重复,集合元素按照score排序( 当score相同的时候,会按照被插入的键的字典顺序进行排序 ),还可以通过 score 的范围来获取元素的列表。
应用场景 :Redis sorted set的使用场景与set类似,区别是set不是自动有序的,而sorted set可以 通过用户额外提供一个优先级(score)的参数来为成员排序,并且是插入有序的,即自动排序。 当你需要一个有序的并且不重复的集合列表,那么可以选择sorted set数据结构,比如twitter 的public timeline可以以发表时间作为score来存储,这样获取时就是自动按时间排好序的。
底层实现 : zset 是 Redis 提供的一个非常特别的数据结构,常用作排行榜等功能,以用户 id 为 value ,关注时间或者分数作为 score 进行排序。实现机制分别是 zipList 和 skipList 。规则如下:
zipList:满足以下两个条件
skipList:不满足以上两个条件时使用跳表、组合了hash和skipList
为什么用skiplist不用平衡树?
主要从内存占用、对范围查找的支持和实现难易程度这三方面总结的原因。
拓展:mysql为什么不用跳表?
常用命令 :zadd/zrange/zrem/zcard等;
官网地址: https://redis.io/commands/geoadd
可以用来推算两地之间的距离,方圆半径内的人。
关于经度纬度的限制: https://www.redis.net.cn/order/3685.html
一般我们使用Hyperloglog做基数统计。
什么是基数?就是一个集合中不重复的数的个数。
集合A:{1,3,5,7,9,7}
集合B:{1,3,5,7,9}
AB集合的基数都是5
应用:统计网站的访问量(一个人访问网站很多次仍然算作一次)。
优点:占用的内存是固定的,找2^64次方个数的基数,只需要12KB内存。
缺点:有0.81%的错误率,可以忽略不计
概述: bitmap 存储的是连续的二进制数字(0 和 1),通过 bitmap, 只需要一个 bit 位来表示某个元素对应的值或者状态,key 就是对应元素本身 。 我们知道 8 个 bit 可以组成一个 byte,所以 bitmap 本身会极大的节省储存空间。
应用场景: 适合需要保存状态信息(比如是否签到、是否登录...)并需要进一步对这些信息进行分析的场景。比如用户签到情况、活跃用户情况、用户行为统计(比如是否点赞过某个视频)。
针对上面提到的一些场景,这里进行进一步说明。
使用场景一:用户行为分析 很多网站为了分析你的喜好,需要研究你点赞过的内容。
使用场景二:统计活跃用户
使用时间作为 key,然后用户 ID 为 offset,如果当日活跃过就设置为 1
那么我该如果计算某几天/月/年的活跃用户呢(暂且约定,统计时间内只有有一天在线就称为活跃),有请下一个 redis 的命令
使用场景三:用户在线状态
对于获取或者统计用户在线状态,使用 bitmap 是一个节约空间效率又高的一种方法。
只需要一个 key,然后用户 ID 为 offset,如果在线就设置为 1,不在线就设置为 0。
补充 :
巨人的肩膀:
https://www.cnblogs.com/Small-sunshine/p/11687809.html
https://mp.weixin.qq.com/s/CMu7oXVIKp2s-PXTdMlimA
4. redis 命令执行过程
redis数据淘汰原理
redis过期数据删除策略
redis server事件模型
redis cluster mget 引发的讨论
redis 3.x windows 集群搭建
redis 命令执行过程
redis string底层数据结构
redis list底层数据结构
redis hash底层数据结构好闹
redis set底层数据结构
redis zset底层数据结构
redis 客户端管理
redis 主从同步-slave端
redis 主从同步-master端
redis 主从超时检测
redis aof持久化
redis rdb持久化
redis 数据恢复过程
redis TTL实现原理
redis cluster集群建立
redis cluster集群选主
这篇文章的目的是为了描述redis server在处理client命令的执行过程,大概包括流程图、源码、以及redis的命令格式说明,redis的通信协议参考自redis的则颂 官网 。
整个redis的server端命令执行过程就如下面这个流程图:
nread = read(fd, c->querybuf+qblen, readlen);负责读取命令数,通过processInputBuffer进行下一步处理。
核心在于processInlineBuffer处理内联命令,processMultibulkBuffer处理批量命令包括get/set等,核心的processCommand用于执行命令。
执行命令的过程其实主要是寻找命令对应的执行函数,通过lookupCommand查找对应的执行命令,通过call执行命令。
负责执行命令 c->cmd->proc 并更新统计信息,执行完成后负责同步数据 propagate 。
主要是负责同步数据到AOF文件和slave节点,feedAppendOnlyFile负责友盯罩同步到AOF文件,replicationFeedSlaves负责同步
AOF涉及的缓存有多份,包括
包含了命令和对应执行函数的映射关系,应该看上去很清晰命令。
协议的一般格式如下,注意前面的*或者$等字符,结尾的 是分隔符。
其中, 回复中的第二个元素为空。
5. redis鏀鎸佹湇锷$阌佸畾
Redis鏀鎸佹湇锷$阌佸畾锛岄氲繃浣跨敤SET锻戒护𨱒ヨ剧疆涓涓鍞涓镄勯敭鍊煎瑰疄鐜扮殑銆
褰扑竴涓瀹㈡埛绔𨱍宠佽幏鍙栭挛镞讹纴瀹冧细浣跨敤SET锻戒护𨱒ヨ剧疆涓涓阌鍊煎癸纴鍏朵腑阌鏄涓涓鍞涓镄勫瓧绗︿覆锛岃〃绀洪挛镄勫悕绉帮纴鍊兼槸涓涓镞堕棿鎴筹纴琛ㄧず瀹㈡埛绔𨱍宠佽幏鍙栭挛镄勬椂闂淬俣edis鏀鎸佹湇锷$阌佸畾锛岃繖鏄阃氲繃浣跨敤SET锻戒护𨱒ヨ剧疆涓涓鍞涓镄勯敭鍊煎瑰疄鐜扮殑銆
濡傛灉杩欎釜阌鍊煎瑰凡缁忓瓨鍦锛岄偅涔埚㈡埛绔灏变细绛夊緟鐩村埌阌佽閲婃斁銆傚傛灉瀹㈡埛绔鍦ㄧ瓑寰呮湡闂村彂鐢熶简瓒呮椂锛岄偅涔埚畠鍙浠ラ夋嫨鏀惧纯銮峰彇阌併傚綋瀹㈡埛绔鎴愬姛銮峰彇浜嗛挛涔嫔悗锛屽畠鍙浠ヤ娇鐢‥XPIRE锻戒护𨱒ヨ剧疆阌佺殑杩囨湡镞堕棿锛屼互阒叉㈠洜涓哄㈡埛绔寮傚父钥屽艰嚧镄勬婚挛𨱍呭喌銆傚湪Redis涓锛屾湇锷$阌佹槸涓绉崭箰瑙傞挛链哄埗锛屽畠涓崭细阒诲炲叾浠栧㈡埛绔镄勮块梾锛屽彧浼氢缭璇佸悓涓镞堕棿鍙链変竴涓瀹㈡埛绔鍙浠ヨ幏鍙栧埌阌併
redis镄勫瓨鍌
redis浣跨敤浜嗕袱绉嶆枃浠舵牸寮忥细鍏ㄩ噺鏁版嵁鍜屽为噺璇锋眰銆
鍏ㄩ噺鏁版嵁镙煎纺鏄鎶婂唴瀛树腑镄勬暟鎹鍐椤叆纾佺洏锛屼究浜庝笅娆¤诲彇鏂囦欢杩涜屽姞杞姐
澧为噺璇锋眰鏂囦欢鍒欐槸鎶婂唴瀛树腑镄勬暟鎹搴忓垪鍖栦负镎崭綔璇锋眰锛岀敤浜庤诲彇鏂囦欢杩涜宺eplay寰楀埌鏁版嵁锛屽簭鍒楀寲镄勬搷浣滃寘𨰾琒ET銆丷PUSH銆丼ADD銆乑ADD銆
redis镄勫瓨鍌ㄥ垎涓哄唴瀛桦瓨鍌ㄣ佺佺洏瀛桦偍鍜宭og鏂囦欢涓夐儴鍒嗭纴閰岖疆鏂囦欢涓链変笁涓鍙傛暟瀵瑰叾杩涜岄厤缃銆
save seconds updates锛宻ave閰岖疆锛屾寚鍑哄湪澶氶暱镞堕棿鍐咃纴链夊氩皯娆℃洿鏂版搷浣滐纴灏卞皢鏁版嵁钖屾ュ埌鏁版嵁鏂囦欢銆傝繖涓鍙浠ュ氢釜𨱒′欢閰嶅悎锛屾瘆濡傞粯璁ら厤缃鏂囦欢涓镄勮剧疆锛屽氨璁剧疆浜嗕笁涓𨱒′欢銆