Ⅰ 【Redis】Redis Cluster-集群数据迁移
Redis通过对KEY计算hash,将KEY映射到slot,集群中每个节点负责一部分slot的方式管理数据,slot最大个数为16384。
在集群节点对应的结构体变量clusterNode中可以看到slots数组,数组的大小为CLUSTER_SLOTS除以8,CLUSTER_SLOTS的值是16384:
clusterState
clusterNode里面保存了节点相关的信息,集群数据迁移信息并未保存在clusterNode中,而是使用了clusterState结构体来保存:
clusterState与clusterNode的关系
在手动进行数据迁移时,需要执行以下步骤:
在进行数据迁移之前,首先在需要迁入的目标节点使用 SETSLOT 命令标记要将SLOT从哪个节点迁入到当前节点:
然后在源节点也就是slot所在节点使用 MIGRATING 命令标记将数据迁出到哪个节点:
比如slot1当前在node1中,需要将slot1迁出到node2,那么首先在nodd2上执行 IMPORTING 命令,标记slot准备从node1迁到当前节点node2中:
然后在node1中执行 MIGRATING 命令标记slot1需要迁移到node2:
clusterCommand
SETSLOT 命令的处理在clusterCommand函数(cluster.c文件中)中:
在标记完迁入、迁出节点后,就可以使用 CLUSTER GETKEYSINSLOT 命令获取待迁出的KEY:
<slot>:哈希槽的值
<count>:迁出KEY的数量
getkeysinslot 命令的处理也在clusterCommand函数中,处理逻辑如下:
完成上两步之后,接下来需要在源节点中执行 MIGRATE 命令进行数据迁移, MIGRATE 既支持单个KEY的迁移,也支持多个KEY的迁移,语法如下:
migrateCommand
MIGRATE 命令对应的处理函数在migrateCommand中(cluster.c文件中),处理逻辑如下:
createDumpPayload
createDumpPayload函数在cluster.c文件中:
restoreCommand
目标节点收到迁移的数据的处理逻辑在restoreCommand中(cluster.c文件中):
数据迁移的最后一步, 需要使用 CLUSTER SETSLOT 命令,在源节点和目标节点执行以下命令,标记slot最终所属的节点,并清除第一步中标记的迁移信息 :
<slot>:哈希槽
<node>:哈希槽最终所在节点id
clusterCommand
CLUSTER SETSLOT <slot> NODE <node> 命令的处理依旧在 clusterCommand 函数中,处理逻辑如下:
总结
参考
极客时间 - Redis源码剖析与实战(蒋德钧)
Redis版本:redis-6.2.5