天下風雲出我輩
一入江湖歲月催

Redis5 cluster分布式集群搭建

Redis集群介绍

 

 

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:

自动分割数据到不同的节点上。
整个集群的部分节点失败或者不可达的情况下能够继续处理命令。
Redis 集群的数据分片
Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

节点 A 包含 0 到 5500号哈希槽.
节点 B 包含5501 到 11000 号哈希槽.
节点 C 包含11001 到 16384号哈希槽.
这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

Redis 集群的主从复制模型
为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

在我们例子中具有A,B,C三个节点的集群,在没有复制模型的情况下,如果节点B失败了,那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

然而如果在集群创建的时候(或者过一段时间)我们为每个节点添加一个从节点A1,B1,C1,那么整个集群便有三个master节点和三个slave节点组成,这样在节点B失败后,集群便会选举B1为新的主节点继续服务,整个集群便不会因为槽找不到而不可用了

不过当B和B1 都失败后,集群是不可用的.

Redis 一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.

第一个原因是因为集群是用了异步复制. 写操作过程:

客户端向主节点B写入一条命令.
主节点B向客户端回复命令状态.
主节点将写操作复制给他得从节点 B1, B2 和 B3.
主节点对命令的复制工作发生在返回命令回复之后, 因为如果每次处理命令请求都需要等待复制操作完成的话, 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意:Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区, 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点, 其中 A 、B 、C 为主节点, A1 、B1 、C1 为A,B,C的从节点, 还有一个客户端 Z1 假设集群中发生网络分区,那么集群可能会分为两方,大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ,小部分的一方则包含节点 B 和客户端 Z1 .

Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master,那么Z1写入B中得数据便丢失了.

注意, 在网络分裂出现期间, 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的, 这一时间限制称为节点超时时间(node timeout), 是 Redis 集群的一个重要的配置选项:

 

搭建并使用集群

Redis群集配置参数

我们即将创建一个示例集群部署。在继续之前,让我们介绍Redis Cluster在redis.conf文件中引入的配置参数。有些人会很明显,有些人会在你继续阅读时更清楚。

cluster-enabled<yes/no>:如果是,则在特定Redis实例中启用Redis群集支持。否则,实例像往常一样作为独立实例启动。
cluster-config-file<filename>:请注意,尽管有此选项的名称,但这不是用户可编辑的配置文件,而是每次发生更改时Redis群集节点自动保持群集配置(基本上是状态)的文件,为了能够在启动时重新阅读它。该文件列出了集群中其他节点,状态,持久变量等内容。由于某些消息接收,通常会将此文件重写并刷新到磁盘上。
cluster-node-timeout<milliseconds>:Redis群集节点不可用的最长时间,不会被视为失败。如果主节点的可访问时间超过指定的时间,则其从属节点将进行故障转移。此参数控制Redis群集中的其他重要事项。值得注意的是,在指定时间内无法访问大多数主节点的每个节点都将停止接受查询。
cluster-slave-validity-factor<factor>:如果设置为零,则从站将始终尝试对主站进行故障切换,而不管主站和从站之间的链路是否保持断开连接的时间长短。如果该值为正,则计算最大断开时间作为节点超时值乘以此选项提供的因子,如果节点是从属节点,则如果主链接断开连接的时间超过指定的时间,则不会尝试启动故障转移。例如,如果节点超时设置为5秒,并且有效性因子设置为10,则从主设备断开超过50秒的从设备将不会尝试故障转移其主设备。请注意,如果没有从站能够对其进行故障转移,则任何不同于零的值都可能导致Redis群集在主站发生故障后不可用。在这种情况下,只有当原始主服务器重新加入群集时,群集才会返回。
cluster-migration-barrier<count>:主服务器将保持连接的最小从服务器数,以便另一个从服务器迁移到不再由任何从服务器覆盖的主服务器。有关详细信息,请参阅本教程中有关副本迁移的相应部分。
cluster-require-full-coverage<yes/no>:如果设置为yes,则默认情况下,如果任何节点未覆盖某个百分比的密钥空间,则集群将停止接受写入。如果该选项设置为no,即使只能处理有关键子集的请求,群集仍将提供查询。

机器规划: 三主三从
Master: 192.168.0.60      192.168.0.80      192.168.0.81
slave :192.168.0.82        192.168.0.92       192.168.0.93

1、安装redis

2、修改配置文件

bind 192.168.0.80 #监听地址 修改为本机ip地址
port 7000  #端口
masterauth [email protected]#2019
daemonize yes #后台运行
appendonly yes #开启AOF持久化
requirepass [email protected]#2019   #密码
cluster-enabled yes  #开启集群
cluster-config-file nodes.conf   #集群配置文件
cluster-node-timeout 5000  #超时时间

3、创建集群

redis-cli -a '[email protected]#2019' --cluster create 192.168.0.80:7000 192.168.0.81:7000 192.168.0.60:7000 192.168.0.82:7000 192.168.0.92:7000 192.168.0.93:7000 --cluster-replicas 1


>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.0.92:7000 to 192.168.0.80:7000
Adding replica 192.168.0.93:7000 to 192.168.0.81:7000
Adding replica 192.168.0.82:7000 to 192.168.0.60:7000
M: 41d3f635e771730ff3013a380a1624a16fe66626 192.168.0.80:7000
   slots:[0-5460] (5461 slots) master
M: acd265743eacda740d8e09dde1c6dcd38b4b2980 192.168.0.81:7000
   slots:[5461-10922] (5462 slots) master
M: 15c712396c01dc2a9702140dcd499b653c513b06 192.168.0.60:7000
   slots:[10923-16383] (5461 slots) master
S: 232c56ccc6bb1daeb1b0df0df5c226cc98cf1429 192.168.0.82:7000
   replicates 15c712396c01dc2a9702140dcd499b653c513b06
S: 6acfdfd3e838c282330020740e0c4033aa398830 192.168.0.92:7000
   replicates 41d3f635e771730ff3013a380a1624a16fe66626
S: dcd5ce828cfbe3174033df96d4b5d436869af5e3 192.168.0.93:7000
   replicates acd265743eacda740d8e09dde1c6dcd38b4b2980
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
....
>>> Performing Cluster Check (using node 192.168.0.80:7000)
M: 41d3f635e771730ff3013a380a1624a16fe66626 192.168.0.80:7000
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 6acfdfd3e838c282330020740e0c4033aa398830 192.168.0.92:7000
   slots: (0 slots) slave
   replicates 41d3f635e771730ff3013a380a1624a16fe66626
M: acd265743eacda740d8e09dde1c6dcd38b4b2980 192.168.0.81:7000
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 15c712396c01dc2a9702140dcd499b653c513b06 192.168.0.60:7000
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: 232c56ccc6bb1daeb1b0df0df5c226cc98cf1429 192.168.0.82:7000
   slots: (0 slots) slave
   replicates 15c712396c01dc2a9702140dcd499b653c513b06
S: dcd5ce828cfbe3174033df96d4b5d436869af5e3 192.168.0.93:7000
   slots: (0 slots) slave
   replicates acd265743eacda740d8e09dde1c6dcd38b4b2980
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

 

4、操作集群,随意登录一个master节点操作

[[email protected] ~]# redis-cli -h 192.168.0.80 -p 7000 -a '[email protected]#2019'
192.168.0.80:7000> cluster nodes
6acfdfd3e838c282330020740e0c4033aa398830 192.168.0.92:[email protected] slave 41d3f635e771730ff3013a380a1624a16fe66626 0 1565055263572 5 connected
41d3f635e771730ff3013a380a1624a16fe66626 192.168.0.80:[email protected] myself,master - 0 1565055264000 1 connected 0-5460
acd265743eacda740d8e09dde1c6dcd38b4b2980 192.168.0.81:[email protected] master - 0 1565055263000 2 connected 5461-10922
15c712396c01dc2a9702140dcd499b653c513b06 192.168.0.60:[email protected] master - 0 1565055265000 3 connected 10923-16383
232c56ccc6bb1daeb1b0df0df5c226cc98cf1429 192.168.0.82:[email protected] slave 15c712396c01dc2a9702140dcd499b653c513b06 0 1565055263672 4 connected
dcd5ce828cfbe3174033df96d4b5d436869af5e3 192.168.0.93:[email protected] slave acd265743eacda740d8e09dde1c6dcd38b4b2980 0 1565055263000 6 connected

5、手动故障转移

在从上执行:
192.168.0.60:7000> CLUSTER FAILOVER

6、添加新节点

redis-cli -a '[email protected]#2019' --cluster add-node 192.168.0.13:7000 192.168.0.80:7000

#将新节点添加为副本:不指定主服务器,会随机添加到slave较少的主节点上
redis-cli -a '[email protected]#2019' --cluster add-node 192.168.0.14:7000 192.168.0.13:7000 --cluster-slave

#指定添加到某个主节点上
redis-cli -a '[email protected]#2019' --cluster add-node 192.168.0.14:7000 192.168.0.13:7000 --cluster-slave --cluster-master-id 46c83d19739c26396b421a38e4a60e305b0a012a

#或注册为空主节点,然后使用cluster replicate
cluster replicate 46c83d19739c26396b421a38e4a60e305b0a012a

#重新分片:
redis-cli --cluster reshard 192.168.0.80:7000 -a '[email protected]#2019'

#测试集群状态
redis-cli --cluster check 192.168.0.80:7000 -a '[email protected]#2019'

7、删除节点

#删除从节点
redis-cli --cluster del-node 127.0.0.1:7000 `<node-id>`

#删除主节点数据必须为空
redis-cli --cluster del-node 127.0.0.1:7000 `<node-id>`

 

赞(1) 打赏
未经允许不得转载:Anonym0x1 » Redis5 cluster分布式集群搭建

评论 1

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #1

    非技术的路过。

    repostone3个月前 (09-19)回复

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏