redis education kubernetes k8s_redis_sentinel_sidecar_3

쿠버네티스 환경에서 Redis Sentinel Sidecar 패턴 구축 실전 가이드 ③

Failover(장애조치) 테스트

🖧 1. Redis-Sentinel 파드 다이어그램 (초기 상태)

1. Failover(장애조치) 테스트

Redis-0를 다운시켜서 Redis-1이 Replica에서 Master로 전환(승격)되는지 확인

• 복제 Redis-1,2 중 Redis-1이 마스터가 되는 이유: redis.conf replica-priority 값: Redis-0 100, Redis-1 110, Redis-2 120 -> 값이 작은 Redis-1이 마스터로 전환된다.
  
• 이 경우 파드-0에 Redis와 Sentinel이 같이 있으므로 같이 다운된다.
  💥 파드 다운 후 재시작하면 Redis와 Sentinel의 IP가 변경된다.

Pod-0(Redis-0/Sentinel-0) 💥다운(delete)

$ kubectl delete pod redis-sentinel-0 pod "redis-sentinel-0" deleted

💻 Redis-0 LOG: Master -> Replica

① 27초 kill 시그널을 받고 레디스 다운 (+0초)
② 30초 레디스 자동 재시작 (+3초)
③ 43초 센티널로부터 명령를 받아 Master -> Replica(Slave)로 전환 (+16초) 1:M 19:39:27.556 #📍kill 시그널을 받고 다운: Redis is now ready to exit, bye bye... 1:C 19:39:30.701 *📍3초 후 다시 시작: oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 1:S 19:39:43.119 *📍센티널의 신호를 받아 Master -> Replica로 전환: Before turning into a replica, ...

💻 Redis-1 LOG: Replica -> Master

① 27초 Redis-0 다운 감지(연결 단절) (+0초)
② 31초 센티널로 부터 명령(replicaof noone)을 받아 Replica -> Master로 전환 (+4초)
1:S 19:39:27.597 *📍Redis-0 다운 감지(연결 단절): Connection with master lost. 1:M 19:39:31.083 *📍센티널로 부터 명령을 받아 Replica -> Master로 전환: MASTER MODE enabled

💻 Redis-2 LOG: Replica

① 27초 Redis-0 다운 감지(연결 끊김) (+0초)
② 32초 새 마스터(Redis-1)에 연결 (+5초) 1:S 19:39:27.597 *📍Redis-0 다운 감지: Connection with master lost. 1:S 19:39:32.005 *📍Connecting to MASTER redis-sentinel-1.redis-sentinel-service...:18504

💻 Sentinel-0 LOG

① 27초 kill 시그널을 받고 센티널 다운 (+0초)
② 30초 센티널 자동 재시작 (+3초)
③ 34초 Redis-1 모니터 시작 (+7초) 1:X 19:39:27.533 #📍Redis-0과 함께 Sentinel-0도 같이 다운: Sentinel is now ready to exit, bye bye... 1:X 19:39:30.785 *📍3초 후 다시 시작oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 1:X 19:39:34.035 #📍Redis-1 모니터 시작: +switch-master mymaster redis-sentinel-1...

💻 Sentinel-1 LOG

① 27초 Redis-0 연결 끊김 (+0초)
② 30초 Redis-0 다운 감지(+sdown) (+3초) -> sentinel.conf down-after-milliseconds mymaster 3000 ms
③ 31초 Redis-0 다운 확정(+odown) (+4초) -> 다른 센티널들과 통신해서 과반수가 동의하면 확정
④ 43초 Redis-0에게 Redis-1이 마스터로 변경되었다고 알림 (+16초) 1:X 19:39:27.579 #📍Redis-0 연결 끊김: Failed to resolve hostname 'redis-sentinel-0.redis-sentinel-service' 1:X 19:39:30.649 #📍Redis-0 다운 감지: +sdown sentinel 1d4285d6f0c8027fb97375d2ce4ae7168a8b74ca redis-sentinel-0.redis-sentinel-service 28504 @ mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 1:X 19:39:31.807 #📍Redis-0 다운 확정: +odown master mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 #quorum 2/2 1:X 19:39:43.119 *📍Redis-0에게 Redis-1이 마스터로 변경되었다고 알림: +convert-to-slave slave redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local:18504 redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 @ mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504

💻 Sentinel-2 LOG

① 27초 Redis-0 연결 끊김 (+0초)
② 30초 Redis-0 다운 감지(+sdown) (+3초) -> sentinel.conf down-after-milliseconds mymaster 3000 ms
③ 30초 Redis-0 다운 확정(+odown) (+3초) -> 다른 센티널들과 통신해서 과반수가 동의하면 확정
③ 30초 센티널끼리 투표해서 'Sentinel-2'을 Leader로 선출(+elected-leader) (+3초)
④ 31초 Redis-1을 마스터로 변경(+failover-state-send-slaveof-noone) (+4초)
1:X 19:39:27.674 #📍Redis-0 연결 끊김: Failed to resolve hostname 'redis-sentinel-0.redis-sentinel-service' 1:X 19:39:30.692 #📍Redis-0 다운 감지: +sdown sentinel 1d4285d6f0c8027fb97375d2ce4ae7168a8b74ca redis-sentinel-0.redis-sentinel-service 28504 @ mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 1:X 19:39:30.873 #📍Redis-0 다운 확정: +odown master mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 #quorum 2/2 1:X 19:39:30.940 #📍Leader로 선출: +elected-leader master mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 1:X 19:39:31.031 *📍Redis-1을 마스터로 변경: +failover-state-send-slaveof-noone slave redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local:18504 redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 @ mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504

🧮 Failover(장애조치) 후 상황

Redis-0 IP가 '10.42.0.106'에서 '10.42.0.111'로 변경됐다. $ kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE redis-sentinel-0 2/2 Running 0 18m 10.42.0.111 rocky9 IP:106->111 redis-sentinel-1 2/2 Running 0 3h53m 10.42.0.108 rocky9 redis-sentinel-2 2/2 Running 0 3h52m 10.42.0.110 rocky9

💾 redis.conf 확인

replicaof 확인 Redis-0(111): replicaof redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 Redis-1(108): replicaof 없음 ➡ 마스터 Redis-2(110): replicaof redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504

💾 sentinel.conf 확인

Redis-1가 마스터이고 Redis-0,2가 복제이다. 💻 Sentinel-0 sentinel monitor mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 2 # Generated by CONFIG REWRITE sentinel known-replica mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local 18504 💻 Sentinel-1 sentinel monitor mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 2 # Generated by CONFIG REWRITE sentinel known-replica mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local 18504 💻 Sentinel-2 sentinel monitor mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 2 # Generated by CONFIG REWRITE sentinel known-replica mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local 18504

🖧 Redis-Sentinel 파드 다이어그램 (Failover 후)

2. Failback(원상복구) 테스트

현재 마스터인 Redis-1를 다운시켜서 Redis-0가 Replica에서 Master로 전환(승격)되는지 확인
📚 'Failback(원상복구) 테스트'는 Redis-0 파드가 다시 마스터가 되도록 한다는 의미에서 사용했다.
    (Failover 테스트와 구분하기 위해서 사용했다)

💻 Redis-1 💥다운(delete)

$ kubectl delete pod redis-sentinel-1 pod "redis-sentinel-1" deleted

💻 Redis-0 LOG: Replica -> Master

① 15초 Redis-1 연결 단절 (+1초)
② 18초 센티널로부터 명령를 받아 Replica(Slave) -> Master로 전환(승격) (+4초) 1:S 20:18:15.641 *📍Redis-1 연결 끊김: Connection with master lost. 1:M 20:18:18.950 *📍MASTER MODE enabled (user request from 'name=sentinel-...')

💻 Redis-1 LOG: Master -> Replica

① 14초 kill 시그널을 받고 다운 (+0초)
② 17초 파드 재시작 (+3초)
③ 29초 센티널로부터 명령를 받아 Master -> Replica(Slave)로 전환 (+15초)
1:M 20:18:14.587 *📍kill 시그널을 받고 다운: User requested shutdown... 1:C 20:18:17.441 *📍2초 후 다시 시작oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 1:S 20:18:29.884 *📍센티널의 신호를 받아 Master -> Replica(Slave)로 변경: Before turning into a replica...

💻 Redis-2 LOG

① 15초 Redis-1과 연결 끊김 (+1초)
② 19초 센티널로부터 Redis-0가 새 마스터가 되었다는 신호를 받고 연결 (+5초) 1:S 20:18:15.641 *📍Redis-1과 연결 끊김: Connection with master lost. 1:S 20:18:19.820 *📍센티널로부터 Redis-0가 새 마스터가 되었다는 신호를 받고 연결: Connecting to MASTER redis-sentinel-0

💻 Sentinel-0 LOG

① 14초 Redis-1 연결 끊김 (+0초)
② 17초 Redis-1 다운 감지(+sdown) (+3초) -> sentinel.conf down-after-milliseconds mymaster 3000 ms
② 19초 Redis-1 다운 확정(+odown) (+5초) -> 다른 센티널들과 통신해서 과반수가 동의하면 확정
1:X 20:18:14.644 #📍Redis-1 연결 끊김: Failed to resolve hostname 'redis-sentinel-1.redis-sentinel-service' 1:X 20:18:17.695 #📍Redis-1 다운 감지: +sdown sentinel 1f227bb1efbb0a6e25594ffaf28bbc3110b6b2cd redis-sentinel-1.redis-sentinel-service 28504 @ mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 1:X 20:18:19.469 #📍Redis-1 다운 확정: +odown master mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 #quorum 2/2

💻 Sentinel-1 LOG

① 14초 kill 시그널을 받고 다운 (+0초)
② 17초 파드 재시작 (+3초)
1:X 20:18:14.623 *📍kill 시그널을 받고 다운: User requested shutdown... 1:X 20:18:17.529 *📍파드 재시작: oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo

💻 Sentinel-2 LOG: Leader로 선출

① 14초 Redis-1과 연결 끊김 (+0초)
② 17초 Redis-1과 다운 감지 (+3초)
③ 18.7초 Redis-1과 다운 확정 (+4초)
④ 18.8초 센티널끼리 투표해서 'Sentinel-2'을 Leader로 선출(+elected-leader) (+4초)
④ 18.8초 redis-0을 마스터로 변경(+failover-state-send-slaveof-noone) (+4초)
1:X 20:18:14.663 #📍Redis-1과 연결 끊김: Failed to resolve hostname 'redis-sentinel-1.redis-sentinel-service' 1:X 20:18:17.696 #📍Redis-1과 다운 감지: +sdown sentinel 1f227bb1efbb0a6e25594ffaf28bbc3110b6b2cd redis-sentinel-1.redis-sentinel-service 28504 @ mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 1:X 20:18:18.736 #📍Redis-1과 다운 확정: +odown master mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 #quorum 2/2 1:X 20:18:18.832 #📍Leader로 선출: +elected-leader master mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 1:X 20:18:18.887 *📍Redis-0을 마스터로 변경: +failover-state-send-slaveof-noone slave redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local:18504 redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 @ mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504

🧮 Failback(원상복구) 후 상황

Redis-0 IP가 '10.42.0.108'에서 '10.42.0.112'로 변경됐다. $ kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE redis-sentinel-0 2/2 Running 0 39m 10.42.0.111 rocky9 IP:106->111 redis-sentinel-1 2/2 Running 0 13s 10.42.0.112 rocky9 IP:108->112 redis-sentinel-2 2/2 Running 0 4h13m 10.42.0.110 rocky9

💾 redis.conf 확인

Redis-0(111): replicaof 없음 -> Master Redis-1(112): replicaof redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 Redis-2(110): replicaof redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504

💾 sentinel.conf 확인

Redis-0가 마스터이고 Redis-1,2가 복제이다. 💻 Sentinel-0 sentinel monitor mymaster redis-0.redis-service.default.svc.cluster.local 18504 2 # Generated by CONFIG REWRITE sentinel known-replica mymaster redis-1.redis-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-2.redis-service.default.svc.cluster.local 18504 💻 Sentinel-1 sentinel monitor mymaster redis-0.redis-service.default.svc.cluster.local 18504 2 # Generated by CONFIG REWRITE sentinel known-replica mymaster redis-1.redis-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-2.redis-service.default.svc.cluster.local 18504 💻 Sentinel-2 sentinel monitor mymaster redis-0.redis-service.default.svc.cluster.local 18504 2 # Generated by CONFIG REWRITE sentinel known-replica mymaster redis-1.redis-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-2.redis-service.default.svc.cluster.local 18504

🖧 Redis-Sentinel 파드 다이어그램 (원상복구)