redis education kubernetes k8s_redis_sentinel_sidecar_2

쿠버네티스 환경에서 Redis Sentinel Sidecar 패턴 구축 실전 가이드 ②

구축(파드 생성)

1. YAML 파일 순차 적용

1. Config 생성

$ k apply -f redis-sentinel-sidecar-config.yaml ➡ 적용(생성) configmap/redis-sentinel-sidecar-config created ➡ 새로 생성 configmap/redis-sentinel-sidecar-config configured ➡ 변경 사항이 있을 때 configmap/redis-sentinel-sidecar-config unchanged ➡ 변경 사항이 없을 때 $ k get configmap redis-sentinel-sidecar-config ➡ 확인 NAME DATA AGE redis-sentinel-sidecar-config 3 19s * 'DATA 3'는 redis.conf, users.acl, sentinel.conf 파일 3개를 의미한다.

2. Service 생성

$ k apply -f redis-sentinel-sidecar-service.yaml ➡ 적용(생성) service/redis-sentinel-service created $ kubectl get service redis-sentinel-service ➡ 확인 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE redis-sentinel-service ClusterIP None <none> 18504/TCP,28504/TCP 3m1s

3. Statefulset 생성

$ k apply -f redis-sentinel-sidecar-statefulset.yaml ➡ 적용(생성) statefulset.apps/redis-sentinel created $ k get pods -o wide ➡ 파드 조회 🧮 NAME READY STATUS RESTARTS AGE IP NODE redis-sentinel-0 2/2 Running 0 29s 10.42.0.106 rocky9 redis-sentinel-1 2/2 Running 0 22s 10.42.0.108 rocky9 redis-sentinel-2 2/2 Running 0 18s 10.42.0.110 rocky9

2. Redis-Sentinel 구성 확인

1) Redis 상태 확인: ROLE

$ kubectl exec -it redis-sentinel-0 -c redis -- redis-cli -p 18504 -a redisgate role master ➡ Redis-0(자신)은 마스터이고 아래 2개 복제가 있다. 1) slave:redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local:18504 2) slave:redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local:18504 $ kubectl exec -it redis-sentinel-1 -c redis -- redis-cli -p 18504 -a redisgate role slave:redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local:18504 $ kubectl exec -it redis-sentinel-2 -c redis -- redis-cli -p 18504 -a redisgate role slave:redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local:18504

2) redis.conf 확인

💻 Redis-0 replica-priority 100 replica-announce-ip redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 💻 Redis-1 replica-priority 110 replica-announce-ip redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local replicaof redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 ➡ Redis-0 마스터로 지정 💻 Redis-2 replica-priority 120 replica-announce-ip redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local replicaof redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 ➡ Redis-0 마스터로 지정

3) sentinel.conf 확인

💻 Sentinel-0 📍sentinel resolve-hostnames yes 📍sentinel announce-hostnames yes 📍sentinel monitor mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 2 sentinel down-after-milliseconds mymaster 3000 📍sentinel announce-ip "redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local" sentinel announce-port 28504 # Generated by CONFIG REWRITE 📍sentinel known-replica mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local 18504 📍sentinel known-sentinel mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 28504 1f227bb1efbb0a6e25594ffaf28bbc3110b6b2cd sentinel known-sentinel mymaster redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local 28504 4d41e0ad06a5e2b48c87b09cf7136473569efe40 💻 Sentinel-1 sentinel resolve-hostnames yes sentinel announce-hostnames yes sentinel monitor mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 2 sentinel down-after-milliseconds mymaster 3000 sentinel announce-ip "redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local" sentinel announce-port 28504 # Generated by CONFIG REWRITE sentinel known-replica mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local 18504 sentinel known-sentinel mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 28504 1d4285d6f0c8027fb97375d2ce4ae7168a8b74ca sentinel known-sentinel mymaster redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local 28504 4d41e0ad06a5e2b48c87b09cf7136473569efe40 💻 Sentinel-2 sentinel resolve-hostnames yes sentinel announce-hostnames yes sentinel monitor mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 18504 2 sentinel down-after-milliseconds mymaster 3000 sentinel announce-ip "redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local" sentinel announce-port 28504 # Generated by CONFIG REWRITE sentinel known-replica mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 18504 sentinel known-replica mymaster redis-sentinel-2.redis-sentinel-service.default.svc.cluster.local 18504 sentinel known-sentinel mymaster redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local 28504 1d4285d6f0c8027fb97375d2ce4ae7168a8b74ca sentinel known-sentinel mymaster redis-sentinel-1.redis-sentinel-service.default.svc.cluster.local 28504 1f227bb1efbb0a6e25594ffaf28bbc3110b6b2cd

4) sentinel monitoring 확인

Sentinel-0,1,2에 아래와 같이 'info sentinel' 명령을 실행해서 Sentinel이 Redis를 잘 모니터링하고 있는지 조회해서 얻은 결과를 간추린 것이다.
kubectl exec -it redis-sentinel-0 -c sentinel -- redis-cli -p 28504 -a password info sentinel # Sentinel sentinel_masters:1 Sentinel-0: master0:name=📍mymaster,status=ok,address=redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local:18504,📍slaves=2,📍sentinels=3 Sentinel-1: master0:name=mymaster,status=ok,address=redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local:18504,slaves=2,sentinels=3 Sentinel-2: master0:name=mymaster,status=ok,address=redis-sentinel-0.redis-sentinel-service.default.svc.cluster.local:18504,slaves=2,sentinels=3

5) 🖧 Redis-Sentinel nodes 구성 다이어그램

3. 💽 데이터 입력

Failover(장애 조치) 테스트를 하려고 Redis-0 파드를 다운(삭제)하면 쿠버네티스가 2초 이내에 Redis-0 파드를 다시 살린다. down-after-milliseconds 3초이므로 Redis-0 다운을 감지하지 못한다. 그래서 3백만개 정도 데이터를 입력해서 다운되었던 Redis가 다시 시작하는데 5초 이상 걸리게 한다. (데이터 로딩 시간이 5초 정도 걸림) $ kubectl exec -it redis-sentinel-0 -- redis-benchmark -p 18504 -a password -t set -d 100 -r 100000000 -n 3000000 ====== SET ====== 3000000 requests completed in 30.97 seconds Summary: throughput summary: 96871.06 requests per second latency summary (msec): avg min p50 p95 p99 max 0.427 0.120 0.407 0.639 0.823 12.599 redis-benchmark가 키를 랜덤하게 생성하므로 실제로 저장된 키 개수(dbsize)는 3백만개가 조금 못 미친다.
- 실제 저장된 키 개수: 2955238
- AOF 파일 사이즈: aof.1.incr.aof -> 412M
- 파드 메모리 사이즈: kubectl top pod -> 625Mi

➡ 이제 파드도 생성했고, 데이터도 입력했으니 Failover(장애 조치) 테스트하러 갑시다.