redis education kubernetes k8s_redis_cluster_2

쿠버네티스 환경에서 Redis-Cluster 구축 실전 가이드 ②

구축(파드 생성)

1. YAML 파일 순차 적용(생성)

1) Config 생성

$ kubectl apply -f redis-cluster-config.yaml ➡ 적용(생성) configmap/redis-cluster-config created ➡ 새로 생성 configmap/redis-cluster-config configured ➡ 변경 사항이 있을 때 configmap/redis-cluster-config unchanged ➡ 변경 사항이 없을 때 $ kubectl get configmap redis-cluster-config ➡ 확인 NAME DATA AGE redis-cluster-config 2 8m5s * 'DATA 2'는 redis.conf, users.acl 파일 2개를 의미한다.

2) Service 생성

$ kubectl apply -f redis-cluster-service.yaml ➡ 적용(생성) service/redis-cluster-service created $ kubectl get service redis-cluster-service ➡ 확인 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE redis-cluster-service ClusterIP None <none> 18504/TCP,28504/TCP 1m

3) Statefulset 생성

$ kubectl apply -f redis-cluster-statefulset.yaml ➡ 적용(생성) statefulset.apps/redis-cluster created $ kubectl get pods -o wide ➡ 파드 조회 🧮 NAME READY STATUS RESTARTS AGE IP NODE redis-cluster-0 1/1 Running 0 33s 10.42.0.231 rocky9 redis-cluster-1 1/1 Running 0 27s 10.42.0.233 rocky9 redis-cluster-2 1/1 Running 0 23s 10.42.0.235 rocky9 redis-cluster-3 1/1 Running 0 18s 10.42.0.237 rocky9 redis-cluster-4 1/1 Running 0 14s 10.42.0.239 rocky9 redis-cluster-5 1/1 Running 0 10s 10.42.0.241 rocky9
여기까지 단독(standalone) 레디스 6개가 실행된 상태이다. 아직 레디스 클러스터가 구성된 것은 아니다.

2. Redis-Cluster 구성

1) Redis-Cluster 구성 스크립트 작성, 실행

'cluster_create.sh'를 실행하면 Master 3개, Replica 3개로 Redis-Cluster가 구성(생성)된다. $ cat -n cluster_create.sh #!/bin/bash # ========================================================================= # Redis Cluster 생성 스크립트 (3 Master / 3 Replica) # ========================================================================= # 설정 변수 PORT="18504" PASSWORD="password" SERVICE_NAME="redis-cluster-service" NAMESPACE="default" echo "=====================================================================" echo "🚀 Redis Cluster 구성을 시작합니다..." echo "=====================================================================" # --cluster-yes 옵션을 추가하여 프롬프트(yes) 자동 응답 처리 # -it 대신 -i 만 사용하여 자동화 스크립트에 최적화 (TTY 관련 경고 방지) kubectl exec -i redis-cluster-0 -- redis-cli -p ${PORT} -a ${PASSWORD} --cluster create \ redis-cluster-0.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \ redis-cluster-1.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \ redis-cluster-2.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \ redis-cluster-3.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \ redis-cluster-4.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \ redis-cluster-5.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \ --cluster-replicas 1 \ --cluster-yes

🧑‍💻 주요 내용 설명

• VM의 경우 IP:Port를 적는데, 쿠버네티스는 다음과 같이 적는다.
  redis-cluster-0.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT}
  redis-cluster-0~5까지 모두 적는다.
• --cluster-replicas 1 # Master 1 -> Replica 1 로 설정한다.
• --cluster-yes # 이 옵션을 사용하면 아래와 같은 물음에 자동으로 'yes'로 대답한다.
  Can I set the above configuration? (type 'yes' to accept): yes
  이 옵션 없이 실행하면 'yes'를 입력해야 한다.
  

레디스 클러스터 구성(생성) 과정

📍 3개 Master에 슬롯이 고르게 할당되었다.
      Master[0] -> Slots 0 - 5460
      Master[1] -> Slots 5461 - 10922
      Master[2] -> Slots 10923 - 16383
📍 Replica -> Master 관계 설정
      Adding replica redis-cluster-4 to redis-cluster-0
      Adding replica redis-cluster-5 to redis-cluster-1
      Adding replica redis-cluster-3 to redis-cluster-2
📍 OK 성공! 모든 슬롯이 할당되었다.
      [OK] All 16384 slots covered.

2) cluster info 조회

$ kubectl exec -it redis-cluster-0 -- redis-cli -a redisgate -p 18504 cluster info cluster_state:ok ➡📍 ok: 이상없음 cluster_slots_assigned:16384 ➡📍 할당된 총 슬롯수 assigned = ok + pfail + fail cluster_slots_ok:16384 ➡📍 정상 슬롯 수 cluster_slots_pfail:0 ➡📍 Possible Fail(sdown) 없음. 특정 노드가 응답하지 않아 장애가 의심되는 상태 cluster_slots_fail:0 ➡📍 Fail(odown) 없음. 과반수 이상의 마스터 노드가 해당 노드를 장애로 판정. 그 노드가 가지고 있는 슬롯수가 표시된다. cluster_known_nodes:6 ➡📍 모든 노드(마스터+복제) 수 cluster_size:3 ➡📍 마스터 노드 수 ... 이하 생략 ...

3) cluster nodes 조회

편의상 노드 순서대로 표시했다. 실제로는 무작위로 나온다.
nodes.conf 파일 내용과 같다. $ kubectl exec -it redis-cluster-0 -- redis-cli -a redisgate -p 18504 cluster nodes 66390566e7f48211e8bed3a6a0e49155cbe8b54b 10.42.0.231:18504@28504,redis-cluster-0.redis-cluster-service.default.svc.cluster.local master - 0 1786164478296 1 connected 0-5460 3b690009fb9a90ff6b43765363c4c0b81b63d103 10.42.0.233:18504@28504,redis-cluster-1.redis-cluster-service.default.svc.cluster.local myself,master - 0 0 2 connected 5461-10922 02069ae6b4f98c31d5f4e70f243bc9a006b68443 10.42.0.235:18504@28504,redis-cluster-2.redis-cluster-service.default.svc.cluster.local master - 0 1786164478000 3 connected 10923-16383 3722046802e006615ac1d976e62e4c94c58af586 10.42.0.237:18504@28504,redis-cluster-3.redis-cluster-service.default.svc.cluster.local slave 02069ae6b4f98c31d5f4e70f243bc9a006b68443 0 1786164478000 3 connected ee5c1d85271bb86d2c0bb2e943fc9f546e4321c1 10.42.0.239:18504@28504,redis-cluster-4.redis-cluster-service.default.svc.cluster.local slave 66390566e7f48211e8bed3a6a0e49155cbe8b54b 0 1786164479099 1 connected 541fa7cc95095c4b0390bb8ae9d787aa1201c9e2 10.42.0.241:18504@28504,redis-cluster-5.redis-cluster-service.default.svc.cluster.local slave 3b690009fb9a90ff6b43765363c4c0b81b63d103 0 1786164478000 2 connected

3. 🖧 Redis-Cluster 파드 다이어그램

4. 💽 데이터 입력

Failover(장애 조치) 테스트를 하려고 Redis-0 파드를 다운(삭제)하면 2초 이내에 redis-0 파드를 다시 살린다. cluster-node-timeout 3초이므로 Redis-0 다운을 감지하지 못한다. 그래서 데이터를 1천만개 정도 입력해서 5초 이상 걸리게 한다. $ kubectl exec -it redis-cluster-1 -- redis-benchmark -p 18504 -a redisgate -t set -d 100 -r 100000000 -n 10000000 --cluster   Cluster has 3 master nodes: Master 0: 66390566e7f48211e8bed3a6a0e49155cbe8b54b 10.42.0.231:18504 Master 1: 3b690009fb9a90ff6b43765363c4c0b81b63d103 10.42.0.233:18504 Master 2: 02069ae6b4f98c31d5f4e70f243bc9a006b68443 10.42.0.235:18504 ====== SET ====== 10000000 requests completed in 59.01 seconds 50 parallel clients 100 bytes payload cluster mode: yes (3 masters) Summary: throughput summary: 169462.81 requests per second latency summary (msec): avg min p50 p95 p99 max 0.243 0.048 0.239 0.367 0.487 12.383

1) 데이터 입력 확인

① 각 노드 키 확인: dbsize $ kubectl exec -it redis-cluster-0 -- redis-cli -p 18504 -a redisgate dbsize -> 3053053 $ kubectl exec -it redis-cluster-1 -- redis-cli -p 18504 -a redisgate dbsize -> 3241431 $ kubectl exec -it redis-cluster-2 -- redis-cli -p 18504 -a redisgate dbsize -> 3107105
② AOF 파일 사이즈 확인 [root]$ chmod 755 /var/lib/rancher/k3s/storage -> redis user도 읽기(read) 가능하도록 root로 실행 [storage]$ ls -lh pvc*/aof pvc-8f6..._default_redis-data-redis-cluster-0/aof: -> 877M aof.1.incr.aof pvc-cbf..._default_redis-data-redis-cluster-1/aof: -> 1011M aof.1.incr.aof pvc-f9d..._default_redis-data-redis-cluster-2/aof: -> 887M aof.1.incr.aof pvc-37e..._default_redis-data-redis-cluster-3/aof: -> 887M aof.2.incr.aof pvc-63a..._default_redis-data-redis-cluster-4/aof: -> 877M aof.2.incr.aof pvc-0ff..._default_redis-data-redis-cluster-5/aof: -> 1011M aof.2.incr.aof
③ 메모리 확인 $ kubectl top pod NAME CPU(cores) MEMORY(bytes) redis-cluster-0 2m 672Mi redis-cluster-1 3m 701Mi redis-cluster-2 3m 679Mi redis-cluster-3 2m 678Mi redis-cluster-4 2m 670Mi redis-cluster-5 2m 701Mi

➡ 이제 파드도 생성했고, 데이터도 입력했으니 Failover(장애 조치) 테스트하러 갑시다.