개요
워커 노드 한 대가 약 9초 동안 네트워크에서 사라졌습니다. 그 쿠버네티스 노드 순단 하나가 스토리지 컨트롤 파드의 즉시 축출로 번졌고, 결국 상위 워크로드까지 영향을 받았습니다. 정작 처음 눈에 띈 증상은 Ceph 파드가 무더기로 재기동된 것이어서, 저장소 쪽 문제로 오인하기 쉬운 상황이었습니다.
이 글은 그 9초를 어떻게 특정했는지, 그리고 같은 일이 반복되어도 피해가 번지지 않도록 적용한 두 가지 조치를 정리한 운영 기록입니다. 관측 도구 자체가 장애 노드 위에 있을 때 생기는 판단 착오와, 그것을 걷어내기 위해 클러스터 바깥의 관측자를 동원한 과정이 핵심입니다.
환경
| 구성 요소 | 내용 |
|---|---|
| Kubernetes | v1.36.3 (kubeadm HA, control plane 3대 + worker 3대) |
| 컨테이너 런타임 | Docker + cri-dockerd |
| CNI / LB | Calico, MetalLB (L2 모드) |
| 스토리지 | Rook-Ceph v1.13.10 (mon 3, OSD 3, MDS active+standby) |
| API 로드밸런서 | HAProxy (클러스터 외부 VM, 192.168.x.x:6443) |
| 모니터링 | kube-prometheus-stack |
| 가상화 | VMware (전 노드 VM) |
단계별 절차
1. 최초 관측과 오진
Prometheus에서 장애 시각의 스크레이프 상태를 조회했더니 55개 타깃 중 26개가 같은 1분 구간에 up=0이었습니다. API 서버 3대 전부, kubelet 6대 전부가 포함되어 있어 처음에는 클러스터 전역 네트워크 장애로 판단했습니다.
kubectl exec -n rook-ceph deploy/rook-ceph-tools -- \ curl -sG "http://<prometheus-svc>:9090/api/v1/query_range" \ --data-urlencode 'query=up' \ --data-urlencode "start=<epoch>" --data-urlencode "end=<epoch>" \ --data-urlencode "step=15"
그런데 이 판단에는 결함이 있었습니다. Prometheus 파드 자체가 문제가 의심되는 워커 노드 위에서 동작하고 있었기 때문입니다. 관측자가 장애 대상 안에 있으면 “모든 타깃이 죽었다”는 결과는 타깃의 상태가 아니라 관측자의 상태를 반영합니다. 게다가 query_range는 직전 값을 최대 5분까지 끌어와 채우므로, 스크레이프가 아예 누락된 구간이 정상값 1로 보이기도 합니다.
2. 클러스터 바깥의 독립 관측자 확보
편향을 걷어내기 위해 클러스터 외부에 있는 HAProxy의 로그를 확인했습니다. HAProxy는 API 서버 3대를 TCP 체크로 상시 감시하고 있으므로, 물리망이나 마스터에 문제가 있었다면 반드시 흔적이 남습니다.
# API 백엔드는 하루 종일 DOWN 이력이 없었음 journalctl -t haproxy --since "YYYY-MM-DD 00:00:00" | grep -iE "DOWN|UP|no server" Server www.example.com/app1 is DOWN, reason: Layer6 timeout, check duration: 2001ms. backend 'www.example.com' has no server available! Server www.example.com/app1 is UP, reason: Layer6 check passed, check duration: 1ms.
결과는 명확했습니다. 6443 백엔드는 DOWN 기록이 한 건도 없었고 NIC 에러·드롭·carrier 카운터도 모두 0이었습니다. 즉 물리망과 마스터 3대는 사건 내내 정상이었습니다. 유일한 이벤트는 Ingress 컨트롤러 백엔드가 9초 동안 Layer6 타임아웃을 낸 것뿐이었습니다.
3. ARP 테이블로 MetalLB L2 소유자 특정
그 백엔드 주소는 MetalLB가 L2로 광고하는 LoadBalancer IP입니다. L2 모드에서는 speaker 하나가 해당 IP를 소유하므로, 그 speaker가 있는 노드가 사라지면 IP도 함께 사라집니다. HAProxy의 ARP 테이블에서 소유자를 바로 확인할 수 있었습니다.
ip neigh show | grep -E "192.168.x." 192.168.x.112 dev ens33 lladdr 00:0c:29:xx:xx:xx REACHABLE # worker-node 192.168.x.120 dev ens33 lladdr 00:0c:29:xx:xx:xx REACHABLE # LoadBalancer IP - 동일 MAC
LoadBalancer IP의 MAC이 특정 워커 노드의 MAC과 동일했습니다. 여기에 kube-controller-manager 로그가 같은 시각 그 노드의 파드를 축출한 기록이 더해지면서, 서로 독립된 두 관측자가 같은 노드를 지목하게 되었습니다.
taint_eviction.go:111] "Deleting pod" controller="taint-eviction-controller" pod="rook-ceph/rook-ceph-operator-..." taint_eviction.go:111] "Deleting pod" controller="taint-eviction-controller" pod="rook-ceph/rook-ceph-mgr-a-..." taint_eviction.go:111] "Deleting pod" controller="taint-eviction-controller" pod="rook-ceph/rook-ceph-mds-myfs-b-..."
4. 게스트 내부에는 증거가 없음을 확인
노드가 네트워크에서 사라졌다면 게스트 안에도 흔적이 남아야 합니다. 그런데 어느 지표에도 흔적이 없었습니다.
| 확인 항목 | 결과 |
|---|---|
node_network_carrier_changes_total |
전 노드 불변 — 링크 플랩 없음 |
node_network_up |
1 유지 |
node_boot_time_seconds |
불변 — 노드 재부팅 없음 |
kubelet process_start_time_seconds |
불변 — kubelet 재시작 없음 |
| calico-node / kube-proxy / CoreDNS | 재시작 0회 |
| HAProxy NIC 카운터 | error / dropped / carrier 모두 0 |
링크는 끊기지 않았는데 네트워크에서는 사라졌고, 물리망과 다른 VM은 멀쩡했습니다. 이 조합은 게스트 계층이 아니라 그 바깥, 즉 하이퍼바이저 계층의 순간적인 정지를 시사합니다. 다만 해당 계층의 이벤트 로그에 접근하지 못해 근본 원인 확정까지는 이르지 못했다는 점을 분명히 해 둡니다. 스냅샷이나 백업 스케줄은 없다는 것이 확인되어, 정기 작업 가설은 배제되었습니다.
5. 조치 1 — Rook toleration 완화
9초짜리 순단이 큰 사고가 된 직접적인 이유는 Rook이 자신의 파드에 붙이는 축출 유예 시간이 5초였기 때문입니다. 노드에 unreachable 테인트가 붙자마자 operator·mgr·MDS가 즉시 축출되어 재배치되었습니다.
다행히 데이터 경로인 mon과 OSD에는 이 설정이 적용되지 않습니다. 이들은 쿠버네티스 기본값 300초를 쓰기 때문에 축출되지 않았고, 그래서 Ceph 자체는 HEALTH_OK를 유지했습니다. 유예 시간을 60초로 올렸습니다.
# operator가 관리하는 데몬(mgr, MDS, exporter, crashcollector)에 적용
kubectl set env deploy/rook-ceph-operator -n rook-ceph \
ROOK_UNREACHABLE_NODE_TOLERATION_SECONDS=60
# operator와 tools 자신의 toleration은 설치 매니페스트가 소유하므로 별도 패치
for d in rook-ceph-operator rook-ceph-tools; do
kubectl patch deploy -n rook-ceph $d --type=json \
-p='[{"op":"replace","path":"/spec/template/spec/tolerations/0/tolerationSeconds","value":60}]'
done
이 변경은 operator 파드를 재기동시키고, 이어서 mgr과 MDS 배포본이 순차적으로 롤링됩니다. MDS는 hot standby가 있어 전환이 수 초에 그쳤고, CephFS를 사용하는 워크로드 파드는 재시작 없이 그대로 유지되었습니다.
6. 조치 2 — 컨트롤 플레인 메트릭 노출
사후 분석 과정에서 더 불편했던 것은 etcd·scheduler·controller-manager 지표가 통째로 비어 있었다는 점입니다. 28시간 치를 조회해도 이 세 잡의 스크레이프 성공률이 0%였습니다. 장애 순간 컨트롤 플레인이 어떤 상태였는지 확인할 수단이 아예 없었던 셈입니다.
원인은 단순했습니다. kubeadm 기본값이 세 컴포넌트를 모두 루프백에만 바인딩하기 때문에, 노드 IP로 스크레이프하면 구조적으로 연결이 거부됩니다.
kube-controller-manager --bind-address=127.0.0.1 kube-scheduler --bind-address=127.0.0.1 etcd --listen-metrics-urls=http://127.0.0.1:2381
마스터 3대의 static pod 매니페스트를 한 대씩 수정했습니다. etcd가 포함되므로 반드시 한 대씩 진행하고, 다음 노드로 넘어가기 전에 쿼럼을 확인해야 합니다.
# 마스터 1대에서 실행 후 검증, 그 다음 노드로 이동 sudo sed -i 's|--bind-address=127.0.0.1|--bind-address=0.0.0.0|' \ /etc/kubernetes/manifests/kube-controller-manager.yaml \ /etc/kubernetes/manifests/kube-scheduler.yaml sudo sed -i -E 's#(- --listen-metrics-urls=).*#\1http://0.0.0.0:2381#' \ /etc/kubernetes/manifests/etcd.yaml
여기서 한 가지 함정이 있는데, 아래 트러블슈팅에서 따로 다루겠습니다. 그리고 이 수정만으로는 kubeadm upgrade 시점에 매니페스트가 재생성되면서 모두 되돌아갑니다. kubeadm-config ConfigMap에도 같은 인자를 넣어야 영구적으로 유지됩니다.
controllerManager:
extraArgs:
- name: bind-address
value: 0.0.0.0
scheduler:
extraArgs:
- name: bind-address
value: 0.0.0.0
etcd:
local:
dataDir: /var/lib/etcd
extraArgs:
- name: listen-metrics-urls
value: http://0.0.0.0:2381
이 ConfigMap은 업그레이드와 join 시점에만 읽히므로, 반영해도 실행 중인 컴포넌트에는 영향이 없고 노드 재기동도 발생하지 않습니다.
트러블슈팅
etcd가 기동하지 않고 마스터 노드가 NotReady로 빠짐
현상 — 첫 마스터에 위 수정을 적용한 직후 해당 노드가 NotReady가 되었습니다. 2379와 6443 포트가 모두 닫혔고, etcd 쿼럼은 2/3로 떨어졌습니다. 호스트 자체는 살아 있어 SSH와 kubelet 포트는 정상이었습니다.
원인 — 처음에 liveness probe를 배려한다는 이유로 루프백을 남긴 채 와일드카드를 덧붙였습니다. 그런데 0.0.0.0은 루프백을 이미 포함하므로 같은 주소를 두 번 바인딩하게 되어 etcd가 기동에 실패했습니다.
# 잘못된 설정
--listen-metrics-urls=http://127.0.0.1:2381,http://0.0.0.0:2381
# etcd 로그
{"level":"fatal","msg":"discovery failed",
"error":"listen tcp 127.0.0.1:2381: bind: address already in use"}
해결 — 중복을 제거하고 와일드카드만 남겼습니다. 0.0.0.0이 루프백도 커버하므로 127.0.0.1:2381을 보는 liveness probe는 그대로 동작합니다. 수정 후 kubelet이 약 20초 만에 etcd를 재기동했고, 이어서 API 서버와 kubelet이 차례로 붙으면서 노드가 Ready로 복귀했습니다. etcd는 raft term 변화 없이 같은 인덱스로 깨끗하게 재합류했습니다.
sudo sed -i -E 's#(- --listen-metrics-urls=).*#\1http://0.0.0.0:2381#' \ /etc/kubernetes/manifests/etcd.yaml kubectl exec -n kube-system etcd-<master-node> -- etcdctl \ --endpoints=https://192.168.x.101:2379,https://192.168.x.102:2379,https://192.168.x.103:2379 \ --cacert=/etc/kubernetes/pki/etcd/ca.crt \ --cert=/etc/kubernetes/pki/etcd/server.crt \ --key=/etc/kubernetes/pki/etcd/server.key endpoint health
이 작업 중 백업 파일을 /etc/kubernetes/manifests/ 안에 만들지 않도록 주의해야 합니다. kubelet이 그 디렉토리를 감시하므로 백업 파일까지 또 하나의 static pod로 읽어 중복 기동을 일으킵니다.
모든 스크레이프 실패를 클러스터 전역 장애로 오독
현상 — 장애 구간에 Prometheus 타깃이 대량으로 up=0이 되어, 마스터를 포함한 클러스터 전체가 끊긴 것처럼 보였습니다.
원인 — Prometheus 파드가 장애 노드 위에 있었습니다. 관측자가 장애 범위 안에 포함되면 “전부 죽었다”는 결과는 타깃이 아니라 관측자의 상태입니다. 여기에 query_range의 lookback 동작이 겹쳐, 스크레이프가 누락된 구간과 정상 구간을 구분할 수 없었습니다.
해결 — 클러스터 밖의 HAProxy 로그와 ARP 테이블을 독립 관측자로 사용해 범위를 다시 그렸습니다. 모니터링 스택이 감시 대상과 같은 장애 도메인에 있으면 그 스택의 데이터만으로는 범위를 확정할 수 없다는 점이 이번 분석의 가장 큰 교훈이었습니다.
결과 확인
조치 이후 쿠버네티스 노드 순단이 발생해도 스토리지 컨트롤 파드가 즉시 축출되지 않으며, 컨트롤 플레인 지표도 사후 분석이 가능한 수준으로 확보되었습니다.
| 항목 | 조치 전 | 조치 후 |
|---|---|---|
| Rook 파드 축출 유예 | 5초 | 60초 |
| etcd / scheduler / controller-manager 스크레이프 | 0 / 9 성공 | 9 / 9 성공 |
| kubeadm upgrade 후 설정 유지 | 되돌아감 | 유지됨 |
| etcd 쿼럼 | 3 / 3 | 3 / 3 |
변경 직후 뜻하지 않게 실전 검증도 이루어졌습니다. 마지막 마스터를 수정하면서 etcd 리더 선출이 일어났고, 그 여파로 노드 3대가 잠시 NotReady로 표시되었습니다. 기존 5초 설정이었다면 operator와 mgr, MDS가 그대로 축출되었을 상황입니다.
kubectl get pods -n rook-ceph # 축출된 파드 없음 - AGE가 모두 toleration 변경 시점이거나 그 이전 rook-ceph-operator-... 1/1 Running 0 26m # 설정 변경 시점 rook-ceph-mgr-a-... 3/3 Running 0 25m rook-ceph-mds-myfs-a-... 2/2 Running 0 25m rook-ceph-mon-a-... 2/2 Running 0 35d # 무변동 rook-ceph-osd-0-... 2/2 Running 0 35d # 무변동
Ceph 파드 축출은 한 건도 발생하지 않았고, 노드는 자동으로 Ready로 복귀했습니다. 최종 상태는 노드 6대 Ready, 비정상 파드 0, etcd 쿼럼 3/3, Ceph HEALTH_OK입니다.
다만 정직하게 남겨둘 부분이 있습니다. 노드가 왜 9초간 사라졌는지는 아직 확정하지 못했습니다. 이번 조치는 원인 제거가 아니라 피해 범위를 줄이는 완화책이며, 하이퍼바이저 계층의 이벤트 로그를 확보하기 전까지는 재발 가능성이 남아 있습니다.
참고
관련 포스트:
- Kubernetes MariaDB Failover with Rook Ceph — Rook Ceph 기반 워크로드의 장애 전환 동작
- Upgrading Kubernetes Add-ons: Calico, MetalLB, and Traefik — MetalLB L2 구성을 포함한 애드온 운영
- Kubernetes cluster upgrade — kubeadm 업그레이드 절차와 주의점
참고 문서: Kubernetes Taints and Tolerations · kubeadm ClusterConfiguration v1beta4 · etcd Monitoring · Rook Ceph Operator Helm Chart
