인증서 보관 - IT Garage

개요

kubernetes/ingress-nginx 프로젝트가 2026년 3월 31일부로 EOL(End of Life)을 선언하고 아카이브되었습니다. 이를 계기로 ingress-nginx에서 Traefik으로 마이그레이션을 진행하여 자체 관리형 Kubernetes 클러스터의 Ingress 컨트롤러를 Traefik v3.7.5로 교체하고, 모니터링 스택(Prometheus / Alertmanager / Grafana) 도메인을 *.sierracloud.dev로 전환하였습니다. 아울러 HAProxy 서버에서 관리하는 Let’s Encrypt 와일드카드 인증서를 Kubernetes 클러스터에 자동 동기화하는 CronJob을 구성하였습니다.

대안으로 Contour, Kong, HAProxy Ingress 등을 검토하였으나, Traefik을 선택한 이유는 다음과 같습니다. Helm chart가 잘 관리되고 있으며, TLSStore를 통한 와일드카드 인증서 중앙 관리가 가능합니다. 또한 CRD(IngressRoute, Middleware 등)를 통한 고급 라우팅 설정과 Kubernetes Ingress 표준 오브젝트와의 호환성을 동시에 지원합니다. HTTP → HTTPS 강제 리다이렉트도 values.yaml 설정 한 줄로 처리됩니다.

환경

Kubernetes v1.33.7 (HA: Control Plane 3대 + Worker 3대)
MetalLB — LoadBalancer IP 풀: 192.168.x.x/29
HAProxy (192.168.x.x:6443) — K8s API LB 및 HTTPS 리버스 프록시 겸용
NAS — Let’s Encrypt 인증서 원본 보관, NFS export
교체 전: kubernetes/ingress-nginx v1.10.1 (EOL)
교체 후: Traefik v3.7.5 (Helm chart 41.0.0)

단계별 절차

1. ingress-nginx 설정 백업

삭제 전에 기존 설정을 코드로 백업하여 재설치 시 활용할 수 있도록 보존합니다.

# IngressClass, ConfigMap, Ingress 리소스 백업
kubectl get ingressclass nginx -o yaml > backup/ingress-nginx/ingressclass-nginx.yaml
kubectl get cm ingress-nginx-controller -n ingress-nginx -o yaml > backup/ingress-nginx/configmap-controller.yaml
kubectl get ingress -n monitoring -o yaml > backup/ingress-nginx/ingress-monitoring.yaml

# Helm values 백업
helm get values ingress-nginx -n ingress-nginx -o yaml > backup/ingress-nginx/helm-ingress-nginx-values.yaml

# 삭제 절차 문서화 후 제거
helm uninstall ingress-nginx -n ingress-nginx

2. Traefik v3.7.5 설치

ingress-nginx가 사용하던 MetalLB IP를 그대로 유지하여 HAProxy의 백엔드 설정 변경 없이 전환합니다.

helm repo add traefik https://traefik.github.io/charts
helm repo update

helm upgrade --install traefik traefik/traefik \
  -f helm/traefik-values.yaml \
  -n traefik --create-namespace

helm/traefik-values.yaml 핵심 설정:

service:
  annotations:
    metallb.universe.tf/loadBalancerIPs: "192.168.x.x"   # 기존 IP 유지

ingressClass:
  enabled: true
  isDefaultClass: true

ports:
  web:
    http:
      redirections:
        entryPoint:
          to: websecure
          scheme: https
          permanent: true   # HTTP → HTTPS 전체 리다이렉트

3. 모니터링 도메인 변경

*.sierracloud.kro.kr에서 *.sierracloud.dev로 전환하고 ingressClassName을 교체합니다. Helm values 수정 후 upgrade를 적용합니다.

# helm/monitoring-values.yaml (변경 부분)
prometheus:
  ingress:
    ingressClassName: traefik    # nginx → traefik
    hosts:
      - prometheus.sierracloud.dev

grafana:
  ingress:
    ingressClassName: traefik
    hosts:
      - grafana.sierracloud.dev
  grafana.ini:
    server:
      domain: grafana.sierracloud.dev
      root_url: https://grafana.sierracloud.dev
      protocol: http             # Traefik이 TLS 종료, Grafana 내부는 HTTP

helm upgrade monitoring prometheus-community/kube-prometheus-stack \
  -f helm/monitoring-values.yaml -n monitoring

4. 와일드카드 TLS 인증서 자동화

HAProxy 서버에서 certbot이 Let’s Encrypt 인증서를 주기적으로 갱신하고 NAS에 복사합니다. Kubernetes CronJob이 이후 NAS NFS를 마운트하여 SHA256 비교 후 변경 시에만 Secret을 갱신합니다.

certbot (HAProxy)
  └─→ NAS (NFS)
        └─→ K8s CronJob (SHA256 비교)
              └─→ traefik/wildcard-sierracloud-dev Secret
                    └─→ Traefik TLSStore default → 모든 서비스 자동 적용

TLSStore를 사용하면 각 네임스페이스의 Ingress 리소스에 secretName을 지정할 필요 없이 모든 HTTPS 라우트에 와일드카드 인증서가 자동으로 적용됩니다.

# manifests/traefik/tls-store.yaml
apiVersion: traefik.io/v1alpha1
kind: TLSStore
metadata:
  name: default
  namespace: traefik
spec:
  defaultCertificate:
    secretName: wildcard-sierracloud-dev

CronJob은 매주 갱신 주기에 맞춰 실행되며 SHA256 비교를 통해 인증서가 변경된 경우에만 Secret을 업데이트합니다.

# manifests/traefik/tls-secret-sync.yaml (핵심 부분)
schedule: "30 6 * * 1"    # 매주 월요일
timeZone: "Asia/Seoul"
concurrencyPolicy: Forbid

volumes:
  - name: certs
    nfs:
      server: 192.168.x.x
      path: /data/cert
      readOnly: true

# CronJob 컨테이너 스크립트 (요약)
CURRENT_SHA=$(kubectl get secret wildcard-sierracloud-dev -n traefik \
  -o jsonpath='{.data.tls\.crt}' | base64 -d | sha256sum | cut -d' ' -f1)
NEW_SHA=$(sha256sum < /certs/sierracloud.dev/fullchain.pem | cut -d' ' -f1)

if [ "$CURRENT_SHA" != "$NEW_SHA" ]; then
  kubectl create secret tls wildcard-sierracloud-dev \
    --cert=/certs/sierracloud.dev/fullchain.pem \
    --key=/certs/sierracloud.dev/privkey.pem \
    -n traefik --dry-run=client -o yaml | kubectl apply -f -
fi

트러블슈팅

① bitnami/kubectl 이미지 태그 없음

증상: CronJob 컨테이너 이미지 bitnami/kubectl:1.33이 ImagePullBackOff 발생.

원인: 2025년 12월 이후 bitnami/kubectl Docker Hub 레포지토리에서 버전 태그가 삭제됨 (GitHub issue #88999). latest 태그만 존재.

해결: alpine/k8s:1.33.10으로 교체. Alpine 기반으로 kubectl + 기본 유틸리티(sha256sum, base64 등) 포함, K8s 1.33.x 버전과 동일 minor version으로 완전 호환.

image: alpine/k8s:1.33.10    # bitnami/kubectl:1.33 → 교체

② 도메인 변경 후 Traefik 503 (약 5초)

증상: Helm upgrade 직후 prometheus.sierracloud.dev, grafana.sierracloud.dev 접속 시 503 반환.

원인: Traefik이 새로운 Ingress 라우트를 동기화하는 데 약 5초 소요.

해결: 별도 조치 없이 자연 해소. Traefik의 정상적인 라우트 갱신 동작.

검증

# Traefik LoadBalancer IP 확인
kubectl get svc -n traefik

# TLSStore 적용 확인
kubectl get tlsstore -n traefik

# Secret 인증서 유효기간 확인
kubectl get secret wildcard-sierracloud-dev -n traefik \
  -o jsonpath='{.data.tls\.crt}' | base64 -d | openssl x509 -noout -subject -dates

# HTTPS 접속 확인
curl -skI https://grafana.sierracloud.dev | head -3
curl -skI https://prometheus.sierracloud.dev | head -3

# 출력 예시
HTTP/2 302       ← Grafana 로그인 리다이렉트 (정상)
HTTP/2 405       ← Prometheus (정상)

subject=CN = *.sierracloud.dev
notAfter=Sep 17 13:39:09 2026 GMT

결론

ingress-nginx EOL 전환을 계기로 Traefik v3.7.5를 도입하고, Let’s Encrypt 와일드카드 인증서의 자동 갱신 파이프라인을 구성하였습니다. Secret을 traefik 네임스페이스에 단일 관리하고 TLSStore default로 노출함으로써 향후 신규 서비스 추가 시 Ingress에 secretName을 별도 지정할 필요 없이 자동으로 와일드카드 인증서가 적용됩니다.

기존 ingress-nginx와의 전환 과정에서 MetalLB LoadBalancer IP를 그대로 유지했기 때문에 HAProxy 백엔드 설정 변경 없이 완전한 무중단 전환이 가능하였습니다. Traefik v3 계열의 Kubernetes Gateway API 지원, 향상된 observability, 그리고 CRD 기반의 미들웨어 체인 설정은 장기적인 운영에서도 ingress-nginx 대비 유리한 점이 많습니다.

참고

개요

VMware vSphere(ESXi) 설치 시 기본 적용되는 자체 서명 인증서(Self-Signed Certificate)는 브라우저에서 “안전하지 않은 연결” 경고를 지속적으로 표시합니다. VMware ESXi7 인증서 변경을 통해 Let’s Encrypt에서 발급받은 공인 인증서를 적용하면 이 경고를 제거하고 도메인 기반으로 안전하게 웹 콘솔에 접근할 수 있습니다. ESXi의 인증서 파일은 /etc/vmware/ssl/ 경로에 위치하며, 기존 파일을 백업한 뒤 새 인증서로 교체하고 hostd 서비스를 재시작하는 방식으로 진행합니다.

구성 환경
– 인증서 보관 경로 : /etc/vmware/ssl
– root 인증서 : castore.pem
– public key : rui.crt
– private key : rui.key
– 인증서 발급 기관 : Let’s Encrypt(RSA 키 발급)

Self-Signed 인증서의 문제점과 해결 방법

VMware ESXi를 처음 설치하면 자체 서명 인증서(Self-Signed Certificate)가 자동으로 생성됩니다. 이 인증서는 공인 CA(Certificate Authority)가 서명하지 않았기 때문에 브라우저에서 신뢰할 수 없는 연결로 표시되고 매번 예외를 추가해야 하는 불편함이 있습니다. 또한 자동화 스크립트나 SDK에서 ESXi API를 호출할 때 인증서 검증 오류가 발생하여 --no-verify-ssl 같은 보안 우회 옵션을 사용하게 됩니다.

Let’s Encrypt에서 발급받은 무료 공인 인증서를 ESXi에 적용하면 이 문제를 해결할 수 있습니다. Let’s Encrypt는 90일 유효기간의 인증서를 무제한 발급하며, RSA와 ECDSA 키 타입을 모두 지원합니다. ESXi는 RSA 키만 지원하므로 반드시 certbot certonly --key-type rsa로 발급해야 합니다.

기존 인증서 백업

$ cd /etc/vmware/ssl

# 원복을 위한 root 인증서, public key, private key 백업
$ cp castore.pem castore.pem.bak
$ cp rui.crt rui.crt.bak
$ cp rui.key rui.key.bak

Let’s Encrypt 인증서 적용 및 웹서비스 재기동

$ cd /etc/vmware/ssl

# root 인증서 다운로드 및 적용
$ curl https://letsencrypt.org/certs/isrgrootx1.pem.txt -o castore.pem

# Let's Encrypt 인증서 파일(fullchain.pem, privkey.pem) /etc/vmware/ssl 사전 복사 처리 후 진행
$ openssl x509 -inform PEM -in fullchain.pem -out rui.crt
$ cp privkey.pem rui.key

# 웹서비스 재기동
$ /etc/init.d/hostd restart

서비스 재기동 완료 후 브라우저에서 할당된 도메인으로 정상 접속되면 완료입니다. 브라우저 주소창의 자물쇠 아이콘을 클릭하여 인증서 발급자가 Let’s Encrypt인지, 도메인이 일치하는지 확인합니다.

인증서 갱신 및 유의사항

Let’s Encrypt 인증서는 90일 유효기간을 가집니다. 만료 전에 갱신하지 않으면 브라우저에서 다시 경고가 표시됩니다. ESXi는 시스템 내부에 certbot이 설치되지 않으므로 자동 갱신을 ESXi 자체에서 처리할 수 없습니다. 대신 별도 서버에서 certbot으로 인증서를 갱신한 뒤, 갱신된 인증서 파일을 SCP나 SFTP로 ESXi의 /etc/vmware/ssl/에 복사하고 /etc/init.d/hostd restart를 실행하는 방식으로 갱신합니다.

인증서 교체 후에는 vSphere Client나 ESXi Host Client에서 로그아웃 후 재로그인해야 새 인증서가 반영됩니다. 또한 기존에 이 ESXi를 vCenter에 연결한 경우 vCenter에서도 인증서 재인증이 필요할 수 있습니다. 백업 파일(*.bak)은 인증서 교체에 문제가 생겼을 때 원복할 수 있도록 보관합니다.

IT Garage

태그 보관물: 인증서

Migrating Ingress Controller: ingress-nginx EOL to Traefik v3.7.5 with Wildcard TLS Automation

개요

환경