Kubernetes 프로덕션 운영 가이드 — 리소스 관리, HPA, Probe, 장애 대응 실전 총정리

deployment-resources.yaml — requests/limits 설정 패턴
apiVersion: apps/v1
kind: Deployment
metadata:
  name: api-server
spec:
  replicas: 3
  selector:
    matchLabels:
      app: api-server
  template:
    metadata:
      labels:
        app: api-server
    spec:
      containers:
      - name: api
        image: myapp:1.0.0
        resources:
          requests:
            # 스케줄러 배치 기준: 실제 평균 사용량 기준으로 설정
            cpu: "250m"       # 0.25 vCPU
            memory: "256Mi"
          limits:
            # 실제 허용 상한: 피크의 150~200%
            cpu: "500m"       # 0.5 vCPU (throttling이지 OOM은 아님)
            memory: "512Mi"   # 초과 시 OOMKilled

---
# LimitRange: Namespace 기본값 설정 (requests 없는 Pod 방지)
apiVersion: v1
kind: LimitRange
metadata:
  name: default-limits
  namespace: production
spec:
  limits:
  - type: Container
    default:          # limits 미지정 시 이 값이 적용됨
      cpu: "500m"
      memory: "512Mi"
    defaultRequest:   # requests 미지정 시 이 값이 적용됨
      cpu: "100m"
      memory: "128Mi"
    max:
      cpu: "4"
      memory: "4Gi"

---
# ResourceQuota: Namespace 전체 상한
apiVersion: v1
kind: ResourceQuota
metadata:
  name: namespace-quota
  namespace: production
spec:
  hard:
    requests.cpu: "20"
    requests.memory: "40Gi"
    limits.cpu: "40"
    limits.memory: "80Gi"
    pods: "100"

hpa.yaml — HPA v2 설정
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: api-server-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: api-server
  minReplicas: 3      # 최소값: 단일 장애점 방지
  maxReplicas: 20     # 최대값: 비용/인프라 상한
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 60   # CPU requests의 60% 초과 시 scale-up
  - type: Resource
    resource:
      name: memory
      target:
        type: Utilization
        averageUtilization: 70   # 메모리 requests의 70% 초과 시 scale-up
  behavior:
    scaleUp:
      stabilizationWindowSeconds: 0     # scale-up은 즉시 반응
      policies:
      - type: Pods
        value: 4           # 한 번에 최대 4개 추가
        periodSeconds: 60
      - type: Percent
        value: 100         # 또는 현재 replica의 100%까지
        periodSeconds: 60
      selectPolicy: Max    # 두 policy 중 더 많이 scale-up하는 쪽 선택
    scaleDown:
      stabilizationWindowSeconds: 300   # scale-down 5분 대기 (flapping 방지)
      policies:
      - type: Percent
        value: 10          # 한 번에 현재 replica의 10%만 감소
        periodSeconds: 60

---
# HPA 상태 확인
# kubectl get hpa api-server-hpa
# kubectl describe hpa api-server-hpa
# NAME              REFERENCE                TARGETS         MINPODS  MAXPODS  REPLICAS
# api-server-hpa    Deployment/api-server    45%/60%         3        20       5

deployment-probes.yaml — 세 가지 Probe 올바른 설정
apiVersion: apps/v1
kind: Deployment
metadata:
  name: api-server
spec:
  template:
    spec:
      containers:
      - name: api
        image: myapp:1.0.0
        ports:
        - containerPort: 8080
        startupProbe:
          # 앱이 완전히 뜰 때까지 다른 Probe 비활성화
          httpGet:
            path: /health/startup
            port: 8080
          failureThreshold: 30    # 최대 30번 재시도
          periodSeconds: 10       # 10초 간격 → 최대 300초(5분) 기다림
        readinessProbe:
          # 트래픽 수신 준비 여부 (DB 연결 포함 체크 가능)
          httpGet:
            path: /health/ready
            port: 8080
          initialDelaySeconds: 5
          periodSeconds: 5
          failureThreshold: 3     # 3번 실패 시 Endpoints에서 제거
          successThreshold: 1     # 1번 성공하면 다시 포함
        livenessProbe:
          # 앱 자체 생사만 체크 (외부 의존성 포함 금지)
          httpGet:
            path: /health/live    # 단순히 200 OK 반환하는 엔드포인트
            port: 8080
          initialDelaySeconds: 30
          periodSeconds: 10
          failureThreshold: 3
          timeoutSeconds: 5       # 5초 내 응답 없으면 실패 카운트

# /health/live  → 무조건 200 반환 (DB 체크 없이 앱 프로세스만 확인)
# /health/ready → DB, 캐시 등 의존성 연결 확인 후 200/503 반환
# /health/startup → 초기화 완료 여부 확인 후 200/503 반환

configmap-secret.yaml — 설정 분리 패턴
# ConfigMap: 비민감 설정
apiVersion: v1
kind: ConfigMap
metadata:
  name: api-config
  namespace: production
data:
  APP_PORT: "8080"
  LOG_LEVEL: "info"
  CACHE_TTL: "300"
  config.yaml: |
    server:
      timeout: 30s
      max_connections: 1000

---
# Secret: 민감 정보 (base64 인코딩 필수)
# echo -n 'mypassword' | base64 → bXlwYXNzd29yZA==
apiVersion: v1
kind: Secret
metadata:
  name: api-secrets
  namespace: production
type: Opaque
data:
  DB_PASSWORD: bXlwYXNzd29yZA==
  API_KEY: c2VjcmV0LWtleS0xMjM=
# 또는 stringData 사용 시 base64 불필요 (K8s가 자동 인코딩)
stringData:
  REDIS_URL: "redis://redis-service:6379"

---
# Deployment에서 사용
apiVersion: apps/v1
kind: Deployment
spec:
  template:
    spec:
      containers:
      - name: api
        envFrom:
        - configMapRef:
            name: api-config    # ConfigMap 전체를 env로
        - secretRef:
            name: api-secrets   # Secret 전체를 env로
        env:
        - name: DB_HOST         # 특정 값만 선택
          valueFrom:
            configMapKeyRef:
              name: api-config
              key: DB_HOST
        volumeMounts:
        - name: config-volume
          mountPath: /etc/config   # 파일로 마운트 (핫리로드 가능)
      volumes:
      - name: config-volume
        configMap:
          name: api-config

rbac.yaml — 팀별 권한 분리 패턴
# ClusterRole: 재사용 가능한 권한 세트 정의
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: developer-role
rules:
- apiGroups: ["apps"]
  resources: ["deployments", "replicasets", "statefulsets"]
  verbs: ["get", "list", "watch", "update", "patch"]
- apiGroups: [""]
  resources: ["pods", "pods/log", "pods/exec", "services", "configmaps"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
- apiGroups: [""]
  resources: ["secrets"]
  verbs: ["get", "list"]   # Secret 내용 읽기만 허용, 수정 불가

---
# 읽기 전용 Role
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: readonly-role
rules:
- apiGroups: ["*"]
  resources: ["*"]
  verbs: ["get", "list", "watch"]

---
# RoleBinding: 특정 Namespace에서 팀에게 ClusterRole 부여
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: backend-team-binding
  namespace: production       # 이 Namespace에서만 유효
subjects:
- kind: Group
  name: backend-team          # OIDC 그룹 또는 직접 정의한 그룹
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: developer-role
  apiGroup: rbac.authorization.k8s.io

---
# ServiceAccount: Pod 내부에서 K8s API 접근 권한
apiVersion: v1
kind: ServiceAccount
metadata:
  name: api-service-account
  namespace: production
  annotations:
    # AWS IAM Role 연결 (IRSA: IAM Roles for Service Accounts)
    eks.amazonaws.com/role-arn: arn:aws:iam::123456789:role/api-server-role

---
# 현재 사용자 권한 확인
# kubectl auth can-i create deployments --namespace=production
# kubectl auth can-i "*" "*" --all-namespaces

kubectl-debug.sh — 장애 대응 명령어 모음
#!/bin/bash
# K8s 장애 대응 필수 kubectl 명령어

NAMESPACE="production"
APP="api-server"

# --- Pod 상태 확인 ---
kubectl get pods -n $NAMESPACE -l app=$APP -o wide
kubectl describe pod -n $NAMESPACE -l app=$APP   # Events 섹션 중요

# --- 로그 확인 ---
kubectl logs -n $NAMESPACE -l app=$APP --tail=100
kubectl logs -n $NAMESPACE -l app=$APP --previous   # 이전 컨테이너 로그 (재시작 후)
kubectl logs -n $NAMESPACE pod/api-server-abc -c init-container  # init container 로그

# --- 리소스 사용량 실시간 확인 (metrics-server 필요) ---
kubectl top pods -n $NAMESPACE -l app=$APP
kubectl top nodes

# --- Service → Endpoints 확인 ---
kubectl get svc -n $NAMESPACE $APP
kubectl get endpoints -n $NAMESPACE $APP   # Pod IP가 여기 없으면 readiness 실패

# --- 네트워크 디버깅용 임시 Pod ---
kubectl run debug-pod   --image=nicolaka/netshoot   -it --rm --restart=Never   -n $NAMESPACE   -- bash

# netshoot에서 사용 가능한 명령어:
# nslookup api-server.production.svc.cluster.local
# curl -v http://api-server:8080/health/ready
# nc -zv api-server 8080

# --- 특정 Pod에 직접 접속 ---
kubectl exec -it -n $NAMESPACE deployment/$APP -- /bin/sh

# --- 이벤트 실시간 모니터링 ---
kubectl get events -n $NAMESPACE --sort-by='.lastTimestamp' -w

# --- Pod 재시작 카운트 및 상태 상세 ---
kubectl get pods -n $NAMESPACE -o custom-columns="NAME:.metadata.name,READY:.status.containerStatuses[0].ready,RESTARTS:.status.containerStatuses[0].restartCount,STATUS:.status.phase"

# --- OOMKilled 확인 ---
kubectl get events -n $NAMESPACE --field-selector reason=OOMKilling

# --- 특정 노드의 Pod 목록 ---
kubectl get pods -n $NAMESPACE -o wide --field-selector spec.nodeName=<node-name>

helm-commands.sh + values.yaml 구조
# Helm 기본 명령어
helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo update

# Chart 설치 (첫 배포)
helm install my-release ./my-chart   -f values.yaml   -f values-prod.yaml   --namespace production   --create-namespace

# 업그레이드 (--install: 없으면 설치, 있으면 업그레이드)
helm upgrade --install my-release ./my-chart   -f values.yaml   -f values-prod.yaml   --namespace production   --set image.tag=v1.2.3        # 특정 값만 override
  --atomic                       # 실패 시 자동 롤백
  --timeout 5m

# 배포 이력 확인
helm history my-release -n production

# 롤백 (이전 revision으로)
helm rollback my-release 2 -n production   # revision 2로 롤백

# 현재 Release의 실제 YAML 확인
helm get manifest my-release -n production

# values.yaml 구조 예시
# ----------------------------------------
# image:
#   repository: myregistry.io/api-server
#   tag: "latest"
#   pullPolicy: IfNotPresent
#
# replicaCount: 3
#
# resources:
#   requests:
#     cpu: 250m
#     memory: 256Mi
#   limits:
#     cpu: 500m
#     memory: 512Mi
#
# autoscaling:
#   enabled: true
#   minReplicas: 3
#   maxReplicas: 20
#   targetCPUUtilizationPercentage: 60
#
# ingress:
#   enabled: true
#   host: api.example.com
#   tls: true