init: 폴더구조 설계 및 인프라 설계

k8s/scripts/bin/bootstrap.sh

@@ -0,0 +1,346 @@
+#!/usr/bin/env bash
+# Entry point: bootstrap the full infra stack for a given environment.
+#
+# Phases:
+#   0. MinIO Operator Helm install            (tasks/minio-operator-install.sh)
+#   1. Apply namespace + PSS labels           (kubectl apply -k base/managing/namespace)
+#   2. (optional) Reset stale K8s Secrets     (RESET_STALE_SECRETS=yes 일 때만)
+#   2.5 VSO CRD 선행 설치                     (VaultStaticSecret CR 가 overlay 에 포함돼 있어)
+#   2.6 cert-manager 선행 설치                (ClusterIssuer / Certificate CR 가 overlay 에 포함돼 있어)
+#   2.7 Keycloak Operator 선행 설치           (Keycloak / KeycloakRealmImport CR 가 overlay 에 포함돼 있어)
+#   2.8 Traefik HelmChartConfig + Middleware/TLSOption (kube-system 에 배치 — root overlay 의 `namespace: mnt` 와 충돌하므로 별도 apply)
+#   3. Render + diff + confirm + apply overlay  (--server-side --field-manager=project-infra-bootstrap)
+#   4. Wait for vault-0 Running
+#   5. Vault init + unseal + KV + k8s auth + policy / role  (tasks/vault-init.sh)
+#   6. Seed application secrets               (tasks/vault-seed-apps.sh)
+#   7. Helm install VSO                       (tasks/vso-install.sh)
+#   8. Apply VSO CRs                          (kubectl apply -k overlays/<env>/vso/)
+#   9. MinIO docker-registry bucket/user/policy 프로비저닝 (tasks/minio-provision-registry.sh)
+#
+# 대화형 실행 (bash history 에 비밀번호 남지 않음):
+#   bash k8s/scripts/bin/bootstrap.sh dev
+#
+# Required context (안전 가드):
+#   KUBE_CONTEXT_DEV / KUBE_CONTEXT_STAGING / KUBE_CONTEXT_PROD
+#   또는 KUBE_CONTEXT= 로 명시. 쉘 rc 에 선언해 두면 현재 kubectl context
+#   와 일치 여부를 자동 검증한다. 매핑이 없으면 대화형으로 context 이름
+#   재입력을 요구.
+#
+# Optional env:
+#   RESET_STALE_SECRETS=yes       이미 있는 VSO-managed K8s Secret 을 삭제 후 재생성
+#   VAULT_KEYS_FILE=<path>        env=prod 필수 — repo 바깥 경로
+#   SKIP_DIFF=yes                 Phase 3 의 kubectl diff preview 생략
+#   CONFIRM=yes                   대화형 프롬프트 자동 승인 (CI)
+
+set -Eeuo pipefail
+SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
+# shellcheck source=../lib/common.sh
+. "$SCRIPT_DIR/../lib/common.sh"
+
+REPO_ROOT="$(cd "$SCRIPT_DIR/../../.." && pwd)"
+K8S_ROOT="$REPO_ROOT/k8s"
+TASKS_DIR="$SCRIPT_DIR/../tasks"
+export REPO_ROOT
+
+NAMESPACE="mnt"
+FIELD_MANAGER="project-infra-bootstrap"
+
+# VSO 가 관리하는 K8s Secret 이름 목록 (기존 찌꺼기 감지용)
+VSO_MANAGED_SECRETS=(
+  identity-postgres-superuser
+  keycloak-db
+  keycloak-db-operator
+  auth-server-db
+  keycloak-bootstrap-admin
+  keycloak-bootstrap-admin-operator
+  keycloak-client-auth-server-ingress
+  minio-tenant-env
+  docker-registry-minio
+)
+
+usage() {
+  cat >&2 <<EOF
+Usage: bin/bootstrap.sh <dev|staging|prod>
+
+Required env (권장 — 쉘 rc 에 선언):
+  KUBE_CONTEXT_DEV / KUBE_CONTEXT_STAGING / KUBE_CONTEXT_PROD   env → kubectl context 매핑
+  (또는 KUBE_CONTEXT=<name> 로 한 번만 overrides)
+
+Options:
+  RESET_STALE_SECRETS=yes   이미 존재하는 VSO-managed Secret 을 삭제 후 재생성
+  VAULT_KEYS_FILE=<path>    env=prod 필수 — repo 바깥 경로
+  SKIP_DIFF=yes             Phase 3 diff preview 생략 (비권장)
+  CONFIRM=yes               대화형 확인 자동 승인 (CI)
+EOF
+  exit 1
+}
+
+precheck_namespace() {
+  if ! ns_exists "$NAMESPACE"; then
+    log "Precheck: namespace '$NAMESPACE' 없음 — 신규 생성 흐름"
+    return 0
+  fi
+  local phase
+  phase="$(ns_phase "$NAMESPACE")"
+  if [[ "$phase" == "Terminating" ]]; then
+    err "namespace '$NAMESPACE' 가 Terminating 상태입니다."
+    err "이전 teardown 이 완료되지 않아 새 리소스 생성이 불가능합니다."
+    err ""
+    err "복구 절차:"
+    err "  1) 이전 teardown 을 마저 끝내기:"
+    err "       CONFIRM=yes bash k8s/scripts/bin/teardown.sh $ENV_NAME"
+    err "  2) namespace 가 완전히 사라진 걸 확인한 뒤 bootstrap 재실행:"
+    err "       kubectl get namespace $NAMESPACE"
+    err "       bash k8s/scripts/bin/bootstrap.sh $ENV_NAME"
+    die "bootstrap 중단"
+  fi
+  log "Precheck: namespace '$NAMESPACE' phase=$phase — 계속 진행"
+}
+
+phase0_minio_operator() {
+  log "[0/9] MinIO Operator 설치 (Tenant CRD 선행)"
+  bash "$TASKS_DIR/minio-operator-install.sh"
+}
+
+phase1_namespace() {
+  log "[1/9] Namespace + PSS 라벨 선행 apply"
+  kubectl apply -k "$K8S_ROOT/base/managing/namespace" \
+    --server-side --field-manager="$FIELD_MANAGER"
+  retry 5 1 kubectl get namespace "$NAMESPACE" >/dev/null
+}
+
+phase2_reset_stale_secrets() {
+  log "[2/9] 기존 VSO-managed K8s Secret 점검"
+  local stale_found=0 s
+  for s in "${VSO_MANAGED_SECRETS[@]}"; do
+    if kubectl -n "$NAMESPACE" get secret "$s" >/dev/null 2>&1; then
+      stale_found=$((stale_found + 1))
+      if [[ "${RESET_STALE_SECRETS:-}" == "yes" ]]; then
+        log "  삭제: $s (RESET_STALE_SECRETS=yes)"
+        kubectl -n "$NAMESPACE" delete secret "$s" --ignore-not-found
+      else
+        warn "  $s 이미 존재 (VSO 가 덮어쓰지 않음). Vault 값 반영이 필요하면 RESET_STALE_SECRETS=yes 로 재실행하거나 수동 삭제하세요."
+      fi
+    fi
+  done
+  (( stale_found == 0 )) && log "  기존 Secret 없음"
+}
+
+phase2_5_vso_crds() {
+  # overlays/<env>/{database,keycloak,storage}/vault-secrets.yaml 에 VaultStaticSecret
+  # CR 들이 포함돼 있어, Phase 3 overlay apply 시점에 CRD 가 없으면 "resource mapping
+  # not found" 로 실패. Helm 차트 install 은 Phase 7 이므로 CRD 만 선행 적용.
+  log "[2.5/9] VSO CRD 선행 설치"
+  local version="${VSO_VERSION:-0.9.0}"
+  helm repo add hashicorp https://helm.releases.hashicorp.com >/dev/null 2>&1 || true
+  helm repo update hashicorp >/dev/null
+  helm show crds hashicorp/vault-secrets-operator --version "$version" \
+    | kubectl apply -f - --server-side --field-manager="$FIELD_MANAGER"
+}
+
+# cert-manager 전체 (CRD + namespace + controller + webhook) 을 overlay 밖에서
+# 선행 설치. 이후 phase 3 에서 overlay 가 참조하는 ClusterIssuer / Certificate CR
+# 이 등록될 수 있다. CRD established 대기를 반드시 건다 — deploy/webhook 가
+# Ready 되기 전에 Certificate CR apply 시 admission webhook 이 거부함.
+phase2_6_cert_manager() {
+  log "[2.6/9] cert-manager 선행 설치"
+  kubectl apply -k "$K8S_ROOT/overlays/$ENV_NAME/platform/cert-manager" \
+    --server-side --field-manager="$FIELD_MANAGER"
+
+  log "  cert-manager CRD established 대기"
+  retry 30 2 kubectl wait --for=condition=Established --timeout=10s \
+    crd/clusterissuers.cert-manager.io \
+    crd/certificates.cert-manager.io \
+    crd/certificaterequests.cert-manager.io \
+    crd/orders.acme.cert-manager.io \
+    crd/challenges.acme.cert-manager.io
+
+  log "  cert-manager Deployment Available 대기"
+  retry 30 5 kubectl -n cert-manager wait --for=condition=Available --timeout=10s \
+    deploy/cert-manager \
+    deploy/cert-manager-webhook \
+    deploy/cert-manager-cainjector
+}
+
+# Keycloak Operator (CRDs + Operator Deployment) 선행 설치. Keycloak /
+# KeycloakRealmImport CR 이 phase 3 에 포함되므로 CRD 등록이 먼저 되어야 한다.
+phase2_7_keycloak_operator() {
+  log "[2.7/9] Keycloak Operator 선행 설치"
+  kubectl apply -k "$K8S_ROOT/overlays/$ENV_NAME/platform/keycloak-operator" \
+    --server-side --field-manager="$FIELD_MANAGER"
+
+  log "  Keycloak Operator CRD established 대기"
+  retry 30 2 kubectl wait --for=condition=Established --timeout=10s \
+    crd/keycloaks.k8s.keycloak.org \
+    crd/keycloakrealmimports.k8s.keycloak.org
+
+  log "  Keycloak Operator Deployment Available 대기"
+  retry 60 5 kubectl -n "$NAMESPACE" wait --for=condition=Available --timeout=10s \
+    deploy/keycloak-operator
+}
+
+# kube-system Traefik 커스터마이징 — HelmChartConfig (K3s Helm-controller 가
+# 재수렴), Middleware (https-redirect / security-headers), TLSOption (modern-tls).
+# root overlay 가 `namespace: mnt` 로 전역 주입하므로 kube-system 타깃 리소스는
+# 이 overlay 빌드에 포함시키지 않고 별도 apply 한다.
+phase2_8_traefik() {
+  log "[2.8/9] Traefik HelmChartConfig + Middleware 적용 (kube-system)"
+  kubectl apply -k "$K8S_ROOT/overlays/$ENV_NAME/platform/traefik" \
+    --server-side --field-manager="$FIELD_MANAGER"
+}
+
+# render → server-side dry-run → diff → confirm → apply
+#
+# kubectl diff exit codes (GNU man page):
+#   0 — 변경 없음
+#   1 — 변경 있음 (정상)
+#   >1 — 실행 오류 (RBAC / API 연결 / invalid manifest 등)
+# 이전 구현은 `|| true` 로 모든 비-0 을 흡수해서 에러가 apply 까지 흘러갔다.
+phase3_overlay_apply() {
+  log "[3/9] 인프라 overlay 배포 ($OVERLAY_DIR)"
+
+  local tmpdir
+  tmpdir="$(mktemp -d -t project-infra-bootstrap.XXXXXX)"
+  trap_cleanup_path "$tmpdir"
+
+  local rendered="$tmpdir/rendered.yaml"
+  kustomize build "$OVERLAY_DIR" > "$rendered"
+  log "  render 완료: $(grep -c '^kind:' "$rendered") resources"
+
+  # --- server-side dry-run: admission / RBAC / schema 를 API server 로 검증 ---
+  log "  server-side dry-run 검증"
+  if ! kubectl apply -f "$rendered" --dry-run=server \
+         --server-side --field-manager="$FIELD_MANAGER" \
+         >"$tmpdir/dryrun.out" 2>&1; then
+    err "  server-side dry-run 실패 — apply 중단"
+    sed 's/^/    /' "$tmpdir/dryrun.out" >&2
+    die "dry-run 검증 실패"
+  fi
+
+  # --- diff preview — 변경 있음(rc=1)은 정상, 실행 오류(rc>=2)는 die ---
+  if [[ "${SKIP_DIFF:-}" == "yes" ]]; then
+    warn "  SKIP_DIFF=yes → diff preview 생략"
+  else
+    log "  server-side diff preview (대용량이면 스크롤)"
+    local rc=0
+    kubectl diff -f "$rendered" --server-side --field-manager="$FIELD_MANAGER" \
+      >"$tmpdir/diff.out" 2>&1 || rc=$?
+    case "$rc" in
+      0) log "    (변경 없음)" ;;
+      1)
+        if [[ -s "$tmpdir/diff.out" ]]; then
+          sed 's/^/    /' "$tmpdir/diff.out" >&2
+        else
+          log "    (diff 출력 없음)"
+        fi
+        ;;
+      *)
+        err "  kubectl diff 실행 실패 (exit=$rc) — apply 중단"
+        sed 's/^/    /' "$tmpdir/diff.out" >&2
+        die "diff 실패"
+        ;;
+    esac
+  fi
+
+  confirm "위 변경사항을 env=$ENV_NAME context='$(kubectl config current-context)' 에 apply 하시겠습니까?" \
+    || die "사용자 취소"
+
+  kubectl apply -f "$rendered" --server-side --field-manager="$FIELD_MANAGER"
+  log "  vault/registry/앱 워크로드 apply 완료"
+}
+
+phase4_wait_vault_running() {
+  # Vault readiness probe 는 initialized+unsealed 일 때만 통과하므로 초기화 *전*
+  # 에는 Ready 가 될 수 없음 → Running 단계까지만 기다림.
+  log "[4/9] vault-0 Running 대기 (120s × 재시도 3회)"
+  retry 3 10 kubectl -n "$NAMESPACE" wait \
+    --for=jsonpath='{.status.phase}'=Running pod/vault-0 --timeout=120s
+}
+
+phase5_vault_init() {
+  log "[5/9] Vault 초기화 / unseal / auth / policy / role"
+  ENV_NAME="$ENV_NAME" bash "$TASKS_DIR/vault-init.sh"
+}
+
+phase6_seed_apps() {
+  log "[6/9] 앱 시크릿 5 개 Vault KV 에 seed"
+  ENV_NAME="$ENV_NAME" bash "$TASKS_DIR/vault-seed-apps.sh"
+}
+
+phase7_vso_install() {
+  log "[7/9] VSO Helm upgrade --install"
+  ENV_NAME="$ENV_NAME" bash "$TASKS_DIR/vso-install.sh"
+}
+
+phase8_vso_crs() {
+  log "[8/9] VSO CR 적용 ($OVERLAY_DIR/vso/)"
+  kubectl apply -k "$OVERLAY_DIR/vso/" \
+    --server-side --field-manager="$FIELD_MANAGER"
+}
+
+# docker-registry 가 MinIO 를 S3 backend 로 쓰도록 bucket + 서비스 user +
+# bucket-scoped policy 를 설정. MinIO Tenant 는 phase 8 에서 minio-tenant-env
+# Secret 이 생긴 뒤 기동되므로 이 phase 는 반드시 phase 8 이후에 실행.
+phase9_minio_provision_registry() {
+  log "[9/9] MinIO docker-registry bucket/user/policy 프로비저닝"
+  ENV_NAME="$ENV_NAME" bash "$TASKS_DIR/minio-provision-registry.sh"
+}
+
+summary() {
+  log "============================================"
+  log "  $ENV_NAME 부트스트랩 완료"
+  log "============================================"
+  log "unseal keys + root token: ${VAULT_KEYS_FILE:-$REPO_ROOT/vault-init-keys.json} (0600)"
+  log "  → 오프라인 / 외부 KMS 로 즉시 이동하세요 (Git 반입 금지)"
+  log ""
+  log "앱 시크릿 5 개는 Phase 6 에서 입력/seed 됨."
+  log "조회: vault kv get -field=password secret/<path>"
+  log ""
+  log "다음 확인:"
+  log "  kubectl -n $NAMESPACE get pods"
+  log "  kubectl -n $NAMESPACE get secrets"
+  log "  kubectl -n $NAMESPACE get vaultstaticsecret"
+}
+
+main() {
+  ENV_NAME="${1:-}"
+  case "$ENV_NAME" in
+    dev|staging|prod) ;;
+    *) usage ;;
+  esac
+
+  OVERLAY_DIR="$K8S_ROOT/overlays/$ENV_NAME"
+  [[ -d "$OVERLAY_DIR" ]] || die "overlay 디렉토리 없음: $OVERLAY_DIR"
+
+  require_cmd kubectl helm jq kustomize
+
+  # 안전 가드 — 실수 클러스터 apply 방지
+  require_kube_context "$ENV_NAME"
+
+  log "============================================"
+  log "  Project-Infra 부트스트랩 ($ENV_NAME)"
+  log "  context : $(kubectl config current-context)"
+  log "============================================"
+
+  precheck_namespace
+  phase0_minio_operator
+  phase1_namespace
+  phase2_reset_stale_secrets
+  phase2_5_vso_crds
+  phase2_6_cert_manager
+  phase2_7_keycloak_operator
+  phase2_8_traefik
+  phase3_overlay_apply
+  phase4_wait_vault_running
+  phase5_vault_init
+  phase6_seed_apps
+  phase7_vso_install
+  phase8_vso_crs
+  phase9_minio_provision_registry
+  summary
+}
+
+# Google shell style — 직접 실행일 때만 main 호출 (source 된 경우 함수만 노출).
+if [[ "${BASH_SOURCE[0]}" == "${0}" ]]; then
+  main "$@"
+fi