docs(reviews): record the pg_hba fix as handed to W1
The previous commit took the tech-log pg_hba change out of this PR
because W1's CNPG backup work owns the same Cluster manifest. Update the
review so it no longer says the fix is in this PR: section 6.1 now gives
W1 the exact change (commit 1c4ef9a to cherry-pick), its render
invariants and the RED/GREEN and kubectl diff evidence, and the W1
overlap table lists it.
Verification: grep finds no remaining "fixed in this PR" claim for
pg_hba; git diff origin/main...HEAD lists only docs/ and Traefik paths.
This commit is contained in:
@@ -56,7 +56,7 @@
|
||||
| 1 | **백업이 하나도 없다** (CNPG는 w1 진행 중. Gitea 저장소 PV 50Gi, k3s datastore, AIStor는 w1 범위 밖) | SSD 한 장이 죽거나 사람이 실수하면 소스·CI·패키지·인증·운영 데이터가 전부 사라진다. timer·cron·CronJob·ScheduledBackup이 0개다 | Gitea: `gitea dump` 또는 PV 스냅숏을 HDD(sdb)와 off-host로. k3s: `state.db`·token 정기 복사. 모두 복원 리허설까지(7.1절) | 큼 |
|
||||
| 2 | **상태 데이터가 OS·빌드와 같은 SSD 파티션에 있다** | `/srv/k3s/ssd/*`(Postgres·Gitea·Prometheus·Loki 등 PV 8개)가 `/dev/sdc1` 루트와 같은 파일시스템이다. 11-09처럼 빌드 캐시가 디스크를 채우면 DB가 WAL을 못 써 멈추고, PV `capacity`는 아무것도 막지 않는다 | 단기: w1의 디스크 상한·경보. 중기: 상태 PV를 별도 파티션이나 디스크로 옮긴다(데이터 이전이라 소유자 결정) | 큼 |
|
||||
| 3 | **메모리가 모자랄 때 보호 장치가 없다** | kubelet `evictionHard`가 디스크 두 항목뿐이라 메모리 축출이 없다. 예약도 없다. 그러면 커널 OOM killer가 고르는데 Postgres `oom_score_adj` 985, Traefik 1000이라 DB와 입구가 먼저 죽는다. 호스트는 CI·Gradle도 같이 돌린다 | kubelet `system-reserved`·`kube-reserved`·`eviction-hard memory.available`·`eviction-soft`(k3s 설정 drop-in, 재시작). Postgres는 requests=limits(Guaranteed)로 | 중간 |
|
||||
| 4 | **repo를 다시 적용하면 운영이 깨지는 drift** | 공용 DB `pg_hba`의 techlog 두 줄이 repo에 없었다. 렌더를 그대로 적용하면 hyeonworks.com backend가 DB에 못 붙는다. tech-log 운영 객체 17개와 플랫폼 쪽 허용 객체 10개도 repo 밖이다 | pg_hba는 **이 PR에서 고침**. 나머지는 둘 곳을 정한다(8절 결정 2) | 작음 + 결정 |
|
||||
| 4 | **repo를 다시 적용하면 운영이 깨지는 drift** | 공용 DB `pg_hba`의 techlog 두 줄이 repo에 없었다. 렌더를 그대로 적용하면 hyeonworks.com backend가 DB에 못 붙는다. tech-log 운영 객체 17개와 플랫폼 쪽 허용 객체 10개도 repo 밖이다 | pg_hba는 고칠 변경을 만들어 **w1에 넘김**(같은 파일을 CNPG 백업이 고친다, 6.1절). 나머지는 둘 곳을 정한다(8절 결정 2) | 작음 + 결정 |
|
||||
| 5 | **감사 로그가 없고, 일상 kubeconfig가 회수 불가 인증서** | 누가 무엇을 바꿨는지 남지 않는다. `~/.kube/config`는 `system:masters` 클라이언트 인증서(2027-07-18까지)라 유출돼도 끌 방법이 CA 교체뿐이다 | k3s `audit-log-path`·audit policy(hardening 가이드), 일상용은 RBAC 바인딩한 별도 사용자, `system:masters`는 비상용 | 중간 |
|
||||
| 6 | **업그레이드 경로가 없다** | v1.36.2에서 멈춰 있다(v1.36.6까지 패치 4개). 올릴 때 쓸 절차·사전 datastore 백업·되돌리기가 없고, CNPG PDB(`disruptionsAllowed: 0`)가 `kubectl drain`을 막는다. Traefik chart도 k3s 버전에 묶여 있다 | runbook: datastore 백업 → 같은 minor 최신 패치 → 검증 목록(Traefik chart·이미지 검사 스크립트 포함). drain 대신 정지·재시작 절차 | 중간 |
|
||||
| 7 | **PriorityClass가 없다** | 플랫폼 파드는 전부 우선순위 0이다. 11-09 디스크 축출 때 tech-log 운영 파드가 grafana·kube-state-metrics와 같은 순위로 내보내졌다 | `platform-critical`(DB·Gitea·Keycloak·운영)과 `platform-low`(관측·관리 도구) 두 개를 만들고 붙인다. 붙이면 파드가 재시작된다 | 중간 |
|
||||
@@ -225,6 +225,7 @@
|
||||
| node-exporter CPU limit 쓰로틀링 | — | w1 진행 중 |
|
||||
| Prometheus `outOfOrderTimeWindow` 10h | 라이브 적용됨, PR #2가 점검 중 main에 병합됨(`41b46f6`, 2026-11-11 23:18 KST) | 끝남 |
|
||||
| 운영 이미지 `imagePullPolicy: Never` → 레지스트리 | 소유자 단계 C·D | w1 진행 중 |
|
||||
| platform-postgres `pg_hba` techlog 두 줄(이 점검에서 찾은 drift) | 변경 `1c4ef9a` 준비됨. CNPG 백업과 같은 파일이라 이 PR에서는 되돌림(`388eb74`) | w1에 넘김(6.1절) |
|
||||
|
||||
점검 중 본 사실 하나를 w1에 넘긴다: `journalctl --list-boots`를 보면 시작 시각이 끝 시각보다 늦은 부팅이 11-11 말고도 07-18, 10-29에 있다. 시계 +9시간이 처음이 아니다.
|
||||
|
||||
@@ -246,7 +247,7 @@
|
||||
|
||||
| 객체 | 라이브 | repo 렌더 | 다시 적용하면 | 처리 |
|
||||
|---|---|---|---|---|
|
||||
| `platform-data` Cluster `platform-postgres` `pg_hba` | techlog 두 줄 있음 | 없음 | **운영 backend가 DB에 못 붙음** | **이 PR에서 repo를 라이브에 맞춤** |
|
||||
| `platform-data` Cluster `platform-postgres` `pg_hba` | techlog 두 줄 있음 | 없음 | **운영 backend가 DB에 못 붙음** | **repo를 라이브에 맞추는 변경을 w1에 넘김(6.1절)** |
|
||||
| `observability` Prometheus `tsdb.outOfOrderTimeWindow` | `10h` | `0s` | 시계가 다시 튀면 수집이 멈춤 | PR #2가 병합돼(`41b46f6`) 지금 main은 라이브와 같다 |
|
||||
| `kube-system` HelmChartConfig `traefik` | trust overlay와 같음 | 루트 `kustomization.yaml`은 observe overlay | 루트로 적용하면 trusted IP가 빠짐 | 의도된 구조(Traefik README). drift 아님 |
|
||||
| `keycloak` Operator Deployment·SA·Service | build-timestamp `2026-07-09` | `2026-07-23` | 라벨만 바뀌고 Operator 재시작 | 원격 ref를 커밋 SHA로(7.4) |
|
||||
@@ -338,17 +339,21 @@ desktop 호스트 Docker에서 버전을 고정해 돌렸다. 모두 읽기만
|
||||
- 도구 넷이 공통으로 가리킨 곳은 `hyeonworks-prod`와 Keycloak의 securityContext, PriorityClass 없음, k3s 내장의 requests·limits 없음이다. 0.3절 7·8번 순위의 근거가 됐다.
|
||||
- kube-bench FAIL 25를 그대로 믿었다면 A10을 1로 매겼을 것이다. journal 인자를 직접 대조하니 컨트롤 플레인 인자는 기준을 만족했고, 빈 곳은 감사 로그·PSA 기본값·kubelet 하드닝뿐이라 2로 두었다.
|
||||
|
||||
## 6. 이 PR에서 고친 것
|
||||
## 6. 이 PR에서 고친 것과 넘긴 것
|
||||
|
||||
위험이 낮고 되돌릴 수 있는 매니페스트·문서만 고쳤다. 클러스터에는 아무것도 적용하지 않았다.
|
||||
|
||||
| 변경 | 파일 | 라이브에 적용하면 | 되돌리기 |
|
||||
|---|---|---|---|
|
||||
| platform-postgres `pg_hba`에 라이브와 같은 techlog 두 줄 + 렌더 불변식 둘 | `services/platform-postgres/base/cluster.yaml`, `scripts/validate/render-phase1.sh`, `services/platform-postgres/README.md` | 바뀌는 것 없음. `kubectl diff`에서 Cluster 차이가 사라졌다(남은 차이는 4.2의 DatabaseRole 기본값 필드뿐) | 커밋 되돌리기 |
|
||||
| Traefik requests `cpu: 50m`·`memory: 64Mi`, limit `memory: 256Mi` | `infrastructure/networking/traefik/base/helm-chart-config.yaml`, overlay patch 둘, `infrastructure/networking/traefik/README.md` | k3s helm-controller가 Traefik을 다시 배포한다(RollingUpdate, 몇 초). 적용은 기존 `apply-trust.sh` | 이전 HelmChartConfig 다시 적용 |
|
||||
| 이 보고서와 `docs/README.md` 지도 | `docs/` | 없음 | — |
|
||||
|
||||
렌더 결과(desktop, 2026-11-11):
|
||||
### 6.1 w1에 넘긴 것: platform-postgres `pg_hba`
|
||||
|
||||
CNPG 백업(w1 범위)이 같은 파일 `services/platform-postgres/base/cluster.yaml`을 고친다. 프로그램 규칙상 w1 범위의 파일은 다른 세션이 고치지 않으므로, 이 PR에서 한 번 넣었던 변경(`1c4ef9a`)을 되돌리고(`388eb74`) w1에 넘겼다. w1은 `1c4ef9a`를 그대로 cherry-pick하면 된다.
|
||||
|
||||
- 넣을 것: `pg_hba`의 keycloak 두 줄 다음에 `- host techlog techlog all scram-sha-256`, `- host all techlog all reject`(라이브와 같은 순서). `scripts/validate/render-phase1.sh`에 Gitea·Keycloak 쌍과 같은 형식의 불변식 둘. `services/platform-postgres/README.md`의 `pg_hba` 문단에 techlog 쌍과 그 출처.
|
||||
- 이 변경으로 확인한 것(desktop, 2026-11-11):
|
||||
|
||||
```text
|
||||
$ bash scripts/validate/render-phase1.sh # 수정 전 cluster.yaml + 새 불변식
|
||||
@@ -358,7 +363,13 @@ Phase 1 baseline and Gitea OIDC desired rendering invariants passed. (exit
|
||||
|
||||
$ kubectl diff -f platform-postgres.yaml # 수정 후 렌더 vs 라이브
|
||||
(Cluster 차이 없음. DatabaseRole gitea의 기본값 필드 5줄만 +)
|
||||
```
|
||||
|
||||
- 넣기 전까지는 platform-postgres 렌더를 그대로 적용하지 않는다. 적용하면 hyeonworks.com backend가 DB에 못 붙는다.
|
||||
|
||||
### 6.2 Traefik 렌더 결과
|
||||
|
||||
```text
|
||||
$ kubectl kustomize infrastructure/networking/traefik/overlays/trust | kubectl diff -f -
|
||||
+ resources:
|
||||
+ requests:
|
||||
@@ -479,7 +490,7 @@ CIS 4.2.6(`protect-kernel-defaults`)은 CIS v1.7부터 빠진 번호라 이 문
|
||||
4. 필요한 정보: 클러스터 객체 127종, kubelet configz, API 서버·컨트롤러 인자(journal), 인증서 기간, 디스크 배치(`lsblk`·`findmnt`), 렌더 결과 312개와 `kubectl diff`, 도구 넷의 결과. 모두 읽기만.
|
||||
5. 격차: 백업 0개, 상태 PV와 빌드가 같은 파일시스템, 메모리 축출 문턱 0, 우선순위 0, repo 밖 객체 27개와 그로 인한 pg_hba drift, 감사 로그 없음, 업그레이드 116일 없음(패치 4개 뒤).
|
||||
6. 만들고 시험:
|
||||
- pg_hba: 새 불변식이 수정 전 파일에서 실패(RED)하고 수정 후 통과(GREEN). 수정 후 렌더로 `kubectl diff`하면 Cluster 차이가 없다.
|
||||
- pg_hba(w1에 넘김): 새 불변식이 수정 전 파일에서 실패(RED)하고 수정 후 통과(GREEN). 수정 후 렌더로 `kubectl diff`하면 Cluster 차이가 없다.
|
||||
- Traefik: `validate.sh` 통과, `kubectl diff`에 resources만 더해진다.
|
||||
- 이 보고서: 반증할 수 있는 가정 — 「repo를 다시 적용해도 운영이 깨지지 않는다」는 이 PR 뒤에는 pg_hba에 대해 참이어야 한다. 남은 반례는 4.3의 객체들이 지워지는 경우다.
|
||||
- 이 보고서: 반증할 수 있는 가정 — 「repo를 다시 적용해도 운영이 깨지지 않는다」는 w1이 6.1절의 두 줄을 넣은 뒤에는 pg_hba에 대해 참이어야 한다. 남은 반례는 4.3의 객체들이 지워지는 경우다.
|
||||
- 큰 일의 소유자 승인: 소유자 지시 「k3s 구성의 성숙도를 보고 문제 지점을 확인하라」(template-program README 4절 W6, 2026-11-11)를 이 점검의 승인으로 보았다. 구조를 바꾸는 항목은 만들지 않고 8절에 결정으로 올렸다.
|
||||
|
||||
Reference in New Issue
Block a user