diff --git a/services/observability/kube-prometheus-stack/README.md b/services/observability/kube-prometheus-stack/README.md index c6fbd92..9bb0783 100644 --- a/services/observability/kube-prometheus-stack/README.md +++ b/services/observability/kube-prometheus-stack/README.md @@ -13,3 +13,10 @@ Alertmanager source는 selector discovery 대신 global `alertmanagerConfiguration.name=platform-alertmanager`를 참조한다. 참조 대상의 Slack Secret이 준비되기 전에는 이 변경을 live에 적용하지 않고 기존 null 구성을 유지한다. + +Prometheus TSDB는 `outOfOrderTimeWindow: 10h`로 늦게 도착한 샘플을 받는다. 시계가 +앞으로 튀었다가 되돌아오면 TSDB 머리에 미래 시각 샘플이 남고, 창이 0이면 그 시각이 +지날 때까지 모든 수집이 `out of bounds`로 버려진다. 메트릭과 경보가 함께 멈추고, +`absent()` 경보(`KubeAPIDown` 등)는 거짓으로 울린다. 10시간은 재부팅 때 RTC의 KST를 +UTC로 읽는 +9시간 오차를 덮는 값이다(2026-11-11 사고). 늦은 샘플이 없으면 추가 메모리는 +거의 들지 않는다. 시계 자체를 막는 설정은 `infrastructure/host`가 맡는다. diff --git a/services/observability/kube-prometheus-stack/values/home.yaml b/services/observability/kube-prometheus-stack/values/home.yaml index 6994a76..2c0f3a0 100644 --- a/services/observability/kube-prometheus-stack/values/home.yaml +++ b/services/observability/kube-prometheus-stack/values/home.yaml @@ -219,6 +219,8 @@ prometheus: scrapeInterval: 30s evaluationInterval: 30s walCompression: true + tsdb: + outOfOrderTimeWindow: 10h automountServiceAccountToken: true image: registry: quay.io