Merge pull request 'fix(observability): let Prometheus accept samples after a clock jump' (#2) from fix/prometheus-ooo-window into main

This commit was merged in pull request #2.
This commit is contained in:
2026-11-11 14:18:34 +00:00
2 changed files with 9 additions and 0 deletions
@@ -13,3 +13,10 @@ Alertmanager source는 selector discovery 대신 global
`alertmanagerConfiguration.name=platform-alertmanager`를 참조한다. 참조 대상의
Slack Secret이 준비되기 전에는 이 변경을 live에 적용하지 않고 기존 null 구성을
유지한다.
Prometheus TSDB는 `outOfOrderTimeWindow: 10h`로 늦게 도착한 샘플을 받는다. 시계가
앞으로 튀었다가 되돌아오면 TSDB 머리에 미래 시각 샘플이 남고, 창이 0이면 그 시각이
지날 때까지 모든 수집이 `out of bounds`로 버려진다. 메트릭과 경보가 함께 멈추고,
`absent()` 경보(`KubeAPIDown` 등)는 거짓으로 울린다. 10시간은 재부팅 때 RTC의 KST를
UTC로 읽는 +9시간 오차를 덮는 값이다(2026-11-11 사고). 늦은 샘플이 없으면 추가 메모리는
거의 들지 않는다. 시계 자체를 막는 설정은 `infrastructure/host`가 맡는다.
@@ -219,6 +219,8 @@ prometheus:
scrapeInterval: 30s
evaluationInterval: 30s
walCompression: true
tsdb:
outOfOrderTimeWindow: 10h
automountServiceAccountToken: true
image:
registry: quay.io