feat(observability): alert when Prometheus itself stops working
Nothing tells the owner when monitoring itself fails. On 2026-11-11 Prometheus stored samples 9 hours ahead, then rejected every new sample as out of bounds: rules kept running on no data, and the only sign was a false KubeAPIDown. If Prometheus, Alertmanager or the node went down, no rule could fire at all. Add two rules and one route. PlatformMetricsIngestionStopped fires when no up sample from node-exporter is stored for 5 minutes; absent() still fires while the TSDB rejects samples. PlatformHeartbeat always fires, and a new platform-heartbeat route sends it every 5 minutes to an external dead man's switch through a webhook whose URL comes from the Secret alertmanager-heartbeat. When the pings stop, that service alerts, which covers Prometheus, Alertmanager, the node and the network being down. The chart Watchdog stays disabled; the platform rule keeps the route inside this repository. Rejected: an in-cluster CronJob that queries Prometheus and posts to Alertmanager. It still depends on Alertmanager and the node, and needs a new workload in the exact observability NetworkPolicy matrix. Risk: the AlertmanagerConfig now references alertmanager-heartbeat; applying it before that Secret exists keeps the operator from rendering the new Alertmanager config. The alerting README orders the steps: create the external check, create the Secret, then apply. The heartbeat needs an account on an external service, which only the owner can create. Verification: promtool tests for both rules failed against the old rules and pass now. test-observability-alerting.sh pins the new route and receiver in its exact contract and passes the static contract, the global Alertmanager render with Helm v3.19.4 and the server dry run (--server-dry-run). kubectl apply --dry-run=server accepts the updated PrometheusRule.
This commit is contained in:
@@ -0,0 +1,43 @@
|
||||
# Alertmanager 경로
|
||||
|
||||
`platform-alertmanager.yaml`은 kube-prometheus-stack이 전역
|
||||
`alertmanagerConfiguration`으로 읽는 AlertmanagerConfig 하나다. 경로는 셋이다.
|
||||
|
||||
| 경보 | receiver | 보내는 곳 |
|
||||
| --- | --- | --- |
|
||||
| `InfoInhibitor` | `platform-null` | 버린다 |
|
||||
| `PlatformHeartbeat` | `platform-heartbeat` | 외부 heartbeat 서비스(dead man's switch), 5분마다 |
|
||||
| 나머지 | `platform-slack` | Slack, 4시간마다 다시 |
|
||||
|
||||
## heartbeat (dead man's switch)
|
||||
|
||||
`PlatformHeartbeat`(`rules/platform/core-rules.yaml`)는 항상 울린다. Alertmanager가 이것을
|
||||
5분마다 외부 서비스의 ping URL로 보낸다. ping이 끊기면 그 서비스가 소유자에게 알린다.
|
||||
|
||||
- 막는 것: Prometheus·Alertmanager가 죽었을 때, desktop이나 인터넷 연결이 끊겼을 때.
|
||||
이 경우는 클러스터 안의 어떤 규칙도 알리지 못한다.
|
||||
- 막지 못하는 것: Prometheus가 돌면서 샘플만 버리는 경우(2026-11-11 시계 사고). 규칙은 돌고
|
||||
heartbeat도 계속 나간다. 그 경우는 `PlatformMetricsIngestionStopped`가 Slack으로 알린다.
|
||||
|
||||
### 소유자가 할 일 (적용 전에 한 번)
|
||||
|
||||
1. 외부 heartbeat 서비스에 check를 하나 만든다. 예: healthchecks.io(무료 요금제, 오픈소스라
|
||||
나중에 직접 띄울 수도 있다). 주기 5분, 유예 10분. 알림은 Slack이 아닌 곳(메일·휴대폰)도
|
||||
하나 건다. Slack 경로가 죽었을 때도 알아야 하기 때문이다.
|
||||
2. ping URL을 Secret으로 만든다. URL 자체가 자격 증명이라 화면에 남기지 않는다.
|
||||
|
||||
```bash
|
||||
read -rs HEARTBEAT_URL # ping URL 붙여 넣기, 화면에 안 보임
|
||||
printf '%s' "$HEARTBEAT_URL" | kubectl -n observability create secret generic alertmanager-heartbeat \
|
||||
--from-file=url=/dev/stdin
|
||||
unset HEARTBEAT_URL
|
||||
```
|
||||
|
||||
3. 그 뒤에 rules·alerts를 다시 적용한다(`scripts/bootstrap/apply-observability-access.sh
|
||||
--execute --rules-alerts`). **Secret보다 먼저 적용하지 않는다.** operator가 없는 Secret을
|
||||
가리키는 AlertmanagerConfig로는 설정을 만들지 못한다.
|
||||
4. 확인: 외부 서비스의 check가 5분 안에 「up」이 된다. Alertmanager 지표
|
||||
`alertmanager_notifications_total{integration="webhook"}`가 5분마다 는다.
|
||||
|
||||
Alertmanager egress는 공개 IPv4 TCP/443만 허용한다(`alertmanager-public-https-egress.yaml`).
|
||||
ping URL은 HTTPS여야 한다.
|
||||
@@ -22,6 +22,16 @@ spec:
|
||||
- name: alertname
|
||||
matchType: "="
|
||||
value: InfoInhibitor
|
||||
# PlatformHeartbeat always fires. Sending it every 5 minutes keeps the
|
||||
# external dead man's switch quiet; when it stops, that service alerts.
|
||||
- receiver: platform-heartbeat
|
||||
matchers:
|
||||
- name: alertname
|
||||
matchType: "="
|
||||
value: PlatformHeartbeat
|
||||
groupWait: 0s
|
||||
groupInterval: 1m
|
||||
repeatInterval: 5m
|
||||
inhibitRules:
|
||||
- sourceMatch:
|
||||
- name: alertname
|
||||
@@ -35,6 +45,15 @@ spec:
|
||||
- namespace
|
||||
receivers:
|
||||
- name: platform-null
|
||||
- name: platform-heartbeat
|
||||
webhookConfigs:
|
||||
# Ping URL of the external heartbeat check. Create the Secret before
|
||||
# applying this file; see services/observability/alerting/README.md.
|
||||
- urlSecret:
|
||||
name: alertmanager-heartbeat
|
||||
key: url
|
||||
sendResolved: false
|
||||
maxAlerts: 1
|
||||
- name: platform-slack
|
||||
slackConfigs:
|
||||
- apiURL:
|
||||
|
||||
@@ -143,6 +143,32 @@ spec:
|
||||
summary: platform-postgres의 WAL이 보관소로 올라가지 않음
|
||||
description: 보관을 기다리는 WAL 파일이 10개를 넘은 채 15분이 지났습니다. 보관이 막히면 WAL이 PostgreSQL 볼륨에 쌓여 디스크가 찹니다.
|
||||
runbook_url: https://git.learn.hyeonworks.com/donghyeon.kang/project-infra/src/branch/main/docs/runbooks/2026-07-31-observability-access-cutover.md
|
||||
- name: platform.monitoring
|
||||
rules:
|
||||
# When the TSDB rejects every sample (2026-11-11: the clock went back
|
||||
# after samples were stored 9 hours ahead) rules still run, but on no
|
||||
# data. absent() is one of the few expressions that still fires then.
|
||||
- alert: PlatformMetricsIngestionStopped
|
||||
expr: absent(up{job="prometheus-node-exporter"})
|
||||
for: 5m
|
||||
labels:
|
||||
severity: critical
|
||||
annotations:
|
||||
summary: Prometheus에 새 지표가 저장되지 않음
|
||||
description: 5분 넘게 node-exporter의 up 샘플이 저장되지 않았습니다. Prometheus가 샘플을 버리고 있으면(예 시계가 되돌아감) 다른 지표 경보도 울리지 않습니다.
|
||||
runbook_url: https://git.learn.hyeonworks.com/donghyeon.kang/project-infra/src/branch/main/docs/runbooks/2026-07-31-observability-access-cutover.md
|
||||
# Dead man's switch. Alertmanager forwards this to an external
|
||||
# heartbeat service; when the heartbeat stops, that service alerts.
|
||||
# It covers what no rule here can: Prometheus, Alertmanager or the
|
||||
# whole node being down.
|
||||
- alert: PlatformHeartbeat
|
||||
expr: vector(1)
|
||||
labels:
|
||||
severity: none
|
||||
annotations:
|
||||
summary: 경보 경로 heartbeat
|
||||
description: 항상 울린다. Alertmanager가 이 경보를 외부 dead man's switch로 5분마다 보내고, 끊기면 외부 서비스가 알린다.
|
||||
runbook_url: https://git.learn.hyeonworks.com/donghyeon.kang/project-infra/src/branch/main/docs/runbooks/2026-07-31-observability-access-cutover.md
|
||||
- name: platform.workloads
|
||||
rules:
|
||||
- alert: PlatformPodRestartBurst
|
||||
|
||||
Reference in New Issue
Block a user