job·outbox·internal-error-spike runbook이 근거를 템플릿 개발 때의 설계 번호(D2·D4·D7·D8, K8S-POD-LC-C2, WAF-REL05-C3, TPE-JDK21-C6, OUT_OF_BRANCH_SCOPE), 옛 feature 브랜치 이름의 wiki 링크, 커밋 sha bbe944bd로 적는다. 파생 서비스의 운영자는 그 번호와 브랜치를 찾을 수 없어 근거를 읽지 못한다. 번호마다 그 뜻을 문장으로 쓴다: 한도 없는 queue가 무너지는 이유, CallerRunsPolicy가 요청 지연을 늘리는 이유, 종료 대기 19s와 k8s grace period의 SIGKILL, 다시 해도 같은 오류는 곧바로 DLQ로. PARKED가 생긴 버전은 커밋 sha 대신 V22 migration으로 가리킨다. 「관련 branch」 줄은 지우고, 「관련 runbook」의 wiki 링크는 상대 링크로 바꾼다. 위험: 문서만 바뀐다. 절차와 SQL 블록은 그대로다. 검증: python3 scripts/check-work-docs.py --history docs/runbooks에서 걸린 줄 0, check-docs.py OK. Refs: round9 그룹 A 범위 밖 후속 6
3.7 KiB
3.7 KiB
title, category, error_codes, severity, owner, last_updated, status
| title | category | error_codes | severity | owner | last_updated | status | |
|---|---|---|---|---|---|---|---|
| Runbook — async executor rejected | TRANSIENT_DEPENDENCY |
|
P1 | oncall | 2026-11-13 | 초안 |
Runbook: async executor rejected (runbook://job/executor-rejected)
1. Trigger
이 runbook은 아래 신호로 서비스가 만든 경보가 울리면 쓴다. 이 템플릿은 경보 규칙을 두지 않는다. 경보 이름과 싣는 값은 서비스가 정한다.
- 경보에 실을 만한 값:
error.code=JOB_EXECUTOR_REJECTED,executor_name,policy - 임계:
executor.rejected.total> 0 for 1m (p1) — bounded pool이 saturation으로 task를 거부 - 보조 신호:
executor.saturationgauge > queue capacity의 80% for 5m (p2)
2. First Response (5분 이내)
Step 1 — 확인
- ERROR log에서
JOB_EXECUTOR_REJECTED라인 확인:executor_name,policy=AbortPolicy,queue_size추출 executor.saturation패널에서 큐 점유율 추이 확인 — 일시적 burst인지 지속 saturation인지 판별- 동시 유입 원인 파악: 신규 배포 / 트래픽 spike / 다운스트림 지연으로 worker가 장기 점유되는지
Step 2 — 임시 격리
- AbortPolicy 거부는 호출부에
RejectedExecutionException으로 surface됨 — fire-and-forget@Async호출이면 호출부의 async-exception 처리(log/metric)로 흡수됐는지 확인 - 지속 saturation이면 유입 측(트래픽/스케줄러 빈도)을 우선 감속
3. Diagnosis
- log query:
{service="app"} | error.code="JOB_EXECUTOR_REJECTED" | stats count by executor_name - metric panel:
executor.saturation{executor_name},executor.rejected.total{executor_name, policy} - 가능한 원인 우선순위:
- 다운스트림 의존성 지연 → worker가 반납되지 않아 큐 포화 (가장 흔함)
- 트래픽 spike → 정상 부하 한계 초과
- pool 과소 설정 (
APP_ASYNC_EXECUTOR_*) - non-idempotent 작업이 retry로 누적
4. Mitigation
- 단기: 유입 감속(상위 rate-limit / 스케줄러 interval 확대) 또는 다운스트림 의존성 회복
- pool 재조정(restart-only):
APP_ASYNC_EXECUTOR_CORE_SIZE/APP_ASYNC_EXECUTOR_MAX_SIZE/APP_ASYNC_EXECUTOR_QUEUE_CAPACITY— ⚠ queue를 무한정 키우지 말 것(한도 없는 queue는 거부 대신 메모리를 다 쓰고 무너진다). 부하테스트로 수치 검증 후 변경 - CallerRunsPolicy로의 전환은 use-case 차원의 명시적 결정 필요(넘친 작업을 부른 요청 스레드가 직접 돌려서 그 요청의 지연이 늘어난다)
5. Escalation
- 다운스트림 의존성 장애가 근본 원인이면 해당 의존성 오너에게 escalate
- pool 재조정으로도 saturation이 지속되면 용량 계획(capacity planning) 오너에게 page
6. Recovery / Verification
- 회복 확인:
executor.rejected.total증가 멈춤,executor.saturation< 80% 정상화 - 거부된 작업의 재처리 경로(멱등 retry / 다음 스케줄 cycle) 정상 동작 확인
7. Related
- error-codes.yaml rows:
JOB_EXECUTOR_REJECTED(TRANSIENT_DEPENDENCY, 503, retryable=true, retry_after 5s) - metrics.yaml:
executor.rejected.total{executor_name, policy},executor.saturation{executor_name} - 코드:
app-bootstrapasync/AsyncExecutorConfig(bounded executor),async/LoggingAbortPolicy(reject log+metric),async/BackgroundJobMetrics - env:
APP_ASYNC_EXECUTOR_CORE_SIZE/APP_ASYNC_EXECUTOR_MAX_SIZE/APP_ASYNC_EXECUTOR_QUEUE_CAPACITY - 관련 runbook: job-timeout.md, job-dead-letter.md
Stub 상태 안내: 이 runbook은 skeleton 단계의 stub. 실제 부하 프로파일·alert 채널·pool 수치 확정 시 보강 필요.