Files
clean-architecture-backend-…/docs/runbooks/job-timeout.md
T
DongHyeonka a81e92faca docs(runbooks): runbook을 한국어로 옮기고 상태를 초안·운영으로 바꾼다
문제: `docs/runbooks`의 runbook 38개가 영어였다(`check-docs.py` language
예외). 머리말 `status`는 `stub`·`active`였는데 문서 체계 규칙(design-docs
`conventions/docs-system.md` 1절)은 runbook 상태를 「초안 · 운영」으로 정한다.
번역하며 대조하니 지금 코드와 다른 주장도 있었다.

고친 것:
- 38개를 번역했다. 코드·명령·경로·설정 키·로그 문자열·표 구조는 그대로다.
  lane이 읽는 SQL·Redis 블록과 표지(`<!-- runbook-sql: … -->`)는 바이트 그대로다.
- `status`: stub → 초안 43개, active → 운영 3개, `template.md`는 `<초안|운영>`.
  머리말이 없는 gRPC runbook 둘은 그대로다.
- 코드에 맞춘 주장:
  - adapter-adapter-disabled: 없는 `adapter_name` 로그 칸 → `ServerFailureLog`의
    `failure classified as ADAPTER_DISABLED` 줄과 예외 메시지. 지금 이 코드를 내는
    곳은 `RoutingNotifier`뿐이다.
  - startup-required-adapter-disabled: `startup.phase=adapter-check` →
    `adapter-enablement`(`StartupPhase.ADAPTER_ENABLEMENT`).
  - cache-stampede-lock-timeout·cache-unavailable·file-download-streaming-failure:
    그 코드는 `error-codes.yaml`에 없고 어느 코드도 내지 않는다고 밝혔다.
  - db-idle-in-tx-timeout: 없는 `spring.jpa.properties.hibernate.connection.timeout`
    → `app.persistence-jpa.transaction.*`. db-query-canceled에 남은 시간 전달을 더했다.
  - dependency-timeout: 「기본 전체 10s」 → profile `timeout.total-call`
    (`HttpClientPlatformSettings` 기본 `4s`, 값은 configuration-reference를 가리킨다).
  - management-actuator-forbidden: 없는 break-glass runbook → 노출 제외 목록
    (`config/observability.yml`).
  - runtime-jvm-oom: 아무것도 쓰지 않는 `error.code=JVM_OOM` 로그를 지우고, 힙 덤프
    경로(`src/Dockerfile`)를 적었다.
  - auth-public-path-misconfiguration: 공개 경로는 `config/security.yml` `public-paths`.
  - grpc-advanced-capabilities: 지운 `GrpcAdvancedSupportMatrix` →
    `GrpcAdvancedCapability.defaultGrade()`, envoy 참조 설정의 실제 경로.
  - grpc-platform-operations: 없는 `runtime_memberships` → registry `"build": "optional-grpc"`.
- 다른 문서·코드가 영어 절 제목으로 인용하는 곳("Recover a failed concurrent index
  migration", "Classify the failure")은 한국어 제목 뒤 괄호에 영어를 남겼다. 인용하는
  쪽(테스트 fixture 메시지, `docs/upgrade`, 다른 세션 범위 문서)은 고치지 않아도 맞다.
- `RunbookCoverageContractTest`: `초안`을 초안으로 보고, 머리말 `status`가 `초안`·`운영`
  밖이면 실패하는 테스트를 더했다.
- `scripts/check-docs-exceptions.txt`에서 runbook language 줄 38개를 지웠다.

버린 대안: 옛 `stub`도 초안으로 계속 받기. 그러면 옛 표기로 쓴 초안이 운영
runbook으로 통과한다. 어휘 밖 값을 실패로 둬야 그 길이 막힌다.

위험·한계:
- 이미 한국어였던 runbook 11개는 `status`만 바꿨고 본문 감사는 하지 않았다.
- runtime-jvm-oom의 「종료 코드 137」은 원문대로 두었다. JVM의
  `-XX:+ExitOnOutOfMemoryError` 종료 코드는 3이고 137은 SIGKILL이라 확인이 필요하다.
- `docs/mongodb/runbooks/*.md`의 `status: active`는 이 테스트 밖이고 범위 밖이라 두었다.

검증: 아래 「검증」 줄은 영역 커밋 여섯이 합쳐진 최종 트리에서 돌렸다.

검증(desktop, 최종 트리 8295db89 = 이 묶음 마지막 커밋의 트리. 로그
`~/d2c-ops-docs-1-logs/`):
- `:app-bootstrap:documentContractTest` rc=0, 68개 실패 0(`RunbookCoverageContractTest` 7개).
  `:app-bootstrap:repositoryContractTest` rc=0, 65개 건너뜀 1(원래 그렇다) 실패 0.
- runbook SQL·Redis 블록을 문서에서 읽는 lane: persistence-jpa
  `postgresqlConcurrentIndexMigrationIntegrationTest`·`postgresqlDistributedLockIntegrationTest`·
  `postgresqlOutboxOrderKeyRunbookIntegrationTest`·`postgresqlOutboxDispositionRunbookIntegrationTest`
  rc=0(35개 실패 0), cache-redis `redisContainerContractTest` rc=0(103개 실패 0),
  `:composition:outbox-relay:mainCheck` rc=0. 모두 실행됨(FROM-CACHE는 다른 leaf의 main 컴파일뿐).
- RED: 새 테스트를 기준 커밋의 옛 runbook에 대면 `legacyStubDebtMustMatchEveryAndOnlyCurrentStubRunbook`과
  `everyRunbookFrontmatterDeclaresDraftOrOperatingStatus`가 실패한다("status=stub").
- `:app-bootstrap:spotlessCheck checkstyleTest testQualityCheck` rc=0.
- 커밋마다(노트북): `python3 scripts/check-docs.py` rc=0, `python3 -m unittest discover -s scripts/tests` rc=0.
2026-11-07 17:56:34 +09:00

3.4 KiB

title, category, error_codes, severity, owner, last_updated, status
title category error_codes severity owner last_updated status
Runbook — background job timeout TRANSIENT_DEPENDENCY
JOB_TIMEOUT
P2 oncall 2026-11-03 초안

Runbook: background job timeout (runbook://job/timeout)

1. Trigger

이 runbook은 다음 alert에서 발동됩니다.

  • alert name: job_timeout
  • alert payload 필수 field: error.code=JOB_TIMEOUT, job_name, correlation_id, runbook_link
  • 임계: job.retry.total{outcome=RETRY} 급증 또는 graceful-shutdown 중 in-flight job interrupt 발생
  • 연관: shutdown phase에서 19s await 초과로 interrupt된 job (D8)

2. First Response (10분 이내)

Step 1 — 확인

  1. ERROR log에서 JOB_TIMEOUT 라인 확인: job_name, 마지막 단계, 소요 시간 추출
  2. timeout이 정상 실행 중 발생인지, graceful-shutdown(배포/스케일다운) 중 interrupt인지 구분
  3. 해당 job이 멱등(retry-on-next-cycle 안전)인지 확인 — 비멱등이면 §4에서 신중히 처리

Step 2 — 임시 격리

  • shutdown 중 interrupt면: 다음 기동 시 재시도 대상인지(멱등 전제) 확인, 중복 부작용 여부 점검
  • 정상 실행 중 timeout이면: 해당 job의 외부 의존성(DB/HTTP) 지연 여부 확인

3. Diagnosis

  • log query: {service="app"} | error.code="JOB_TIMEOUT" | stats count by job_name
  • metric panel: job.retry.total{job_name, outcome}
  • 가능한 원인 우선순위:
    • 외부 의존성(DB lock / 느린 HTTP) 지연으로 job p99 상승
    • job 작업량 증가로 단일 cycle이 19s 예산 초과 (D8 — interrupt 노출)
    • interrupt 미반응 blocking call(JDBC 등) → awaitTermination 초과 (K8S-POD-LC-C2 SIGKILL 경로)

4. Mitigation

  • 단기: 의존성 회복 / job 입력 배치 크기 축소
  • job p99가 구조적으로 19s를 넘으면: 작업을 분할하거나, grace period 연장 검토(parent project 운영 계약 소유자 승인 필요 — OUT_OF_BRANCH_SCOPE)
  • 비멱등 job이 재시도로 중복 부작용을 내면 멱등키/dedupe 도입 우선

5. Escalation

  • 의존성 지연이 근본 원인이면 해당 의존성 오너에게 escalate
  • 종료 예산은 차례로 더한 값이다: 웹 drain(APP_SERVER_SHUTDOWN_TIMEOUT, 기본 30s)이 끝난 뒤 async 대기 19s, 합계 49s에 preStop(5s)과 여유를 더한다. k8s terminationGracePeriodSeconds가 이보다 작으면(예: 기본 30s) async 대기 중 SIGKILL이다. compose는 60s(compose.yaml stop_grace_period, 합계는 DeveloperExperienceContractTest가 검사). 정합 이슈면 플랫폼/런타임 오너에게 escalate

6. Recovery / Verification

  • 회복 확인: JOB_TIMEOUT 신규 발생 멈춤, job.retry.total{outcome=SUCCESS} 정상 비율 회복
  • 멱등 재시도분의 부작용 중복 없음 확인
  • error-codes.yaml rows: JOB_TIMEOUT (TRANSIENT_DEPENDENCY, 500, retryable=true, retry_after 10s)
  • metrics.yaml: job.retry.total{job_name, outcome}
  • 코드: app-bootstrap async/AsyncExecutorConfig(awaitTermination 19s — D8 graceful shutdown)
  • env: APP_SERVER_SHUTDOWN_TIMEOUT(owner: feature-env-driven-runtime-configuration D2)
  • 관련 runbook: job-executor-rejected, job-dead-letter
  • 관련 branch: feature-background-job-async-contract (D4 retry / D8 shutdown)

Stub 상태 안내: 이 runbook은 skeleton 단계의 stub. 실제 retry carrier·job p99·shutdown 예산 확정 시 보강 필요.