Files
clean-architecture-backend-…/docs/runbooks/job-timeout.md
T
DongHyeonka 50cd7154d0 refactor(compose)!: compose 파일을 개발 환경 하나와 lane fixture로 나눈다
문제:
- 루트 compose 6개와 infra/ 아래 12개가 개발 환경, 테스트 lane fixture,
  보조 파일을 가리지 않고 섞여 있다. 이름 모양도 셋이다.
- README 빠른 시작 scripts/bootstrap-local.sh는 docker-compose.yml과
  .local.yml만 합친 뒤, 둘 어디에도 없는 db 서비스를 띄우려다 멈춘다.
- compose smoke all-adapters lane은 앱이 mem_limit 512m를 넘어 커널에
  죽고(OOM), restart: unless-stopped로 다시 떠서 죽는 때가 smoke 요청과
  겹칠 때만 실패한다. smoke는 재시작을 보지 않아 나머지 실행은 거짓 통과다.

고른 방법(소유자 결정 2026-11-07):
- 루트에 개발용 compose.yaml 하나. app(local 런타임)과 뒷단 서비스를
  capability profile(jpa, redis, kafka, mongo, objectstorage, auth, mail)로
  고른다. 마운트하는 보조 파일은 compose/(keycloak, minio init, Redis ACL,
  mailpit 인증서 폴더).
- lane fixture는 lane을 가진 leaf로: dev·prod-smoke·tls overlay, fileserver
  overlay, smoke·스키마 적용 서비스(lane-services.yaml)와 스크립트, lane
  계약 JSON → src/app-bootstrap/compose-lanes/. Redis topology →
  redis-sdk/compose/, NFS → fileserver/compose/nfs/. infra/는 없어진다.
- 계약의 composeProfile(문자열)을 composeProfiles(목록)로 바꾼다. lane이
  backing profile과 lane profile을 함께 켠다. 18 lane의 서비스 집합은
  전과 같다(verify-compose-profile-contracts.sh가 정확히 대조).
- smoke: lane이 끝나기 전에 그 project의 모든 컨테이너가 재시작 0,
  OOMKilled false인지 보고 아니면 실패한다. 앱의 memory.peak를 증거로
  남긴다. all-adapters만 appMemoryLimit 1g(계약 칸, smoke가 overlay에 씀).
- bootstrap-local.sh는 compose.yaml로 db와 app을 띄운다(인자 없음).
- 개발 compose와 lane 바탕이 같은 파일이라, app healthcheck는 모든
  런타임에서 답하는 관리 포트 readiness로 둔다.
버린 대안: lane을 Testcontainers로 옮기기(설계 다-2, 별도 판단), lane마다
기본 메모리를 올리기(배포 기본값 512m 계약을 흐림).

위험·한계:
- 개발 compose의 app이 src/.env를 읽으므로, 개발자 src/.env가 dev·prod
  lane에도 들어간다. lane 값은 생성 overlay의 environment가 이기고, CI에는
  src/.env가 없다.
- MinIO 이미지 기본값이 compose.yaml과 lane-services.yaml 두 곳에 있다
  (YAML anchor는 파일을 넘지 못한다). ComposeMinioImageMatchesEvidenceTest가
  둘 다 evidence digest와 대조한다.
- env 키 검사(verifyEnvKeys)는 compose.yaml과 lane overlay를 읽고
  lane-services.yaml(smoke client 변수)은 뺀다.

검증(desktop, 트리 6d1e9f9d → 주석·문서만 고친 d0703901, ~/t1-layout-logs/):
- verify-compose-profile-contracts.sh rc=0 (18 lane 정확히 일치)
- :app-bootstrap:check :app-bootstrap:documentContractTest
  :app-bootstrap:verifyEnvKeys와 objectstorage·cache-redis·redis-sdk·
  redis-runtime·fileserver·composition:fileserver-platform check rc=0
- :app-bootstrap:integrationTest(ComposeMergeCharacterizationTest 포함),
  :adapter:outbound:cache-redis:redisContainerContractTest rc=0
- -p build-logic check rc=0, :verifyStrictLaneStages --dry-run rc=0
- scripts/run-compose-runtime-smoke.sh --matrix(18 lane) rc=0, 794초.
  모든 lane 컨테이너 재시작 0·OOMKilled false. 앱 memory.peak 최고
  all-adapters 532MiB(512m 한도를 넘는 값이라 1g의 근거), 나머지 244~422MiB
- scripts/bootstrap-local.sh rc=0(db·app 기동, /api/healthcheck 200 UP).
  기준 ac03192d의 base+local 조합은 config --services가 app뿐이고
  up --wait db가 "no such service: db"로 rc=1
- 정리할 때 `docker compose down`은 profile 서비스(db)를 남겨
  README·compose.yaml 안내를 `--profile '*' down`으로 고치고 다시 확인
- 주석·문서 수정 뒤 :app-bootstrap:repositoryContractTest
  :app-bootstrap:documentContractTest, verify-compose rc=0

Refs: design-docs repo-structure/README.md 3.1, repo-structure/01-backend-layout.md 6.3
BREAKING CHANGE: 루트 docker-compose*.yml과 infra/가 없어지고 compose.yaml(profile)·compose/·leaf 안 lane fixture로 옮겨졌다. lane 계약은 src/app-bootstrap/compose-lanes/compose-profile-contracts.json, composeProfile → composeProfiles. docs/upgrade/2026-11-maturity-review.md B-51.
2026-11-07 12:52:36 +09:00

3.4 KiB

title, category, error_codes, severity, owner, last_updated, status
title category error_codes severity owner last_updated status
Runbook — background job timeout TRANSIENT_DEPENDENCY
JOB_TIMEOUT
P2 oncall 2026-11-03 stub

Runbook: background job timeout (runbook://job/timeout)

1. Trigger

이 runbook은 다음 alert에서 발동됩니다.

  • alert name: job_timeout
  • alert payload 필수 field: error.code=JOB_TIMEOUT, job_name, correlation_id, runbook_link
  • 임계: job.retry.total{outcome=RETRY} 급증 또는 graceful-shutdown 중 in-flight job interrupt 발생
  • 연관: shutdown phase에서 19s await 초과로 interrupt된 job (D8)

2. First Response (10분 이내)

Step 1 — 확인

  1. ERROR log에서 JOB_TIMEOUT 라인 확인: job_name, 마지막 단계, 소요 시간 추출
  2. timeout이 정상 실행 중 발생인지, graceful-shutdown(배포/스케일다운) 중 interrupt인지 구분
  3. 해당 job이 멱등(retry-on-next-cycle 안전)인지 확인 — 비멱등이면 §4에서 신중히 처리

Step 2 — 임시 격리

  • shutdown 중 interrupt면: 다음 기동 시 재시도 대상인지(멱등 전제) 확인, 중복 부작용 여부 점검
  • 정상 실행 중 timeout이면: 해당 job의 외부 의존성(DB/HTTP) 지연 여부 확인

3. Diagnosis

  • log query: {service="app"} | error.code="JOB_TIMEOUT" | stats count by job_name
  • metric panel: job.retry.total{job_name, outcome}
  • 가능한 원인 우선순위:
    • 외부 의존성(DB lock / 느린 HTTP) 지연으로 job p99 상승
    • job 작업량 증가로 단일 cycle이 19s 예산 초과 (D8 — interrupt 노출)
    • interrupt 미반응 blocking call(JDBC 등) → awaitTermination 초과 (K8S-POD-LC-C2 SIGKILL 경로)

4. Mitigation

  • 단기: 의존성 회복 / job 입력 배치 크기 축소
  • job p99가 구조적으로 19s를 넘으면: 작업을 분할하거나, grace period 연장 검토(parent project 운영 계약 소유자 승인 필요 — OUT_OF_BRANCH_SCOPE)
  • 비멱등 job이 재시도로 중복 부작용을 내면 멱등키/dedupe 도입 우선

5. Escalation

  • 의존성 지연이 근본 원인이면 해당 의존성 오너에게 escalate
  • 종료 예산은 차례로 더한 값이다: 웹 drain(APP_SERVER_SHUTDOWN_TIMEOUT, 기본 30s)이 끝난 뒤 async 대기 19s, 합계 49s에 preStop(5s)과 여유를 더한다. k8s terminationGracePeriodSeconds가 이보다 작으면(예: 기본 30s) async 대기 중 SIGKILL이다. compose는 60s(compose.yaml stop_grace_period, 합계는 DeveloperExperienceContractTest가 검사). 정합 이슈면 플랫폼/런타임 오너에게 escalate

6. Recovery / Verification

  • 회복 확인: JOB_TIMEOUT 신규 발생 멈춤, job.retry.total{outcome=SUCCESS} 정상 비율 회복
  • 멱등 재시도분의 부작용 중복 없음 확인
  • error-codes.yaml rows: JOB_TIMEOUT (TRANSIENT_DEPENDENCY, 500, retryable=true, retry_after 10s)
  • metrics.yaml: job.retry.total{job_name, outcome}
  • 코드: app-bootstrap async/AsyncExecutorConfig(awaitTermination 19s — D8 graceful shutdown)
  • env: APP_SERVER_SHUTDOWN_TIMEOUT(owner: feature-env-driven-runtime-configuration D2)
  • 관련 runbook: job-executor-rejected, job-dead-letter
  • 관련 branch: feature-background-job-async-contract (D4 retry / D8 shutdown)

Stub 상태 안내: 이 runbook은 skeleton 단계의 stub. 실제 retry carrier·job p99·shutdown 예산 확정 시 보강 필요.