Files
clean-architecture-backend-…/docs/runbooks/idempotency-unavailable.md
T
DongHyeonka a81e92faca docs(runbooks): runbook을 한국어로 옮기고 상태를 초안·운영으로 바꾼다
문제: `docs/runbooks`의 runbook 38개가 영어였다(`check-docs.py` language
예외). 머리말 `status`는 `stub`·`active`였는데 문서 체계 규칙(design-docs
`conventions/docs-system.md` 1절)은 runbook 상태를 「초안 · 운영」으로 정한다.
번역하며 대조하니 지금 코드와 다른 주장도 있었다.

고친 것:
- 38개를 번역했다. 코드·명령·경로·설정 키·로그 문자열·표 구조는 그대로다.
  lane이 읽는 SQL·Redis 블록과 표지(`<!-- runbook-sql: … -->`)는 바이트 그대로다.
- `status`: stub → 초안 43개, active → 운영 3개, `template.md`는 `<초안|운영>`.
  머리말이 없는 gRPC runbook 둘은 그대로다.
- 코드에 맞춘 주장:
  - adapter-adapter-disabled: 없는 `adapter_name` 로그 칸 → `ServerFailureLog`의
    `failure classified as ADAPTER_DISABLED` 줄과 예외 메시지. 지금 이 코드를 내는
    곳은 `RoutingNotifier`뿐이다.
  - startup-required-adapter-disabled: `startup.phase=adapter-check` →
    `adapter-enablement`(`StartupPhase.ADAPTER_ENABLEMENT`).
  - cache-stampede-lock-timeout·cache-unavailable·file-download-streaming-failure:
    그 코드는 `error-codes.yaml`에 없고 어느 코드도 내지 않는다고 밝혔다.
  - db-idle-in-tx-timeout: 없는 `spring.jpa.properties.hibernate.connection.timeout`
    → `app.persistence-jpa.transaction.*`. db-query-canceled에 남은 시간 전달을 더했다.
  - dependency-timeout: 「기본 전체 10s」 → profile `timeout.total-call`
    (`HttpClientPlatformSettings` 기본 `4s`, 값은 configuration-reference를 가리킨다).
  - management-actuator-forbidden: 없는 break-glass runbook → 노출 제외 목록
    (`config/observability.yml`).
  - runtime-jvm-oom: 아무것도 쓰지 않는 `error.code=JVM_OOM` 로그를 지우고, 힙 덤프
    경로(`src/Dockerfile`)를 적었다.
  - auth-public-path-misconfiguration: 공개 경로는 `config/security.yml` `public-paths`.
  - grpc-advanced-capabilities: 지운 `GrpcAdvancedSupportMatrix` →
    `GrpcAdvancedCapability.defaultGrade()`, envoy 참조 설정의 실제 경로.
  - grpc-platform-operations: 없는 `runtime_memberships` → registry `"build": "optional-grpc"`.
- 다른 문서·코드가 영어 절 제목으로 인용하는 곳("Recover a failed concurrent index
  migration", "Classify the failure")은 한국어 제목 뒤 괄호에 영어를 남겼다. 인용하는
  쪽(테스트 fixture 메시지, `docs/upgrade`, 다른 세션 범위 문서)은 고치지 않아도 맞다.
- `RunbookCoverageContractTest`: `초안`을 초안으로 보고, 머리말 `status`가 `초안`·`운영`
  밖이면 실패하는 테스트를 더했다.
- `scripts/check-docs-exceptions.txt`에서 runbook language 줄 38개를 지웠다.

버린 대안: 옛 `stub`도 초안으로 계속 받기. 그러면 옛 표기로 쓴 초안이 운영
runbook으로 통과한다. 어휘 밖 값을 실패로 둬야 그 길이 막힌다.

위험·한계:
- 이미 한국어였던 runbook 11개는 `status`만 바꿨고 본문 감사는 하지 않았다.
- runtime-jvm-oom의 「종료 코드 137」은 원문대로 두었다. JVM의
  `-XX:+ExitOnOutOfMemoryError` 종료 코드는 3이고 137은 SIGKILL이라 확인이 필요하다.
- `docs/mongodb/runbooks/*.md`의 `status: active`는 이 테스트 밖이고 범위 밖이라 두었다.

검증: 아래 「검증」 줄은 영역 커밋 여섯이 합쳐진 최종 트리에서 돌렸다.

검증(desktop, 최종 트리 8295db89 = 이 묶음 마지막 커밋의 트리. 로그
`~/d2c-ops-docs-1-logs/`):
- `:app-bootstrap:documentContractTest` rc=0, 68개 실패 0(`RunbookCoverageContractTest` 7개).
  `:app-bootstrap:repositoryContractTest` rc=0, 65개 건너뜀 1(원래 그렇다) 실패 0.
- runbook SQL·Redis 블록을 문서에서 읽는 lane: persistence-jpa
  `postgresqlConcurrentIndexMigrationIntegrationTest`·`postgresqlDistributedLockIntegrationTest`·
  `postgresqlOutboxOrderKeyRunbookIntegrationTest`·`postgresqlOutboxDispositionRunbookIntegrationTest`
  rc=0(35개 실패 0), cache-redis `redisContainerContractTest` rc=0(103개 실패 0),
  `:composition:outbox-relay:mainCheck` rc=0. 모두 실행됨(FROM-CACHE는 다른 leaf의 main 컴파일뿐).
- RED: 새 테스트를 기준 커밋의 옛 runbook에 대면 `legacyStubDebtMustMatchEveryAndOnlyCurrentStubRunbook`과
  `everyRunbookFrontmatterDeclaresDraftOrOperatingStatus`가 실패한다("status=stub").
- `:app-bootstrap:spotlessCheck checkstyleTest testQualityCheck` rc=0.
- 커밋마다(노트북): `python3 scripts/check-docs.py` rc=0, `python3 -m unittest discover -s scripts/tests` rc=0.
2026-11-07 17:56:34 +09:00

11 KiB
Raw Blame History

title, category, error_codes, severity, owner, last_updated, status
title category error_codes severity owner last_updated status
Runbook — IDEMPOTENCY_UNAVAILABLE (멱등성 조정 저장소 사용 불가) TRANSIENT_DEPENDENCY
IDEMPOTENCY_UNAVAILABLE
IDEMPOTENCY_COMPLETION_UNKNOWN
IDEMPOTENCY_RECOVERY_REQUIRED
P2 oncall 2026-11-07 운영

Runbook: IDEMPOTENCY_UNAVAILABLE (runbook://idempotency/unavailable)

증상

  • Idempotency-Key를 받는 엔드포인트에서 HTTP 503(error.code=IDEMPOTENCY_UNAVAILABLE, retryable=true). gRPC는 error-code trailer에 같은 코드가 온다(UNAVAILABLE).
  • replay 저장소(app.idempotency가 고른 JPA나 Redis)가 답하지 않아서 IdempotencyExecutor가 action 실행을 거절했다. 아무것도 실행되지 않았다. 거절은 action 전에 일어나므로 클라이언트가 다시 시도해도 안전하다.
  • 처리 lease가 이미 끝난 claim을 저장소가 시작하지 않을 때도 같은 503이다. 요청이 claim과 action 시작 사이에 lease보다 오래 걸렸다(멈춘 프로세스, 느린 저장소 호출). ERROR 줄 failure classified as IDEMPOTENCY_UNAVAILABLE (…)에 예외가 붙고, 예외 메시지는 the claim's processing lease ran out before the action started; nothing ran: <scope>다. prod JSON 로그에서는 message가 아니라 stack_trace에 있다. 저장소는 멀쩡할 수 있다. 이때도 아무것도 실행되지 않았고, 그 키로 오는 다음 요청이 claim을 넘겨받아 실행한다.
  • HTTP 503 IDEMPOTENCY_COMPLETION_UNKNOWN(retryable=true)은 같은 장애가 action이 실행된 뒤에 닥친 것이다. 결과를 기록하는 동안 저장소가 답하지 않았다. use case가 자기 쓰기 트랜잭션 안에서 executor를 불렀으면, 그 트랜잭션의 DB 쓰기는 예외와 함께 롤백됐다. 자기 트랜잭션을 따로 커밋한 action은 쓰기가 남았고, 트랜잭션 밖의 일(외부 호출, 메시지)은 일어났을 수 있다. 「아무것도 실행되지 않았다」가 아니다. 클라이언트는 같은 키로 다시 보낸다.
  • HTTP 500 IDEMPOTENCY_RECOVERY_REQUIRED(retryable=false)는 반대 경우다. 앞선 시도의 효과가 이미 일어났는지 저장소가 가릴 수 없다. 두 기록이 이 코드를 낸다.
    • ABANDONED: action이 예외를 던졌거나 효과를 모른다고 보고했다. 기록이 만료될 때까지 바뀌지 않는다.
    • 처리 lease(APP_IDEMPOTENCY_PROCESSING_LEASE, 30s)가 지난 EXECUTING: 시도가 죽었거나, lease보다 오래 아직 돌고 있다. executor는 lease를 늘리지 않으므로 느리지만 멀쩡한 요청도 여기에 온다. 서버는 그 요청을 다시 실행하지 않고 기록도 건드리지 않는다. 시도가 아직 돌다가 끝나면 그 결과가 기록되고, 첫 요청은 보통의 응답을 받고, 그 키로 오는 뒤의 요청은 그 결과를 replay로 받는다. 시도가 보고한 실패도 같은 식으로 기록된다. 그래서 이 500은 저절로 멈출 수 있다(소유자 결정 2026-11-04). 이것은 Redis 저장소의 경우다. PostgreSQL 저장소는 템플릿이 부르는 대로 use case의 쓰기 트랜잭션 안에서 불리면, 끝나지 않은 기록을 다른 요청에 보이지 않는다. 그 요청은 첫 트랜잭션이 끝나기를 기다렸다가, 커밋됐으면 replay를, 롤백됐으면 새 실행을 받는다(docs/web/http-contract.md §2).

진단

  • 서비스가 쓰는 멱등성 저장소의 상태를 본다(고른 provider에 따라 JPA datasource나 Redis의 /actuator/health 구성 요소).

  • 같은 시간대에 그 저장소의 커넥션 풀 포화나 시간 초과를 찾는다. executor는 포화를 추측하지 않고 사용 불가로 보고한다.

  • IDEMPOTENCY_RECOVERY_REQUIRED는 실패한 요청의 서버 ERROR 로그에서 scope를 찾는다. 모든 전송 계층이 같은 줄 failure classified as IDEMPOTENCY_RECOVERY_REQUIRED (category=DATA_INTEGRITY, retryable=false)에 예외를 붙여 쓰고(shared-contract ServerFailureLog), 자기 상관 정보를 덧붙인다.

    • web: 덧붙이는 것이 없다. 줄에 요청의 X-Request-Id(MDC request_id)가 실린다.
    • gRPC: (method=<service>/<method>). 서비스가 callback 스레드에서 호출을 닫았으면 MDC request_id도 있다.
    • GraphQL: (executionId=<id>). 클라이언트가 오류의 extensions에서 받은 executionId다.
    • STOMP(@MessageMapping): 덧붙이는 것이 없다. MDC request_id는 그 frame의 것이다.

    예외 메시지는 <operation code>::v<digest version>::<scope digest>로 끝난다. 예: claim requires reconciliation: CHARGE_CARD::v1::3f9a…(16진수 64자). 그다음 서비스가 쓰는 저장소 (APP_IDEMPOTENCY_PROVIDER)에서 기록을 본다. 이것을 해 주는 도구는 없다. 아래가 그 명령이다.

    • Redis. 키는 예를 들어 prod:order:shared:idem:v1:d1:CHARGE_CARD:3f9a…이고, 모양은 다음과 같다.

      <APP_REDIS_NAMESPACE_ENVIRONMENT>:<APP_REDIS_NAMESPACE_SERVICE>:<APP_REDIS_NAMESPACE_DOMAIN>:idem:v1:d<digest version>:<operation code>:<scope digest>
      
      HMGET <key> state attempt leaseUntil
      PTTL <key>
      

      state ABANDONED는 바뀌지 않는다. state EXECUTING이면서 leaseUntil(lease 끝, epoch 밀리초, 서버 시계)이 서버의 TIME(첫 값 × 1000)보다 이르면, lease가 지났지만 아직 돌고 있을 수 있는 시도다. PTTL은 기록이 앞으로 살아 있을 시간(밀리초)이다.

    • PostgreSQL. 애플리케이션의 스키마에서:

      SELECT status, attempt, failure_disposition, last_transition_kind,
             processing_lease_until, expires_at, updated_at
        FROM idempotency_record
       WHERE record_version = 2
         AND scope_hash = '<scope digest>';
      

      status ABANDONED에 last_transition_kind FAIL_ABANDONED면 action이 예외를 던졌거나 효과를 모른다고 보고했다. status EXECUTING에 processing_lease_until이 clock_timestamp()보다 이르면, lease가 지났지만 아직 돌고 있을 수 있는 시도다. expires_at은 reaper가 행을 지우는 시각이다.

      이력: ABANDONED에 EXPIRED_EXECUTION은 2026-11-04 전 버전에서 lease가 끝난 행이다. 그 버전은 그런 행을 버렸다. 행이 만료되면 사라진다.

조치

  • IDEMPOTENCY_UNAVAILABLE: 저장소를 되살린다. 클라이언트는 같은 키로 백오프하며 다시 시도한다. 예외 메시지가 action 시작 전에 claim의 처리 lease가 끝났다고 하면 저장소가 원인이 아니다. claim과 시작 사이에 그 요청들을 붙잡은 것을 찾는다(스레드 덤프, GC 멈춤, 그 시간대의 저장소 지연). 고칠 것은 없다. 같은 키의 다음 요청이 실행된다.

  • IDEMPOTENCY_COMPLETION_UNKNOWN: 저장소를 되살린 뒤, 실패한 요청들의 트랜잭션 밖 효과를 확인한다(ERROR 로그 줄이 코드를 알려 준다). 같은 키로 다시 보내면, 실제로 기록된 결과는 replay로 받고, 시도의 lease가 남은 동안은 IDEMPOTENT_IN_FLIGHT를, 그 뒤에는 IDEMPOTENCY_RECOVERY_REQUIRED를 받는다. 마지막 것은 아래처럼 다룬다.

  • IDEMPOTENCY_RECOVERY_REQUIRED: 클라이언트에게 그냥 다시 시도하라고 하지 않는다. 기록이 lease가 지난 EXECUTING이면 먼저 시도를 기다린다. action이 걸릴 수 있는 가장 긴 시간이 지난 뒤 기록을 다시 본다. 시도가 끝나면 기록은 저절로 바뀐다. COMPLETED(다시 보내면 replay된다, 할 일 없음), ABANDONED, FAILED_RETRYABLE (시도가 효과가 없었음을 증명했고, 그 키의 다음 요청이 실행한다) 중 하나다. 죽은 시도, 또는 요청이 이미 IDEMPOTENCY_COMPLETION_UNKNOWN으로 끝난 시도는 기록을 바꾸지 않는다. 그 기록은 만료될 때까지 EXECUTING으로 남는다. 시도가 아직 도는 동안 확인한 업무 데이터는 효과가 들어가기 직전에 「효과 없음」으로 보일 수 있다. 그다음 업무 데이터(주문, 결제, 하위 시스템)로 효과가 있는지 확인한다. 기록을 손으로 완료할 방법은 없다. 저장된 응답은 action 자신의 결과다.

    • 효과가 있다: 클라이언트에게 적용됐다고 알린다. 기록은 그대로 둔다. 그 키로 다시 보내면 기록이 만료될 때까지 (Redis PTTL, PostgreSQL expires_at) 이 500을 계속 받는다.
    • 효과가 없다: 클라이언트가 새 키로 요청을 다시 보낸다. 같은 키로 다시 돌리게 하려면 기록을 지운다. 단 ABANDONED일 때만 지운다. 다른 상태는 아직 돌고 있을 수 있는 요청이나 저장된 결과의 것이다. EXECUTING 기록은 lease가 지났어도 지우지 않는다. 그 시도가 아직 살아 있으면 늦게 온 결과가 기록을 찾지 못하고 (ABSENT) 결과가 사라진다. 첫 요청은 일이 적용된 뒤에 이 500을 받고, 그 키의 다음 요청이 일을 한 번 더 한다. 만료되게 둔다.
      • Redis: 확인과 삭제를 한 단계로, 서비스에 등록된 스크립트가 도는 계정으로 한다 (APP_REDIS_AUTHENTICATION_ADVANCED_CREDENTIAL_REFERENCE, 비어 있으면 애플리케이션 계정). HMGET으로 확인하고 DEL을 보내면 명령이 둘이다. 그 사이에 만료되어 새 요청이 다시 claim한 기록은 그 요청이 도는 동안 지워지고, 그 키의 다음 요청이 일을 한 번 더 한다(2026-11-04 재확인 리뷰 RR4-03-02). 아래 프로그램은 state가 ABANDONED일 때만 키를 지운다. 애플리케이션 계정은 EVAL이 막혀 있으므로 (compose/redis/acl/README.md), 서비스가 자기 스크립트를 돌리는 것처럼 불러 올리고 SCRIPT LOAD가 찍은 digest로 돌린다.

        SCRIPT LOAD "if redis.call('HGET', KEYS[1], 'state') == 'ABANDONED' then return redis.call('DEL', KEYS[1]) end return 0"
        EVALSHA <digest SCRIPT LOAD printed> 1 <key>
        

        1이면 기록을 지웠고 키는 새것이다. 0이면 아무것도 지우지 않았다. 기록이 더는 ABANDONED가 아니다 (또는 없다). 다른 일을 하기 전에 다시 본다. NOSCRIPT는 키를 가진 노드(클러스터)가 프로그램을 불러 올리지 않았다는 뜻이다. 그 노드에서 SCRIPT LOAD를 돌리고 EVALSHA를 다시 한다. 아무것도 지워지지 않았다. 곧 만료될 기록은 할 일이 없다. 사라지면 키는 새것이다.

      • PostgreSQL:

        DELETE FROM idempotency_record
         WHERE record_version = 2
           AND scope_hash = '<scope digest>'
           AND status = 'ABANDONED';
        

    어느 단계도 하지 않으면 기록이 만료될 때 키가 풀린다. 시도가 끝나지 않은 기록은 claim부터 처리 lease에 APP_IDEMPOTENCY_TTL을 더한 만큼 산다. action이 실패로 표시한 기록은 실패부터 APP_IDEMPOTENCY_FAILURE_RETENTION(APP_IDEMPOTENCY_TTL보다 짧지 않다)만큼 산다 (docs/web/http-contract.md 「서버가 기억하는 기간」).

에스컬레이션

  • 쓰기 경로에서 저장소가 10분 넘게 사용 불가로 남으면 P2 → P1.
  • 멱등성 저장소 소유자(DB나 Redis 당번)를 부른다.