Files
clean-architecture-backend-…/docs/mongodb/runbooks/failover.md
T
DongHyeonka 6a792b8144 refactor(layout)!: 옮긴 경로를 부르는 곳을 모두 새 배치에 맞춘다
문제: 앞 커밋이 Gradle 루트를 저장소 루트로 옮기고 계층 폴더를 묶었다.
빌드 스크립트·build-logic·시험·workflow·스크립트·문서가 아직 옛 배치
(Gradle 루트 = src/)를 가정해 빌드가 되지 않는다.

고른 방법:
- Gradle 경로와 registry id는 그대로 둔다(:app-bootstrap, :application-core,
  :composition:*). registry의 source_path만 새 폴더를 가리킨다. 폴더에 맞춘
  이름(:domain:core, :application:core)은 프로젝트 이름 core가 둘이 되어
  boot jar의 BOOT-INF/lib와 기본 capability가 겹치고, 파생 서비스의 모든
  project(':…') 줄을 바꾸게 한다.
- registry는 gradle/modules.json, 시험 이미지 목록은
  gradle/container-images.properties: 버전 카탈로그 옆, 빌드가 고정하는 것.
  config/는 코드 검사 도구 설정만 둔다.
- build-logic: settings·architecture 플러그인의 저장소 루트를 Gradle 루트로
  (getParentFile 제거). config contract의 파일 트리는 src/만 훑는다(루트를
  훑으면 docs·.claude/worktrees까지 줍는다).
- 빌드 스크립트: rootProject.projectDir.parentFile → rootProject.projectDir,
  rootProject.file('../…') → rootProject.file('…'), 옛 src 기준 include에
  src/를 붙인다. notification API surface의 application-notification 소스
  루트를 새 폴더로(놓치면 272개 타입이 surface에서 말없이 빠진다).
- 시험: 옛 src 기준 모듈 목록과 ../ 개수를 고친다. 없는 폴더를 말없이
  건너뛰던 목록(MessagingAuthority, NotificationPayloadAtRest 등)을 새
  폴더로, FileserverDocumentationCoverageTest는 Gradle 경로 → 폴더를
  registry로 찾는다. Docker 계약은 WORKDIR /build, 새 jar 경로.
- Docker: 빌드 context를 저장소 루트로, .dockerignore는 허용 목록으로 다시
  써서 전에 context였던 것만 들어가게 한다. compose의 build.context는 .,
  env_file은 ./.env.
- workflow: working-directory: src 기본값과 그것을 되돌리던 줄을 지운다.
- scripts: verify.sh, ci/*, bootstrap-local, new-feature,
  verify-feature-scaffold, mongo 검증, hooks, check-repo-layout 허용 목록.
  check-docs의 경로 검사는 build-logic/·gradle/로 시작하는 경로도 본다.
- 문서: AGENTS.md 지도, README 구조 표, leaf AGENTS.md의 cd src, gates·
  operate·결정 색인, src/bootstrap/AGENTS.md를 조립 계층 family 규칙으로
  다시 쓴다. 기록 문서(docs/design·history·reviews, 지난 upgrade 안내,
  capability-status 제거 표)는 머리 블록만 고친다. 파생 서비스용 안내
  docs/upgrade/2026-11-relayout.md를 더한다.

위험: bootRun working dir가 저장소 루트가 되어 .env와 상대 경로 설정이
루트 기준이다. 루트 .env는 compose 보간에도 읽힌다(upgrade 안내 5절).
파생 서비스는 태그 pre-relayout-2026-11까지 받은 뒤 이 묶음을 받는다.

검증: desktop에서 캐시 없이 scripts/verify.sh docs·pr·main·release,
compose smoke 18 lane, 빠른 시작(scripts/verify.sh app). 결과는 PR 본문.
구조 리뷰(arch-reviewer) 지적 5건을 반영했다.

BREAKING CHANGE: Gradle은 저장소 루트에서 돈다(cd src 없음). registry는
gradle/modules.json, 이미지 빌드 context는 저장소 루트다. 옛 경로 → 새 경로
표는 docs/upgrade/2026-11-relayout.md.
Refs: design-docs repo-structure/01-backend-layout.md 6.1절 가-2·가-3
2026-11-11 22:15:42 +09:00

5.3 KiB

title, category, severity, owner, last_updated, status
title category severity owner last_updated status
Runbook — MongoDB primary 장애 조치(failover) mongodb P2 oncall 2026-08-13 운영

Runbook: MongoDB primary 장애 조치(failover)

설계서 §29, 시나리오 PRIMARY_KILL, NETWORK_PARTITION, SERVER_SELECTION_TIMEOUT, WRITE_RESPONSE_LOSS.

증상

  • MongoServerSelectionException / MongoConnectionException이 치솟았다가 몇 초 안에 회복한다.
  • MongoSdamObservationListener가 토폴로지 변화를 보고한다(primary 빠짐, 새 primary 선출).
  • MongoPoolObservationListener에서 connection checkout 대기 시간은 오르는데 서버 쪽 명령 시간은 평평하다. 기다린 원인은 query 비용이 아니라 토폴로지다.
  • 쓰기 지연이 치솟는데 읽기 지연은 그만큼 오르지 않는다.

약 15초 안에 끝나고 WRITE_RESULT_UNKNOWN을 만들지 않은 failover는 정상적인 replica set 동작이다. 스스로 회복했는지 확인하는 것 말고는 할 일이 없다.

진단

  1. 선출이 실제로 있었는지 확인한다. SDAM 이벤트가 있어야 선출과 「DB가 느려졌다」를 구분한다. 없으면 애플리케이션 metric으로는 둘을 구분할 수 없다.
  2. 실패 분류를 나눈다. Metric tag failureCategory:
    • SERVER_SELECTION / CONNECTION → driver가 primary에 닿지 못했다. NOT_SENT이고 안전하다.
    • 결과가 WRITE_RESULT_UNKNOWN인 TIMEOUT → 쓰기가 적용됐을 수 있다. 안전하지 않다. 아래를 본다.
    • TRANSACTION_COMMIT_UNKNOWN → 대신 unknown-commit.md로 간다.
  3. 선출에 걸린 시간을 MongoRetryBudget과 비교한다. 선출이 예산보다 길었으면 primary가 생기기 전에 재시도를 다 써 버렸고, 예산이 더 길었으면 흡수했을 오류를 호출자가 봤다.
  4. 새 primary가 기대한 region/AZ에 있는지 본다. 먼 노드로 failover하면 쓰기 지연이 잠깐이 아니라 계속 바뀐다.

조치

스스로 회복했다(흔한 경우). 결과 분포에 WRITE_RESULT_UNKNOWN이 없는지 확인하고, 선출을 장애 기록에 남기고 닫는다. 다시 돌릴 것은 없다.

WRITE_RESULT_UNKNOWN인 쓰기가 있다. 이 쓰기는 적용됐을 수도, 아닐 수도 있다. 확인 없이 재시도하지 않는다.

  • 멱등 연산(AtomicFilter 선행 조건이 붙은 등록된 MongoUpdateOperator): 재시도한다. 선행 조건 덕분에 두 번째 적용은 아무 일도 하지 않는다.
  • 멱등이 아닌 연산: 대상 문서를 읽어 의도한 결과 상태와 비교해 맞춰 본다. 쓰기가 반영되지 않았을 때만 재시도한다.

server selection이 끝내 회복하지 않는다. set이 quorum을 잃었다. 노드 셋 중 둘이 죽었거나 끊겼다. client 쪽에서 고칠 방법은 없다. 과반을 되살리도록 DB 소유자에게 올린다. 애플리케이션은 큐에 쌓지 않고 닫힌 쪽으로 실패하고 있어야 한다.

선출이 잦다(이유 없이 하루 한 번 넘게). 애플리케이션이 아니라 인프라 증상이다. 노드 자원 포화, primary의 디스크 지연, member 사이 네트워크 안정성을 본다. 선출이 반복되면 결과를 모르는 구간도 반복된다.

상향 보고

  • server selection이 2분 넘게 실패했거나, 멱등이 아닌 쓰기가 WRITE_RESULT_UNKNOWN을 돌려받고 맞춰 볼 수 없으면 P2 → P1.
  • quorum 손실은 DB 소유자를, 결과를 모르는 쓰기를 맞춰 보는 일은 서비스 소유자를 호출한다.

확인

failover lane이 이 상황을 일부러 재현한다.

./gradlew :adapter:outbound:persistence-mongo:mongoFailoverTest --console=plain

이 lane은 실제 노드 세 개짜리 set(MongoThreeNodeReplicaSet)을 띄우고, primary를 멈추고 (MongoPrimaryController), Toxiproxy로 네트워크 장애를 넣는다(ToxiproxyMongoNetworkFaultController). 노드 하나짜리 set으로는 선출을 시험할 수 없다. 선출이 일어나지 않으니 primary 교체에 기대는 보장은 모두 시험되지 않는다.

네트워크 장애에는 따로 fixture(MongoProxiedReplicaSetNode)가 필요하다. 멈춘 container로는 만들 수 없기 때문이다. 노드를 멈추면 client는 쓰기가 일어나지 않았다는 것을 안다. 서버는 살려 둔 채 경로를 끊으면 client는 알 수 없다. MongoNetworkFaultLaneTest는 같은 서버에 두 번 닿아 그 차이를 단언한다. 한 번은 proxy를 거쳐, 한 번은 바로.

  • 분할: proxy를 거친 client는 실패하고, 바로 닿은 client는 서버가 멀쩡하고 앞서 쓴 것이 그대로임을 본다. 끊긴 것은 서버가 아니라 경로다.
  • 응답 유실: proxy를 거친 client는 실패하고, 바로 닿은 client는 문서가 있음을 본다. 쓰기는 적용됐고 확인 응답만 사라졌다. DefaultMongoFailureClassifier는 WRITE_RESULT_UNKNOWN을 돌려준다. 재시도했다면 문서가 하나 더 생겼을 것이다.

lane이 기대는 세부가 하나 있다. toxic을 걸기 전에 connection을 먼저 데운다. 차가운 connection에서는 응답이 사라지는 것이 driver의 handshake이므로 쓰기는 아예 전송되지 않는다. 그러면 NOT_SENT가 되어 시험하려던 「결과를 모름」과 정반대가 된다.