문제: docs/mongodb 아래 살아 있는 문서 14개가 영어였고(문서 검사 language 예외), 몇 가지 주장이 지금 코드와 달랐다. - repository-adaptation.md가 registry의 leaf 수(19)와 Spring Boot 버전을 옮겨 적었다(number 예외 두 줄). - 같은 문서와 advanced/signoff/README.md가 scripts/verify-mongodb-platform.sh· verify-mongodb-advanced.sh를 2026-08-15에 지웠다고 했다. 두 스크립트는 지금도 있고 lane을 돌린다. - testkit을 `testkit` source set에 둔다고 했다. 지금은 `testFixtures`(ADR-BUILD-001)와 `mongoProviderTestkit`이다. `…mongo.architecture`도 main이 아니라 testFixtures에 있다. - ArchUnit 규칙 이름 `stableNeverDependsOnAdvanced`·`productionNeverDependsOnTestkit`은 없다. 실제는 MongoModuleBoundaryTest의 `noStablePackageDependsOnAnAdvancedCapability`· `noProductionPackageDependsOnTheTestkit`이다. - support-matrix.md의 Boot·Spring Data·driver·Micrometer·Testcontainers 버전이 lockfile과 달랐다(예: driver 5.6.1 → 5.6.5). - consumer-leaf-guide.md가 템플릿에 없는 Gradle 경로를 인라인 코드로 적었다 (reference 예외). - document-modeling-guide.md가 타입 metadata를 bson-mapping-guide §4로 가리켰다(§5). 고친 방법: 뜻을 그대로 옮기고 식별자·명령·경로·표 구조는 원문으로 둔다. 버전과 leaf 수는 숫자 대신 정본(src/gradle/libs.versions.toml, registry, gradle.lockfile, container-images.properties)을 가리킨다. 서비스가 만들 leaf의 확인 명령은 다른 단계와 같이 코드 블록에 두고 템플릿에 없는 경로라고 밝힌다. 버린 대안: support-matrix 버전을 lockfile 값으로 고쳐 적기. 다음 업그레이드에서 다시 틀리고, 같은 시간에 도는 의존성 세션과 같은 줄을 고치게 된다. 위험·한계: 내용 감사는 하지 않았다. 번역하며 본 불일치만 고쳤다. 설계 번호(§, D-xx)는 그대로 두었다. 검증: python3 scripts/check-docs.py rc=0(이 폴더 language·reference·number 예외 줄 0). docs/mongodb를 읽는 테스트는 주석뿐이다(`grep -rn 'docs/mongodb' src --include=*.java` — package-info.java·MongoModuleBoundaryTest 주석). scripts/verify-mongodb-advanced.sh는 advanced 문서의 파일 존재만 본다.
5.3 KiB
title, category, severity, owner, last_updated, status
| title | category | severity | owner | last_updated | status |
|---|---|---|---|---|---|
| Runbook — MongoDB primary 장애 조치(failover) | mongodb | P2 | oncall | 2026-08-13 | active |
Runbook: MongoDB primary 장애 조치(failover)
설계서 §29, 시나리오 PRIMARY_KILL, NETWORK_PARTITION, SERVER_SELECTION_TIMEOUT,
WRITE_RESPONSE_LOSS.
증상
MongoServerSelectionException/MongoConnectionException이 치솟았다가 몇 초 안에 회복한다.MongoSdamObservationListener가 토폴로지 변화를 보고한다(primary 빠짐, 새 primary 선출).MongoPoolObservationListener에서 connection checkout 대기 시간은 오르는데 서버 쪽 명령 시간은 평평하다. 기다린 원인은 query 비용이 아니라 토폴로지다.- 쓰기 지연이 치솟는데 읽기 지연은 그만큼 오르지 않는다.
약 15초 안에 끝나고 WRITE_RESULT_UNKNOWN을 만들지 않은 failover는 정상적인 replica set 동작이다.
스스로 회복했는지 확인하는 것 말고는 할 일이 없다.
진단
- 선출이 실제로 있었는지 확인한다. SDAM 이벤트가 있어야 선출과 「DB가 느려졌다」를 구분한다. 없으면 애플리케이션 metric으로는 둘을 구분할 수 없다.
- 실패 분류를 나눈다. Metric tag
failureCategory:SERVER_SELECTION/CONNECTION→ driver가 primary에 닿지 못했다.NOT_SENT이고 안전하다.- 결과가
WRITE_RESULT_UNKNOWN인TIMEOUT→ 쓰기가 적용됐을 수 있다. 안전하지 않다. 아래를 본다. TRANSACTION_COMMIT_UNKNOWN→ 대신 unknown-commit.md로 간다.
- 선출에 걸린 시간을
MongoRetryBudget과 비교한다. 선출이 예산보다 길었으면 primary가 생기기 전에 재시도를 다 써 버렸고, 예산이 더 길었으면 흡수했을 오류를 호출자가 봤다. - 새 primary가 기대한 region/AZ에 있는지 본다. 먼 노드로 failover하면 쓰기 지연이 잠깐이 아니라 계속 바뀐다.
조치
스스로 회복했다(흔한 경우).
결과 분포에 WRITE_RESULT_UNKNOWN이 없는지 확인하고, 선출을 장애 기록에 남기고 닫는다. 다시 돌릴 것은 없다.
WRITE_RESULT_UNKNOWN인 쓰기가 있다.
이 쓰기는 적용됐을 수도, 아닐 수도 있다. 확인 없이 재시도하지 않는다.
- 멱등 연산(
AtomicFilter선행 조건이 붙은 등록된MongoUpdateOperator): 재시도한다. 선행 조건 덕분에 두 번째 적용은 아무 일도 하지 않는다. - 멱등이 아닌 연산: 대상 문서를 읽어 의도한 결과 상태와 비교해 맞춰 본다. 쓰기가 반영되지 않았을 때만 재시도한다.
server selection이 끝내 회복하지 않는다. set이 quorum을 잃었다. 노드 셋 중 둘이 죽었거나 끊겼다. client 쪽에서 고칠 방법은 없다. 과반을 되살리도록 DB 소유자에게 올린다. 애플리케이션은 큐에 쌓지 않고 닫힌 쪽으로 실패하고 있어야 한다.
선출이 잦다(이유 없이 하루 한 번 넘게). 애플리케이션이 아니라 인프라 증상이다. 노드 자원 포화, primary의 디스크 지연, member 사이 네트워크 안정성을 본다. 선출이 반복되면 결과를 모르는 구간도 반복된다.
상향 보고
- server selection이 2분 넘게 실패했거나, 멱등이 아닌 쓰기가
WRITE_RESULT_UNKNOWN을 돌려받고 맞춰 볼 수 없으면 P2 → P1. - quorum 손실은 DB 소유자를, 결과를 모르는 쓰기를 맞춰 보는 일은 서비스 소유자를 호출한다.
확인
failover lane이 이 상황을 일부러 재현한다.
cd src
./gradlew :adapter:outbound:persistence-mongo:mongoFailoverTest --console=plain
이 lane은 실제 노드 세 개짜리 set(MongoThreeNodeReplicaSet)을 띄우고, primary를 멈추고
(MongoPrimaryController), Toxiproxy로 네트워크 장애를 넣는다(ToxiproxyMongoNetworkFaultController).
노드 하나짜리 set으로는 선출을 시험할 수 없다. 선출이 일어나지 않으니 primary 교체에 기대는 보장은 모두
시험되지 않는다.
네트워크 장애에는 따로 fixture(MongoProxiedReplicaSetNode)가 필요하다. 멈춘 container로는 만들 수 없기
때문이다. 노드를 멈추면 client는 쓰기가 일어나지 않았다는 것을 안다. 서버는 살려 둔 채 경로를 끊으면
client는 알 수 없다. MongoNetworkFaultLaneTest는 같은 서버에 두 번 닿아 그 차이를 단언한다. 한 번은
proxy를 거쳐, 한 번은 바로.
- 분할: proxy를 거친 client는 실패하고, 바로 닿은 client는 서버가 멀쩡하고 앞서 쓴 것이 그대로임을 본다. 끊긴 것은 서버가 아니라 경로다.
- 응답 유실: proxy를 거친 client는 실패하고, 바로 닿은 client는 문서가 있음을 본다. 쓰기는 적용됐고
확인 응답만 사라졌다.
DefaultMongoFailureClassifier는WRITE_RESULT_UNKNOWN을 돌려준다. 재시도했다면 문서가 하나 더 생겼을 것이다.
lane이 기대는 세부가 하나 있다. toxic을 걸기 전에 connection을 먼저 데운다. 차가운 connection에서는
응답이 사라지는 것이 driver의 handshake이므로 쓰기는 아예 전송되지 않는다. 그러면 NOT_SENT가 되어
시험하려던 「결과를 모름」과 정반대가 된다.