백엔드 main push run 221·228이 빨갰다. 원인은 둘 다 부하 아래에서 벽시계 시간을 재는 시험이다. main 단계 CI는 desktop heavy lock 밖에서 돌고, 그동안 desktop 부하는 14~25였다.
run 221: gRPC GrpcP1BoundaryWireTest 「deadline 없이 부른 느린 호출은 서버 기본 deadline에서 DEADLINE_EXCEEDED로 끝난다」
run 228: httpclient FailureInjectionContractTest 「Toxiproxy로 조금씩 흘린 응답…」(1.92s > 1.5s)
main 단계 lane에서 벽시계에 기대는 시험을 전수로 찾았고(위험 높음 3, 중간 9, PR 단계 중간 2), 높음·중간을 모두 고쳤다. 원칙은 넷이다.
기대 동작(예외 종류, 원인)을 먼저 단언한다.
시간 상한은 증명하려는 것을 가르는 데 필요한 만큼만 넉넉히 둔다.
잰 구간에서 준비 작업을 뺀다.
「아직 돌고 있는 동안」은 시계가 아니라 gate(시험이 여는 latch)로 만든다.
시험
고친 것
httpclient FailureInjectionContractTest slow drip
상한 「예산+0.5s」 → 「예산+4s」(drip 전체 12.8s의 절반보다 작다는 것도 단언). deadline 예외 종류는 그대로 먼저 본다. 잰 구간에서 harness 닫기를 뺐다(w2-be 계측: 부하가 낮을 때 닫기는 2~3ms라 주원인은 아니다. run 228의 1.92s는 부하 아래에서 호출 자체가 deadline보다 0.9s 늦게 끝난 것)
gRPC GrpcP1BoundaryWireTest 서버 기본 deadline
400ms만 버티던 handler → 취소될 때까지 붙잡고 응답하지 않는 gated handler(끝낼 수 있는 것은 서버 deadline뿐). waitForReady, 대기 상한 30s, 실패가 null이 아님을 먼저 단언. 걸린 시간 상한 5s로 설정한 150ms가 걸렸음(10s 기본값이 아님)을 본다
같은 클래스 client deadline
gated handler(client deadline만 끝낼 수 있음)
같은 클래스 포화(SERVER_BUSY)
400ms 점유 안에 셋째 호출이 와야 했다 → gate로 두 호출이 자리를 잡은 채 셋째 거절을 먼저 확인하고 연다
gRPC GrpcServerRunnerBootTest drain
연결을 drain 전에 맺고, drain 2s/폴링 1s → 6s/4s
graphql GraphQlRequestDeadlineTest
sleep 4s resolver → 시험이 여는 gate(상한 30s). 「resolver가 끝나기 전에 답했다」가 시간과 무관해진다. 예산 1s → 2s(resolver가 예산 안에 시작), 응답 상한 예산+6s(기본 예산 10s와 가름)
deadline 300ms·100ms → 5s·1s, 닫은 뒤 기다림 300ms → 1.5s
흔들림인가 회귀인가
gRPC: desktop에서 24회 모두 통과했다. 조건은 main 3d31896a 부하 없이 8, CPU 부하 24개 아래 8, #25 이전 d3a90479 같은 부하 아래 8이다(w2-be의 1코어 고정 15회도 통과). #25(697e62e8)는 허가 거절 status만 바꿨고 deadline 경로를 건드리지 않았다. 그래서 회귀가 아니라 드문 흔들림으로 본다. run 221 로그에 받은 status가 없었다(#29가 FULL 형식과 .as(...)를 더했다). 그래서 가능한 원인 셋을 모두 막았다.
handler가 deadline 닫기와 겨루는 것
첫 연결의 일시 실패
5s 대기 초과
httpclient: desktop main 3ac824ae에서 같은 CPU 부하로 4회 모두 통과해 재현되지 않았다. w2-be 계측(부하 6.58, 10회)으로는 호출 1.0s, 닫기 23ms다. run 228의 1.92s는 runner 부하 아래에서 호출 자체가 deadline보다 0.9s 늦게 끝난 것이다.
두 실패 모두 desktop에서 재현하지 못했다. 그래서 고침은 CI 실패 둘과 코드 분석에 근거한다. 이 PR은 「느린 기계에서도 같은 것을 증명한다」로 바꾼 것이지, 재현한 실패를 고친 것이 아니다.
고른 방법과 버린 대안
가짜 시계: deadline·timeout의 주인이 JDK HttpClient, Hikari, PostgreSQL, gRPC scheduler라 시험이 시계를 바꿀 수 없다. 그래서 시간을 잴 때는 원인 단언을 먼저 하고 넉넉한 상한을 두는 쪽을 골랐다.
상한을 일률로 몇 배 늘리기: 증명하려는 것(예: 「drip이 아니라 deadline이 끊었다」)을 가르지 못하는 값이 될 수 있어 버렸다. 상한마다 무엇과 갈라야 하는지 적었다.
위험과 영향
시험만 바뀐다. 운영 코드는 그대로다. 시험이 몇 초 길어진다(lease 만료 시험 4.5s 대기, drain 6s, deadline 예산 2s).
검증
desktop, --no-build-cache, CPU 부하(yes 24개, 12코어) 아래.
바뀐 시험이 있는 lane 전부 1084건 실패 0(wallclock-green, BUILD SUCCESSFUL 16분): grpc test·grpcTransportQualificationTest, graphql systemTest, httpclient test·httpClientFailureInjectionTest, persistence-jpa postgresqlLifecycleIntegrationTest·postgresqlMigrationIntegrationTest·postgresqlIdempotencyIntegrationTest·postgresqlFileserverMetadataIntegrationTest·postgresqlNotificationSchemaActivationIntegrationTest·jpaPlatformContractTest, cache-redis redisContainerContractTest.
같은 부하 아래 httpclient failure injection + gRPC transport qualification을 3회 더 돌렸고 모두 통과했다.
리뷰(be-testing) Medium 2·Low 4 반영 뒤 같은 부하 아래 다시 676건 실패 0(wallclock-green2): 서버 deadline 시험이 걸린 시간 상한(5s, 10s 기본값과 가름)을 되찾고, lifecycle 준비 연결을 재시도로 받고, NOWAIT가 lock_timeout 0을 먼저 단언하고, lease TTL 2s, graphql 응답 상한 예산+6s, drain 시험 사전 연결 waitForReady.
desktop scripts/verify.sh pr --no-cache: head fdf775f6(트리 69257289) 6805건 실패 0, rc=0, FROM-CACHE 0. 기준 main e6c3b159.
남은 낮음 위험(전수 조사 표의 낮음)은 상한이 설정 예산의 몇 배이거나 부하가 통과 쪽이라 손대지 않았다. PERFORMANCE lane은 상한 단언이 목적이라 뺐다.
겹치는 PR: 그룹 B #33과 PostgreSqlMigrationIntegrationTest·PostgreSqlOptionalStreamLifecycle이 겹친다. #33은 migration 버전 목록만 늘려 git merge-tree 충돌이 없다.
## 무엇을, 왜
백엔드 main push run 221·228이 빨갰다. 원인은 둘 다 부하 아래에서 벽시계 시간을 재는 시험이다. main 단계 CI는 desktop heavy lock 밖에서 돌고, 그동안 desktop 부하는 14~25였다.
- run 221: gRPC `GrpcP1BoundaryWireTest` 「deadline 없이 부른 느린 호출은 서버 기본 deadline에서 DEADLINE_EXCEEDED로 끝난다」
- run 228: httpclient `FailureInjectionContractTest` 「Toxiproxy로 조금씩 흘린 응답…」(1.92s > 1.5s)
main 단계 lane에서 벽시계에 기대는 시험을 전수로 찾았고(위험 높음 3, 중간 9, PR 단계 중간 2), 높음·중간을 모두 고쳤다. 원칙은 넷이다.
- 기대 동작(예외 종류, 원인)을 먼저 단언한다.
- 시간 상한은 증명하려는 것을 가르는 데 필요한 만큼만 넉넉히 둔다.
- 잰 구간에서 준비 작업을 뺀다.
- 「아직 돌고 있는 동안」은 시계가 아니라 gate(시험이 여는 latch)로 만든다.
| 시험 | 고친 것 |
| --- | --- |
| httpclient `FailureInjectionContractTest` slow drip | 상한 「예산+0.5s」 → 「예산+4s」(drip 전체 12.8s의 절반보다 작다는 것도 단언). deadline 예외 종류는 그대로 먼저 본다. 잰 구간에서 harness 닫기를 뺐다(w2-be 계측: 부하가 낮을 때 닫기는 2~3ms라 주원인은 아니다. run 228의 1.92s는 부하 아래에서 호출 자체가 deadline보다 0.9s 늦게 끝난 것) |
| gRPC `GrpcP1BoundaryWireTest` 서버 기본 deadline | 400ms만 버티던 handler → 취소될 때까지 붙잡고 응답하지 않는 gated handler(끝낼 수 있는 것은 서버 deadline뿐). `waitForReady`, 대기 상한 30s, 실패가 null이 아님을 먼저 단언. 걸린 시간 상한 5s로 설정한 150ms가 걸렸음(10s 기본값이 아님)을 본다 |
| 같은 클래스 client deadline | gated handler(client deadline만 끝낼 수 있음) |
| 같은 클래스 포화(SERVER_BUSY) | 400ms 점유 안에 셋째 호출이 와야 했다 → gate로 두 호출이 자리를 잡은 채 셋째 거절을 먼저 확인하고 연다 |
| gRPC `GrpcServerRunnerBootTest` drain | 연결을 drain 전에 맺고, drain 2s/폴링 1s → 6s/4s |
| graphql `GraphQlRequestDeadlineTest` | sleep 4s resolver → 시험이 여는 gate(상한 30s). 「resolver가 끝나기 전에 답했다」가 시간과 무관해진다. 예산 1s → 2s(resolver가 예산 안에 시작), 응답 상한 예산+6s(기본 예산 10s와 가름) |
| persistence-jpa `PostgreSqlLifecycleIntegrationTest` | `@Timeout(10)`이 컨테이너 기동까지 덮었다 → 2분. 준비 연결 둘은 재시도로 받고(새 물리 연결이 300ms를 넘을 수 있다), 풀 고갈 대기 상한 2s → 5s(connectionTimeout 300ms) |
| persistence-jpa migration 둘(`PostgreSqlMigrationIntegrationTest`, `PostgreSqlOptionalStreamLifecycle`) | 원인을 SQLState 55P03(lock_timeout)으로 단언, 시간 상한 3s → 30s(「holder를 기다리지 않았다」만 본다) |
| persistence-jpa NOWAIT | contender의 `lock_timeout`이 0임을 먼저 단언하고 상한 1s → 10s(기다렸다면 끝나지 않는다) |
| cache-redis live lease | TTL 400ms → 2s(밀려난 holder 케이스 넷이 1.5 TTL씩 자서 lane이 약 12s 늘어난다) |
| cache-redis rate limit | 10s fixed window(Redis TIME 정렬)를 넘을 수 있었다 → 1시간 창 |
| httpclient `AttemptDeadlineTest` 둘(PR 단계) | deadline 300ms·100ms → 5s·1s, 닫은 뒤 기다림 300ms → 1.5s |
## 흔들림인가 회귀인가
- gRPC: desktop에서 24회 모두 통과했다. 조건은 main 3d31896a 부하 없이 8, CPU 부하 24개 아래 8, #25 이전 d3a90479 같은 부하 아래 8이다(w2-be의 1코어 고정 15회도 통과). #25(697e62e8)는 허가 거절 status만 바꿨고 deadline 경로를 건드리지 않았다. 그래서 회귀가 아니라 드문 흔들림으로 본다. run 221 로그에 받은 status가 없었다(#29가 FULL 형식과 `.as(...)`를 더했다). 그래서 가능한 원인 셋을 모두 막았다.
- handler가 deadline 닫기와 겨루는 것
- 첫 연결의 일시 실패
- 5s 대기 초과
- httpclient: desktop main 3ac824ae에서 같은 CPU 부하로 4회 모두 통과해 재현되지 않았다. w2-be 계측(부하 6.5~8, 10회)으로는 호출 1.0s, 닫기 2~3ms다. run 228의 1.92s는 runner 부하 아래에서 호출 자체가 deadline보다 0.9s 늦게 끝난 것이다.
- 두 실패 모두 desktop에서 재현하지 못했다. 그래서 고침은 CI 실패 둘과 코드 분석에 근거한다. 이 PR은 「느린 기계에서도 같은 것을 증명한다」로 바꾼 것이지, 재현한 실패를 고친 것이 아니다.
## 고른 방법과 버린 대안
- 가짜 시계: deadline·timeout의 주인이 JDK HttpClient, Hikari, PostgreSQL, gRPC scheduler라 시험이 시계를 바꿀 수 없다. 그래서 시간을 잴 때는 원인 단언을 먼저 하고 넉넉한 상한을 두는 쪽을 골랐다.
- 상한을 일률로 몇 배 늘리기: 증명하려는 것(예: 「drip이 아니라 deadline이 끊었다」)을 가르지 못하는 값이 될 수 있어 버렸다. 상한마다 무엇과 갈라야 하는지 적었다.
## 위험과 영향
시험만 바뀐다. 운영 코드는 그대로다. 시험이 몇 초 길어진다(lease 만료 시험 4.5s 대기, drain 6s, deadline 예산 2s).
## 검증
desktop, `--no-build-cache`, CPU 부하(`yes` 24개, 12코어) 아래.
- 바뀐 시험이 있는 lane 전부 1084건 실패 0(`wallclock-green`, `BUILD SUCCESSFUL` 16분): grpc `test`·`grpcTransportQualificationTest`, graphql `systemTest`, httpclient `test`·`httpClientFailureInjectionTest`, persistence-jpa `postgresqlLifecycleIntegrationTest`·`postgresqlMigrationIntegrationTest`·`postgresqlIdempotencyIntegrationTest`·`postgresqlFileserverMetadataIntegrationTest`·`postgresqlNotificationSchemaActivationIntegrationTest`·`jpaPlatformContractTest`, cache-redis `redisContainerContractTest`.
- 같은 부하 아래 httpclient failure injection + gRPC transport qualification을 3회 더 돌렸고 모두 통과했다.
- 리뷰(be-testing) Medium 2·Low 4 반영 뒤 같은 부하 아래 다시 676건 실패 0(`wallclock-green2`): 서버 deadline 시험이 걸린 시간 상한(5s, 10s 기본값과 가름)을 되찾고, lifecycle 준비 연결을 재시도로 받고, NOWAIT가 lock_timeout 0을 먼저 단언하고, lease TTL 2s, graphql 응답 상한 예산+6s, drain 시험 사전 연결 waitForReady.
- desktop `scripts/verify.sh pr --no-cache`: head `fdf775f6`(트리 `69257289`) 6805건 실패 0, rc=0, `FROM-CACHE` 0. 기준 main `e6c3b159`.
- 남은 낮음 위험(전수 조사 표의 낮음)은 상한이 설정 예산의 몇 배이거나 부하가 통과 쪽이라 손대지 않았다. PERFORMANCE lane은 상한 단언이 목적이라 뺐다.
## 관련
- main push run 221(3d31896a), 228(3ac824ae).
- 겹치는 PR: 그룹 B #33과 `PostgreSqlMigrationIntegrationTest`·`PostgreSqlOptionalStreamLifecycle`이 겹친다. #33은 migration 버전 목록만 늘려 `git merge-tree` 충돌이 없다.
문제: main 단계 CI는 desktop heavy lock 밖에서 부하 14~25 아래 돈다. main push run
221은 gRPC GrpcP1BoundaryWireTest 서버 기본 deadline 시험이 다른 status를, run 228은
httpclient FailureInjectionContractTest slow drip이 1.92s(상한 1.5s)를 내 빨갰다.
main 단계 lane을 전수로 보니 같은 부류가 더 있었다. 상한이 설정 예산에 바짝
붙었거나(예산+0.5s), 잰 구간에 준비 작업(컨테이너 기동, Flyway 준비, 첫 연결)이
들어가거나, 「아직 도는 동안」을 짧은 sleep·점유 시간으로 만든 시험들이다.
고친 것(시험만):
- httpclient slow drip: 상한 예산+4s(drip 전체 12.8s의 절반 아래임을 함께 단언),
잰 구간에서 harness 닫기를 뺐다. AttemptDeadlineTest 둘은 deadline을 초 단위로.
- gRPC: 서버·client deadline 시험과 포화(SERVER_BUSY) 시험이 시험이 여는 gate로
handler를 붙잡는다(취소되면 응답하지 않음). 서버 deadline 시험은 걸린 시간이 10s
기본값보다 확실히 짧음(5s 아래)을 함께 단언해 설정한 150ms가 걸렸음을 본다.
waitForReady, 대기 상한 30s. drain 시험은 연결을 먼저 맺고 drain·폴링 창 6s·4s.
- graphql deadline: sleep resolver를 gate로(상한 30s), 예산 2s, 응답 상한 예산+6s(기본
예산 10s보다 짧다).
- persistence-jpa: lifecycle의 @Timeout이 컨테이너 기동을 덮던 것을 2분으로, 준비
연결은 재시도해 받고 풀 고갈 상한 5s. migration 둘은 원인을 SQLState 55P03
(lock_timeout)으로 단언하고 시간 상한 30s. NOWAIT는 contender의 lock_timeout이 0임을
먼저 단언하고 상한 10s.
- cache-redis: live lease TTL 2s(밀려난 holder 케이스 넷이 1.5 TTL씩 잔다), fixed
window 1시간.
버린 대안: 가짜 시계(deadline의 주인이 JDK HttpClient·Hikari·PostgreSQL·gRPC라 시험이
시계를 못 바꾼다), 상한 일률 배수(증명할 것과 가르지 못하는 값이 된다).
검증: desktop, CPU 부하(yes 24개, 12코어) 아래 바뀐 lane 전부 1084건, 리뷰 수정 뒤
다시 676건 실패 0. httpclient·gRPC lane 3회 반복 통과. verify.sh pr --no-cache 6805건
실패 0. RED: gRPC는 main·#25 이전·부하 유무 24회, httpclient는 main 부하 아래 4회 모두
통과해 desktop에서 재현되지 않았다. 고침은 CI 실패 둘과 코드 분석에 근거한다.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
무엇을, 왜
백엔드 main push run 221·228이 빨갰다. 원인은 둘 다 부하 아래에서 벽시계 시간을 재는 시험이다. main 단계 CI는 desktop heavy lock 밖에서 돌고, 그동안 desktop 부하는 14~25였다.
GrpcP1BoundaryWireTest「deadline 없이 부른 느린 호출은 서버 기본 deadline에서 DEADLINE_EXCEEDED로 끝난다」FailureInjectionContractTest「Toxiproxy로 조금씩 흘린 응답…」(1.92s > 1.5s)main 단계 lane에서 벽시계에 기대는 시험을 전수로 찾았고(위험 높음 3, 중간 9, PR 단계 중간 2), 높음·중간을 모두 고쳤다. 원칙은 넷이다.
FailureInjectionContractTestslow dripGrpcP1BoundaryWireTest서버 기본 deadlinewaitForReady, 대기 상한 30s, 실패가 null이 아님을 먼저 단언. 걸린 시간 상한 5s로 설정한 150ms가 걸렸음(10s 기본값이 아님)을 본다GrpcServerRunnerBootTestdrainGraphQlRequestDeadlineTestPostgreSqlLifecycleIntegrationTest@Timeout(10)이 컨테이너 기동까지 덮었다 → 2분. 준비 연결 둘은 재시도로 받고(새 물리 연결이 300ms를 넘을 수 있다), 풀 고갈 대기 상한 2s → 5s(connectionTimeout 300ms)PostgreSqlMigrationIntegrationTest,PostgreSqlOptionalStreamLifecycle)lock_timeout이 0임을 먼저 단언하고 상한 1s → 10s(기다렸다면 끝나지 않는다)AttemptDeadlineTest둘(PR 단계)흔들림인가 회귀인가
3d31896a부하 없이 8, CPU 부하 24개 아래 8, #25 이전d3a90479같은 부하 아래 8이다(w2-be의 1코어 고정 15회도 통과). #25(697e62e8)는 허가 거절 status만 바꿨고 deadline 경로를 건드리지 않았다. 그래서 회귀가 아니라 드문 흔들림으로 본다. run 221 로그에 받은 status가 없었다(#29가 FULL 형식과.as(...)를 더했다). 그래서 가능한 원인 셋을 모두 막았다.8, 10회)으로는 호출 1.0s, 닫기 23ms다. run 228의 1.92s는 runner 부하 아래에서 호출 자체가 deadline보다 0.9s 늦게 끝난 것이다.고른 방법과 버린 대안
위험과 영향
시험만 바뀐다. 운영 코드는 그대로다. 시험이 몇 초 길어진다(lease 만료 시험 4.5s 대기, drain 6s, deadline 예산 2s).
검증
desktop,
--no-build-cache, CPU 부하(yes24개, 12코어) 아래.wallclock-green,BUILD SUCCESSFUL16분): grpctest·grpcTransportQualificationTest, graphqlsystemTest, httpclienttest·httpClientFailureInjectionTest, persistence-jpapostgresqlLifecycleIntegrationTest·postgresqlMigrationIntegrationTest·postgresqlIdempotencyIntegrationTest·postgresqlFileserverMetadataIntegrationTest·postgresqlNotificationSchemaActivationIntegrationTest·jpaPlatformContractTest, cache-redisredisContainerContractTest.wallclock-green2): 서버 deadline 시험이 걸린 시간 상한(5s, 10s 기본값과 가름)을 되찾고, lifecycle 준비 연결을 재시도로 받고, NOWAIT가 lock_timeout 0을 먼저 단언하고, lease TTL 2s, graphql 응답 상한 예산+6s, drain 시험 사전 연결 waitForReady.scripts/verify.sh pr --no-cache: headfdf775f6(트리69257289) 6805건 실패 0, rc=0,FROM-CACHE0. 기준 maine6c3b159.관련
3d31896a), 228(3ac824ae).PostgreSqlMigrationIntegrationTest·PostgreSqlOptionalStreamLifecycle이 겹친다. #33은 migration 버전 목록만 늘려git merge-tree충돌이 없다.