문제: 코드 주석 87곳(74파일, .dependency-cruiser.json 포함)이 "Spec §N" 처럼 문서 이름 없이 절 번호만 적는다(대문자 83, 소문자 "spec §" 4). 가리키는 설계서는 README가 복사 뒤 지워도 된다고 한 docs/reviews/ 안에 있었다. 지울 수 있는 기록 검사는 경로 문자열만 찾아 이 참조를 잡지 못했다. 현재 계약 문서도 지울 수 있는 파일로 링크한다: docs/reviews/adapters/INVENTORY.md 145행이 옆의 adapter 리뷰로, docs/operations/adapter-remediation-ledger.md가 adapter 리뷰와 docs/superpowers/plans의 계획으로. 고른 방법: - 주석의 "Spec §"/"spec §"를 "scale-architecture.md §"로 바꾼다(앞 커밋이 옮긴 docs/architecture/scale-architecture.md). 설명 문장과 절 번호는 그대로다. 절 번호가 없는 "Spec §"는 없었다. - tests/unit/deletable-history-documents.test.ts에 "spec" + 선택 공백 + "§"(대소문자 무시)를 거부하는 검사를 더하고, 검사 대상에 .dependency-cruiser.json을 넣는다. - README "Files you can delete after copying"에서 INVENTORY.md 한 파일 대신 docs/reviews/adapters/ 폴더를 남기게 하고 이유(INVENTORY 행과 ledger가 그 리뷰로 링크한다)를 적는다. docs/README.md §3도 같게 고친다. INVENTORY의 행 구조는 바꾸지 않는다. - 남긴 adapter 리뷰와 ledger가 docs/superpowers/plans로 거는 링크 5곳은 링크를 풀고 "작업 이력 계획, 복사본은 지울 수 있다"로 적는다. 버린 대안: INVENTORY 145칸의 링크를 그룹 이름으로 바꾸기. 템플릿에서도 상세 리뷰로 가는 길이 없어지고 수정이 145곳이다. 계획 3개도 지우기 목록에서 빼기. 지울 수 있는 폴더 안에 예외가 흩어지고, 계획이 다시 다른 이력을 가리키면 남길 목록이 계속 커진다. 위험·한계: 검사는 "HTML spec §4"처럼 다른 명세를 "spec §"로 부르는 주석도 거부한다. 그때는 "HTML Standard §4"처럼 이름을 쓴다. src/contracts/storage-keys.ts:79의 "release-coherence plan Task 6"처럼 이름 없는 계획 참조는 이 검사가 잡지 않는다. 복사한 프로젝트가 이미 docs/reviews/adapters/를 지웠다면 링크는 계속 끊겨 있다. CHANGELOG.md의 이력 언급 4곳(:15 두 경로, :75 PRODUCT.md, :93)은 고치지 않았다. check:remediation-ledger는 이 변경 전후 같은 4줄로 실패한다(이미 있던 실패, 게이트 밖). tests/unit/telemetry.test.ts의 describe 이름 하나가 바뀐다. 검증: - RED: 치환 전 새 검사가 87줄을 들어 실패(1 failed | 1 passed). - GREEN: 같은 테스트 2 passed. 변이 "// Spec §4. budgets live here"를 src/platform/errors/app-error.ts에 넣으면 그 한 줄로 실패, 되돌림. - 치환 diff: 바뀐 87줄 쌍이 토큰 외에 같음(스크립트 대조, 불일치 0). - 삭제 실험(작업 트리 복사본에서 README 목록대로 지움): 끊긴 링크 148→0, 끊긴 경로 언급 10→4(남은 4는 CHANGELOG.md), 이름 없는 설계 참조 87→0, scale-architecture.md §N 87곳 중 없는 절 0. 같은 복사본에서 verify-documentation-readiness PASS_SCOPED, 지울 수 있는 기록 테스트 2 passed. - node scripts/verify-documentation-readiness.ts: PASS_SCOPED - node scripts/check-adapter-inventory.ts: PASS - node scripts/run-vitest.ts run tests/unit/deletable-history-documents.test.ts tests/unit/documentation-readiness.test.ts tests/unit/telemetry.test.ts: 50 passed. tests/architecture: 39 passed. - npx tsc --noEmit (app·node·test): 모두 통과. 바꾼 TS 74파일 eslint 통과. .dependency-cruiser.json JSON 파싱 통과. - 미실행: check:architecture(pnpm 필요).
166 lines
5.6 KiB
TypeScript
166 lines
5.6 KiB
TypeScript
import { describe, expect, it, vi } from "vitest";
|
|
|
|
import {
|
|
createTelemetryPipeline,
|
|
DEFAULT_TELEMETRY_PIPELINE_BUDGET,
|
|
} from "../../../src/platform/telemetry/telemetry-pipeline.ts";
|
|
import type { TelemetryEvent } from "../../../src/platform/telemetry/telemetry-event.ts";
|
|
import { telemetryAmplification } from "../traffic/amplification-metrics.ts";
|
|
import { recordScaleMetrics } from "../scale-artifact.ts";
|
|
|
|
const IDENTICAL: TelemetryEvent<unknown> = {
|
|
kind: "catalog.load.failed",
|
|
severity: "error",
|
|
featureId: "catalog",
|
|
payload: { operation: "list", reason: "NETWORK_UNREACHABLE" },
|
|
};
|
|
|
|
/**
|
|
* scale-architecture.md §43. Many logical failures -> fingerprint/dedup/sample -> a bounded
|
|
* number of buffered and sent telemetry events.
|
|
*/
|
|
async function runTelemetryStorm(
|
|
options: Readonly<{
|
|
identicalEvents: number;
|
|
distinctKinds?: number;
|
|
maxSendsPerMinute: number;
|
|
maxBufferedEvents: number;
|
|
collector?: "up" | "down";
|
|
}>,
|
|
) {
|
|
let networkSends = 0;
|
|
let now = 0;
|
|
const pipeline = createTelemetryPipeline({
|
|
transport: {
|
|
async send() {
|
|
networkSends += 1;
|
|
if (options.collector === "down") throw new Error("collector unavailable");
|
|
},
|
|
},
|
|
budget: {
|
|
...DEFAULT_TELEMETRY_PIPELINE_BUDGET,
|
|
maxSendsPerMinute: options.maxSendsPerMinute,
|
|
maxBufferedEvents: options.maxBufferedEvents,
|
|
},
|
|
now: () => now,
|
|
setTimer: () => 0,
|
|
clearTimer: () => {},
|
|
});
|
|
let peakBufferedEvents = 0;
|
|
const distinct = options.distinctKinds ?? 1;
|
|
// The whole storm lands inside one rate/dedup window (0.5ms apart).
|
|
for (let i = 0; i < options.identicalEvents; i += 1) {
|
|
now += 0.5;
|
|
await pipeline.emit({
|
|
...IDENTICAL,
|
|
payload: { operation: "list", reason: `R${i % distinct}` },
|
|
interactionId: `interaction-${i}`,
|
|
});
|
|
if (i % 1_000 === 0) {
|
|
await pipeline.flush();
|
|
peakBufferedEvents = Math.max(peakBufferedEvents, pipeline.stats().buffered);
|
|
}
|
|
}
|
|
await pipeline.flush();
|
|
const stats = pipeline.stats();
|
|
peakBufferedEvents = Math.max(peakBufferedEvents, stats.peakBuffered);
|
|
pipeline.dispose();
|
|
return { networkSends, peakBufferedEvents, stats };
|
|
}
|
|
|
|
describe("telemetry storm", () => {
|
|
it("does not turn 100000 identical failures into 100000 sends", async () => {
|
|
const result = await runTelemetryStorm({
|
|
identicalEvents: 100_000,
|
|
maxSendsPerMinute: 20,
|
|
maxBufferedEvents: 200,
|
|
});
|
|
|
|
expect(result.networkSends).toBeLessThanOrEqual(20);
|
|
expect(result.peakBufferedEvents).toBeLessThanOrEqual(200);
|
|
expect(result.stats.deduplicated).toBe(99_999);
|
|
expect(
|
|
telemetryAmplification({ logicalEvents: 100_000, telemetrySends: result.networkSends }),
|
|
).toBeLessThanOrEqual(0.0002);
|
|
await recordScaleMetrics("telemetry-storm-identical", {
|
|
emitted: 100_000,
|
|
deduplicated: result.stats.deduplicated,
|
|
sampledOut: result.stats.sampledOut,
|
|
dropped: result.stats.dropped,
|
|
transmitted: result.networkSends,
|
|
peakBuffered: result.peakBufferedEvents,
|
|
});
|
|
});
|
|
|
|
it("bounds sends and buffer when a storm has many distinct fingerprints", async () => {
|
|
const result = await runTelemetryStorm({
|
|
identicalEvents: 100_000,
|
|
distinctKinds: 5_000,
|
|
maxSendsPerMinute: 20,
|
|
maxBufferedEvents: 200,
|
|
});
|
|
expect(result.networkSends).toBeLessThanOrEqual(20);
|
|
expect(result.peakBufferedEvents).toBeLessThanOrEqual(200);
|
|
expect(result.stats.fingerprints).toBeLessThanOrEqual(
|
|
DEFAULT_TELEMETRY_PIPELINE_BUDGET.maxFingerprints,
|
|
);
|
|
await recordScaleMetrics("telemetry-storm-distinct", {
|
|
emitted: 100_000,
|
|
deduplicated: result.stats.deduplicated,
|
|
dropped: result.stats.dropped,
|
|
transmitted: result.networkSends,
|
|
peakBuffered: result.peakBufferedEvents,
|
|
});
|
|
});
|
|
});
|
|
|
|
/**
|
|
* A feature-shaped business operation: it reports its failure through the
|
|
* telemetry port fire-and-forget and returns its own result regardless.
|
|
*/
|
|
function createCatalogLoader(
|
|
telemetry: Readonly<{ emit(event: TelemetryEvent<unknown>): unknown }>,
|
|
upstream: () => Promise<boolean>,
|
|
) {
|
|
return async (): Promise<Readonly<{ ok: boolean }>> => {
|
|
const ok = await upstream();
|
|
if (!ok) {
|
|
try {
|
|
void Promise.resolve(
|
|
telemetry.emit({ ...IDENTICAL, severity: "warning" }),
|
|
).catch(() => undefined);
|
|
} catch {
|
|
// Contained at the call site.
|
|
}
|
|
}
|
|
return { ok };
|
|
};
|
|
}
|
|
|
|
describe("collector outage", () => {
|
|
it("keeps business promises fulfilled and buffers bounded while every send fails", async () => {
|
|
const pipeline = createTelemetryPipeline({
|
|
transport: { send: () => Promise.reject(new Error("collector unavailable")) },
|
|
budget: { ...DEFAULT_TELEMETRY_PIPELINE_BUDGET, maxBufferedEvents: 50 },
|
|
});
|
|
let call = 0;
|
|
const load = createCatalogLoader(pipeline, async () => call++ % 2 === 1);
|
|
|
|
const results = await Promise.all(Array.from({ length: 5_000 }, () => load()));
|
|
await pipeline.flush();
|
|
|
|
expect(results).toHaveLength(5_000);
|
|
expect(results.filter((result) => result.ok)).toHaveLength(2_500);
|
|
expect(pipeline.stats().buffered).toBeLessThanOrEqual(50);
|
|
expect(pipeline.stats().peakBuffered).toBeLessThanOrEqual(50);
|
|
pipeline.dispose();
|
|
});
|
|
|
|
it("keeps the business result when the port itself throws", async () => {
|
|
const throwing = { emit: vi.fn(() => { throw new Error("port broken"); }) };
|
|
const load = createCatalogLoader(throwing, async () => false);
|
|
await expect(load()).resolves.toEqual({ ok: false });
|
|
expect(throwing.emit).toHaveBeenCalledOnce();
|
|
});
|
|
});
|