|
|
|
@@ -35,3 +35,13 @@
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 3, "active_minutes": 3, "calls": 32, "output_tokens": 16621, "start_context": 24000, "max_context": 124385, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.81. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 2, "active_minutes": 4, "calls": 35, "output_tokens": 21063, "start_context": 24066, "max_context": 128180, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 []. 비용 $1.98. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 1, "active_minutes": 6, "calls": 55, "output_tokens": 29695, "start_context": 23995, "max_context": 194340, "agent_calls": 0, "findings": 7, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['index-not-in-alter-file']. 비용 $3.55. be-persistence 스킬 호출 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "start-context-be", "run": 1, "active_minutes": 0, "start_context": 47687, "note": "실제 세션(claude -p, opus-5-5, CLI 2.1.287, 사용자 전역 설정 그대로) 첫 호출 입력 토큰. v1 = 백엔드 relayout 브랜치 123fc0bf, v2 = 그 위 분야 전문가 커밋 c611b06f. 둘 다 scratchpad 복제에서 돌려 프로젝트 메모리가 섞이지 않게 함. 세션 33c28f46. v2의 be-* 10개는 시작 목록에 없음(paths), 더해진 것은 reviewer 설명·CLAUDE.md·AGENTS.md 줄", "recorded_at": "2026-11-11T23:23+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "start-context-be", "run": 1, "active_minutes": 0, "start_context": 48090, "note": "실제 세션(claude -p, opus-5-5, CLI 2.1.287, 사용자 전역 설정 그대로) 첫 호출 입력 토큰. v1 = 백엔드 relayout 브랜치 123fc0bf, v2 = 그 위 분야 전문가 커밋 c611b06f. 둘 다 scratchpad 복제에서 돌려 프로젝트 메모리가 섞이지 않게 함. 세션 d7eb69c8. v2의 be-* 10개는 시작 목록에 없음(paths), 더해진 것은 reviewer 설명·CLAUDE.md·AGENTS.md 줄", "recorded_at": "2026-11-11T23:23+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "start-context-be", "run": 2, "active_minutes": 0, "start_context": 47691, "note": "실제 세션(claude -p, opus-5-5, CLI 2.1.287, 사용자 전역 설정 그대로) 첫 호출 입력 토큰. v1 = 백엔드 relayout 브랜치 123fc0bf, v2 = 그 위 분야 전문가 커밋 c611b06f. 둘 다 scratchpad 복제에서 돌려 프로젝트 메모리가 섞이지 않게 함. 세션 76d256bb. v2의 be-* 10개는 시작 목록에 없음(paths), 더해진 것은 reviewer 설명·CLAUDE.md·AGENTS.md 줄", "recorded_at": "2026-11-11T23:23+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "start-context-be", "run": 2, "active_minutes": 0, "start_context": 48087, "note": "실제 세션(claude -p, opus-5-5, CLI 2.1.287, 사용자 전역 설정 그대로) 첫 호출 입력 토큰. v1 = 백엔드 relayout 브랜치 123fc0bf, v2 = 그 위 분야 전문가 커밋 c611b06f. 둘 다 scratchpad 복제에서 돌려 프로젝트 메모리가 섞이지 않게 함. 세션 5ba54c04. v2의 be-* 10개는 시작 목록에 없음(paths), 더해진 것은 reviewer 설명·CLAUDE.md·AGENTS.md 줄", "recorded_at": "2026-11-11T23:23+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority-real-be", "run": 1, "active_minutes": 12, "calls": 80, "output_tokens": 56051, "input_tokens_total": 13823532, "start_context": 49512, "max_context": 266372, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 6, 놓친 것 ['index-not-in-alter-file', 'concurrent-index-conf']. 부른 스킬 ['slack-briefing']. 비용 $5.7827844", "recorded_at": "2026-11-12T00:05+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority-real-be", "run": 2, "active_minutes": 25, "calls": 158, "output_tokens": 136937, "input_tokens_total": 32964698, "start_context": 49515, "max_context": 369258, "subagents": 1, "agent_calls": 1, "findings": 6, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 6, 놓친 것 ['index-not-in-alter-file', 'concurrent-index-conf']. 부른 스킬 ['supabase-postgres-best-practices', 'slack-briefing']. 비용 $12.680666399999996", "recorded_at": "2026-11-12T00:05+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority-real-be", "run": 3, "active_minutes": 21, "calls": 169, "output_tokens": 118939, "input_tokens_total": 31738305, "start_context": 49512, "max_context": 345894, "subagents": 1, "agent_calls": 1, "findings": 6, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 6, 놓친 것 ['index-not-in-alter-file', 'concurrent-index-conf']. 부른 스킬 ['supabase-postgres-best-practices', 'slack-briefing']. 비용 $12.235069000000005", "recorded_at": "2026-11-12T00:05+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 1, "active_minutes": 28, "calls": 214, "output_tokens": 183616, "input_tokens_total": 51734893, "start_context": 49918, "max_context": 425866, "subagents": 1, "agent_calls": 1, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 ['slack-briefing']. 비용 $18.782086799999995", "recorded_at": "2026-11-12T00:05+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 2, "active_minutes": 20, "calls": 113, "output_tokens": 99475, "input_tokens_total": 29713150, "start_context": 49919, "max_context": 411491, "subagents": 0, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 ['be-persistence', 'be-api-contract', 'slack-briefing']. 비용 $10.961340399999997", "recorded_at": "2026-11-12T00:05+09:00"}
|
|
|
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 3, "active_minutes": 22, "calls": 257, "output_tokens": 179053, "input_tokens_total": 64290729, "start_context": 49919, "max_context": 416710, "subagents": 1, "agent_calls": 1, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 []. 비용 $None (40분 제한에 걸려 결과 JSON 없음, 파일로 채점)", "recorded_at": "2026-11-12T00:05+09:00"}
|
|
|
|
|