문제: 첫 평가(7.1)는 헤드리스 인증이 없어 이 세션의 서브에이전트로 판을 흉내 냈다. 실제 세션의 스킬 목록·paths 발동·도구 제한과 다를 수 있다. 소유자가 노트북 CLI에 로그인해 claude plugin eval을 쓸 수 있게 됐다. 고른 방법: - 판마다 평가용 플러그인을 만들었다(평가는 대상 플러그인만 싣고 프로젝트 .claude/·CLAUDE.md를 읽지 않는다). CLAUDE.md·AGENTS.md는 append_system_prompt로, 작업 폴더는 scaffold로 백엔드 로컬 복제를 깔았다. opus-5-5 고정, 판정 sonnet. - 과제 셋: A 리뷰(결함 6), A2 리뷰(repo 고유 규칙 결함 6), 구현(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로, 정규식 채점 8개). 판 셋: none(플러그인 없음), v1, v2. 리뷰는 판마다 2번, 구현은 v1·v2 5번, none 2번. - 결과: 리뷰는 none도 12/12로 천장. 구현은 v2 37/40(92.5%), v1 30/40(75%), none 12/16. 동시 인덱스 규칙은 v2 3/5, v1 0/5. lead는 다분야 리뷰 4번과 단순 질문 4번 모두 불리지 않았다. 시작 컨텍스트는 샌드박스에서 v2가 13% 컸다(플러그인 스킬은 paths가 있어도 목록에 든다. 프로젝트 스킬은 안 든다는 것을 실제 세션으로 따로 확인했다). - harness-eval 스킬에 실제 세션으로 돌리는 법(판을 플러그인으로, 리뷰보다 구현 과제, 5번씩, 기록 뽑는 곳)을 더한다. 장부에 eval 줄 24개. 버린 대안: claude -p로 각 복제 폴더에서 돌리기. 사용자 전역 설정·훅·스킬이 섞여 판 차이를 가린다. 위험: 표본이 작다(구현 한쪽 검정 p≈0.08). v2가 be-persistence를 부른 것은 다섯 번 중 둘이라 효과를 그 스킬 하나로 설명하지 못한다. 평가용 판은 지식 스킬을 플러그인으로 실었고 실제 템플릿은 프로젝트 스킬이라 발동 조건이 다르다. 검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval-real.
38 lines
30 KiB
JSON
38 lines
30 KiB
JSON
{"schema": 1, "kind": "estimate", "task": "h2-harness-repo", "recorded_at": "2026-11-07T23:39+09:00", "transcript": "6c7e7c6f-76a6-4279-b283-32b5bb7e0153", "started_at": "2026-11-07T23:35:08+09:00", "base": "design-docs 34cf74e, 백엔드 22df3525, claude-harness 새 repo", "task_kind": "harness", "size": "large", "minutes": {"p30": 70, "p50": 95, "p80": 140}, "calls": {"p30": 200, "p50": 280, "p80": 400}, "output_tokens": {"p30": 250000, "p50": 350000, "p80": 500000}, "basis": "선례 h3-backend-harness 작업 중 68분·호출 270·출력 34.6만(손으로 판단한 결정 약 25, desktop 실행 3회). 이번은 결정 약 20(H12 경계, 두 번 막기, 끌 스킬, 전역 문서 줄이기, 템플릿 양식, 장부 훅 형식), desktop 실행 0, 대신 새 코드가 많다(훅 스크립트 3개와 시험 약 800줄, 템플릿 10여 파일, design-docs 문서 4곳). 그래서 h3와 비슷하게 봤다"}
|
|
{"schema": 1, "kind": "actual", "task": "h2-harness-repo", "recorded_at": "2026-11-08T10:42+09:00", "transcript": "6c7e7c6f-76a6-4279-b283-32b5bb7e0153", "minutes": 667, "active_minutes": 38, "calls": 126, "output_tokens": 193781, "cache_read_tokens": 38207413, "max_context": 465584, "within": "p30", "result": "done", "commits": ["claude-harness ddbfc3d", "claude-harness 73da706", "claude-harness e762248", "design-docs 1ac6a79", "design-docs 0c9116c", "design-docs b307eba"], "why": "작업 중 시간·호출·출력이 모두 p30보다 작다. 근거로 삼은 h3(68분)에는 desktop 게이트 실행 3회와 파일 190여 개 이동이 있었는데 이번은 desktop 실행 0이고, 큰 파일을 한 번에 쓰고 한 메시지에 도구를 여럿 불러 호출이 적었다. 벽시계가 긴 것은 공개 repo 생성이 auto mode 분류기에 막혀 소유자 확인을 약 10시간 기다렸기 때문이다(작업 중 시간에는 5분만 들어감). 다음 예측은 desktop 실행 횟수를 따로 세고, desktop이 없는 하네스·문서 일은 h1(23분)과 이번(38분)을 선례로 쓴다. 실측은 장부 커밋 직전까지이고 뒤의 커밋·보고는 들어 있지 않다"}
|
|
{"schema": 1, "kind": "estimate", "task": "harness-retro-loop", "transcript": "a6f550c2-1dc2-442d-9597-e07b82d2ac4d", "started_at": "2026-11-08T22:54:05+09:00", "base": "72078ca", "task_kind": "harness", "size": "medium", "minutes": {"p30": 30, "p50": 45, "p80": 70}, "calls": {"p30": 70, "p50": 100, "p80": 150}, "output_tokens": {"p30": 90000, "p50": 130000, "p80": 200000}, "basis": "선례 h2-harness-repo 작업 중 38분·호출 126·출력 19.4만(새 코드 약 800줄, desktop 0). 이번은 새 코드 약 200줄(ledger.py 명령, 시험), 손 판단은 위임 장부 빗나간 줄 분류 20~30줄과 형식 결정 약 5, desktop 0. 지난 4건이 모두 p30 아래라 선례 실측을 배수 없이 p50 가까이에 뒀다", "recorded_at": "2026-11-08T22:55+09:00"}
|
|
{"schema": 1, "kind": "retro", "task": "h2-harness-repo", "cause": "예측 근거 없음", "level": "architecture", "note": "선례(h3)의 desktop 실행 3회를 빼지 않았다. 4건 모두 p30 아래(실측/p50 시간 0.43)라 precedents 보정 줄과 estimate 보정 규칙을 더했다", "ref": "docs/retro/2026-11-08.md", "fix": "calib-median", "recorded_at": "2026-11-08T23:07+09:00", "applied_at": "2026-11-08T23:07+09:00"}
|
|
{"schema": 1, "kind": "actual", "task": "harness-retro-loop", "recorded_at": "2026-11-08T23:10+09:00", "transcript": "a6f550c2-1dc2-442d-9597-e07b82d2ac4d", "minutes": 16, "active_minutes": 16, "calls": 43, "output_tokens": 87654, "cache_read_tokens": 7032431, "max_context": 226136, "within": "p30", "result": "done", "commits": ["cf8c8c9", "f7e235b", "403716f"], "why": "작업 중 16분·호출 43·출력 87654로 모두 p30 아래. 선례(h2 38분) 실측을 배수 없이 p50 가까이에 뒀는데도 컸다: 위임 장부 빗나간 38줄 분류를 lessons 한 줄씩 스크립트로 뽑아 한 번에 했고, ledger.py 수정을 패치 스크립트 한 번으로 묶었다. 이번에 넣은 보정(시간 x0.43)을 썼다면 p30~p50 사이였다. 이 작업은 보정 규칙 전에 예측해 calib-median 판정에는 세지 않는다. 실측은 PR 직전까지"}
|
|
{"schema": 1, "kind": "retro", "task": "harness-retro-loop", "cause": "예측 근거 없음", "level": "architecture", "note": "선례 실측을 배수 없이 써도 p30 아래였다. 같은 치우침이라 calib-median(보정 줄과 estimate 보정 규칙)으로 묶는다", "ref": "docs/retro/2026-11-08.md", "recorded_at": "2026-11-08T23:10+09:00"}
|
|
{"schema": 1, "kind": "estimate", "task": "w3-harness-v2", "transcript": "71b3718c-3f9d-44c5-abd9-d4d42407a77c", "started_at": "2026-11-11T21:30+09:00", "base": "ce240d6", "task_kind": "harness", "size": "large", "minutes": {"p30": 40, "p50": 55, "p80": 85}, "calls": {"p30": 100, "p50": 150, "p80": 230}, "output_tokens": {"p30": 170000, "p50": 250000, "p80": 360000}, "basis": "선례 h2-harness-repo 38분·호출 126·출력 19.4만, h1 설계 22분. 이번은 조사 출처 약 30(서브에이전트), 손 판단 결정 약 30, 새 파일 약 25. 근거 값 90/130/200분·200/300/450·30만/45만/65만에 보정(0.43·0.51·0.56)을 곱함. 범위는 1·2단계와 claude-harness PR까지, 템플릿 적용 제외", "recorded_at": "2026-11-11T21:32+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v1", "case": "review-seeded-be", "transcript": "agent-a756f7273361edcbf", "active_minutes": 11, "calls": 55, "output_tokens": 53568, "input_tokens_total": 7309567, "start_context": 54213, "max_context": 190716, "subagents": 0, "subagent_calls": 0, "agent_calls": 0, "agent_return_chars": 0, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v1 세션을 흉내 냄: 세션 시작 지침·스킬 목록·에이전트 목록을 프롬프트로. 서브에이전트를 더 띄우지 않음. 심은 6/6. 덤 4건(smoke 스크립트가 옛 requestId를 읽음, 평문 주소 컬럼, 커밋에 논리 변경 다섯, repository가 JpaRepository를 상속—이전부터), 모두 코드로 참 확인. start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:20+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v1", "case": "review-seeded-be", "transcript": "agent-a3645ed2d3bbf1927", "active_minutes": 11, "calls": 73, "output_tokens": 51270, "input_tokens_total": 10896101, "start_context": 54213, "max_context": 207106, "subagents": 0, "subagent_calls": 0, "agent_calls": 0, "agent_return_chars": 0, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v1 세션을 흉내 냄: 세션 시작 지침·스킬 목록·에이전트 목록을 프롬프트로. 서브에이전트를 더 띄우지 않음. 심은 6/6. 덤 3건(smoke 스크립트, 평문 주소 컬럼, 커밋 묶음). start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:20+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a865722a582a8f498", "active_minutes": 9, "calls": 120, "output_tokens": 94823, "input_tokens_total": 12686524, "start_context": 53258, "max_context": 150538, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 22963, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(검증 전에 찍히는 로그, 안 쓰이는 finder와 FQN, 평문 주소 컬럼, 커밋 묶음)과 smoke 스크립트(이전부터로 분류). start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a8011c2d297e5b3a0", "active_minutes": 12, "calls": 147, "output_tokens": 123000, "input_tokens_total": 17424562, "start_context": 53258, "max_context": 147420, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 17021, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(smoke 스크립트, 목적을 못 이루는 로그, 평문 주소 컬럼, 커밋 묶음). 리드 보고 칸 채움: 렌즈 6·리뷰어 3·물결 2·라운드 1, High 이상 4건 직접 반증해 버린 것 0. start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"}
|
|
{"schema": 1, "kind": "retro", "task": "harness-v2-eval", "cause": "아키텍처 경직", "level": "architecture", "note": "과제 A(48줄, 분야 넷)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본 v1과 같은 결함 6/6을 찾고 토큰 2.08배. 렌즈 수로 리뷰어 수를 정하던 규칙을 변경 크기·작성자로 정하게 바꿈(남의 작은 변경 0명, 자기 작은 변경 1명, 큰 변경 2~4명)", "ref": "plugins/harness/skills/lead/SKILL.md ①, docs/experts.md 7.1절", "fix": "lens-small-diff", "recorded_at": "2026-11-11T22:34+09:00", "applied_at": "2026-11-11T22:34+09:00"}
|
|
{"schema": 1, "kind": "actual", "task": "w3-harness-v2", "transcript": "71b3718c-3f9d-44c5-abd9-d4d42407a77c", "minutes": 65, "active_minutes": 64, "calls": 956, "output_tokens": 1029649, "cache_read_tokens": 192547558, "max_context": 635581, "within": "p80", "result": "partial", "commits": ["cdde857", "2b3660d", "3bc3647", "bd6cbf0", "ce68d24", "7676093", "9735c33", "b2e6a5e"], "why": "시간은 p80 안(작업 중 63분). 호출 954·출력 103만은 서브에이전트 16개(조사 4, 초안 1, cold-read 1, 평가 4와 그 자식 리뷰어 6)를 더한 값이라 예측과 어긋났다. 예측 근거에 \"서브에이전트 토큰은 이 세션 기록에 안 잡힌다\"고 적었는데 ledger.py usage는 subagents/를 더한다(착수 전 조사 부족). 메인만 보면 호출 184·출력 약 24.7만으로 p50 근처. result partial: 1·2단계와 claude-harness PR까지 끝, 템플릿 적용(7)과 과제 A2·B 평가는 진행 중 PR 병합 뒤", "recorded_at": "2026-11-11T22:35+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "review-seeded-a", "active_minutes": 1, "calls": 8, "output_tokens": 6253, "start_context": 20540, "max_context": 48465, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.67. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "review-seeded-a", "active_minutes": 2, "calls": 11, "output_tokens": 8007, "start_context": 20470, "max_context": 57575, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.82. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "review-seeded-a", "active_minutes": 1, "calls": 8, "output_tokens": 5809, "start_context": 18469, "max_context": 45071, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.6. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "review-seeded-a", "active_minutes": 1, "calls": 6, "output_tokens": 5785, "start_context": 18536, "max_context": 43537, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.58. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "review-seeded-a2", "active_minutes": 2, "calls": 11, "output_tokens": 10300, "start_context": 20534, "max_context": 68526, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.94. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "review-seeded-a2", "active_minutes": 2, "calls": 11, "output_tokens": 11054, "start_context": 20467, "max_context": 74059, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $1.03. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "review-seeded-a2", "active_minutes": 2, "calls": 13, "output_tokens": 12456, "start_context": 18530, "max_context": 79169, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $1.1. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "review-seeded-a2", "active_minutes": 2, "calls": 12, "output_tokens": 12060, "start_context": 18462, "max_context": 75253, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $1.05. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "review-seeded-a", "active_minutes": 1, "calls": 8, "output_tokens": 5099, "start_context": 23227, "max_context": 45632, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.6. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "review-seeded-a", "active_minutes": 1, "calls": 11, "output_tokens": 6652, "start_context": 23222, "max_context": 48270, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.72. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "review-seeded-a2", "active_minutes": 2, "calls": 16, "output_tokens": 11603, "start_context": 23149, "max_context": 65865, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.96. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "review-seeded-a2", "active_minutes": 2, "calls": 15, "output_tokens": 11673, "start_context": 23217, "max_context": 69329, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $1.0. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 2, "active_minutes": 3, "calls": 30, "output_tokens": 13888, "start_context": 21318, "max_context": 89866, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.38. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 1, "active_minutes": 3, "calls": 36, "output_tokens": 17321, "start_context": 21251, "max_context": 121019, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.9. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "impl-priority", "run": 2, "active_minutes": 4, "calls": 39, "output_tokens": 19881, "start_context": 19176, "max_context": 121371, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.96. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "impl-priority", "run": 1, "active_minutes": 5, "calls": 42, "output_tokens": 25169, "start_context": 19244, "max_context": 134665, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $2.28. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 1, "active_minutes": 4, "calls": 34, "output_tokens": 18846, "start_context": 24067, "max_context": 119715, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 []. 비용 $1.89. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 2, "active_minutes": 4, "calls": 38, "output_tokens": 20320, "start_context": 23930, "max_context": 127121, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 []. 비용 $2.05. be-persistence 스킬 호출 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 2, "active_minutes": 3, "calls": 30, "output_tokens": 17697, "start_context": 21246, "max_context": 130828, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.89. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 1, "active_minutes": 4, "calls": 32, "output_tokens": 16646, "start_context": 21181, "max_context": 117381, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.7. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 3, "active_minutes": 5, "calls": 42, "output_tokens": 20669, "start_context": 21178, "max_context": 141552, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $2.28. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 3, "active_minutes": 3, "calls": 32, "output_tokens": 16621, "start_context": 24000, "max_context": 124385, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.81. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 2, "active_minutes": 4, "calls": 35, "output_tokens": 21063, "start_context": 24066, "max_context": 128180, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 []. 비용 $1.98. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 1, "active_minutes": 6, "calls": 55, "output_tokens": 29695, "start_context": 23995, "max_context": 194340, "agent_calls": 0, "findings": 7, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['index-not-in-alter-file']. 비용 $3.55. be-persistence 스킬 호출 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|