docs(experts): 템플릿에 적용한 상태를 실제 세션으로 잰 결과를 더한다 #4

Merged
donghyeon.kang merged 1 commits from donghyeon.kang/harness-v2-experts AGit into main 2026-11-11 15:44:23 +00:00
Owner

문제: 7.2의 실제 평가는 평가용 플러그인으로 판을 만들어, 지식 스킬이
플러그인 스킬(paths가 있어도 시작 목록에 듦)로 실렸다. 실제 템플릿은
프로젝트 스킬이라 시작 비용과 발동이 다를 수 있다.

고른 방법: 백엔드에 적용한 브랜치(c611b06f)와 그 기준(relayout 123fc0bf)을
scratchpad에 복제해 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로,
Slack 도구 막음)으로 시작 컨텍스트 2번과 구현 과제 3번씩을 돌렸다.
결과: 시작 47,689 → 48,088(+0.8%), 규칙 검사 v1 6/8 ×3, v2 8/8 ×3, 동시
인덱스 규칙 0/3 → 3/3. v2는 호출 1.35배·출력 1.5배를 썼다. 장부 eval 줄 10개.
버린 대안: 원래 worktree 경로에서 재기. 그 경로에 걸린 프로젝트 메모리가 한
쪽에만 실려 +4.7%로 잘못 나왔다.

위험: 판마다 3번이다. 사용자 전역 설정(superpowers 등)이 양쪽에 같이 실려
절대값은 이 기계 기준이다.

검증: plugins·template 시험은 바뀐 것이 없다(문서·장부만). ledger.py compare
--task harness-v2-eval-real로 표를 다시 뽑았다.

문제: 7.2의 실제 평가는 평가용 플러그인으로 판을 만들어, 지식 스킬이 플러그인 스킬(paths가 있어도 시작 목록에 듦)로 실렸다. 실제 템플릿은 프로젝트 스킬이라 시작 비용과 발동이 다를 수 있다. 고른 방법: 백엔드에 적용한 브랜치(c611b06f)와 그 기준(relayout 123fc0bf)을 scratchpad에 복제해 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음)으로 시작 컨텍스트 2번과 구현 과제 3번씩을 돌렸다. 결과: 시작 47,689 → 48,088(+0.8%), 규칙 검사 v1 6/8 ×3, v2 8/8 ×3, 동시 인덱스 규칙 0/3 → 3/3. v2는 호출 1.35배·출력 1.5배를 썼다. 장부 eval 줄 10개. 버린 대안: 원래 worktree 경로에서 재기. 그 경로에 걸린 프로젝트 메모리가 한 쪽에만 실려 +4.7%로 잘못 나왔다. 위험: 판마다 3번이다. 사용자 전역 설정(superpowers 등)이 양쪽에 같이 실려 절대값은 이 기계 기준이다. 검증: plugins·template 시험은 바뀐 것이 없다(문서·장부만). ledger.py compare --task harness-v2-eval-real로 표를 다시 뽑았다.
donghyeon.kang added 1 commit 2026-11-11 15:05:30 +00:00
문제: 7.2의 실제 평가는 평가용 플러그인으로 판을 만들어, 지식 스킬이
플러그인 스킬(paths가 있어도 시작 목록에 듦)로 실렸다. 실제 템플릿은
프로젝트 스킬이라 시작 비용과 발동이 다를 수 있다.

고른 방법: 백엔드에 적용한 브랜치(c611b06f)와 그 기준(relayout 123fc0bf)을
scratchpad에 복제해 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로,
Slack 도구 막음)으로 시작 컨텍스트 2번과 구현 과제 3번씩을 돌렸다.
결과: 시작 47,689 → 48,088(+0.8%), 규칙 검사 v1 6/8 ×3, v2 8/8 ×3, 동시
인덱스 규칙 0/3 → 3/3. v2는 호출 1.35배·출력 1.5배를 썼다. 장부 eval 줄 10개.
버린 대안: 원래 worktree 경로에서 재기. 그 경로에 걸린 프로젝트 메모리가 한
쪽에만 실려 +4.7%로 잘못 나왔다.

위험: 판마다 3번이다. 사용자 전역 설정(superpowers 등)이 양쪽에 같이 실려
절대값은 이 기계 기준이다.

검증: plugins·template 시험은 바뀐 것이 없다(문서·장부만). ledger.py compare
--task harness-v2-eval-real로 표를 다시 뽑았다.
donghyeon.kang merged commit 06121f4995 into main 2026-11-11 15:44:23 +00:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: donghyeon.kang/claude-harness#4