init: company-haness 설계
This commit is contained in:
DongHyeonka
@@ -0,0 +1,62 @@
|
||||
# 🔍 [리뷰] 하네스 효율성 감사
|
||||
|
||||
> **결론** — 사용자 하네스의 골격은 2025~2026 업계 합의(멀티에이전트는 판단/리서치에만, 코딩엔 단일; 종합 시 요약 말고 원본 트레이스 공유)와 정합하며 그 두 교훈을 스펙으로 성문화했다 — fan-out/collapse 분기 + synthesis-rehydration. 효율의 골격 근거는 탄탄하다. 실패는 구조가 아니라 운영 규율(tier 게이트·렌즈 상한·dissent 보존 검증을 정책 텍스트가 아니라 hook 강제로 배선했는가)에서 온다.
|
||||
|
||||
> **결정 필요** — — 아니오
|
||||
> **확신도** — Med (E3 근거)
|
||||
|
||||
`repo: company-haness` · `2026-07-07 11:12:50+00:00` · `wf-harness-audit`
|
||||
|
||||
## · report id
|
||||
harness-comparison-20260707T111250Z
|
||||
|
||||
## · created at
|
||||
2026-07-07 11:12:50+00:00
|
||||
|
||||
## · verdict
|
||||
이례적으로 자기인식이 높은 설계. Anthropic(코딩엔 멀티에이전트 비권장)과 Cognition(요약 말고 full trace)의 핵심 교훈을 각각 collaboration-default와 synthesis-rehydration으로 코드화했고, 다양성을 headcount가 아니라 11 렌즈로 고정해 spawn 폭발을 구조적으로 억제했다.
|
||||
|
||||
## · strengths
|
||||
- fan-out/collapse 분기 = 업계 최선 판단과 정합(코드는 collapse로 접어 Anthropic/Cognition의 코딩 경고 반영). MetaGPT/ChatDev/CrewAI엔 이 구분 없음 → 더 방어적·토큰효율적.
|
||||
- synthesis-rehydration이 Cognition 1순위 비판(요약이 관점 유실)을 정면 방어 — 하위 .report.yaml 전문 재적재.
|
||||
- 다양성을 11 렌즈로 고정한 것이 토큰 폭증의 구조적 방파제(Anthropic '단순 질의 50 subagent' 실패를 스펙 차원에서 억제). 조사대상 중 가장 독창적.
|
||||
- mode×tier 경제성 게이트가 Anthropic의 '고가치 과제에만 멀티에이전트'를 정책화(AWS routing-vs-full과 동형, 2직교축으로 더 세밀).
|
||||
- 파일기반·계약기반 소통이 org OS(내구·감사) 목적에 정확 — 12-factor own-context, LangGraph checkpoint 계열. 지연 민감 코드루프는 collapse로 상쇄.
|
||||
|
||||
## · closest industry
|
||||
- Anthropic multi-agent research system — 가장 직접적 원형(Orchestrator + fan-out worker + clean context).
|
||||
- Magentic-One Task/Progress Ledger — plan.md+progress.yaml 듀얼 원장으로 직접 차용.
|
||||
- Cognition Don't Build Multi-Agents — 명시 인용·방어한 반론 진영.
|
||||
- AWS Bedrock routing vs full = light vs heavy tier와 동형. LangGraph FSM = state-transition-rules.
|
||||
|
||||
## · recommendations
|
||||
- wave당 토큰·비용 계측 + tier별 fan-out 예산 하드 상한(초과 시 자동 collapse 강등). 정책 텍스트를 hook 강제로 승격. (근거: Anthropic 15배 토큰)
|
||||
- standard tier fan-out 폭을 family가 아니라 lens로 상한(공유렌즈 primary 1개, heavy만 sub-angle 분화). 이미 있는 shared-lens-selection을 기본 강제로. (근거: 50 subagent 실패)
|
||||
- fan-out phase 내부에 '공유 제약 pre-brief'(승인 Packet+공통 설계제약)를 context-package에 동봉 — 발산 다양성은 유지하되 충돌 결정만 사전 정렬. (근거: Cognition Flappy Bird)
|
||||
- 종합자에 dissent-보존 검증 강제기: 종합 .report.yaml에 conflicts/dissent 필드 + 하위 보고서 링크 존재를 validate_report가 검사. (근거: dissent 삭제 금지 must-not)
|
||||
- 초장기 wave용 compaction 단계 형식화하되 결정 재적재(synthesis-rehydration) 경로는 압축 대상에서 제외. (근거: 12-factor dumb-zone 40~60%)
|
||||
|
||||
## · sources
|
||||
- Anthropic multi-agent research system: https://www.anthropic.com/engineering/multi-agent-research-system
|
||||
- Cognition Don't Build Multi-Agents: https://cognition.com/blog/dont-build-multi-agents
|
||||
- MetaGPT arXiv 2308.00352 / ChatDev arXiv 2307.07924
|
||||
- Magentic-One (Microsoft Research) / AWS Bedrock multi-agent collaboration / 12-Factor Agents
|
||||
- 전체 출처·비교표: docs/superpowers/harness-efficiency-audit-2026-07-07.md
|
||||
|
||||
## ⚠️ 리스크
|
||||
- 토큰·지연 비용: Anthropic 관측상 멀티에이전트 ~15배 토큰, 토큰량이 성능분산 80% 설명. fan-out 위에 전문 재적재를 쌓아 종합 지점이 특히 무겁다.
|
||||
- 단일 fan-out phase 내부 발산: 8 family가 clean context로 병렬 시작하면 미명시 가정 충돌(Cognition Flappy Bird) 잔존 — 재조정 부담이 종합자에 집중.
|
||||
- 종합자가 품질 병목·미검증 지점: dissent 보존을 강제하는 hook이 종합 단계에 약함.
|
||||
- 62->26 taxonomy 책임 중복 리스크: AWS 베스트프랙티스는 collaborator 중복 최소화 권고 — family 수가 많아 오라우팅 확률↑.
|
||||
|
||||
## 📎 근거
|
||||
|
||||
| # | 출처 | 등급 |
|
||||
|---|---|---|
|
||||
| 1 | docs/superpowers/harness-efficiency-audit-2026-07-07.md | E2 |
|
||||
| 2 | org-os/06-agent-work/execution-policy.yaml | E3 |
|
||||
| 3 | org-os/06-agent-work/collaboration-map.yaml | E3 |
|
||||
|
||||
## 📂 원본 파일 (에이전트용 YAML)
|
||||
|
||||
- 종합/원천: `_sandbox/completion-records/wf-harness-audit/harness-comparison-20260707T111250Z.report.yaml`
|
||||
+50
@@ -0,0 +1,50 @@
|
||||
report-id: harness-comparison-20260707T111250Z
|
||||
workflow-id: wf-harness-audit
|
||||
role-id: harness-comparison
|
||||
created-at: 2026-07-07T11:12:50Z
|
||||
title: Org OS 하네스 vs 업계 멀티에이전트 오케스트레이션 — 효율성 감사
|
||||
report-header:
|
||||
bottom-line: >
|
||||
사용자 하네스의 골격은 2025~2026 업계 합의(멀티에이전트는 판단/리서치에만, 코딩엔 단일; 종합 시 요약 말고 원본 트레이스 공유)와
|
||||
정합하며 그 두 교훈을 스펙으로 성문화했다 — fan-out/collapse 분기 + synthesis-rehydration. 효율의 골격 근거는 탄탄하다.
|
||||
실패는 구조가 아니라 운영 규율(tier 게이트·렌즈 상한·dissent 보존 검증을 정책 텍스트가 아니라 hook 강제로 배선했는가)에서 온다.
|
||||
decision-needed: { needed: false, approver: EXEC-CEO }
|
||||
confidence: { value: Med, derived-from: evidence }
|
||||
risks:
|
||||
- "토큰·지연 비용: Anthropic 관측상 멀티에이전트 ~15배 토큰, 토큰량이 성능분산 80% 설명. fan-out 위에 전문 재적재를 쌓아 종합 지점이 특히 무겁다."
|
||||
- "단일 fan-out phase 내부 발산: 8 family가 clean context로 병렬 시작하면 미명시 가정 충돌(Cognition Flappy Bird) 잔존 — 재조정 부담이 종합자에 집중."
|
||||
- "종합자가 품질 병목·미검증 지점: dissent 보존을 강제하는 hook이 종합 단계에 약함."
|
||||
- "62->26 taxonomy 책임 중복 리스크: AWS 베스트프랙티스는 collaborator 중복 최소화 권고 — family 수가 많아 오라우팅 확률↑."
|
||||
evidence:
|
||||
- source-uri: docs/superpowers/harness-efficiency-audit-2026-07-07.md
|
||||
grade: E2
|
||||
- source-uri: org-os/06-agent-work/execution-policy.yaml
|
||||
grade: E3
|
||||
- source-uri: org-os/06-agent-work/collaboration-map.yaml
|
||||
grade: E3
|
||||
verdict: >
|
||||
이례적으로 자기인식이 높은 설계. Anthropic(코딩엔 멀티에이전트 비권장)과 Cognition(요약 말고 full trace)의 핵심 교훈을
|
||||
각각 collaboration-default와 synthesis-rehydration으로 코드화했고, 다양성을 headcount가 아니라 11 렌즈로 고정해 spawn 폭발을 구조적으로 억제했다.
|
||||
strengths:
|
||||
- "fan-out/collapse 분기 = 업계 최선 판단과 정합(코드는 collapse로 접어 Anthropic/Cognition의 코딩 경고 반영). MetaGPT/ChatDev/CrewAI엔 이 구분 없음 → 더 방어적·토큰효율적."
|
||||
- "synthesis-rehydration이 Cognition 1순위 비판(요약이 관점 유실)을 정면 방어 — 하위 .report.yaml 전문 재적재."
|
||||
- "다양성을 11 렌즈로 고정한 것이 토큰 폭증의 구조적 방파제(Anthropic '단순 질의 50 subagent' 실패를 스펙 차원에서 억제). 조사대상 중 가장 독창적."
|
||||
- "mode×tier 경제성 게이트가 Anthropic의 '고가치 과제에만 멀티에이전트'를 정책화(AWS routing-vs-full과 동형, 2직교축으로 더 세밀)."
|
||||
- "파일기반·계약기반 소통이 org OS(내구·감사) 목적에 정확 — 12-factor own-context, LangGraph checkpoint 계열. 지연 민감 코드루프는 collapse로 상쇄."
|
||||
closest-industry:
|
||||
- "Anthropic multi-agent research system — 가장 직접적 원형(Orchestrator + fan-out worker + clean context)."
|
||||
- "Magentic-One Task/Progress Ledger — plan.md+progress.yaml 듀얼 원장으로 직접 차용."
|
||||
- "Cognition Don't Build Multi-Agents — 명시 인용·방어한 반론 진영."
|
||||
- "AWS Bedrock routing vs full = light vs heavy tier와 동형. LangGraph FSM = state-transition-rules."
|
||||
recommendations:
|
||||
- "wave당 토큰·비용 계측 + tier별 fan-out 예산 하드 상한(초과 시 자동 collapse 강등). 정책 텍스트를 hook 강제로 승격. (근거: Anthropic 15배 토큰)"
|
||||
- "standard tier fan-out 폭을 family가 아니라 lens로 상한(공유렌즈 primary 1개, heavy만 sub-angle 분화). 이미 있는 shared-lens-selection을 기본 강제로. (근거: 50 subagent 실패)"
|
||||
- "fan-out phase 내부에 '공유 제약 pre-brief'(승인 Packet+공통 설계제약)를 context-package에 동봉 — 발산 다양성은 유지하되 충돌 결정만 사전 정렬. (근거: Cognition Flappy Bird)"
|
||||
- "종합자에 dissent-보존 검증 강제기: 종합 .report.yaml에 conflicts/dissent 필드 + 하위 보고서 링크 존재를 validate_report가 검사. (근거: dissent 삭제 금지 must-not)"
|
||||
- "초장기 wave용 compaction 단계 형식화하되 결정 재적재(synthesis-rehydration) 경로는 압축 대상에서 제외. (근거: 12-factor dumb-zone 40~60%)"
|
||||
sources:
|
||||
- "Anthropic multi-agent research system: https://www.anthropic.com/engineering/multi-agent-research-system"
|
||||
- "Cognition Don't Build Multi-Agents: https://cognition.com/blog/dont-build-multi-agents"
|
||||
- "MetaGPT arXiv 2308.00352 / ChatDev arXiv 2307.07924"
|
||||
- "Magentic-One (Microsoft Research) / AWS Bedrock multi-agent collaboration / 12-Factor Agents"
|
||||
- "전체 출처·비교표: docs/superpowers/harness-efficiency-audit-2026-07-07.md"
|
||||
Reference in New Issue
Block a user