51 lines
4.9 KiB
YAML
51 lines
4.9 KiB
YAML
report-id: harness-comparison-20260707T111250Z
|
||
workflow-id: wf-harness-audit
|
||
role-id: harness-comparison
|
||
created-at: 2026-07-07T11:12:50Z
|
||
title: Org OS 하네스 vs 업계 멀티에이전트 오케스트레이션 — 효율성 감사
|
||
report-header:
|
||
bottom-line: >
|
||
사용자 하네스의 골격은 2025~2026 업계 합의(멀티에이전트는 판단/리서치에만, 코딩엔 단일; 종합 시 요약 말고 원본 트레이스 공유)와
|
||
정합하며 그 두 교훈을 스펙으로 성문화했다 — fan-out/collapse 분기 + synthesis-rehydration. 효율의 골격 근거는 탄탄하다.
|
||
실패는 구조가 아니라 운영 규율(tier 게이트·렌즈 상한·dissent 보존 검증을 정책 텍스트가 아니라 hook 강제로 배선했는가)에서 온다.
|
||
decision-needed: { needed: false, approver: EXEC-CEO }
|
||
confidence: { value: Med, derived-from: evidence }
|
||
risks:
|
||
- "토큰·지연 비용: Anthropic 관측상 멀티에이전트 ~15배 토큰, 토큰량이 성능분산 80% 설명. fan-out 위에 전문 재적재를 쌓아 종합 지점이 특히 무겁다."
|
||
- "단일 fan-out phase 내부 발산: 8 family가 clean context로 병렬 시작하면 미명시 가정 충돌(Cognition Flappy Bird) 잔존 — 재조정 부담이 종합자에 집중."
|
||
- "종합자가 품질 병목·미검증 지점: dissent 보존을 강제하는 hook이 종합 단계에 약함."
|
||
- "62->26 taxonomy 책임 중복 리스크: AWS 베스트프랙티스는 collaborator 중복 최소화 권고 — family 수가 많아 오라우팅 확률↑."
|
||
evidence:
|
||
- source-uri: docs/superpowers/harness-efficiency-audit-2026-07-07.md
|
||
grade: E2
|
||
- source-uri: org-os/06-agent-work/execution-policy.yaml
|
||
grade: E3
|
||
- source-uri: org-os/06-agent-work/collaboration-map.yaml
|
||
grade: E3
|
||
verdict: >
|
||
이례적으로 자기인식이 높은 설계. Anthropic(코딩엔 멀티에이전트 비권장)과 Cognition(요약 말고 full trace)의 핵심 교훈을
|
||
각각 collaboration-default와 synthesis-rehydration으로 코드화했고, 다양성을 headcount가 아니라 11 렌즈로 고정해 spawn 폭발을 구조적으로 억제했다.
|
||
strengths:
|
||
- "fan-out/collapse 분기 = 업계 최선 판단과 정합(코드는 collapse로 접어 Anthropic/Cognition의 코딩 경고 반영). MetaGPT/ChatDev/CrewAI엔 이 구분 없음 → 더 방어적·토큰효율적."
|
||
- "synthesis-rehydration이 Cognition 1순위 비판(요약이 관점 유실)을 정면 방어 — 하위 .report.yaml 전문 재적재."
|
||
- "다양성을 11 렌즈로 고정한 것이 토큰 폭증의 구조적 방파제(Anthropic '단순 질의 50 subagent' 실패를 스펙 차원에서 억제). 조사대상 중 가장 독창적."
|
||
- "mode×tier 경제성 게이트가 Anthropic의 '고가치 과제에만 멀티에이전트'를 정책화(AWS routing-vs-full과 동형, 2직교축으로 더 세밀)."
|
||
- "파일기반·계약기반 소통이 org OS(내구·감사) 목적에 정확 — 12-factor own-context, LangGraph checkpoint 계열. 지연 민감 코드루프는 collapse로 상쇄."
|
||
closest-industry:
|
||
- "Anthropic multi-agent research system — 가장 직접적 원형(Orchestrator + fan-out worker + clean context)."
|
||
- "Magentic-One Task/Progress Ledger — plan.md+progress.yaml 듀얼 원장으로 직접 차용."
|
||
- "Cognition Don't Build Multi-Agents — 명시 인용·방어한 반론 진영."
|
||
- "AWS Bedrock routing vs full = light vs heavy tier와 동형. LangGraph FSM = state-transition-rules."
|
||
recommendations:
|
||
- "wave당 토큰·비용 계측 + tier별 fan-out 예산 하드 상한(초과 시 자동 collapse 강등). 정책 텍스트를 hook 강제로 승격. (근거: Anthropic 15배 토큰)"
|
||
- "standard tier fan-out 폭을 family가 아니라 lens로 상한(공유렌즈 primary 1개, heavy만 sub-angle 분화). 이미 있는 shared-lens-selection을 기본 강제로. (근거: 50 subagent 실패)"
|
||
- "fan-out phase 내부에 '공유 제약 pre-brief'(승인 Packet+공통 설계제약)를 context-package에 동봉 — 발산 다양성은 유지하되 충돌 결정만 사전 정렬. (근거: Cognition Flappy Bird)"
|
||
- "종합자에 dissent-보존 검증 강제기: 종합 .report.yaml에 conflicts/dissent 필드 + 하위 보고서 링크 존재를 validate_report가 검사. (근거: dissent 삭제 금지 must-not)"
|
||
- "초장기 wave용 compaction 단계 형식화하되 결정 재적재(synthesis-rehydration) 경로는 압축 대상에서 제외. (근거: 12-factor dumb-zone 40~60%)"
|
||
sources:
|
||
- "Anthropic multi-agent research system: https://www.anthropic.com/engineering/multi-agent-research-system"
|
||
- "Cognition Don't Build Multi-Agents: https://cognition.com/blog/dont-build-multi-agents"
|
||
- "MetaGPT arXiv 2308.00352 / ChatDev arXiv 2307.07924"
|
||
- "Magentic-One (Microsoft Research) / AWS Bedrock multi-agent collaboration / 12-Factor Agents"
|
||
- "전체 출처·비교표: docs/superpowers/harness-efficiency-audit-2026-07-07.md"
|