26 lines
1.8 KiB
YAML
26 lines
1.8 KiB
YAML
# Calibration fixture: 단일결함(single-defect) — gold에서 evidence-grounding 기준만 의도적으로
|
|
# 훼손한 변형과 gold를 비교했을 때, ruler가 정확히 evidence-grounding만 하락시키고(표적) 다른
|
|
# criterion(role-expertise 등 허용된 연쇄 제외)은 과도하게 흔들지 않아야 calibration이 통과한다.
|
|
# 소비: bench_cascade.calibrate.single_defect_pass(target_drop, next_nonallowed_drop,
|
|
# nonallowed_max_drop, pairwise_goldwin, thresholds) — 이 meta.yaml의 thresholds를 그대로 넣는다.
|
|
fixture:
|
|
id: defect-evidence-grounding
|
|
description: >
|
|
gold/candidate.yaml의 problem-framing·user-and-core-task·selected-direction·
|
|
selection-rationale에서 evidence-pack 인용(source-artifacts, 구체 관찰 번호)을 전부 제거하고
|
|
동일한 결론을 근거 없는 단정문으로 바꾼 변형. 구조(스키마)는 gold와 동일하게 유지한다 —
|
|
스키마를 깨면 judge가 형식 오류를 잡는 것이지 evidence-grounding 결함을 잡는 게 아니게 된다.
|
|
target-criterion: evidence-grounding
|
|
allowed-collateral: [role-expertise]
|
|
allowed-collateral-rationale: >
|
|
근거 인용을 제거하면 "이 역할만이 낼 수 있는 판단"이라는 인상도 함께 옅어지는 연쇄 효과가
|
|
있을 수 있다(전문성의 신호 중 하나가 구체 근거 인용이므로). 그 외 criterion(procedural-
|
|
completeness·alternatives-and-counterarguments·practical-artifacts·handoff-completeness·
|
|
non-genericness·design-distinctiveness)은 evidence-grounding 결함과 무관하게 원래 값을
|
|
유지해야 하며, 하락하면 표적 격리 실패로 간주한다.
|
|
thresholds:
|
|
target-min-drop: 1.0
|
|
non-target-max-drop: 0.5
|
|
target-margin-over-next: 0.5
|
|
pairwise-target-goldwin-min: 0.67
|