ci(docs): 문서 언어·머리 블록·참조·숫자를 PR에서 검사한다
문제: 살아 있는 문서의 언어, 기록의 상태 표시, 인라인 코드 경로, 복사한 버전·개수를 아무 검사도 보지 않는다. lychee는 마크다운 링크만 보는데 경로 대부분은 인라인 코드로 쓰여 있고, leaf CLAUDE.md는 Spring Boot 버전을 4.0.0으로 적어 둔 채 낡았다. 고른 방법: Gradle 밖 scripts/check-docs.py 하나에 검사 넷을 둔다. - language: 살아 있는 문서와 ADR 본문이 한국어인가. 판정은 보고 언어 훅 H11과 같다(코드·명령·경로·인용을 빼고 영어 낱말 3개 이상, 한글 비율 0.3 미만이면 영어). - head: 기록·ADR 맨 위 머리 블록의 칸, 종류별 상태 어휘, 날짜, 한국어 요약, 현재 정본·대체됨 경로. - reference: 인라인 코드 안 src/·docs/·scripts/·infra/·.github/ 경로와 Gradle 경로가 지금 트리·registry에 있는가. 코드 블록, 「> 이력」 인용, 제거 표, upgrade/는 건너뛴다. leaf 기준 경로는 어느 파일의 끝부분과 맞으면 있다고 본다. - number: Spring Boot x.y.z와 leaf 개수 문장. 예외 목록(scripts/check-docs-exceptions.txt)은 2026-11-07 기준선 217줄이고 줄기만 한다. 줄마다 sha256 지문이 스크립트의 FROZEN에 있어야 해서 목록에 새 줄을 더하면 실패하고, 더는 걸리지 않는 줄을 남겨 두면 실패한다. workflow docs-check.yml이 PR마다 경로 필터 없이 자기 시험과 검사를 돌린다. 코드에서 파일을 지우는 변경이 문서를 낡게 만들기 때문이다. 같은 커밋에서 지도 CLAUDE.md의 Spring Boot 버전 복사를 정본 가리키기로 고쳤다. 버린 대안: 예외 목록 하나에 「늘리지 않는다」는 약속만 두는 방식(테스트의 KNOWN_DEVIATIONS와 같은 꼴)은 brief가 요구한 「더하면 실패」를 기계로 막지 못한다. 기준선을 git 이력(merge-base)과 비교하는 방식은 얕은 checkout에서 깨진다. 검사를 link-check.yml에 더하는 방식은 그 workflow가 docs 경로에만 걸리고 repository-contract 테스트가 trigger를 고정한다. CI 재편 때 단계 workflow로 접는다. 위험·한계: 타입 이름 검사(지운 클래스 이름)는 넣지 않았다. 외부 타입과 구분하려면 git 전체 이력이 필요하다. 경로 검사는 루트 폴더로 시작하는 경로만 보므로 src/ 기준 상대 경로(adapter/outbound/...)는 보지 않는다. leaf 개수 규칙은 설계 문서의 개수 같은 정당한 숫자도 잡을 수 있다(지금 generator 출력 예 하나가 예외 목록에 있다). 구조 정리가 src/messaging 등을 옮기면 예외 줄의 경로가 바뀌므로 그 병합에서 FROZEN을 함께 고쳐야 한다. 레지스트리 yaml 설명 칸의 언어는 보지 않는다. 검증: python3 -m unittest discover -s scripts/tests 42개 통과. 변이 시험: 기준선 확인·낡은 예외 확인·언어 판정·이력 인용 건너뛰기·소스 세트 이름· 끝부분 대조·상태 어휘를 하나씩 끄면 해당 시험이 실패했다. python3 scripts/check-docs.py rc=0(language 181·reference 7·number 29가 모두 예외, head 0), check-work-docs.py rc=0.
This commit is contained in:
@@ -0,0 +1,252 @@
|
||||
"""scripts/check-docs.py의 시험. 고장 낸 입력에서 실패하고, 맞는 입력에서 통과하는지 본다.
|
||||
|
||||
python3 -m unittest discover -s scripts/tests
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import importlib.util
|
||||
import json
|
||||
import subprocess
|
||||
import sys
|
||||
import tempfile
|
||||
import unittest
|
||||
from pathlib import Path
|
||||
|
||||
SCRIPTS = Path(__file__).resolve().parent.parent
|
||||
_spec = importlib.util.spec_from_file_location("check_docs", SCRIPTS / "check-docs.py")
|
||||
check_docs = importlib.util.module_from_spec(_spec)
|
||||
sys.modules["check_docs"] = check_docs
|
||||
_spec.loader.exec_module(check_docs)
|
||||
|
||||
KOREAN = "이 문서는 한국어로 쓴 살아 있는 문서다. 코드와 같은 변경에서 고친다.\n"
|
||||
ENGLISH = "This document is written in English and explains how the module works in detail.\n"
|
||||
|
||||
|
||||
def head(kind: str = "설계서", status: str = "구현됨", written: str = "2026-08-11",
|
||||
summary: str = "한국어로 쓴 요약 한 문장이다.", canonical: str = "`docs/live.md`",
|
||||
extra: str = "", label: str | None = None) -> str:
|
||||
if label is None:
|
||||
label = check_docs.DECISION_LABEL if kind == "결정 기록" else check_docs.RECORD_LABEL.format(kind=kind)
|
||||
lines = [check_docs.HEAD_START, label, "", f"- 상태: {status}", f"- 작성일: {written}",
|
||||
f"- 요약: {summary}", f"- 현재 정본: {canonical}"]
|
||||
if extra:
|
||||
lines.append(extra)
|
||||
lines += [check_docs.HEAD_END, ""]
|
||||
return "\n".join(lines) + "\n"
|
||||
|
||||
|
||||
class Repository:
|
||||
"""A throwaway git working tree with a registry, so the checker sees what git sees."""
|
||||
|
||||
def __init__(self) -> None:
|
||||
self._directory = tempfile.TemporaryDirectory()
|
||||
self.root = Path(self._directory.name)
|
||||
subprocess.run(["git", "init", "-q", str(self.root)], check=True)
|
||||
self.write("docs/live.md", KOREAN)
|
||||
self.write(check_docs.REGISTRY_FILE, json.dumps({"modules": [
|
||||
{"id": "app", "gradle_path": ":app", "source_path": "src/app"},
|
||||
{"id": "adapter-web", "gradle_path": ":adapter:inbound:web", "source_path": "src/adapter/inbound/web"},
|
||||
]}))
|
||||
|
||||
def write(self, path: str, text: str) -> None:
|
||||
target = self.root / path
|
||||
target.parent.mkdir(parents=True, exist_ok=True)
|
||||
target.write_text(text, encoding="utf-8")
|
||||
|
||||
def run(self, only: tuple[str, ...] = check_docs.CHECKS, exceptions: str = "",
|
||||
frozen: frozenset[str] | None = None) -> list[str]:
|
||||
if frozen is None:
|
||||
frozen = frozenset(check_docs.fingerprint(line) for line in check_docs.read_exceptions(exceptions))
|
||||
errors, _ = check_docs.run(self.root, only, exceptions=exceptions, frozen=frozen)
|
||||
return errors
|
||||
|
||||
def close(self) -> None:
|
||||
self._directory.cleanup()
|
||||
|
||||
|
||||
class RepositoryTestCase(unittest.TestCase):
|
||||
def setUp(self) -> None:
|
||||
self.repo = Repository()
|
||||
self.addCleanup(self.repo.close)
|
||||
|
||||
def assertFailsWith(self, errors: list[str], fragment: str) -> None:
|
||||
self.assertTrue(any(fragment in error for error in errors), f"no error with {fragment!r}: {errors}")
|
||||
|
||||
|
||||
class LanguageTest(RepositoryTestCase):
|
||||
def test_an_english_living_document_fails(self) -> None:
|
||||
self.repo.write("docs/guide.md", "# Guide\n\n" + ENGLISH * 3)
|
||||
self.assertFailsWith(self.repo.run(("language",)), "docs/guide.md: 영어 문서다")
|
||||
|
||||
def test_a_korean_living_document_passes(self) -> None:
|
||||
self.repo.write("src/app/README.md", "# 앱\n\n" + KOREAN * 3)
|
||||
self.assertEqual(self.repo.run(("language",)), [])
|
||||
|
||||
def test_code_commands_and_paths_do_not_make_a_korean_document_english(self) -> None:
|
||||
code = "```bash\n" + "./gradlew :app:test --console=plain and many more english words here\n" * 20 + "```\n"
|
||||
self.repo.write("docs/guide.md", "# 안내\n\n" + KOREAN + code + "`src/app/Foo.java`를 본다.\n")
|
||||
self.assertEqual(self.repo.run(("language",)), [])
|
||||
|
||||
def test_a_record_body_keeps_its_original_language(self) -> None:
|
||||
self.repo.write("docs/design/2026-08-11-x-design.md", head() + "# Design\n\n" + ENGLISH * 3)
|
||||
self.assertEqual(self.repo.run(("language",)), [])
|
||||
|
||||
def test_an_english_decision_record_body_fails(self) -> None:
|
||||
self.repo.write("docs/adr/ADR-X-001.md", head(kind="결정 기록", status="채택") + "# ADR\n\n" + ENGLISH * 3)
|
||||
self.assertFailsWith(self.repo.run(("language",)), "docs/adr/ADR-X-001.md: 영어 문서다")
|
||||
|
||||
|
||||
class ExceptionListTest(RepositoryTestCase):
|
||||
LINE = "language\tdocs/guide.md"
|
||||
|
||||
def test_a_frozen_exception_excuses_its_document(self) -> None:
|
||||
self.repo.write("docs/guide.md", ENGLISH * 3)
|
||||
self.assertEqual(self.repo.run(("language",), exceptions=self.LINE + "\n"), [])
|
||||
|
||||
def test_adding_a_line_to_the_exception_list_fails(self) -> None:
|
||||
self.repo.write("docs/guide.md", ENGLISH * 3)
|
||||
errors = self.repo.run(("language",), exceptions=self.LINE + "\n", frozen=frozenset())
|
||||
self.assertFailsWith(errors, "기준선에 없는 예외다")
|
||||
|
||||
def test_an_exception_that_no_longer_fails_must_be_removed(self) -> None:
|
||||
self.repo.write("docs/guide.md", KOREAN * 3)
|
||||
self.assertFailsWith(self.repo.run(("language",), exceptions=self.LINE + "\n"), "더는 걸리지 않는다")
|
||||
|
||||
def test_an_exception_for_one_check_does_not_excuse_another(self) -> None:
|
||||
self.repo.write("docs/guide.md", "`docs/gone.md`를 본다. " + KOREAN)
|
||||
errors = self.repo.run(("reference",), exceptions="number\tdocs/guide.md\tdocs/gone.md\n")
|
||||
self.assertFailsWith(errors, "없는 경로다: docs/gone.md")
|
||||
|
||||
def test_every_line_of_the_real_exception_list_is_in_the_frozen_baseline(self) -> None:
|
||||
text = (SCRIPTS.parent / check_docs.EXCEPTIONS_FILE).read_text(encoding="utf-8")
|
||||
outside = [line for line in check_docs.read_exceptions(text)
|
||||
if check_docs.fingerprint(line) not in check_docs.FROZEN]
|
||||
self.assertEqual(outside, [])
|
||||
|
||||
def test_a_new_line_in_the_real_exception_list_is_not_in_the_frozen_baseline(self) -> None:
|
||||
self.assertNotIn(check_docs.fingerprint("language\tdocs/brand-new-english.md"), check_docs.FROZEN)
|
||||
|
||||
|
||||
class HeadBlockTest(RepositoryTestCase):
|
||||
PATH = "docs/design/2026-08-11-x-design.md"
|
||||
|
||||
def errors_for(self, text: str) -> list[str]:
|
||||
self.repo.write(self.PATH, text + "# Original\n\nbody\n")
|
||||
return self.repo.run(("head",))
|
||||
|
||||
def test_a_complete_head_block_passes(self) -> None:
|
||||
self.assertEqual(self.errors_for(head()), [])
|
||||
|
||||
def test_canonical_none_with_a_reason_passes(self) -> None:
|
||||
self.assertEqual(self.errors_for(head(canonical="없음 — 지운 기능이다")), [])
|
||||
|
||||
def test_a_record_without_a_head_block_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(""), "맨 위에 머리 블록이 없다")
|
||||
|
||||
def test_a_status_outside_the_vocabulary_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(head(status="Accepted")), "설계서의 상태는")
|
||||
|
||||
def test_a_plan_status_on_a_decision_record_fails(self) -> None:
|
||||
self.repo.write("docs/adr/ADR-X-001.md", head(kind="결정 기록", status="끝남") + "# ADR\n")
|
||||
self.assertFailsWith(self.repo.run(("head",)), "결정 기록의 상태는")
|
||||
|
||||
def test_a_malformed_date_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(head(written="2026-13-01")), "작성일은 YYYY-MM-DD다")
|
||||
|
||||
def test_an_english_summary_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(head(summary="A design for the module boundary.")), "요약은 한국어")
|
||||
|
||||
def test_a_canonical_path_that_does_not_exist_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(head(canonical="`docs/missing.md`")), "현재 정본 경로가 없다")
|
||||
|
||||
def test_a_canonical_value_without_a_path_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(head(canonical="jpa 문서")), "현재 정본은")
|
||||
|
||||
def test_superseded_without_its_replacement_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(head(status="대체됨")), "「대체됨」 칸에 대체한 문서")
|
||||
|
||||
def test_superseded_with_its_replacement_passes(self) -> None:
|
||||
self.assertEqual(self.errors_for(head(status="대체됨", extra="- 대체됨: `docs/live.md`")), [])
|
||||
|
||||
def test_a_wrong_kind_label_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(head(label="> **기록 · 계획서** 다른 종류다.")), "머리 블록 둘째 줄은")
|
||||
|
||||
def test_an_unknown_field_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for(head(extra="- 담당: 누군가")), "머리 블록에 없는 칸이다")
|
||||
|
||||
def test_the_kind_follows_the_folder(self) -> None:
|
||||
self.repo.write("docs/history/plans/evidence/x.md", head(kind="증거", status="보관") + "# Evidence\n")
|
||||
self.assertEqual(self.repo.run(("head",)), [])
|
||||
|
||||
|
||||
class ReferenceTest(RepositoryTestCase):
|
||||
def errors_for(self, text: str, path: str = "docs/guide.md") -> list[str]:
|
||||
self.repo.write(path, KOREAN + text)
|
||||
return self.repo.run(("reference",))
|
||||
|
||||
def test_a_missing_repository_path_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for("`docs/gone.md`를 읽는다.\n"), "없는 경로다: docs/gone.md")
|
||||
|
||||
def test_an_existing_path_with_a_line_number_passes(self) -> None:
|
||||
self.assertEqual(self.errors_for("`docs/live.md:12`를 읽는다.\n"), [])
|
||||
|
||||
def test_a_path_inside_a_command_is_checked(self) -> None:
|
||||
self.assertFailsWith(self.errors_for("`python3 scripts/gone.py --all`을 돌린다.\n"), "scripts/gone.py")
|
||||
|
||||
def test_fenced_code_is_skipped(self) -> None:
|
||||
self.assertEqual(self.errors_for("```text\n`docs/gone.md`\n```\n"), [])
|
||||
|
||||
def test_a_history_quote_is_skipped(self) -> None:
|
||||
self.assertEqual(self.errors_for("> 이력: `docs/gone.md`는 2026-09-25에 지웠다.\n> `src/gone/` 도.\n"), [])
|
||||
|
||||
def test_a_placeholder_path_is_skipped(self) -> None:
|
||||
self.assertEqual(self.errors_for("`docs/reviews/<폴더>`와 `src/**/CLAUDE.md`를 본다.\n"), [])
|
||||
|
||||
def test_a_leaf_relative_source_path_resolves_through_some_leaf(self) -> None:
|
||||
self.repo.write("src/app/src/test/resources/contracts/x.sha256", "x")
|
||||
self.assertEqual(self.errors_for("각 leaf의 `src/test/resources/contracts/x.sha256`을 본다.\n"), [])
|
||||
|
||||
def test_a_source_set_name_every_leaf_has_is_skipped(self) -> None:
|
||||
self.assertEqual(self.errors_for("테스트는 각 leaf의 `src/test`와 `src/main/java/` 옆에 둔다.\n"), [])
|
||||
|
||||
def test_a_gradle_path_outside_the_registry_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for("`./gradlew :sample:check`를 돌린다.\n"), "registry에 없는 Gradle 경로다: :sample:check")
|
||||
|
||||
def test_a_task_of_a_registered_project_passes(self) -> None:
|
||||
self.assertEqual(self.errors_for("`./gradlew :adapter:inbound:web:test`와 `:app:check`를 돌린다.\n"), [])
|
||||
|
||||
def test_the_removal_table_is_not_checked(self) -> None:
|
||||
self.assertEqual(self.errors_for("`src/gone/Old.java`를 지웠다.\n", path="docs/capability-status.md"), [])
|
||||
|
||||
def test_a_record_is_not_checked(self) -> None:
|
||||
self.repo.write("docs/design/2026-08-11-x-design.md", head() + "`docs/gone.md`\n")
|
||||
self.assertEqual(self.repo.run(("reference",)), [])
|
||||
|
||||
|
||||
class NumberTest(RepositoryTestCase):
|
||||
def errors_for(self, text: str) -> list[str]:
|
||||
self.repo.write("src/app/CLAUDE.md", KOREAN + text)
|
||||
return self.repo.run(("number",))
|
||||
|
||||
def test_a_copied_spring_boot_version_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for("Runtime baseline: Spring Boot 4.0.8.\n"), "'Spring Boot 4.0.8'")
|
||||
|
||||
def test_a_major_version_passes(self) -> None:
|
||||
self.assertEqual(self.errors_for("Spring Boot 4 위에서 돈다.\n"), [])
|
||||
|
||||
def test_a_copied_leaf_count_fails(self) -> None:
|
||||
self.assertFailsWith(self.errors_for("registry는 leaf 65개를 가진다.\n"), "leaf 개수")
|
||||
self.assertFailsWith(self.errors_for("declares exactly 19 leaf identities.\n"), "leaf 개수")
|
||||
|
||||
def test_a_word_count_of_leaves_passes(self) -> None:
|
||||
self.assertEqual(self.errors_for("leaf 하나를 고른다.\n"), [])
|
||||
|
||||
|
||||
class CommandLineTest(unittest.TestCase):
|
||||
def test_an_unknown_check_is_a_usage_error(self) -> None:
|
||||
self.assertEqual(check_docs.main(["--only", "spelling"]), 2)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
Reference in New Issue
Block a user