Files
clean-architecture-frontend…/scripts/tests/test_verify.py
T
DongHyeonka c50da34712 feat(scripts): verify.sh가 인자를 넘기고 원격에서 바뀐 파일을 돌려받는다
cold-read 시험에서 두 곳이 막혔다. script 단계가 인자를 넘기지 못해
test:sample-removal -- --feature=<id>를 돌릴 수 없었고, desktop에서
만든 파일(create:feature, 초기 JS 기록 다시 쓰기)을 노트북으로 가져올
길이 없었다. dry-run은 공백 든 인자를 실제와 다르게 보였다.

- script <이름> -- <인자…>: 인자는 script가 하나일 때만 넘긴다.
- exec -- <명령…>: 한 테스트 파일이나 package script가 아닌 node 스크립트.
- 원격에서 바뀐 파일은 로그 폴더의 changes.patch에 남고, --apply-back이면
  노트북 작업 트리에 얹는다.
- VERIFY_SNAPSHOT=1이면 artifacts·dist·test-results를 snapshot/에 복사한다
  (리뷰어가 함께 읽는 사본). VERIFY_INSTALL=0은 설치를 건너뛴다(시험용).
- dry-run이 인자를 %q로 보인다.
- 원격 호출은 단계 다음에 --on here를 둔다. 뒤에 두면 `--` 뒤 명령
  인자가 되어 원격이 자기를 다시 원격으로 보냈다(시험에서 잠금 교착으로
  드러났다).
- 원격 준비가 일찍 실패해도 /tmp의 패치 파일을 지운다.

위험·한계: --apply-back은 노트북 작업 트리가 원격 기준과 다르면 패치가
얹히지 않는다. 그때는 rc=4와 원격 패치 경로를 알린다.

검증: python3 -m unittest scripts/tests/test_verify.py 통과(인자 전달,
exec, 잘못된 인자 10가지가 원격 호출 0, 가짜 ssh로 원격에서 만든 파일
둘을 돌려받음, 바뀐 것 없는 단계의 changes.patch는 빈 파일).
2026-11-08 17:53:36 +09:00

139 lines
8.1 KiB
Python

"""scripts/verify.sh의 시험. 단계를 계약 파일에서 읽는지, 잘못된 인자를 원격에 보내기 전에 거절하는지,
지금 트리를 원격 worktree로 옮겨 같은 트리에서 돌리고 지우는지를 표준 라이브러리와 git·bash·flock으로 본다.
원격은 가짜 ssh(호스트를 무시하고 이 기계에서 실행)다. pnpm은 돌리지 않는다.
python3 -m unittest discover -s scripts/tests
"""
from __future__ import annotations
import json
import os
import shutil
import subprocess
import tempfile
import unittest
from pathlib import Path
REPO = Path(__file__).resolve().parent.parent.parent
VERIFY = REPO / "scripts/verify.sh"
GIT_ENV = {"GIT_AUTHOR_NAME": "t", "GIT_AUTHOR_EMAIL": "t@example.com", "GIT_COMMITTER_NAME": "t",
"GIT_COMMITTER_EMAIL": "t@example.com", "GIT_CONFIG_COUNT": "1", "GIT_CONFIG_KEY_0": "core.hooksPath",
"GIT_CONFIG_VALUE_0": "/dev/null"}
def sh(args: list[str], cwd: Path, env: dict | None = None, check: bool = True) -> subprocess.CompletedProcess:
result = subprocess.run(args, cwd=cwd, env={**os.environ, **GIT_ENV, **(env or {})}, capture_output=True,
text=True, timeout=60)
if check and result.returncode != 0:
raise AssertionError(f"{args} → {result.returncode}\n{result.stdout}\n{result.stderr}")
return result
def gates() -> dict:
return json.loads((REPO / "config/ci/gates.json").read_text(encoding="utf-8"))
class StagePlanTest(unittest.TestCase):
def test_a_stage_runs_every_gate_the_contract_lists(self) -> None:
for stage in gates()["stages"]:
with self.subTest(stage=stage["id"]):
result = sh([str(VERIFY), stage["id"], "--dry-run"], cwd=REPO)
planned = [line.split(":")[0] for line in result.stdout.splitlines()]
self.assertEqual(planned, stage["gateIds"])
self.assertIn(f"ci:gate {stage['gateIds'][0]}", result.stdout)
def test_parts_runs_each_command_of_the_gate(self) -> None:
contract = gates()
gate = next(g for g in contract["gates"] if g["id"] == "FE-GATE-013")
scripts = {c["id"]: c["script"] for c in contract["commands"]}
result = sh([str(VERIFY), "parts", "FE-GATE-013", "--dry-run"], cwd=REPO)
self.assertEqual([line.split(": ", 1)[1] for line in result.stdout.splitlines()],
[f"corepack pnpm -s {scripts[c]}" for c in gate["commandIds"]])
def test_arguments_after_the_separator_go_to_the_one_script_or_command_as_given(self) -> None:
result = sh([str(VERIFY), "script", "test:sample-removal", "--dry-run", "--", "--feature=invoice-feature"],
cwd=REPO)
self.assertEqual(result.stdout.strip(),
"test:sample-removal: corepack pnpm -s test:sample-removal --feature=invoice-feature")
result = sh([str(VERIFY), "exec", "--dry-run", "--", "node", "scripts/run-vitest.ts", "run", "tests/a b.test.ts"],
cwd=REPO)
self.assertEqual(result.stdout.strip(), r"exec node: node scripts/run-vitest.ts run tests/a\ b.test.ts")
def test_wrong_arguments_are_refused_here_before_anything_is_sent(self) -> None:
with tempfile.TemporaryDirectory() as folder:
calls = Path(folder) / "calls"
fake_ssh = Path(folder) / "ssh"
fake_ssh.write_text(f'#!/bin/sh\necho "$@" >> {calls}\n', encoding="utf-8")
fake_ssh.chmod(0o755)
for args in (["nope"], ["gate", "FE-GATE-999"], ["parts"], ["gate"], ["merge", "extra"], ["docs", "x"],
["script", "a", "b", "--", "--x"], ["exec"], ["exec", "--"], ["script", "--", "x"]):
with self.subTest(args=args):
result = sh([str(VERIFY), *args], cwd=REPO, env={"VERIFY_SSH": str(fake_ssh)}, check=False)
self.assertEqual(result.returncode, 2, result.stderr)
self.assertFalse(calls.exists(), "a refused command must not reach the remote host")
class RemoteTransportTest(unittest.TestCase):
"""--on <호스트>: the patch lands in a fresh worktree, the tree matches, the run is logged, the worktree goes."""
def test_the_working_tree_is_run_remotely_on_the_same_tree_and_cleaned_up(self) -> None:
with tempfile.TemporaryDirectory() as folder:
base = Path(folder)
project, bare, remote, logs = (base / name for name in ("project", "origin.git", "remote", "logs"))
(project / "scripts").mkdir(parents=True)
(project / "config/ci").mkdir(parents=True)
shutil.copy(VERIFY, project / "scripts/verify.sh")
shutil.copy(REPO / "config/ci/gates.json", project / "config/ci/gates.json")
shutil.copy(REPO / ".nvmrc", project / ".nvmrc")
(project / "scripts/check-work-docs.py").write_text("print('docs checked')\n", encoding="utf-8")
sh(["git", "init", "-q", "-b", "main"], cwd=project)
sh(["git", "add", "-A"], cwd=project)
sh(["git", "commit", "-q", "-m", "init"], cwd=project)
sh(["git", "clone", "-q", "--bare", str(project), str(bare)], cwd=base)
sh(["git", "remote", "add", "origin", str(bare)], cwd=project)
sh(["git", "fetch", "-q", "origin"], cwd=project)
sh(["git", "clone", "-q", str(bare), str(remote)], cwd=base)
(project / "notes.md").write_text("커밋 안 한 새 파일\n", encoding="utf-8")
with (project / "scripts/check-work-docs.py").open("a", encoding="utf-8") as handle:
handle.write("print('changed here')\n")
fake_ssh = base / "fake-ssh"
fake_ssh.write_text('#!/bin/sh\nshift\nexec bash -c "$*"\n', encoding="utf-8")
fake_ssh.chmod(0o755)
env = {"VERIFY_SSH": str(fake_ssh), "VERIFY_REMOTE_REPO": str(remote), "VERIFY_LOCK": str(base / "lock"),
"VERIFY_LOG_ROOT": str(logs), "VERIFY_NODE_BIN": "/nonexistent"}
temp_index = base / "index"
shutil.copy(project / ".git/index", temp_index)
sh(["git", "add", "-A"], cwd=project, env={"GIT_INDEX_FILE": str(temp_index)})
here = sh(["git", "write-tree"], cwd=project, env={"GIT_INDEX_FILE": str(temp_index)}).stdout.strip()
result = sh(["scripts/verify.sh", "docs", "--on", "build-host", "--log", "t"], cwd=project, env=env,
check=False)
self.assertEqual(result.returncode, 0, result.stdout + result.stderr)
summary = (logs / "t/summary.txt").read_text(encoding="utf-8")
self.assertTrue(summary.startswith(f"tree {here} commit "), summary)
self.assertIn("rc=0", summary)
self.assertIn("changed here", (logs / "t/run.log").read_text(encoding="utf-8"))
self.assertFalse((logs / "t/install.log").exists(), "a laptop stage installs nothing")
worktrees = sh(["git", "worktree", "list"], cwd=remote).stdout.strip().splitlines()
self.assertEqual(len(worktrees), 1, worktrees)
self.assertEqual(sh(["git", "status", "--porcelain"], cwd=remote).stdout, "")
self.assertEqual((logs / "t/changes.patch").read_text(encoding="utf-8"), "")
made = sh(["scripts/verify.sh", "exec", "--on", "build-host", "--log", "t2", "--apply-back", "--", "bash", "-c",
"echo made > made.txt && echo more >> notes.md"], cwd=project,
env={**env, "VERIFY_INSTALL": "0"}, check=False)
self.assertEqual(made.returncode, 0, made.stdout + made.stderr)
self.assertEqual((project / "made.txt").read_text(encoding="utf-8"), "made\n")
self.assertEqual((project / "notes.md").read_text(encoding="utf-8"), "커밋 안 한 새 파일\nmore\n")
self.assertIn("2개를 이 작업 트리에 얹었다", made.stderr)
missing = sh(["scripts/verify.sh", "docs", "--on", "build-host"], cwd=project,
env={**env, "VERIFY_REMOTE_REPO": str(base / "missing")}, check=False)
self.assertEqual(missing.returncode, 4)
if __name__ == "__main__":
unittest.main()