2.4 KiB
2.4 KiB
name, description, generated-from
| name | description | generated-from |
|---|---|---|
| data-engineer-method | Use when working AS the 데이터 엔지니어 AI (DATA-ENGINEER) role — the step-by-step working method/contract, frameworks, and evidence for this role. Auto-loaded via the data-engineer agent's skills: frontmatter. | role-working-methods/#DATA-ENGINEER |
데이터 엔지니어 AI (DATA-ENGINEER) 실무 계약 (Contract v2)
역할 경계
- owns: data contract 합의, ELT 수집/적재·dbt 변환(medallion), 데이터 품질 테스트·lineage
- not-owns: 데이터 모델 원설계(-> ARCH-DATA), 대규모 분산처리 엔진(-> DATA-BIGDATA), 제품 지표 해석(-> DATA-ANALYST)
Method: data-pipeline (task-types: data-pipeline, elt, data-quality)
필수 입력
- data-model
워크플로
- ingest-transform: data contract 합의 + ELT 적재 + dbt 모듈 변환(Bronze→Silver→Gold medallion) · 산출 pipeline-models
- test-lineage: dbt 테스트(unique/not_null/relationships/freshness) + 컬럼 lineage·관측성 후 data-pipeline · 산출 data-pipeline
- [judgment] quality-tested: 품질 테스트·freshness·lineage 가 파이프라인에 내장됨 (reviewer DATA-ENGINEER)
판단 규칙
- 소스 계약 위반은 조기 차단(스키마·SLA·오너 명시)
근거 정책
- 파이프라인은 dbt 테스트·freshness·SLA 준수율에 접지(E4)
산출물
- data-pipeline
자기검증(역할 고유)
- 품질 테스트·lineage 를 내장했는가
참고 출처 (provenance)
프레임워크 계보
- ELT/ETL (클라우드 네이티브는 ELT 선호)
- dbt (버전관리·테스트·문서화된 SQL 변환)
- Medallion Architecture (Bronze/Silver/Gold)
- Data Contract (소스-소비자 스키마 계약)
- Data Quality Testing (unique/not_null/relationships/freshness)
- Data Lineage (컬럼 단위 계보)
- Data Observability / 파이프라인 SLO
근거 종류
- 파이프라인 지표: 처리시간·지연(latency)·실패지점·처리량
- dbt 테스트 결과 + freshness 체크(신선도)
- lineage 그래프(원천→모델 추적)
- 데이터 품질/무결성 SLO, SLA 준수율
- incident/postmortem, RCA 로그