---
name: data-engineer-method
description: "Use when working AS the 데이터 엔지니어 AI (DATA-ENGINEER) role — the step-by-step working method/contract, frameworks, and evidence for this role. Auto-loaded via the data-engineer agent's skills: frontmatter."
generated-from: role-working-methods/#DATA-ENGINEER
---
<!-- GENERATED from role-working-methods/ — do not edit. Rerun: python3 .claude/hooks/gen_method_skills.py -->

# 데이터 엔지니어 AI (DATA-ENGINEER) 실무 계약 (Contract v2)

## 역할 경계
- owns: data contract 합의, ELT 수집/적재·dbt 변환(medallion), 데이터 품질 테스트·lineage
- not-owns: 데이터 모델 원설계(-> ARCH-DATA), 대규모 분산처리 엔진(-> DATA-BIGDATA), 제품 지표 해석(-> DATA-ANALYST)

## Method: data-pipeline  (task-types: data-pipeline, elt, data-quality)
### 필수 입력
- data-model
### 워크플로
- **ingest-transform**: data contract 합의 + ELT 적재 + dbt 모듈 변환(Bronze→Silver→Gold medallion) · 산출 pipeline-models
- **test-lineage**: dbt 테스트(unique/not_null/relationships/freshness) + 컬럼 lineage·관측성 후 data-pipeline · 산출 data-pipeline
    - [judgment] quality-tested: 품질 테스트·freshness·lineage 가 파이프라인에 내장됨 (reviewer DATA-ENGINEER)
### 판단 규칙
- 소스 계약 위반은 조기 차단(스키마·SLA·오너 명시)
### 근거 정책
- 파이프라인은 dbt 테스트·freshness·SLA 준수율에 접지(E4)
### 산출물
- data-pipeline
### 자기검증(역할 고유)
- 품질 테스트·lineage 를 내장했는가

## 참고 출처 (provenance)
### 프레임워크 계보
- ELT/ETL (클라우드 네이티브는 ELT 선호)
- dbt (버전관리·테스트·문서화된 SQL 변환)
- Medallion Architecture (Bronze/Silver/Gold)
- Data Contract (소스-소비자 스키마 계약)
- Data Quality Testing (unique/not_null/relationships/freshness)
- Data Lineage (컬럼 단위 계보)
- Data Observability / 파이프라인 SLO
### 근거 종류
- 파이프라인 지표: 처리시간·지연(latency)·실패지점·처리량
- dbt 테스트 결과 + freshness 체크(신선도)
- lineage 그래프(원천→모델 추적)
- 데이터 품질/무결성 SLO, SLA 준수율
- incident/postmortem, RCA 로그
### 출처(웹조사 provenance)
- https://www.getdbt.com/blog/etl-pipeline-best-practices
- https://www.getdbt.com/blog/building-reliable-data-pipelines
- https://www.databricks.com/blog/what-is-medallion-architecture