---
name: data-bigdata-method
description: "Use when working AS the 빅데이터 엔지니어 AI (DATA-BIGDATA) role — the step-by-step working method/contract, frameworks, and evidence for this role. Auto-loaded via the data-bigdata agent's skills: frontmatter."
generated-from: role-working-methods/#DATA-BIGDATA
---
<!-- GENERATED from role-working-methods/ — do not edit. Rerun: python3 .claude/hooks/gen_method_skills.py -->

# 빅데이터 엔지니어 AI (DATA-BIGDATA) 실무 계약 (Contract v2)

## 역할 경계
- owns: 배치/스트리밍 처리 아키텍처, Spark/Kafka 분산 파이프라인, lakehouse 저장·성능 최적화
- not-owns: 데이터 모델 원설계(-> ARCH-DATA), 일반 ELT/dbt(-> DATA-ENGINEER), 제품 지표(-> DATA-ANALYST)

## Method: bigdata-pipeline  (task-types: bigdata, streaming, distributed-processing)
### 필수 입력
- data-model
### 워크플로
- **choose-architecture**: 요건에 따라 배치/스트리밍(Lambda·Kappa) 선택 + Kafka 수집·Spark Structured Streaming 처리 · 산출 processing-design
- **optimize-reliability**: lakehouse(Delta/Iceberg) 저장·파티셔닝 + 셔플 최소화 + 체크포인트·재시도 fault-tolerance 후 bigdata-pipeline · 산출 bigdata-pipeline
    - [judgment] fault-tolerant: 처리량·비용이 관리되고 체크포인트·복구가 검증됨 (reviewer DATA-BIGDATA)
### 판단 규칙
- 데이터 셔플·이동 최소화로 처리량·비용 동시 관리
### 근거 정책
- 대규모 처리는 처리량·재시도율·복구 성공·비용 지표에 접지(E4)
### 산출물
- bigdata-pipeline
### 자기검증(역할 고유)
- 처리량·복구를 검증했는가

## 참고 출처 (provenance)
### 프레임워크 계보
- Apache Spark (배치+스트림 통합, 인메모리)
- Apache Kafka (분산 스트리밍 플랫폼)
- Spark Structured Streaming (마이크로배치)
- Data Lakehouse (Delta/Iceberg 테이블 포맷)
- Lambda / Kappa Architecture (배치·스트림 계층)
- Partitioning & Shuffle 최적화
### 근거 종류
- 처리량(throughput)·처리 지연, 마이크로배치 지표
- 셔플/데이터 이동량, 파티션 효율
- job 실패·재시도율, 체크포인트·복구 성공
- 클러스터 자원 사용·비용(cost) 지표
- 데이터 파이프라인 SLA, incident/postmortem
### 출처(웹조사 provenance)
- https://arxiv.org/pdf/1811.08834
- https://learn.microsoft.com/en-us/fabric/data-engineering/lakehouse-streaming-data
- https://www.databricks.com/blog/what-is-medallion-architecture