- Databricks 기반 데이터 플랫폼 구축 및 고도화
- 비즈니스 요구사항에 맞춘 효율적인 데이터 마트(Data Mart) 및 데이터 웨어하우스 스키마 설계
- Databricks Workflows 또는 외부 오케스트레이션 도구를 활용한 데이터 파이프라인 자동화 및 모니터링
- Apache Spark 분산 컴퓨팅 환경에 대한 깊은 이해를 바탕으로 클러스터 자원 최적화, 쿼리 튜닝 및 비용 효율화 달성
(자격 요건)
[필수역량]
- Databricks 환경을 기반으로 한 대규모 데이터 레이크하우스 아키텍처 구축 및 고도화 경험
- Apache Airflow 등의 오케스트레이션 도구를 활용한 대규모 데이터 파이프라인(DAG) 설계 및 트래블슈팅 능력을 보유하신 분
- Apache Spark 실무 개발 및 운영 경험
- Python 및 SQL을 활용한 대용량 데이터 처리, 가공 및 프로그래밍 스킬이 원숙하신 분
[우대사항]
- Databricks 관련 공인 자격증을 보유하신 분
- Vector DB 구축 및 Graph DB를 활용한 대용량 데이터 적재/최적화 경험
- GCP 또는 AWS 환경에서의 데이터 플랫폼 및 인프라 구축/운영 경험
- 대규모 데이터 처리 및 ETL/ELT 파이프라인 구축 경험
- 기술 문서화를 중요시 하며, 유관 부서 및 동료와 소통이 원활하신 분