Chapter.02 데이터 엔지니어링이란?-01. Job Description으로 살펴보는 Data Engineering

<aside> 💡 Data Engineering : 빅데이터를 수집, 가공, 저장하는 모든 시스템을 구축/관리하는 과정

</aside>

대용량 데이터 처리를 위한 Database(DB)를 관리하는 작업
Database란, 데이터를 효율적으로 저장/관리하기 위한 시스템을 말한다.
회사/기관이 운영하는 서비스에서 발생하는 모든 데이터를 데이터베이스로 효과적으로 관리하기 위한 모든 시스템을 운영한다.
주로, Hadoop Ecosystem과 관련이 깊다.
하나의 확정된 개념은 아니다. 아직 지속적으로 발전 중! → 그래서 단체/기관마다 정의하는 Data Engineering의 개념이 약간씩 다르다.
Data Engineering을 업으로 삼는 사람들이 Data Engineer 이다. 그들이 하는 일들을 살펴보면 Data Engineering이 어떤 일인지 조금 더 알 수 있다.
각 회사들이 정의하는 Data Engineer들의 역할을 살펴보면서 Data Engineering은 어떤 것들로 구성되어 있는지 확인해보자!