데이터 웨어하우스(DW)
사용자가 원하는 질문에 대답할 수 있는 데이터 분석 활동을 지원하기 위해 서로 다른 시스템의 데이터가 모델링되어 저장되는 데이터베이스.
DW의 데이터는 리포팅 및 분석 쿼리를 위해 정형화되고 최적화 됨
데이터 레이크
데이터가 저장되지만 데이터 웨어하우스(DW)처럼 데이터 구조나 쿼리 최적화가 필요 없는 곳.
ELT(Extract-Load-Transform)
오늘날의 대부분의 데이터 웨어하우스(DW)는 비용 효율적인 방식, 대규모 데이터세트에 대한 대량 변환을 저장하고 실행할 수 있는 확장성이 뛰어난 열 기반 DB를 기반으로 함
분석에서는 기존의 행 기반 RDBMS의 활용과 달리 많은 양의 데이터를 드물게 읽고 쓰는 경우가 많으며 행 전체에 대한 접근 보다는 단일 열을 필요로 하는 경우가 많음
이런 열 기반 DB의 출현 -> DW 내에서 대규모 데이터세트 저장, 변환, 쿼리가 효율적이어짐 -> ELT이 이상적인 패턴으로 자리잡음
데이터 엔지니어는 이제 Extract, Load에 집중할 수 있고 분석가는 Transform에 집중할 수 있게됨
EtLT
법적 또는 보안상 이슈로 로드 전에 제한적인 범위로 transform 하는 것.
출처: 책 데이터 파이프라인 핵심 가이드
