GCP - 데이터 웨어하우스 아키텍처

Google BigQuery

1. 빠른 SQL 쿼리 엔진

2. 데이터 저장을 위한 관리형 스토리

 

 일괄 데이터나 스트리밍 데이터들 수집하여 SQL 구문을 통하여 쿼리 할 수 있다.

기존에 SQL 구문과 동일하게 작성 가능하다. 필터링,그룹핑 등 활용 가능. 

FROM '프로젝트. 데이터셋.데이터테이블'

# 데이터셋은 테이블의 집합

 

BigQuery는 직접 또는 Cloud Dataflow 파이프라인을 통한 스트리밍 데이터 수집을 지원합니다.

BigQuery는 데이터 유형으로 ARRAY를 기본적으로 지원하고 STRUCT 가능.

STRUCT 과 ARRAY를 써서 JOIN을 최소화 할 수 있다.

 

---

데이터 레이크 - 빅테이블,클라우드스토리지로 구축 가능
데이터 웨어하우스 - ETL 과정을 거쳐서 빅쿼리로 구축
데이터 마트 - 필요한 데이터만 정제하여 사용 빅쿼리-dataset