반응형
1.수집 (extract/capture,ingest)
2.변환/처리(tranform, process)
3.저장 (load, store)
(ETL,ELT)
*CDC(change Data Capture): 데이터 실시간 복
4. 분석(analyze)
5.활용(explore) -ML, 시각화
BigQuery / Dataproc(Managed Spark/Hadoop)
Realtime streaming Analytics ( Pub/Sub, Dataflow, Bigquery)
Horizontally Scalable SQL (Spanner)
QUERY = 기본 디폴트
PIPELINE = ELT 추가 작업
ML_EXTERNAL = 행렬 인수분해 모델
반응형
'IT > 빅데이타' 카테고리의 다른 글
| Market Intelligence: E-Commerce (0) | 2024.04.05 |
|---|---|
| 데이터 구조 변경에 따른 예외값 설정 (0) | 2023.08.23 |
| [Schema] 개념 및 특징 (0) | 2023.04.03 |
| 테이블(Table), 필드(Field), 열(Column), 행(Row) (0) | 2023.03.28 |
| 데이터 마케팅 업무 프로세스 (0) | 2023.03.28 |
