Apache 에어플로우(Airflow) - (1) tool check

 

Airflow

 

에어플로우란 AirBnB에서 만든 workflow management tool 입니다.

workflow는 일련의 작업의 흐름이라고 말할 수 있는데요. 

ETL 같은 작업의 workflow를 관리하는 툴이 바로 Airflow입니다.

workflow 작성, 스케쥴링, 모니터링 하는 작업입니다. 이러한 airflow는 MLOps에서도 많이 사용되고 데이터 엔지니어 영역에서도 빈번하게 사용되는 SW입니다.

Airflow의 확장 가능한 Python 프레임워크를 사용하면 거의 모든 기술과 연결되는 워크플로를 구축할 수 있습니다.

Airflow 워크플로의 주요 특징은 모든 워크플로가 Python 코드로 정의 되있다는 겁니다.

 

아래는 chatgpt를 사용한 요약본 입니다.

Airflow는 파이썬으로 작성된 DAG(Directed Acyclic Graph) 기반 워크플로우를 사용하여 데이터 처리 파이프라인을 구축하고, 이를 스케줄링하여 자동화된 데이터 처리 작업을 실행할 수 있습니다. Airflow는 다양한 데이터 처리 도구와 서비스와 통합이 가능하며, 유연하고 확장성이 뛰어나기 때문에 대규모 데이터 처리에 적합합니다. Airflow는 Apache 라이선스 2.0으로 배포되고 있습니다.Apache 에어플로우(Airflow) - (1)

 

Apache 에어플로우(Airflow) - (2) 설치 및 시작하기