목록2024/09/15 (1)
NIRVANA
[Apache Airflow] 웹 크롤링 DAG 작성하기
(복습을 위해 살펴보는) Airflow 구조 Scheduler스케줄된 Workflow(DAG)을 트리거하고 제출된 Task를 실행(조건을 만족할 경우, Task를 실행할 수 있게 함)executor에게 Task를 제공해주는 역할을 수행 생성된 DAG를 지속적으로 모니터링하고, 종속성 및 타이밍 구성에 따라 실행할 작업을 예약한다 ExecutorTask를 수행하는 역할 스케줄러와 통신하여 실행할 작업에 대한 정보를 받고, 다음 작업을 실행하는 데 필요한 프로세스나 컨테이너를 시작한다인프라나 요구사항에 따라 LocalExecutor, CeleryExecutor, KubernetesExecutor 등 다양한 유형의 실행자가 존재 WorkerExecutor가 할당한 작업을 수행하는 구성 요소 (실제 Task 실..
DataEngineering
2024. 9. 15. 19:55