[Airflow] DAG 내 task 연결하기 (순서 지정)

DAG 내에서 각 Task들의 순서를 연결해주는 방법에는 크게 2가지가 있다.

 

1. >>, << 사용해 연결 (airflow 공식 추천)

이 방법은 Airflow에서 공식적으로 추천하는 방법이다. >>, <<와 같은 화살표로 각 task 간의 순서를 연결해준다.

# task 하나씩 연결해 줄 경우
t1 >> t2
t1 >> t3
t2 >> t4
t3 >> t4
t5 >> t4


# 여러 task를 한꺼번에 나타내 줄 경우
t1 >> [t2, t3] >> t4 (<< t5)
t5 >> t4

위와 같이 >> 화살표의 진행 방향대로 task의 순서를 지정해줄 수 있다. 동시에 수행해야 할 task의 경우 리스트에 넣어 표현해줄 수 있다. 위 처럼 task의 순서를 연결해서 Airflow 웹 서버에서 확인해본다면 아래와 같은 그래프를 확인할 수 있다.

 

 

2. 함수 사용해 연결

아래 공식문서를 통해 함수를 통한 연결 방법도 알 수 있다.

https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html

DAGs — Airflow Documentation

set_downstream()과 set_upstream()같은 함수를 통해서도 위와 같이 순서를 지정해줄 수 있다. 하지만 비효율적인 방법이라 추천하지는 않는다.