WSL 썸네일형 리스트형 [Airflow] Airflow DAG 만들기 & DAG 디렉토리 셋팅 operator와 관련 용어 개념오퍼레이터: 특정 행위를 할 수 있는 기능을 모아놓은 클래스(설계도)Task: 오퍼레이터에서 객체화되어 DAG에서 실행 가능한 오브젝트Bash 오퍼레이터: 쉘 스크립트 명령을 수행하는 오퍼레이터, 이외에도 Python 오퍼레이터 등 다양함. 오퍼레이터를 통해 Task를 만들고, DAG를 통해 각 Task를 실행시킴. Task의 수행 주체는? Airflow의 전체적인 아키텍처는 다음과 같다.1. 스케줄러에서 DAG파일을 파싱2. 스케줄러가 해당 정보를 메타DB에 저장3. DAG의 Start 시간 파악4. Start 시간 도달 시 워커에 DAG 파일에 의한 워크플로우 시작 지시5. 워커는 DAG파일을 읽어들인 후 처리 (실행 전에도 메타 DB에 업데이트)6. 워크플로우 완료 .. 더보기 [Linux/WSL] 간단한 리눅스 명령어 정리 리눅스에서 자주 쓰는 간단한 명령어들을 정리해 보았다. 명령어역할pwd현재 디렉토리 경로 출력ls현재 디렉토리의 파일 목록 출력 (숨김파일 및 자세히 표시: -al)cd디렉토리 변경 (cd만 단독 사용 시 홈 디렉토리로 이동)mkdir디렉토리 생성touch새로운 파일 생성rm파일 삭제 (디렉토리 포함: -r)cp파일 복사 (디렉토리 포함: -r)mv파일 이동 / 이름 변경tar파일/디렉토리를 압축 또는 압축해제(압축시: tar cvf / 해제시: tar xvf) 더보기 이전 1 다음
