본문 바로가기

반응형

인프런

[Airflow] Airflow DAG 만들기 & DAG 디렉토리 셋팅 operator와 관련 용어 개념오퍼레이터: 특정 행위를 할 수 있는 기능을 모아놓은 클래스(설계도)Task: 오퍼레이터에서 객체화되어 DAG에서 실행 가능한 오브젝트Bash 오퍼레이터: 쉘 스크립트 명령을 수행하는 오퍼레이터, 이외에도 Python 오퍼레이터 등 다양함. 오퍼레이터를 통해 Task를 만들고, DAG를 통해 각 Task를 실행시킴. Task의 수행 주체는? Airflow의 전체적인 아키텍처는 다음과 같다.1. 스케줄러에서 DAG파일을 파싱2. 스케줄러가 해당 정보를 메타DB에 저장3. DAG의 Start 시간 파악4. Start 시간 도달 시 워커에 DAG 파일에 의한 워크플로우 시작 지시5. 워커는 DAG파일을 읽어들인 후 처리 (실행 전에도 메타 DB에 업데이트)6. 워크플로우 완료 .. 더보기
[Python/FastAPI/ODMantic] TypeError: field Config is defined without type annotation 인프런의 '파이썬 동시성 프로그래밍 : 데이터 수집부터 웹 개발까지 (feat. FastAPI)' 강의를 수강하다가 발생한 에러코드.서버를 실행할 때 마다 위와 같은 에러가 발생했다.https://art049.github.io/odmantic/modeling/ Modeling - ODManticModeling Models To create a Model, simply inherit from the Model class and then specify the field types and eventually their descriptors. Collection Each Model will be linked to its own collection. By default, the collection name wil.. 더보기

728x90