Airflow 환경설정

Airflow 환경 설정하기 (강의 내용 + 알파)

가상환경 세팅

• conda create -n airflow python=3.8.5
• pip install ‘apache-airflow==2.2.0’

⭐ Airflow 기본 디렉토리 경로 지정 → 중요! ⭐

• export AIRFLOW_HOME=절대경로를 입력하세요!
• 절대경로로 입력하는 것이 중요합니다.
• 가끔 AI Stages 서버에서 AIRFLOW_HOME 경로 설정이 계속 초기화되는 문제가 있기 때문에
  • opt/ml/ 폴더로 진입해서,
  • .bashrc 파일에
  • export AIRFLOW_HOME=절대경로를 입력하세요! 를 추가해줘서 항상 해당 경로로 AIRFLOW_HOME 경로 설정이 되어 있도록 유지합니다.
  • AIRFLOW_HOME 경로 설정강의에서

Airflow db 초기화

• AIRFLOW_HOME 경로로 이동한 상태에서,
• airflow db init 을 입력해서 db를 초기화합니다.

Admin 계정 설정

• 빠진 것 없이 다 썼는지 확인!
• \ 역슬래시 없이 한 줄로 작성 가능합니다. (추천)

Airflow Webserver 실행

• airflow webserver —port 8080 webserver 를 실행합니다!

⭐ Airflow Scheduler 실행 → 중요! ⭐

airflow DAG 파일 가동하기

1. airflow webserver를 실행한 상태에서,
2. 별도의 터미널 창을 열어서, airflow 가상환경으로 이동하고, AIRFLOW_HOME의 기본 디텍토리로 이동합니다. → 이거 놓치면 안됨
3. airflow scheduler 실행

주의 사항

• 강의에서 말씀해주신 DAG 파일들을 아무리 설정해도 변동이 없는 경우가 있습니다.
• 그렇다면 기본적으로 2가지를 의심해보세요.
  1. airflow scheduler를 켰는지
  2. airflow DAG ON 했는지