Apache Airflow 클러스터를 구성해보자

해당 글은 12월 중에 작성 완료 예정입니다.

 

Installation Scripts

sudo yum update –y
sudo yum install gcc python3-devel -y
sudo yum install python3 -y
sudo yum install -y mysql-devel

// Airflow with Extra Packages 설치 
sudo pip3 install apache-airflow[mysql,celery,redis,crypto,aws]==1.10.12
sudo pip3 install apache-airflow-backport-providers-amazon
// Celery 설치 (Celery 서버)
sudo pip3 install celery

// AWS boto3 설치
sudo pip3 install boto3
// Web Authenticate 기능을 위한 flask-bcrypt 설치
sudo pip3 install flask-bcrypt
// Git 설치
sudo yum install git -y
// amazon-efs-utils 설치
sudo yum install -y amazon-efs-utils   

 

---

Airflow Directory Structure

AIRFLOW_HOME
├ airflow.config
├ dags     // dag_bags
├ plugins  // plugins
└ logs     // logs

• AIRFLOW_HOME은 Airflow 설정파일 / DAG 정의 파일 / Airflow 플러그인을 저장하는 디렉토리이다.
• Dag Bags : DAG 파일들이 저장되는 디렉토리 경로이다.
• Plugins : Opertor, Sensor, Hook 등의 클래스들을 패키지를 의미한다.
• Logs : Shceduler, DAG, Task 들의 실행 기록이 로그로 기록된다. 

 

---

Airflow 실행

데몬 실행 스크립트