1. Introduction
공식문서는 Hell Chart for Airflow를 참고 합니다.
제 글에서는 다음의 것들을 할 것입니다.
- Kind 설치
- Helm 을 사용해서 Airflow 를 Kind 그리고 AWS EKS에 배포해보도록 하겠습니다.
2. Kind
2.1 Kind Installation
https://kind.sigs.k8s.io/docs/user/quick-start/에서 설치 방법이 있습니다.
Ubuntu의 경우는 다음과 같이 설치 합니다.
2.2 Kind Cluster
Latest version의 Kubernetes로 클러스터를 생성합니다.
1.21.1 을 선택한 이유는 일단 현재 시점에서 EKS Kubernetes Version과 최대한 동일하게 가려고 하기 위함입니다.
2.3 Install Airflow
Airflow를 설치 합니다.
설치 확인을 합니다.
2.4 주요 접속 경로
설치를 다하게 되면 위에 있는 것처럼 Airflow에 접속할 수 있습니다.
웹서버 접속은 다음과 같이 합니다.
3. Custom Airflow Image
3.1 Adding DAGs
dags 디렉토리에 DAG파일을 추가시키면 됩니다.
Docker Build 시키고 배포합니다.