목록개발/Airflow (3)
도커 윈도우에서 설치 이후.. centOS 8.x 버전 설치 현재 최신 버전이 8.x 라서 latest로 설치하면 아마 8.x가 설치될 것임 docker run -p 8080:8080 --name [이름은 마음대로..] -it centos:latest파이선 및 기타 개발 툴 설치 yum install python3 python3-devel vim yum groupinstall "Development Tools"centOS 접속 한 이후 ll 명령어를 추가해준다 bash 접속후 .. ll이 없어서 불편해서 추가해주는거 echo "alias ll='ls --color=auto -alF'" >> ~/.bashrc source ~/.bashrcpip 버전 업그레이드 (공식 문서 기준) https:..
# Airflow Web 사용법 airflow 설치 및 실행 과정 (Window) CentOS 8.x 버전 설치 파이썬 및 기타 개발 툴 설치 yum install python3 python3-devel vim yum groupinstall "Development Tools" pip 버전 업그레이드 pip3 install --upgrade pip==20.2.4 airflow 설치(쉘스크립트 만들어서 실행) # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME=~/airflow AIRFLOW_VERSION=2...
Airflow란? workflow 스케쥴링, 모니터링 도구 DAG(Directed Acyclic Graph)라는 개념으로 동작, python으로 DAG를 작성하고 순서를 정의 Airflow pipeline(동작 순서, 방식)을 python을 이용해 구성하기 때문에 동적인 구성 가능 Airflow는 각 태스크에서 오류가 발생할 때마다 여러 번 재 실행하기에 매우 회복성 높은 설계를 이끌어낸다. Airflow를 완전히 멈췄다가 미 완료 태스크를 재시작하면서 실행 중이던 업무 흐름으로 되돌아갈 수 있다. Airflow 구성 => Airflow는 개발자가 작성한 Python DAG를 읽고, 거기에 맞춰 Scheduler가 Task를 스케줄링하면, Worker가 Task를 가져가 실행합니다. Task의 실행 상태..