Airflow는 Default Database로 mysql sqlite를 사용한다.
하지만 나는 postgresql이 더 좋기때문에 연결 DB를 바꿔 줄 것이다....!
먼저 사용중인 Postgres DB에 접속 후
Airflow 전용 Table을 생성해 준다.
# 일반적으로 Default postgres 정보로 접속
psql --username=postgres --dbname=postgres
#DB생성
CREATE DATABASE airflow OWNER postgres;
# 생성 DB확인
\l
생성된 DB를 초기화 하기전에 환경설정 파일에서 DB 설정을 변경해준다.
경로는 일반적으로 /root/airflow/airflow.cfg 이다.
혹시나 찾을 수 없다면 $ find | grep airflow.cfg 명령어를 입력하여 위치를 찾아준다.
Airflow가 설치되고 한번도 실행하지 않았을 경우 airflow.cfg파일이 없을 때가 있는데,
그땐 쉘에 $ airflow db init 같은 명령어를 입력하면 오류가 나던, 정상적으로 sqlite를 사용하여 실행이되던 airflow.cfg 파일이 생성된다.
airflow.cfg 파일 수정
# /root/airflow/airflow.cfg
...
executor = LocalExecutor
...
sql_alchemy_conn = postgresql+psycopg2://postgres:1234@192.168.0.123:1234/airflow
# format: dialect+driver://username:password@host:port/database
...
수정 후 다시 $ airflow db init 를 해보면 정상적으로 잘 연결이 된 것을 확인할 수 있다!
'의지박약 > DevOps' 카테고리의 다른 글
[torch] 리눅스 pytorch 초기 설정 및 기타 오류들... (with RTX 3090) (0) | 2021.09.29 |
---|---|
[AirFlow] db init ERROR - Fail to ~ GET /api/v1/connections ... AttributeError: columns (0) | 2021.09.15 |
[Shell Script] .env 파일 읽어오기 (0) | 2021.09.14 |
[Shell Script] 쉘 스크립트에서 config.ini 파일 읽고 쓰기 (feat. konfig) (0) | 2021.09.08 |
[Docker] Docker run 상태 유지하기 (0) | 2021.09.01 |
댓글