의지박약/DevOps9 [torch] 리눅스 pytorch 초기 설정 및 기타 오류들... (with RTX 3090) 회사에서 사용하는 GPU Server가 한대 있는데, 두명이서 같이 쓰다보니 환경설정이 꼬일때가 많다. 가상환경도 쓰고 Docker도 쓰지만, 상대방이 이것저것 설치하다보면 내 환경과 충돌나는 경우가 무조건 있기마련... DeepLearning을 학습 할 일이 있어서 torch를 새로 설치하고 이것저것 설정을 만진김에 한번에 정리 겸 포스팅.. 내 환경 # result check.py PyTorch version: 1.7.1+cu110 Is debug build: False CUDA used to build PyTorch: 11.0 ROCM used to build PyTorch: N/A OS: Ubuntu 20.04.2 LTS (x86_64) GCC version: (Ubuntu 9.3.0-17ubun.. 2021. 9. 29. [Airflow] 기본 DB를 Postgresql로 변경하기 Airflow는 Default Database로 mysql sqlite를 사용한다. 하지만 나는 postgresql이 더 좋기때문에 연결 DB를 바꿔 줄 것이다....! 먼저 사용중인 Postgres DB에 접속 후 Airflow 전용 Table을 생성해 준다. # 일반적으로 Default postgres 정보로 접속 psql --username=postgres --dbname=postgres #DB생성 CREATE DATABASE airflow OWNER postgres; # 생성 DB확인 \l 생성된 DB를 초기화 하기전에 환경설정 파일에서 DB 설정을 변경해준다. 경로는 일반적으로 /root/airflow/airflow.cfg 이다. 혹시나 찾을 수 없다면 $ find | grep airflow.c.. 2021. 9. 15. [AirFlow] db init ERROR - Fail to ~ GET /api/v1/connections ... AttributeError: columns 에러 메세지 ERROR - Failed to add operation for GET /api/v1/connections ... connexion.exceptions.ResolverError: ... AttributeError: columns 상황 특정 프로젝트의 환경에서 AirFlow를 설치하고 airflow db init 명령어를 입력했을때 발생 원인(추정) DB를 확인해봤을때, airflow전용 Table은 모두 생성이 된 상태였기 때문에 DB연결 문제는 아닌 것 으로 확인됨. 기존 프로젝트의 환경과 airflow의 환경이 충돌했을 가능성이 높음 해결 구글링 해본 결과 apache-airflow는 SQLAlchemy의 1.4.0 버전 이상과 잘 호환되지 않는다고 한다. 따라서 기존 프로젝트에서 무조건.. 2021. 9. 15. [Shell Script] .env 파일 읽어오기 docker-compose 스크립트에서 환경변수 파일(.env)을 따로 읽어오는 방법은 --env-file 명령어를 사용하는 것이다. # 예시 (-d: background 실행) docker-compose --env-file ${CURRENT_PATH}/.env up -d 이 명령어를 리눅스의 쉘 스크립트 내부에서 사용하고 환경변수 파일(.env)에 사용된 환경변수를 중복선언하지 않고 쉘 스크립트 내부에서 공유하는 방법이 필요했다. 하지만 app에서는 config.ini 파일을 쓰고 있어서 결론적으로는 두개를 사용하게 되버렸지만..ㅠㅠ 본론으로 돌아와서 쉘 스크립트에서 export 명령어를 사용하면 된다. # Shell Script 읽어오기 테스트 while read line; do export $lin.. 2021. 9. 14. 이전 1 2 3 다음
