본문 바로가기

전체 글75

[DL] TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]] 학습이 잘 돌아가던 중 1epoch가 달성되기 전에 갑자기 아래와 같은 에러가 발생했다. TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]] 원인은 Text data에서 Tokenizing할때 결측치가 있어서였다. 분명 결측치를 제거했다고 생각했는데, 바보같이 제거한 df를 저장 안하고 to_csv를 했다.. 나는 바보다.. 해결 import pandas as pd # delimiter가 콤마(,)로 된 csv파일을 불러온 후(한글이라 인코딩은 utf-8 사용) df = pd.read_csv('train_data.csv', sep = ",", engine='python', encodi.. 2021. 9. 29.
[torch] 리눅스 pytorch 초기 설정 및 기타 오류들... (with RTX 3090) 회사에서 사용하는 GPU Server가 한대 있는데, 두명이서 같이 쓰다보니 환경설정이 꼬일때가 많다. 가상환경도 쓰고 Docker도 쓰지만, 상대방이 이것저것 설치하다보면 내 환경과 충돌나는 경우가 무조건 있기마련... DeepLearning을 학습 할 일이 있어서 torch를 새로 설치하고 이것저것 설정을 만진김에 한번에 정리 겸 포스팅.. 내 환경 # result check.py PyTorch version: 1.7.1+cu110 Is debug build: False CUDA used to build PyTorch: 11.0 ROCM used to build PyTorch: N/A OS: Ubuntu 20.04.2 LTS (x86_64) GCC version: (Ubuntu 9.3.0-17ubun.. 2021. 9. 29.
[python] pandas를 활용한 간단한 csv to tsv 또는 tsv to csv csv파일과 tsv의 차이를 굳이 두자면 데이터의 구분자(delimiter)가 "콤마(,)" 인지 "탭(\t)" 인지 이다. 자주 사용하게 되는데, 자꾸 까먹고 다시 검색해보는게 싫어서 간단하게 기록한다. 아래는 pandas를 사용하여 csv를 tsv파일로 변환하는 것이다. import pandas as pd # delimiter가 콤마(,)로 된 csv파일을 불러온 후(한글이라 인코딩은 utf-8 사용) df = pd.read_csv('train_data.csv', sep = ",", engine='python', encoding = "utf-8") # 그냥 혹시 있을 결측치 제거.. df.dropna(axis=0) # delimeter를 탭(\t)으로 변경 후 저장. df.to_csv('m_train.. 2021. 9. 28.
[Airflow] 기본 DB를 Postgresql로 변경하기 Airflow는 Default Database로 mysql sqlite를 사용한다. 하지만 나는 postgresql이 더 좋기때문에 연결 DB를 바꿔 줄 것이다....! 먼저 사용중인 Postgres DB에 접속 후 Airflow 전용 Table을 생성해 준다. # 일반적으로 Default postgres 정보로 접속 psql --username=postgres --dbname=postgres #DB생성 CREATE DATABASE airflow OWNER postgres; # 생성 DB확인 \l 생성된 DB를 초기화 하기전에 환경설정 파일에서 DB 설정을 변경해준다. 경로는 일반적으로 /root/airflow/airflow.cfg 이다. 혹시나 찾을 수 없다면 $ find | grep airflow.c.. 2021. 9. 15.

티스토리툴바