[DL] TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]

학습이 잘 돌아가던 중 1epoch가 달성되기 전에 갑자기 아래와 같은 에러가 발생했다.

TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]

원인은 Text data에서 Tokenizing할때 결측치가 있어서였다.

 

분명 결측치를 제거했다고 생각했는데, 바보같이 제거한 df를 저장 안하고 to_csv를 했다..

 

나는 바보다..

 

해결

import pandas as pd

# delimiter가 콤마(,)로 된 csv파일을 불러온 후(한글이라 인코딩은 utf-8 사용)
df = pd.read_csv('train_data.csv', sep = ",", engine='python', encoding = "utf-8")

# 문제의 결측치 제거..
df.dropna(axis=0)

# 이렇게 해야 df에 저장되죠..ㅎ
df = df.dropna(axis=0)