deep learning2 [DL]활성화 함수 (Activation Function) 개념 Deep Learning, Machine Leraning을 공부하다보면 여러 Layer를 구성하고 항상 마지막 출력값에 적용해주는 함수가 있다. 개념을 알지 못하고 단순히 코드필사만 해본 사람이라도 한번쯤은 봤을법 한, 그 함수들.. Sigmoid, ReLU 등등.. 이러한 함수들이 바로 Activation Function 이다. 아래 설명은 https://playground.tensorflow.org/ 을 활용한다. 정의 입력 신호의 총합을 출력신호로 변환하는 함수를 일반적으로 Activation Function이라고 한다. Actication Function의 목적 간단하게 말하면 Deep Learning Network에 비선형성을 적용하기 위함이다. 처음엔 나도 그냥 이게 뭐? 비선형성이 적용되는게.. 2021. 6. 22. [DL기초] batch_size, epoch, step 개념 그리고 iteration 일반적으로 Gradient Descent는 아래 3가지 개념을 베이스로 학습이 진행된다. batch_size: Gradient Descent를 한번 계산하기 위한 학습 데이터의 개수 steps: Gradient Descent를 batch_size별로 계산하되, 전체 학습 데이터에 대해서 이를 반복해서 적용한 횟수 epoch: 전체 학습 데이터에 대해서 steps를 진행 이제, 여기서 Iteration 개념이 헷갈린다. Keras의 경우 batch사이즈와 epochs를 인자로 입력해서 얼마나 반복적으로 학습을 수행할지 결정한다. 예를들어 학습데이터 전체가 100개이고, batch_size가 5인 경우, 1 epoch를 위해서 steps는 20번씩 Gradient Descent를 계산한다. (전체를 탐색한다.. 2021. 6. 9. 이전 1 다음
