Non linear acivation function

비선형 활성화 함수의 사용 (Non-linear Activation Function)

Non-linear Activation Function 과제 중 조사했던 비선형 활성화 함수의 사용 정리 1. 비선형 activation function을 통한 vanishing gradient 해결 ReLU activation function(Rectifed Linear Unit)은 이러한 vanishing gradient 문제를 activation function으로 해결 한다. x가 0보다 작을땐 0을, 0보다 클 땐 그 값을 그대로 출력(y=x)함으로써 vanishing gradient 문제를 해결한다. 따라서 함수식은 ReLU(x) = max(0,x) 가 되고 도함수는 0또는 1이 된다. 2. Activation function의 정의와 역할 뉴럴네트워크를 생물학적 뉴런에 빗대어서 볼 때 활성화..