KalelPark's LAB

All about Activation Function - 입력 신호의 총합을 출력 신호로 변환하는 함수를 말합니다. - 활성화 함수가 비선형 함수여야 하는 이유? - 인공 신경망에서 선형 함수를 이용하면, 신경망의 층을 깊게하는 의미가 없습니다. 그러므로, 층을 쌓기 위해서는 비선형 함수인 활성화 함수(Activation Function)를 사용해야 됩니다. Sigmoid import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) - Logistic Regression이라고도, 불린다. 일반적으로 활용되는 활성화 함수이며, [0, 1]의 범위를 갖습니다. 단점 - Gradient Vanishing 현상이 발생합니다. 미분 함수에 대해서 | x | 값이..