ReLU(Rectified Linear Unit)
ReLU는 수학적으로 아래와 같이 표현된다
f(x) = max(0,x)입력이 0보다 클 경우 입력을 그대로 출력하고
입력이 0 이하일 경우 0을 출력한다
Relu를 사용하면 기존의 Sigmoid나 tanh에서 발생하던 기울기 소실 문제를 해결할 수 있다
'AI > 수학' 카테고리의 다른 글
| 벡터의 덧셈과 뺄셈 (0) | 2024.11.11 |
|---|---|
| 미분 (0) | 2024.10.02 |
CodingValley
