728x90 디셉트론1 역전파 알고리즘(Backpropagation algorithm) 앞에서 설명한 다층 퍼셉트론 같은 깊은 신경망이 등장한 후 선형으로 가능하지 않은 데이터들을 분류하는 것이 가능해졌다. 하지만 모델의 깊이가(depth)가 깊어질수록, 즉 모델의 층이 많아질수록 모델의 가중치의 수는 기하급수적으로 많이 늘어난. 기존의 경사하강법은 기울기를 이용하여 가중치를 업데이트하는 방법을 사용하긴 하지만, 여러 층에 존재하는 가중치들을 모두 하나하나 업데이트하는 것은 매우 많은 연산양과 메모리를 요구한다. 이를 해결하고자 보안된 것이 역전파 알고리즘이다. 위의 이미지는 입력 하나, 출력 하나, 뉴런 하나로 구성된 가장 단순한 신경망을 보여준다. 왼쪽부터 입력(x), 가중치(w1과 w2), 뉴런의 출력(y), 손실 함수(L)로 구성되어 있다. 우리의 목표는 손실 함수(L)를 최소화하기.. 2024. 1. 5. 이전 1 다음 728x90
