728x90 경사하강법 알고리즘1 Training Neural Networks(뉴럴 네트워크 훈련) 뉴럴 네트워크 훈련 과정의 마지막 단계로 손실 함수를 최소화하여 네트워크를 개선하는 방법에 대해 설명하도록 하겠습니다. 왼쪽 그래프는 손실 함수 그래프로 네트워크의 성능을 나타낸다. 곡선의 최저점은 우리가 찾고자 하는 최소 손실이다. (good learning rate) 오른쪽 그래프는 적당한 손실함수의 형태를 보인다. 위아래 진동하는 이유는 배치 사이즈가 너무 낮기 때문이다. 모든 데이터에 대하여 손실 함수(오차)가 향상할 것이기 때문이다.(비용 감소) - W*는 이 최소 손실을 달성하는 네트워크의 가중치 벡터이다. - 훈련 데이터 전체에 걸쳐 평균 손실을 최소화하려고 한다. 이는 즉, 네트워크가 모든 데이터 포인트에서 작은 오류를 만드는 것이 가장 좋다는 것을 의미한다. 정리 - 훈련 데이터 전체에 .. 2023. 12. 31. 이전 1 다음 728x90
