728x90 역전파2 Backpropagation Through Time(BPTT): 역전파 알고리즘 Recall: Backpropagation in Feed Forward Models 역전파 알고리즘을 사용하여 RNN을 학습하는 방법을 설명하고, 텍스트 분류 문제에서의 예시를 설명하겠습니다. RNN학습 과정(복습... :) ) 1. 데이터 준비: 시퀀스 데이터를 입력 데이터와 출력 데이터로 준비한다. 2. 모델 정의: RNN모델의 구조와 가중치를 정의한다. 3. 순전파: 입력 데이터는 단어 벡터로 변환되고 RNN을 통과한다. RNN은 각 단어를 처리하면서 숨겨진 상태를 업데이트한다. 예) "나는 피자를 좋아한다." 4. 출력 계층: 텍스트 분류 문제의 경우 출력 계층은 입력 문장이 특정 클래스에 속할 확률을 계산한다. 예) "음식" 카테고리에 속할 확률 5. 오류 계산: 네트워크의 예측값과 실제 값 간.. 2024. 3. 25. Neural Networks in Practice: Overfitting(과적합) 이미지 설명 Underfitting: 데이터 포인트와 단순 선형 모델이 그려져 있다. Overfitting: 데이터 포인트와 적절한 복잡성의 모델이 그려져 있다. Ideal fit: 데이터 포인트와 적절한 복잡성의 모델이 그려져 있다. 신경망 확률적 경사 하강법으로 최적화할 때 우리는 과적합이라는 문제에 직면한다. 과적합은 모델이 훈련 데이터의 패턴을 너무 정확하게 학습하여 테스트 데이터에 일반화되지 못하는 현상이다. Underfitting(과소적합) - 간단한 선형 모델이 훈련 데이터에 잘 맞지 않는 것을 보여준다. 이는 데이터가 선형적이 아니기 때문이다. Overfitting(과적합) - 너무 복잡한 모델이 훈련 데이터의 모든 잡음까지 학습하여 테스트 데이터에 일반화되지 못하는 것을 보여준다. Ide.. 2024. 1. 19. 이전 1 다음 728x90
