728x90 퍼셉트론4 Neural Networks in Practice: Overfitting(과적합) 이미지 설명 Underfitting: 데이터 포인트와 단순 선형 모델이 그려져 있다. Overfitting: 데이터 포인트와 적절한 복잡성의 모델이 그려져 있다. Ideal fit: 데이터 포인트와 적절한 복잡성의 모델이 그려져 있다. 신경망 확률적 경사 하강법으로 최적화할 때 우리는 과적합이라는 문제에 직면한다. 과적합은 모델이 훈련 데이터의 패턴을 너무 정확하게 학습하여 테스트 데이터에 일반화되지 못하는 현상이다. Underfitting(과소적합) - 간단한 선형 모델이 훈련 데이터에 잘 맞지 않는 것을 보여준다. 이는 데이터가 선형적이 아니기 때문이다. Overfitting(과적합) - 너무 복잡한 모델이 훈련 데이터의 모든 잡음까지 학습하여 테스트 데이터에 일반화되지 못하는 것을 보여준다. Ide.. 2024. 1. 19. Building Neural Networks with Perceptrons(퍼셉트론을 이용한 신경망 구축) 다중 출력 퍼셉트론 입력 데이터에 대한 여러 개의 출력을 생성하는 인공 신경망이다. 위의 이미지에서는 입력층은 3개 은닉층은 2개의 뉴런으로 구성되어 있으며, 각 뉴런은 3개의 가중치와 1개의 편향을 가지고 있다. 출력층은 2개의 출력 신호를 가지고 있다. z1, z2는 은닉층의 출력 신호이고 y1, y2는 출력층의 출력신호이다. 공식은 z1 = w1x1 + w2x2 + w3x3 + b1 z2 = w4x1 + w5x2 + w6x3 + b2 y1 = g(z1) y2 = g(z2) w1~6은 가중치를 나타냄 b1,b2는 편향을 나타냄 - 편향이란? 쉽게 설명드리자면 가중치 앞에 붙는 부호를 나타낸다. 가중치가 양수이면, 입력 신호가 뉴런의 출력에 더 큰 영향을 미치고 가중치가 음수이면, 입력 신호가 뉴런의 .. 2023. 12. 22. The Perceptron(퍼셉트론) Importance of Activation Functions 활성화 기능의 중요성 활성화 함수의 목적은 네트워크에 비선형성을 도입하는 것이다. 만약 우리가 녹색과 빨간색 점을 구별하기 위해 신경망을 구축하기를 원한다면 어떨까? 사진의 왼쪽 선형 활성화 함수는 입력 신호의 가중합은 선형 함수이고 오른쪽은 비선형성은 활성화 함수는 비선형 함수이다. 선형성은 퍼셉트론이 선형 분류기임을 의미한다. 즉, 퍼셉트론은 입력 신호의 관계를 선형적으로 학습할 수 있다. 비선형은 퍼셉트론이 복잡한 관계를 학습할 수 있도록 한다. - 원을 뉴런 또는 노드라고 부른다. - 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해진다. - 뉴런에서 전달받은 신호의 총합이 임계값를 넘을 때만 1을 출력한다. 이미지의 좌표 부.. 2023. 12. 21. Why Deep Learning? (딥러닝이란?) Why Deep Learning? Hand engineered features are time consuming, brittle, and not scalable in practice 수작업으로 설계된 기능은 시간이 많이 걸리고 부서지기 쉬우며 실제로는 확장할 수 없음 Can we learn the underlying features directly from data? 데이터에서 기본 기능을 직접 학습할 수 있는가? Low Level Features: Lines & Edges (선과 경계) Mid Level Features: Eyes & Nose & Ears (코와 눈) High Level Features: Facial Structure (얼굴들) The Perceptron The structural bu.. 2023. 12. 18. 이전 1 다음 728x90
