본문 바로가기
728x90

딥러닝5

Neural Network in Practice: Mini-batches Gradient Descent(경사 하강법) 경사 하강법 알고리즘으로 가중치가 업데이트되고 있는 과정을 나타내고 있다. 이미지 오른쪽을 보면 그래프를 확인 할 수 있는데 그래프의 빨간색 부분을 목적지라고 하고 그것을 산의 정상이라고 한다면, 현재 자신의 위치에서 가장 경사가 높은 곳으로 계속 이동하다 보면 일반적으로 산의 정상에 도달할 수 있을 것이다. 이 방법을 경사 상승법이라고 한다. 그리고 목적지가 산 밑이라면 현재 위치에서 계속해서 가장 낮은 지점을 찾아 이동한다. 이것을 경사 하강법이라고 한다. 일반적으로 경사 하강법은 함수의 최소값을 찾아야 하는 상황에서 사용된다. 인공 지능의 경우 최적의 학습 패턴을 위해 자신의 파라미터(Perameter)를 검증해야 하며 검증 과정에서 손실 함수를 사용한다.. 2024. 1. 13.
Neural Network in Practice: Optimization(실제 신경망: 최적화) 전에 설명했던 신경망 훈련의 핵심 알고리즘인 역전파 알고리즘에 대해 다시 정리하자면 손실 함수의 기울기를 계산하여 가중치를 업데이트하고, 체인 룰을 반복적으로 적용하여 효과적으로 기울기를 계산한다. 실제 신경망 훈련의 복잡성은 경사하강법만 사용하지 않고, 실제로는 더 복잡한 최적화 기법과 알고리즘을 사용한다. 딥 뉴런망은 매개변수 수가 많고 가중치 공간이 매우 차원이 높다. 훈련 복잡성에 대한 몇 가지 예시 vanishing gradient: 기울기가 지나치게 작아져 학습이 느려지거나 막힐 수 있다. exploding gradient: 기울기가 지나치게 커져 가중치가 불안정하게 업데이트될 수 있다. saddle points: 국소 최소점에 빠져 최적 해결책을 찾지 못할 수 있다. overfitting: .. 2024. 1. 11.
데이터의 분리 이번에는 지도 학습을 위한 데이터 분리 작업에 대해서 배우도록 하겠습니다. (Jupyter Notebook 설치 방법) https://yunz-story.tistory.com/60#comment15524835 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split 1. 지도 학습(Supervised Learning) https://yunz-story.tistory.com/entry/%EB%94%A5-%EB%9F%AC%EB%8B%9D-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5 (지도 학습과 그 외의 것들에 대해.. 2023. 12. 26.
Why Deep Learning? (딥러닝이란?) Why Deep Learning? Hand engineered features are time consuming, brittle, and not scalable in practice 수작업으로 설계된 기능은 시간이 많이 걸리고 부서지기 쉬우며 실제로는 확장할 수 없음 Can we learn the underlying features directly from data? 데이터에서 기본 기능을 직접 학습할 수 있는가? Low Level Features: Lines & Edges (선과 경계) Mid Level Features: Eyes & Nose & Ears (코와 눈) High Level Features: Facial Structure (얼굴들) The Perceptron The structural bu.. 2023. 12. 18.
딥 러닝, 머신러닝, 인공지능 딥러닝, 머신러닝, 인공지능 이들의 관계 인공지능 = 머신러닝 + 딥러닝 딥러닝 숨겨져 있는 특징들을 찾아내어 복잡한 문제를 풀 수 있도록 설계하는 것 (뉴런 네트워크) 머신러닝 뉴런 네트워크를 활용해서 조금 더 상위차원의 문제를 푸는 것(극소 패턴 추가, 새로운 알고리즘 추가) 인공지능 머신러닝의 알고리즘을 활용해서 고차원적인 문제를 푸는 것 러닝의 4가지 종류 1. 지도 학습(Supervised Learning) 컴퓨터가 훈련 데이터에 있는 패턴을 학습하여 새로운 데이터에 대한 예측을 수행하는 머신 러닝의 한 분야 Input (이미지, 텍스트) -> Encoder(특징 찾기) -> Feature -> Decoder(정답도출) -> Output(분류, 회귀, 연관성) Output(분류, 회귀, 연관성).. 2023. 12. 16.
728x90

티스토리툴바