728x90 전체 글133 [네이버 커넥트재단]AI 엔지니어 기초 다지기: 부스트캠스 AI Tech 수료 후기 수료 후기 제목 그대로 AI 기초가 아주 잘 담긴 강의이다. 목차 같은 경우는 데이터 분석부터 EDA, 피처 엔지니어, 하이퍼 파라미터, 벡터와 행렬, 경사하강법, 통계학, 딥러닝, 최적화, CNN, RNN 등등 기본으로 알고 넘어가야 되는 것들을 짧게 담겨 있다. 그리고 중간중간 있는 코드 빈칸 넣기는 한 번씩 집중력을 요구하는 부분이 있어 오히려 좋았다. 다양한 프로젝트 앙상블 기법을 이용해 교차 검증을 통해 만들어진 모델의 성능을 향상시키고 측정하는 경험을 수행하며 캐글 코리아에서 진행하는 데이터 사이언스 대회에서도 참가한 귀한 경험이 생겼다!그리고 '클로바' 를 활용해서 LLM의 원리를 깊이 있게 이해하기 위해 프롬프트를 효과적으로 작성하는 방법도 학습 할 수 있어 유익했다.수준 높은 강의와 강사.. 2024. 6. 17. Backpropagation Through Time(BPTT): 역전파 알고리즘 Recall: Backpropagation in Feed Forward Models 역전파 알고리즘을 사용하여 RNN을 학습하는 방법을 설명하고, 텍스트 분류 문제에서의 예시를 설명하겠습니다. RNN학습 과정(복습... :) ) 1. 데이터 준비: 시퀀스 데이터를 입력 데이터와 출력 데이터로 준비한다. 2. 모델 정의: RNN모델의 구조와 가중치를 정의한다. 3. 순전파: 입력 데이터는 단어 벡터로 변환되고 RNN을 통과한다. RNN은 각 단어를 처리하면서 숨겨진 상태를 업데이트한다. 예) "나는 피자를 좋아한다." 4. 출력 계층: 텍스트 분류 문제의 경우 출력 계층은 입력 문장이 특정 클래스에 속할 확률을 계산한다. 예) "음식" 카테고리에 속할 확률 5. 오류 계산: 네트워크의 예측값과 실제 값 간.. 2024. 3. 25. A Sequence Modeling Problem: Predict the Next Word (시퀀스 모델링 문제: 다음 단어 예측하기) A Sequence Modeling Problem: Predict the Next Word 이번에는 RNN을 사용하여 다음 단어를 예측하는 시퀀스 모델링 문제를 다룰 것이다. 시퀀스 모델링 문제는 주어진 단어 시퀀스의 다음 단어를 예측하는 것이다. 예를 들어, 다음 문장의 마지막 단어를 예측하는 문제를 생각해 보겠습니다. "이번 아침에 저는 고양이를 산책에 데리고 나갔습니다." "This morning I took my cat for a walk" 이 문장에서 RNN은 "산책에" 다음에 올 단어를 예측해야 한다. 하지만 뉴럴 네트워크는 자연어를 직접적으로 이해하지 못하기 때문에 텍스트 데이터를 숫자 벡터로 변환해야 한다. 텍스트 데이터를 숫자 벡터로 변환하는 방법은 다음과 같다. 1. 사전 생성: 모든 .. 2024. 3. 8. nn.Module로 구현하는 선형 회귀 이전 게시글은 직접적으로 가설을 제시해, 비용 함수를 직접 정의해서 선형 회귀 모델을 구현했다. 이번에는 파이토치에서 이미 구현되어 제공되고 있는 함수들을 불러오는 것으로 선형 회귀 모델을 구현해 보자. 단순 선형 회귀 구현하기 import torch import torch.nn as nn #torch.nn은 딥러닝 모델을 구성하는 레이어 및 모듈을 제공 import torch.nn.functional as F import torch.optim as optim torch.manual_seed(1) 필요한 도구들을 임포트 하고, 이제 데이터를 선언한다. 아래 데이터는 y= 2x를 가정된 상태에서 만들어진 데이터로 우리는 이미 정답이 W=2, b=0 임을 알고 있는 사태다. 모델이 이 두 W와 b의 값을 제.. 2024. 3. 4. Recurrent Neural Networks(RNNs) Recurrent Neural Networks(RNNs) 위의 이미지는 RNN의 내부 구조를 보여준다. 입력(x_t), 이전 상태(h_(t-1)), 갱신된 상태(h_t), 출력(y_t) 간의 관계를 나타낸다. 화살표는 정보 흐름을 나타낸다. 순환 신경망(RNN)의 핵심 개념은 내부 상태(h)를 유지 관리하고 시퀸스를 처리하면서 각 시간 단계에서 업데이트한다. 이 업데이트는 재귀 관계를 통해 계산되며, 이 관계는 이전 시간 단계의 정보(h_(t-1))와 현재 입력(x_t)을 모두 고려한다. 이 함수(f_W)는 가중치(W) 집합에 의해 정의되며, RNN이 시계열 데이터를 처리하는 동안 시간 단계마다 동일한 가중치 집합을 사용한다. 텍스트와 이미지 모두 RNN이 내부 상태를 사용하여 시퀸스 데이터를 처리한다는.. 2024. 2. 29. 다중 선형 회귀(Multivariable Linear regression) 앞서 배운 x가 1개인 선형 회귀를 단순 선형 회귀라고 한다. 이번 챕터에서는 다수의 x로부터 y를 예측하는 다중 선형 회귀에 대해서 이해한다. 1. 데이터에 대한 이해(Data Definition) 다음과 같은 훈연 데이터가 있습니다. 앞서 배운 단순 선형 회귀와 다른 점은 독립 변수 x의 개수가 이제 1개가 아닌 3개라는 점입니다. 3개의 퀴즈 점수로부터 최종 점수를 예측하는 모델을 만들어보자 독립 변수 x의 개수가 3개이므로 이를 수식으로 표현하면 아래와 같다. H(x) = w1x2 + w2x2 + w3x3 + b 2. 파이토치로 구현하기 우선 필요한 도구들을 임포트 하고 랜덤 시드를 고정한다. import torch import torch.nn as nn import torch.nn.functio.. 2024. 2. 2. 이전 1 ··· 7 8 9 10 11 12 13 ··· 23 다음 728x90
