728x90 Attention3 Attention Is All you Need 주의(attention)는 트랜스포머(Transformer) 아키텍처의 기초 메커니즘으로, 많은 분들이 들어보셨을 것이다. 트랜스포머의 개념은 종종 매우 복잡한 다이어그램으로 제시되거나 복잡한 응용 프로그램에 배치되어 매우 난해하게 느껴질 수 있다. 그렇다면 어떻게 이것을 이해하기 시작해야 할까? 그러나 주의(attention)의 핵심 작업은 매우 직관적인 아이디어다. 이번 블로그에 마지막 부분에서는 이것이 왜 강력한지, 그리고 어떻게 트랜스포머와 같은 더 큰 신경망의 일부로 사용할 수 있는지 단계별로 분해하여 설명할 것이다.Intuition Behind Self-Atttention특히, 우리는 자기 주의(self-attention)에 초점을 맞출 것이다. 이는 입력 예제의 가장 중요한 부분에 주의를 기.. 2024. 6. 18. A Sequence Modeling Problem: Predict the Next Word (시퀀스 모델링 문제: 다음 단어 예측하기) A Sequence Modeling Problem: Predict the Next Word 이번에는 RNN을 사용하여 다음 단어를 예측하는 시퀀스 모델링 문제를 다룰 것이다. 시퀀스 모델링 문제는 주어진 단어 시퀀스의 다음 단어를 예측하는 것이다. 예를 들어, 다음 문장의 마지막 단어를 예측하는 문제를 생각해 보겠습니다. "이번 아침에 저는 고양이를 산책에 데리고 나갔습니다." "This morning I took my cat for a walk" 이 문장에서 RNN은 "산책에" 다음에 올 단어를 예측해야 한다. 하지만 뉴럴 네트워크는 자연어를 직접적으로 이해하지 못하기 때문에 텍스트 데이터를 숫자 벡터로 변환해야 한다. 텍스트 데이터를 숫자 벡터로 변환하는 방법은 다음과 같다. 1. 사전 생성: 모든 .. 2024. 3. 8. Neurons with Recurrence 순환 신경망(RNN)의 개념과 순차 데이터를 처리하는 데 사용하는 방법에 대해 설명하겠습니다. 먼저 퍼셉트론(perceptron)에 대한 기본 구성 요소부터 설명드리겠습니다. 위의 이미지는 perceptron의 기본 구성 요소를 보여준다. 입력층은 X1부터 XM까지의 입력에 해당한다. 각 입력은 해당 가중치를 곱한 다음 비선형 활성화 함수를 통과하여 출력을 생성한다. 출력은 y로 표시된다. RNN의 피드백 루프는 은닉층의 출력을 은닉층의 입력으로 다시 연결하여 생성된다. 이미지에서는 이 피드백 루프가 표시되지 않지만 RNN의 중요한 특징이다. RNN은 텍스트, 오디오 또는 비디오와 같은 데이터의 시퀀스에서 정보를 학습하고 처리할 수 있는 인공 신경망의 한 유형이다. 이를 수행하러면 아키텍처에 피드백 루프.. 2024. 2. 1. 이전 1 다음 728x90
