728x90 주의 메커니즘1 Learning Self-Attention with Neural Networks 트랜스포머와 같은 신경망에서 이것이 어떻게 작동하는지 구체적으로 알아보겠습니다.Encode position information언어 예제로 돌아가 보자면, 우리의 목표는 이 입력 문장에서 의미론적으로 중요한 특징들을 식별하고 주목하는 것이다.첫 번째 단계는 시퀀스를 갖는 것이다. 우리는 순서를 갖고 있다. 반복을 제거했으며, 모든 시간 단계를 한 번에 입력하고 있다. 여전히 순서와 위치 의존성에 대한 정보를 인코딩하고 캡처할 방법이 필요하다. 이것이 수행되는 방식은 위치 인코딩(positional encoding)이라는 아이디어를 통해 순서 정보를 포함시키는 것이다. 이는 시퀀스에 내재된 순서 정보를 캡처한다. 간단히 설명하자면, 이 아이디어는 이전에 소개한 *임베딩(embedding)과 관련이 있다. .. 2024. 7. 11. 이전 1 다음 728x90
