728x90 트랜스포머1 Attention Is All You Need 주의(attention)는 트랜스포머(Transformer) 아키텍처의 기초 메커니즘으로, 많은 분들이 들어보셨을 것이다. 트랜스포머의 개념은 종종 매우 복잡한 다이어그램으로 제시되거나 복잡한 응용 프로그램에 배치되어 매우 난해하게 느껴질 수 있다. 그렇다면 어떻게 이것을 이해하기 시작해야 할까? 그러나 주의(attention)의 핵심 작업은 매우 직관적인 아이디어다. 이번 블로그에 마지막 부분에서는 이것이 왜 강력한지, 그리고 어떻게 트랜스포머와 같은 더 큰 신경망의 일부로 사용할 수 있는지 단계별로 분해하여 설명할 것이다.Intuition Behind Self-Atttention특히, 우리는 자기 주의(self-attention)에 초점을 맞출 것이다. 이는 입력 예제의 가장 중요한 부분에 주의를 기.. 2024. 6. 18. 이전 1 다음 728x90