본문1. 들어가며Transformer의 성공적인 성능은 무엇보다 Attention 메커니즘 덕분이다. 그중에서도 Self-Attention과 Multi-Head Attention은 Transformer가 복잡한 패턴을 인식하고 더 효율적으로 학습할 수 있게 해주는 중요한 요소다. 이번 포스트에서는 Self-Attention의 세부 원리와 Multi-Head Attention에 대해 알아보겠다…
1. 들어가며최근 딥러닝 분야에서 가장 뜨거운 키워드는 단연 Transformer다. 기존에는 RNN, LSTM 같은 순환 신경망이 자연어 처리를 주도해 왔지만, Transformer가 등장한 이후 GPT, BERT, RAG 등 다양한 모델들이 놀라운 성능을 보이고 있다.이번 글에서는 Transformer의 전체적인 구조를 큰 그림으로 살펴본다. 세부 알고리즘(Attention, Multi-…
1. MLP란 무엇인가MLP는 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layer), 그리고 출력층(Output Layer)으로 구성된 인공신경망의 가장 단순한 형태이다. 각 층에 있는 모든 뉴런(Neuron)이 전층의 모든 뉴런과 완전연결(Fully Connected)되어 있기 때문에, 종종 ‘Fully Connected Network’ 혹은 &…
들어가며오늘날 다양한 AI 기술, 예를 들어 챗봇, 이미지 생성 모델, 자율주행 시스템 등이 우리의 일상 속으로 깊숙이 들어오고 있다. 이번 글에서는 AI 시스템의 뼈대를 이루는 중요한 개념 세 가지, 에이전트(Agent), 학습(Learning), 퍼셉트론(Perceptron)을 간단히 정리해 볼 것이다.에이전트: 환경과 상호 작용하여 상태를 인식하고, 행동을 결정하는 주체학습: AI가 데…
