블로그

• [AI/딥러닝] Sequential Models - Transformer 트랜스 포머 Transformer 트랜스포머 여러개의 인코더와 디코더로 구성 인코더 구성 Self Attention (단어끼리 dependency 있음) Feed Forward Neural Network 가져온 모델 구조 RNN, LSTM의 순차적 계산 문제 해결 위해 주목 메커니즘(Attention Mechanism) 기반 설계 병렬 처리 가능하여 학습 속도 향상 이후 BERT, GPT blog.naver.com · 2024.02.22