블로그

• SwiGLU와 ReLU 비교 SwiGLU VS ReLU "예비 개발자" SwiGLU의 경우 Google의 LLM 모델인 PaLM에서 제안된 Activation Function이다. 대표적인 Activation Function 중 하나인 ReLU와 비교해보려고 한다. blog.naver.com · 2024.08.18