블로그

• Pytorch DistributedDataParallel (DDP)와 BF16 지원 최근에 Google Deepmind에서 출시한 오픈 소스 LLM인 GEMMA 코드를 수정하여 text classification 등 specific-task의 backbone 활용을 Gemma에는 2b, 7b 두 가지 버전의 모델을 제공하는데 LLM 답게 두 버전 모두 RTX 3090과 같은 보급형 GPU로 fine-tuning 하기엔 어려움이 존재하였다. blog.naver.com · 2024.04.04