블로그

• GPU (Full-Sharded Data Parallel) DDP와 다르게 GPT-3같은 엄청나게 많은 데이터의 경우 FSDP (Fully sharded data parallel)을 사용하게 됩니다. 아래는 GPT-2 GPU 메모리 필용량 FSDP의 경우 아래와 같이 작용합....... blog.naver.com · 2026.05.17