동영상
블로그
- 미국의 수소 산업이 일본을 지원? javier-rubio-6a56143b_japan-has-created-the-worlds-first-engine-activity-7431319132333043712-ko4s US NG Data Data Centers Kawasaki Heavy Industries has commercially launched an industrial gas engine capable of
- GPU (Full-Sharded Data Parallel) 여기서 가장 많이 사용되는 것이 Data Parallel인거 같습니다. 아래는 DDP의 원리를 설명한 것인데 데이터를 나누어서 처리를 합니다. DDP와 다르게 GPT-3같은 엄청나게 많은 데이터의 경우 FSDP (Fully sharded data parallel)을 사용하게 됩니다.