블로그
뉴스
- [AI TCO 함정③] 토큰만큼 무서운 인프라 비용…AI 환경 '프라이빗 회귀' 그래픽처리장치(GPU)를 비롯해 서버·스토리지·네트워크·전력·냉각·운영 소프트웨어까지 지출 항목이 늘어나자, 기업들은 퍼블릭 클라우드에 집중됐던 AI 워크로드 일부를 프라이빗 클라우드와 초기에는 별도 장비를 구축하지 않고 사용량만큼 비용을 내는 퍼블릭 클라우드가 유리하지만, 사용량이 일정 수준을 넘어 장기간 지속되면 GPU 이용료와 데이터 전송·저장 비용 등이 함께
- [유미's 픽] "엔비디아 쿠다 장벽 넘자"…AI 반도체, SW 경쟁 불붙었다 엑사원 236B는 약 2360억 개 파라미터 규모의 대형 AI 모델로, 노타는 모델 크기를 약 71% 줄이면서도 주요 평가 항목에서 원본과 유사한 수준의 정확도를 유지했다.데이터센터 엔비디아는 GPU 성능뿐 아니라 쿠다를 중심으로 한 개발자 생태계와 소프트웨어 도구를 앞세워 AI 인프라 시장에서 우위를 확보했다.