뉴스
- 디노티시아, 메모리 병목 해결할 KV 캐시 20배 압축기술 'STAR-KV' 공개 용량과 처리 속도 문제를 획기적으로 해결할 수 있는 신기술을 세계적 학회에서 선보인다.디노티시아는 UC 샌디에이고(UCSD) VVIP 랩과 함께 연구한 KV 캐시(KV Cache) 압축 어텐션 연산 속도는 최대 6.9배, 전체 생성 처리량은 최대 3.1배 향상시키면서도 기존 압축 방식보다 높은 정확도를 유지했다.STAR-KV 논문이 발표될 ICML은 NeurIPS,
- [시론] K3 쇼크, 절반의 진실과 네 가지 착시 딥시크 최신 초거대 모델보다 75%가량 큰 2조8000억 파라미터를 오픈웨이트로 풀어냈다고 선언한 것이다.딥시크가 "이렇게 싸게 만들 수 있다"를 증명했다면, K3는 "이렇게 큰 것도 결국 대부분의 조직은 4비트 이하로 양자화해 올리게 되는데, 이 압축 과정에서 가장 먼저 손상되는 것이 하필 복잡한 다단계 추론 능력이다.