뉴스
- [현장] 오픈AI "AI 벤치마크 한계…토큰·비용·시간까지 고려해야" [지디넷코리아]인공지능(AI) 모델 평가를 단일 벤치마크 점수 중심으로 보는 방식에 한계가 있다는 주장이 나왔다. 브라운 부사장은 최근 AI 모델 실제 성능이 기존 벤치마크 점수만으로는 충분히 드러나지 않는다고 봤다.
- 업스테이지 '솔라 프로 4', 韓 모델 최초 글로벌 개발자 플랫폼에 장문 이해 벤치마크(AA-LCR)에서는 71점으로 전작 대비 2.3배 이상 우수한 성능을 보였다. 한글 문서를 비롯한 다양한 문서 서식에서 정보를 추출해 요약·분석·번역 등의 작업을 한 번에 처리할 수 있다.김성훈 업스테이지 대표는 "실무에서 AI에게 필요한 것은 시험을 잘 보는
- [안광섭 AI 진테제] 독파모 2차 평가가 남긴 것 벤치마크 40점은 아티피셜 애널리시스 지능지수(AAII) 기반 25점과 한국지능정보사회진흥원(NIA) 벤치마크 15점으로 구성됐다. 항목별 최고점과 4팀 평균이다.• AAII 벤치마크(배점 25점): 최고 모티프 11.9점, 평균 9.48점• NIA 벤치마크(배점 15점): 최고 SK텔레콤 13.4점, 평균 13.05점
- [시론] 독파모 2차 평가를 보고...남은 과제는 하지만 높은 벤치마크 점수와 실제 사용은 전혀 다른 차원이다. 세 팀의 공통점은 모델 크기나 벤치마크 숫자에 있지 않다.
- 딥시크, AI에이전트 시대의 룰메이커가 될 것인가 벤치마크가 증명한 혁명적 성능 향상 공식 벤치마크 데이터는 정식 버전의 성능 향상을 숫자로 증명합니다. 자동화 작업 수행 능력을 보는 AutomationBench에서는 12.8점에서 31.8점으로 약 2.5배 증가했습니다.
- 퍼팅그린도 읽는다...스냅, 300만원 넘는 첫 AR 안경 '스펙스' 공개 이 제품에서 AI는 사용자가 보는 환경을 실시간으로 이해해 상황에 맞는 정보를 제공하도록 설계됐다.배터리는 혼합 사용 기준 최대 4시간 사용할 수 있으며, 충전 케이스를 이용하면 최대 이와 함께 네이티브 디벨롭먼트 키트와 공간 인식 벤치마크 등 새로운 개발 도구도 공개했다.개인정보 보호 기능도 강화했다.