뉴스
- 벤치마크 1위 모티프는 왜 탈락했나…'독파모' 세부 점수 까보니 [서울=뉴시스]심지혜 기자 = ‘독자 인공지능(AI) 파운데이션 모델 프로젝트(독파모)’ 2차 단계평가에서 SK텔레콤이 70.6점으로 종합 1위를 차지했다. 업스테이지가 69.9점으로 2위, LG AI연구원이 69.0점으로 3위를 기록했으며 모티프테크놀로지스는 65.8점으로 4위에 머물
-
벤치마크 1위인데 ‘국가대표 AI’ 2차 탈락… 모티프, 점수 공개 요구
2차 평가에서 탈락한 AI 스타트업 모티프테크놀로지스(모티프)가 평가 결과에 공식 이의를 제기했다. 1차 평가에서 모델 ‘독자성’ 논란이 불거진 데 이어 2차에서는 평가 기준과 점수 정부가 대규모 AI 지원 사업을 여럿 추진하는 만큼 평가 기준과 선정 근거를 더 투명하게 공개해야 한다는 목소리가 커지고 있다.● 글로벌 벤치마크 1위가 탈락… 점수 공개 논란모티프는
- [안광섭 AI 진테제] 벤치마크 점수 3점에 30배 비용 내야하나 [지디넷코리아]7월 중순부터 8월 초까지 3주 사이에 중국 AI 진영에서 세 건의 주목할만한 발표가 연달아 나왔다. 문샷AI가 2조8000억 파라미터 규모의 키미 K3를 내놓고 열흘 뒤 가중치를 공개했다. 딥시크는 7월 31일 V4 플래시를 갱신했다. 알리바바는 8월 3일 2조4000억
- [비욘드IT] 돈으로 사는 벤치마크 점수…AI 성능평가 공정성 우려 성능에 대한 직관적인 지표를 제공하는 만큼 주요 AI 기업 신규 모델을 선보이며 벤치마크 점수를 공개하며 고객사도 벤치마크 점수를 모델 선택 핵심 기준으로 활용한다.문제는 벤치마크가 취지로 언급해 논란이 커졌다.한 업계 관계자는 "벤치마크 데이터를 대거 사들여 학습시키면 벤치마크 점수를 높일 수는 있겠지만 실제 업무에 적용해 활용하는 건 다른 이야기"라며 "깃허브나
- 앤트로픽·오픈AI "속도조절" 외치더니 가성비 AI 출시 경쟁 앤트로픽도 자사 발표에서 고성능 모델 간 벤치마크 점수 차이가 실제 업무에서의 성능...
- 독파모 2차전 '모티프' 탈락…업스테이지·SKT·LG 진출 강조했다.벤치마크 평가는 AAII 벤치마크 평가(25점)와 NIA 벤치마크 평가(15점)로 구성됐다. 벤치마크 평가(40점) 4개 정예팀 전체 평균은 22.5점이며, 1위와 4위 간 점수 격차는 4.0점이다.전문가 평가는 외부 AI전문가로 구성된 전문가위원회를 구성해 정예팀이 제출한
- '국가대표 AI' 누가 될까…LG·SKT·업스테이지 생존, 모티프 탈락 진출했습니다.과학기술정보통신부는 벤치마크·전문가·사용자 평가를 종합한 이번 2차 평가에서 모티프테크놀로지스가 최하위를 기록해 탈락했다고 오늘(18일) 밝혔습니다.평가 항목별로 보면 배점 40점인 벤치마크 평가에서 4개 팀 전체 평균은 22.5점이었고 1위와 4위 간 점수 격차는 4.0점이었습니다.배점 35점인 전문가 평가 전체 평균은 28.8점으로 1·4위 격차는 2.4점, 배점
- [독파모 2차 발표] 예정대로 2곳 선정…AI 개발 지원책은 재검토 항목별 4개 팀의 점수 차이가 크지 않은 상황에서 개별 순위를 공개할 실익이 크지 않은 데다 나머지 기업에 미칠 영향도 고려했다는 설명이다.2차 평가 결과에 따르면 벤치마크 평가에서 사용자 평가에서 4개 정예팀 전체 평균은 17.6점이며 1위와 4위 간 점수 격차는 5.0점이었다.다만 모티프테크놀로지스는 AAII 기준 높은 벤치마크 성능에도 불구하고 사용성·활용성
- 오픈AI·딥마인드가 짚은 벤치마크 함정, AI 승부는 '현장'서 갈린다 반면 업스테이지·SK텔레콤·LG AI연구원이 3차에 진출했다.이번 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 진행했다. 오픈AI의 추론 모델 'o1'과 'o3' 시리즈를 설계한 그는 벤치마크 점수 하나가 아니라 연산량 대비 성능 곡선으로 모델을 평가해야 한다고 지적했다.
- [현장] 오픈AI "AI 벤치마크 한계…토큰·비용·시간까지 고려해야" [지디넷코리아]인공지능(AI) 모델 평가를 단일 벤치마크 점수 중심으로 보는 방식에 한계가 있다는 주장이 나왔다. 브라운 부사장은 최근 AI 모델 실제 성능이 기존 벤치마크 점수만으로는 충분히 드러나지 않는다고 봤다.
1 페이지
다음 →