뉴스
-
고려대, LLM 운영 비용 줄이고 고성능 확보한 신기술 선보여
챗GPT·제미나이와 같은 대규모언어모델(LLM)을 운영할 때 필요한 서버 비용을 크게 낮추면서도 처리 성능은 오히려 높일 수 있는 길이 열렸다. 고려대학교는 안정섭 전기전자공학부 교수 연구팀이 LLM 서비스의 GPU(그래픽처리장치) 활용 효율을 높이고 병목 현상을 줄이는 혁신적인 스케줄
www.etnews.com · 2026.07.13
-
대학가 AI 토큰 비용 골치…비용 효율 높이는 활용체계 절실
기업에 이어 대학에서도 생성형 인공지능(AI) 활용이 빠르게 확산하면서 학내 '토큰 비용' 관리가 새로운 과제로 떠올랐다. 해외 거대언어모델(LLM) 기반 AI 사용 확대로 토큰 비용이 해외 사업자에게 지급되는 지식서비스 무역수지 불균형 문제도 우려되는 상황이다.
www.etnews.com · 2026.08.20
-
제이엘케이 의료 AI, 엔비디아 성능 맞추고 비용은 낮췄다
[서울=뉴스핌] 조민교 기자 = 제이엘케이가 의료 멀티모달 거대언어모델(LLM) 플랫폼 'JOOMED(주메드)'를 인텔 GPU에서 구동한 결과, 엔비디아 A100 기반 서버와 대등한 '인텔 LLM Scaler' 환경과 엔비디아 A100 80G...
www.newspim.com · 2026.07.21
-
제이엘케이, 인텔과 의료 AI 플랫폼 운영환경 검증
[서울=뉴스핌] 김신영 기자 = 제이엘케이는 인텔과 의료 멀티모달 거대언어모델(LLM) 플랫폼 'JOOMED'의 운영 환경을 검증했다고 31일 밝혔다. 동일한 조건에서 진행한 검증 결과 두 환경 모두 상용화 수준의 분석 성능을 확인했으며, 비용 대비 성능 측면에서는 인텔 GPU 기반 시스템이 경쟁력을 보였다.
www.newspim.com · 2026.07.31
-
AI 비용폭증 잡는다…스노우플레이크, ‘지출 효율화’ 전략 발표
이와 함께 최신 오픈소스 모델에 대한 접근성을 확장하며 연산 비용 절감과 자원 운용의 효율성을 동시에 잡겠다는 전략을 발표했다.최근 기업 현장에서는 생성형 AI와 에이전트 도입이 활발해지면서 모든 업무에 최고 성능의 대형 언어 모델(LLM)을 적용할 경우 막대한 비용이 발생하는 반면, 직원이 상황마다 일일이 최적의 모델을 평가해 바꾸는 방식은 업무 부담을 가중시킨다.
www.donga.com · 2026.08.19
-
뤼튼, '데프콘' 본선 간 한국팀에 AI 지원…"취약점 분석 돕는다"
뤼튼을 비롯한 국내 AI·보안 기업과 고려대, 포항공대, 경희대, 단국대 등에서 활동하는 보안 전문가들이 팀원으로 참여한다.뤼튼은 콜드퓨전팀에 AI 서비스 '뤼튼AX 거대언어모델(LLM 뤼튼 소속 보안 연구원들도 팀원으로 본선에 참가한다.뤼튼AX LLM 라우터는 사용 목적과 비용, 성능 등을 고려해 적합한 LLM을 자동 선택하는 응용프로그램 인터페이스(API) 제품이다
zdnet.co.kr · 2026.07.29
-
비디오스튜, 언론사 뉴스 숏폼 제작 자동화…AI 뉴스룸 전환 지원
비디오스튜는 거대언어모델(LLM)과 자체 영상 자동화 API를 결합해 텍스트 기사를 영상 콘텐츠로 전환하는 시스템을 제공하며, 인력과 비용 부담으로 영상 제작에 어려움을 겪던 뉴스룸의
www.etnews.com · 2026.06.17
-
AI 모델 120여 개를 한 플랫폼에…카페24, 'LLM 라우터' 공개
동일 모델을 제공하는 여러 AI 서비스 제공사 가운데 ▲비용 ▲속도 처리량 등 사용자가 선택한 기준에 따라 가장 적합한 제공사로 자동 연결한다. 요청 단위 상세 기록과 팀·프로젝트·환경별 사용량 분류 추적도 지원해 AI 활용 현황과 비용 구조를 보다 효율적으로 파악할 수 있다.사용자가 보유한 AI 모델 키를 LLM 라우터에
zdnet.co.kr · 2026.06.23
-
농사 현장에 등장한 ‘AI 에이전트’… 롯데이노베이트, 스마트팜 고도화 속도
기술 중심의 농업 생태계를 선점하고 일명 농업의 인공지능 전환(AX)을 이끌겠다는 구상이다.대규모 언어모델(LLM)을 기반으로 설계된 이 지능형 대화 시스템은 경작자에게 일방적인 정보 이는 농가 운영의 시행착오를 차단해 관리 효율을 높이고 산출량 증대와 지출 비용 억제라는 경제적 효과로 이어질 것으로 기대를 모은다.
www.donga.com · 2026.07.10
-
[AI는 지금] 中 AI 저가 공세에 美 빅테크 '긴장'…"싸질수록 GPU 더 쓴다"
미국 AI 기업들까지 잇따라 가격 인하에 나서며 모델 이용 비용이 낮아지는 가운데 시장에선 비용 하락이 AI 도입과 사용량을 늘려 클라우드와 그래픽처리장치(GPU) 등 인프라 수요를 홍콩 사우스차이나모닝포스트(SCMP)에 따르면 리서치 업체 실리콘데이터의 '거대언어모델(LLM) 토큰 지출 지수' 기준 100만 토큰당 LLM 추론 가격은 올해 6월 초 2달러 이상에서
zdnet.co.kr · 2026.08.10
뉴스 결과 더보기 →
블로그
-
LLM 모델별 콘텍스트 윈도우 & 비용
콘텍스트 윈도우: LLM모델이 기억하는 량. 모델을 row로 써주고, transpose. 비용도 비교하게 추가해주고 요청하신 대로 모델을 행(Row)으로 두고 내용을 전치(Transpose)하여 가로로 길게 비교하실 수 있도록 표를 전면 수정했습니다. 궁금해하신 비용(100만 토큰 기준
blog.naver.com · 2026.05.16
-
한국어 문장을 입력했을 때 GPT-4o보다 A.X 4.0이 약 33%가량 높은 토큰 효율을 기록하며, 다른 LLM 대비 높은 정보 처리용량에 비용 절감까지 가능한
blog.naver.com · 2026.07.03
-
오픈소스와 라우팅이 바꾸는 LLM 경제학: 지출 지표와 사용량 데이터로 본 판도 변화
오픈소스와 라우팅이 바꾸는 LLM 경제학: 지출 지표와 사용량 데이터로 본 판도 변화 최근 공개된 LLM Token Expenditure Index(매크로마이크로 제공)와 주요 모델 LLM Token Expenditure Index – 가격 하락 신호 해당 지수는.......
blog.naver.com · 2026.07.25
-
미국 기업 AI 지출, 상위 1%에 극단적 집중
1% 기업은 2024년 초 직원당 월 1000달러 미만에서 현재 7400달러까지 급증하며 AI 도입 및 활용 강도가 일부 선도 기업을 중심으로 급격하게 확대되는 흐름 해당 지출에는 LLM 구독, 코딩 에이전트, API 토큰, GPU 클라우드 비용 등이 포함돼 단순 소프트.......
blog.naver.com · 2026.08.19
-
카페24, 120여개 AI 모델 통합 관리 서비스 출시 [ 신아일보 강동완 기자 ]
카페24, 120여개 AI 모델 통합 관리 서비스 출시 카페24가 120여개 인공지능(AI) 모델을 하나의 API로 연동·관리할 수 있는 AI 운용 인프라 서비스 'LLM 라우터'를 비용, 속도, 처리량 기준의 제공사 선택 기능과 장애 발생 시 대체 모델로 자동 전환하는 기능도 지원한다.
blog.naver.com · 2026.07.03
-
글로벌 AI 모델 대격변: GPT-5.6 vs Claude Fable 5 성능 비교 및 선택 가이드
2026년 7월 새롭게 출시된 OpenAI의 GPT-5.6(Sol, Terra, Luna)와 Anthropic의 Claude Fable 5 모델의 기술적 아키텍처, 성능, 비용 효율성을 심층 비교 분석하고, 실무 환경에 최적화된 인공지능 선택 기준을 제시합니다. 2026년 7월 현시점, 글로벌 테크 시장은 대규모 언어 모델(LLM)의 세대교체로 인해 격변기를 맞이하고
blog.naver.com · 2026.07.31
-
리벨리온, 국산 NPU로 SKT ‘A.X K1’ 구동 “효율성 입증”
국산 AI 반도체(NPU) 스타트업 리벨리온(Rebellions)이 자체 개발한 AI 반도체로 SK텔레콤의 자체 거대언어모델(LLM)인 'A.X K1'을 안정적으로 구동하며 차세대 높은 전력 및 비용 효율성 입증 기존 엔비디아(NVIDIA) GPU 인프라 대비 동일 추론 성능 기준 전력 소비를 획기적으로 낮추고 운영.......
blog.naver.com · 2026.07.28
-
시장의 거대 세력(MM)과 스마트 머니가 그리는 오라클·팔란티어 최종 설계도
2026.7.18 최근 오라클(ORCL)의 신용등급 강등 악재와 과도한 인프라 투자 비용(CapEx) 지출로 인한 주가 하락을 올바르게 분석하기 위해서는, 먼저 오픈AI(OpenAI 즉, 가동이 시작되더라도 오픈AI는 고성능 거대언어모델(LLM)을 개발하는 소프트웨어 기업일 뿐, 물리적인 데이터센터 인프라와 엔비디아 칩을 직접 소유하지 못합니다.
blog.naver.com · 2026.07.18
-
제미나이·클로드·챗GPT 시대는 끝났다고?…AI도 이젠 '가성비' 싸움
후발 모델, 가격·효율 앞세워 압박 단일 LLM 대신 ‘라우팅’으로 비용 낮춘다 글로벌 인공지능(AI) 시장을 주도하던 최첨단(프론티어) 모델들의 독점 체제가 깨지고, 후발 주자들이
blog.naver.com · 2026.07.11
-
중국AI모델 키미 K3, 3위로 놀라운 입성
오늘 뉴스 중에 관심가는거 포스팅 ■ 글로벌 AI 언어모델 흐름 1) LLM 언어모델 트렌드는 성능 뛰어나고 비싼 미국 AI 효율성을 추구하는 중국 AI 앞으로는 비용 대비 성능이
blog.naver.com · 2026.07.17
블로그 결과 더보기 →