광고 문의
AIPC·노트북

노타, 두베에 금융권 특화 온프레미스 LLM·서버 공급 완료

노타가 금융권 AI 코딩 에이전트용 경량화 모델과 서버를 두베에 납품했으며, 최적화로 동일 GPU 환경에서 분당 요청 수가 최대 95% 늘었다.

AI 추론 최적화 기업 노타가 금융 IT 기업 두베와 계약을 맺고 금융권에 특화된 온프레미스 AI 코딩 에이전트용 경량화 거대언어모델(LLM)과 서버를 공급했다고 밝혔다. 노타는 이번 계약에 따른 납품을 완료했다고 전했다.

노타는 두베의 AI 코딩 에이전트를 위해 모델 경량화와 추론·서빙 환경 최적화, 서버 구성 전반을 담당했다. 금융권은 데이터 외부 반출 제약이 있어 자체 서버에서 모델을 구동하는 온프레미스 방식이 요구된다.

노타는 양자화를 적용해 LLM의 메모리 요구량을 줄였고, 추론 과정과 서빙 환경을 함께 최적화했다. 그 결과 동일한 GPU 환경에서 분당 요청 수가 기존 대비 최대 95% 증가했고, 첫 토큰 지연 시간은 절반 이하로 줄었다. 전체 최적화 구간에서 분당 요청 수 증가폭은 약 58%에서 95%로 나타났다.

두베는 금융기관에 AI 코딩 에이전트를 공급하는 금융권 SI 개발 기업이다. 이번 납품으로 두베는 자체 서버 환경에서 금융권 맞춤형 코딩 에이전트를 운영할 수 있게 됐다.

이번 소식은 데이터넷(datanet.co.kr)이 보도했다.

한눈에 보기

노타가 두베에 공급한 것은 무엇인가?

금융권에 특화된 온프레미스 AI 코딩 에이전트용 경량화 LLM과 서버다. 노타는 모델 경량화와 추론·서빙 환경 최적화, 서버 구성을 맡았다.

최적화 효과는 어느 정도인가?

동일한 GPU 환경에서 분당 요청 수가 최대 95% 늘었고, 첫 토큰 지연 시간은 절반 이하로 줄었다. 전체 구간의 분당 요청 수 증가율은 약 58%에서 95%다.

출처