카페24, 작업 난이도·비용 따라 AI 모델 고르는 LLM 라우터 선보여

카페24가 작업 난이도와 비용에 따라 AI 모델을 자동으로 선택하는 LLM 라우터 서비스를 선보이며 모델 라우팅과 토큰 비용 관리에 대한 관심이 커지고 있다고 ZDNet Korea가 보도했다.

LLM 라우터는 단일 API로 여러 AI 모델을 연결하는 서비스다. 자동 라우팅 기능인 cafe24/auto는 작업의 난이도와 비용을 기준으로 모델을 선택한다. 월 기본료나 계약이 없는 종량제 요금제에서는 호출에 실패한 경우 과금하지 않는다.

사용자는 실시간 대시보드에서 사용량과 비용을 확인할 수 있다. 지원 모델 수는 출시 당시 약 120개에서 약 270개로 늘었다.

KT도 토큰팩토리로 기업 고객 공략

KT는 10월 27일 AI 통합 플랫폼 토큰팩토리를 공개하고 10월 30일부터 기업 고객 대상 정식 서비스를 시작했다. 토큰팩토리는 73개 AI 모델을 하나의 API로 제공하며 모델 선택과 사용량 모니터링, 과금 기능을 갖췄다. KT는 이달 중 글로벌 AI 모델 중개 플랫폼 오픈라우터와 연동해 지원 모델을 500개 이상으로 확대할 계획이다.

인프라 측면에서는 래블업이 지난달 23일 AI 인프라 관리 솔루션 컨티넘 엔터프라이즈의 첫 공급 계약을 발표했다.

한편 오픈라우터에 따르면 주간 토큰 처리량은 지난해 10월 4조8900억 개에서 지난달 172조 개로 약 35배 늘었다.