오픈AI, 전 고객 대상 Decisions API 공개...응답 속도 최대 10배

오픈AI가 10월 22일 모든 고객을 대상으로 Decisions API를 정식 출시했다고 밝혔다. 이 API는 GPT-6 Luna를 기반으로 하며, 일부 의사결정 작업을 Responses API로 GPT-6 Luna를 호출할 때보다 최대 10배 빠르게 처리할 수 있다고 오픈AI는 설명했다. 소식은 aitimes.com이 전했다.

오픈AI에 따르면 기존에 1~3초가 걸리던 작업의 Decisions API 처리 시간은 약 100~180밀리초로 단축된다. 개발자는 질문과 허용 가능한 답변을 정의한 뒤 텍스트, 이미지, 구조화된 JSON 데이터를 제출하면 된다. 결과는 확률, 선택지, 점수 형태로 반환된다.

API는 JSON 입력을 기본으로 지원하고 이미지가 포함된 질문도 처리한다. 한 번의 요청에 최대 400개의 질문을 담을 수 있어 이전 한도의 2배다. 미국과 EU 역내에서 추론을 처리하는 설정도 제공한다.

가격은 입력 토큰 100만 개당 0.10달러, 캐시된 입력은 0.01달러이며 출력 토큰은 과금하지 않는다. 자격을 갖춘 고객은 Zero Data Retention 옵션도 사용할 수 있다. 공개 베타 기간에는 GPT-Live 기본 연동과 프롬프트 캐싱이 추가됐다.

오픈AI는 자사 음성 비서 Dots의 응답 속도를 높이는 데 Decisions API를 내부적으로 활용하고 있다. AI 언어 학습 서비스 스픽의 앤드루 쉬 CTO는 Decisions API를 GPT-Live와 연동한 테스트에서 다음 행동까지 걸리는 시간이 1.4초에서 0.13초로 줄었다고 밝혔다. 박스, 데이터도그, 램프 등이 초기 시험 고객으로 참여했다.