우아한형제들, 배민 AI 검색 설계·검증 과정 공개

우아한형제들이 28일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 자사 콘퍼런스 우아콘 2026에서 배달의민족(배민) AI 검색의 기획과 검증 과정을 공개했다. 이는 배민이 일부 사용자를 대상으로 AI 검색을 선보인 지 약 일주일 만이다. 행사 내용은 byline.network가 전했다.

배민은 AI 검색 정책을 직선형, 깔때기형, 가드레일형 등 3가지 유형으로 나눠 설계했다고 설명했다. 평가 기준은 통과·실패로 판정하는 안전성과 수치로 점수를 매기는 품질로 구분했다. 안전성 평가는 신뢰, 안전, 존중하는 소통, 공정성 등 4개 축과 그 아래 8개 평가 요소로 구성된다.

검증 과정에서 드러난 수치도 함께 공개됐다. AI 검색 QA 테스트의 통과율은 74.1%였으며, 별도의 합격 기준선은 정해지지 않았다. 초기 자동 평가 도구가 사람의 판단과 일치한 비율은 44.6%에 그쳤으나, 도구를 개편한 뒤 안전성 부문 일치율은 약 90%, 품질 부문은 약 96%로 올라섰다.

현재 검증 팀은 테스트 계정에서 122개의 테스트 시나리오를 병렬로 돌려 5분 이내에 평가를 마친다고 밝혔다.

배경

배민은 2026년 8월 AI 검색 프로젝트를 위한 태스크포스를 구성했고, 같은 해 10월 20일 일부 사용자에게 AI 검색을 공개했다.