ベミンのAI検索、QA合格率74.1% ウアハン兄弟が手法を公開

ウアハン兄弟は10月28日、ソウル・江南のグランドインターコンチネンタルソウルパルナスで開催したカンファレンスWooCon 2026で、配達アプリ「ベミン」のAI検索に関する企画と検証のプロセスを説明した。byline.networkが報じた。同社は10月20日にAI検索を一部のユーザー向けに公開したばかりだった。

同社はAI検索の方針を直線型、漏斗型、ガードレール型の3種類に分類した。QAテストの合格率は74.1%だったが、合格の基準値は定めていない。評価基準は合否で判定する安全性と、数値で採点する品質に分けた。

安全性の評価は信頼、安全、敬意あるコミュニケーション、公平性の4軸で構成され、その下に8つの評価要素を置いた。当初の自動評価ツールは、人間の判断と一致した割合が44.6%にとどまった。

ツールを改修した結果、評価の一致率は安全性で約90%、品質で約96%まで向上した。現在はテスト用アカウントで122のテストシナリオを並行して実行し、5分以内に評価を完了できるという。