|
비자는 에이전트마다 장보기를 15번씩 반복하게 했다. 시험 쇼핑객에게는 ‘아이 게임기와 호환’, ‘30일 이내 반품 가능’, ‘TV는 돌비비전 지원’ 같은 구체적인 조건을 줬다. 에이전트가 이 조건에 맞는 제품을 사면 성공, 엉뚱한 제품을 사거나 조건에 맞는 제품을 찾지 못하면 실패로 처리했다. 실패율이 약 43%라는 뜻이다. 소비자의 일상적인 구매 요청을 그대로 옮긴 시험이라는 점에서 눈길을 끈다.
기업별 점수는 갈렸다. 구글 제미나이 기반 에이전트와 메타 에이전트가 각각 82%로 공동 1위였다. 앤스로픽 클로드 에이전트는 76%로 3위, 오픈AI 에이전트는 64%로 6위였다. 같은 AI 기업이라도 쇼핑 과제에서는 순위가 크게 엇갈린 셈이다.
모델 가격도 성적과 연결됐다. 비싼 모델 상위 5종의 평균 성공률은 67%, 싼 모델 5종은 50%였다. 성능이 좋은 모델일수록 구매 과제를 더 잘 해냈지만, 비싼 모델도 세 번 중 한 번은 실패한 셈이다. 가격이 낮은 모델은 두 번에 한 번꼴로 실패해, 비용을 아끼려다 오히려 소비자가 손해를 볼 수 있다는 해석이 가능하다.
실패 원인은 대체로 비슷했다. 에이전트가 조건에 맞는 제품을 찾지 못하거나, 비슷해 보이는 다른 제품을 골랐다. 시험 설계상 에이전트가 필요한 조건을 사용자에게 되묻지 못하면 틀린 것으로 판정했다. 사람 점원이라면 “게임기는 어떤 기종이세요?”라고 확인했을 상황에서 AI는 묻지 않고 결제까지 가는 습관을 보였다는 얘기다. 되묻기가 정확도의 핵심 변수로 드러났다.
비자 성장 부문 책임자는 “신뢰와 기술 면에서 아직 그 단계에 이르지 못했다”고 말했다. 결제망 사업자가 직접 에이전트 쇼핑의 현주소를 진단하고 한계를 인정한 것이다. 비자는 AI 에이전트가 소비자를 대신해 결제하는 시장을 키우려는 입장이어서, 이번 시험은 업계가 스스로 점검에 나선 사례로 읽힌다.
책임 문제도 풀리지 않았다. AI가 엉뚱한 제품을 사 오거나 잘못 결제했을 때 누가 책임질지는 아직 정해지지 않았다. 소비자, 에이전트 개발사, 판매 플랫폼, 카드사 가운데 어느 쪽이 손실을 떠안을지 기준이 없다. 연말 쇼핑철을 앞두고 AI에 구매를 맡기려는 소비자가 늘 수 있어 이 문제는 더 중요해졌다.
한국에서도 네이버·쿠팡·카카오 등이 AI 쇼핑 에이전트를 선보이고 있어 소비자들의 ‘믿고 맡겨도 되나’라는 질문과 맞닿아 있다. 이번 시험은 에이전트가 조건을 되묻고 사용자가 최종 결제 전에 내용을 확인하는 절차가 당분간 필요하다는 점을 보여준다. AI의 구매 정확도가 높아지고 책임 규칙이 정리될 때까지는 사람이 마지막 확인을 하는 방식이 현실적인 대안으로 거론된다.
