친절한 AI, 어디까지 믿고 맡길까…“유능함과 신뢰성은 다르다”

[뉴욕=이데일리 성주원 특파원] 인공지능(AI)이 공감 어린 말투로 자신 있게 답한다고 믿어도 될까. AI 신뢰·안전 분야 전문가 티퍼니 싱위 왕(Tiffany Xingyu Wang)은 질문부터 바꿔야 한다고 말한다. AI를 믿을지 말지가 아니라, 어떤 업무에서 어떤 조건으로 어디까지 맡길지를 결정해야 한다는 것이다.

'트러스트 코드' 저자 티퍼니 싱위 왕(Tiffany Xingyu Wang) 오아시스 컨소시엄 공동창립자 겸 회장이 맥킨지의 '저자와의 대화(Author Talks)' 인터뷰에서 AI의 신뢰성과 인간의 판단에 대해 설명하고 있다. (사진=맥킨지 인터뷰 영상)

오아시스 컨소시엄 공동창립자 겸 회장인 왕은 최근 맥킨지가 공개한 저자 인터뷰에서 이같이 밝혔다. 그는 지난 9월 출간한 ‘트러스트 코드(The Trust Code)’에서 인간의 판단력을 지키면서 AI를 활용하는 방법을 다뤘다.

왕 회장이 경계하는 것은 AI의 유능함을 신뢰성과 혼동하는 태도다. AI의 따뜻함과 자신감이 인간과 같은 이해나 책임 의식을 뜻하지는 않는다는 설명이다. 그는 일부 AI 기술에 대해 “성과나 장기간의 신뢰성으로 우리의 신뢰를 얻는 것이 아니라, 단지 우리의 신뢰를 유발하고 있다”고 지적했다.

그렇다고 AI를 멀리하자는 주장은 아니다. 과신은 피해를 부르고, 지나친 불신은 혁신을 가로막을 수 있다는 게 그의 시각이다. 필요한 것은 업무와 상황에 맞춰 신뢰 수준을 조절하는 일이다.

왕 회장은 신뢰성을 판단할 조건으로 역량, 진실성, 이용자 목표와의 부합, 사용 맥락의 적합성을 제시했다. 답변을 잘하는 시스템이라도 이용자의 이익에 맞게 작동하는지, 해당 업무에 적합한지는 따로 살펴야 한다는 뜻이다.

AI를 도입하는 기업의 책임도 강조했다. 개발사는 모델을 만들고 규제기관은 최소 기준을 정하지만, 실제 데이터 접근과 업무 연결, 위임할 권한을 결정하는 주체는 기업이라는 것이다. 항공기 제조사가 설계·시험을 책임지는 것과 별개로 항공사가 운항을 책임지는 것에 비유했다.

그는 기업이 공급자에게 모델의 안전 여부만 물어서는 부족하다고 봤다. 실패 사례와 통제 방법, 사고를 얼마나 빨리 알 수 있는지, 금전이나 평판에 손해가 생겼을 때 어떤 구제 수단이 있는지를 확인해야 한다고 짚었다.

AI 도입 성과를 내려면 조직도 바뀌어야 한다고 지적했다. 시범사업 착수만으로는 충분하지 않으며 업무 절차와 직원 교육, 보상체계를 실제로 바꾸는지가 중요하다는 설명이다.

AI가 발전할수록 인간 판단의 가치가 커질 수 있다는 전망도 내놨다. 그는 창작 과정을 모래시계에 비유했다. AI 덕분에 자료를 조사하고 여러 시안을 만드는 일과 완성된 결과물을 배포하는 일은 빨라졌지만, 모래시계의 좁은 허리처럼 그 사이에는 인간의 판단이 필요하다는 것이다. 여러 시안 가운데 무엇이 전달하려는 메시지에 맞는지, 사람들의 공감을 얻을지, 문화적 맥락에 어긋나지는 않는지를 고르는 능력이다.

왕 회장은 “AI를 구체적인 범위에서는 신뢰하지만, 전반적으로 신뢰하지는 않는다”며 “아이들에게 물려주고 싶은 것은 스스로 결정하는 습관”이라고 말했다.