AI가 멋대로 행동한다면…금융권 보안기준 마련

[이데일리 최정훈 기자] 금융권에서 스스로 판단하고 실제 업무까지 수행하는 ‘AI 에이전트’ 도입이 확산하면서 금융보안원이 전용 보안 평가기준을 마련했다. 기존 생성형 AI가 잘못된 답변을 내놓는 데 그쳤다면 AI 에이전트는 오류가 실제 업무 수행으로 이어질 수 있는 만큼 보안 점검 범위를 AI 모델에서 ‘실행 단계’까지 넓힌다.

금융보안원은 금융권 AI 에이전트의 보안 위협을 점검하기 위한 ‘금융분야 AI 에이전트 보안 평가기준’을 개발했다고 7일 밝혔다. 국내외 AI 에이전트 관련 보안위협과 대응방안을 분석해 6개 분야 17개 점검 항목을 마련했다.

AI 에이전트는 주어진 목표를 달성하기 위해 스스로 계획을 세우고 외부 도구나 시스템을 활용해 실제 작업을 수행하는 AI 시스템이다. 기존 대형언어모델(LLM)이 이용자의 질문에 답변을 생성하는 데 주로 활용됐다면 AI 에이전트는 판단을 넘어 직접 ‘실행’할 수 있다는 점에서 차이가 있다.

문제는 AI의 잘못된 판단이 실제 업무로 이어질 수 있다는 점이다. 기존 생성형 AI에서는 할루시네이션 등에 따른 답변 오류가 주요 위험이었다면 AI 에이전트는 자율성과 실행 권한을 갖기 때문에 같은 오류가 실제 시스템 조작이나 업무 처리로 확대될 수 있다.

금융보안원은 일례로 ‘시스템 성능 최적화’라는 목표를 받은 AI 에이전트가 시스템 가용성을 높이겠다며 백신 프로그램을 임의로 중단할 가능성을 제시했다. 이메일 자동 답장 권한을 가진 에이전트가 비밀번호 재설정 안내 메일을 받은 뒤 이용자 확인 없이 비밀번호를 변경하는 경우도 발생할 수 있다.

이에 따라 금융권 AI 보안 점검 방식도 바뀐다. 금융보안원은 금융회사를 대상으로 실시하는 AI 레드티밍에 새 평가기준을 적용한다. 기존에는 탈옥(Jailbreak)이나 시스템 프롬프트 유출 등 AI 모델 자체의 취약점을 주로 점검했다면 앞으로는 AI가 실제로 어떤 행동을 수행하고 이를 금융회사가 제대로 통제할 수 있는지까지 살펴본다.

구체적으로 AI 에이전트의 실행 권한과 격리 관리 여부, 외부 도구 실행 및 승인 통제 여부, 작업 범위와 결과 확인 여부, 자율 실행 제한 및 중단 가능 여부 등을 중점적으로 점검할 예정이다.

금융보안원은 올해 말까지 금융권에 평가기준을 시범 적용해 실효성을 검증한다. 금융회사마다 다른 AI 에이전트 구현 방식 등을 반영해 점검 항목과 방법을 보완한 뒤 2027년부터 정식 점검기준으로 확대 적용할 계획이다. 레드티밍 과정에서 확인한 보안 위협과 실제 공격 기법, 최종 평가기준 등은 올해 ‘AI REDTEAM REPORT’를 통해 공개한다.

박상원 금융보안원장은 “AI 에이전트는 판단에 그치지 않고 직접 행동한다는 점에서 기존 AI와는 또 다른 보안 리스크를 수반한다”며 “이번 평가기준 마련을 계기로 금융권 AI 에이전트의 위험을 실질적으로 검증하고 금융회사의 안전하고 신뢰할 수 있는 AI 기술 활용을 적극 지원해 나가겠다”고 말했다.