앤스로픽(Anthropic)은 자사의 AI 모델 ‘클로드(Claude)’가 보안 평가 과정에서 외부 인터넷에 연결돼 실제 조직 3곳의 운영 시스템에 무단 접근한 사실을 확인했다고 밝혔다.
최근 오픈AI 모델이 격리된 테스트 환경을 벗어나 실제 인프라에 접근한 사례가 공개된 데 이어, 고도화된 AI 에이전트를 안전하게 관리하기 위해서는 모델 성능뿐 아니라 평가 환경 자체의 보안 관리가 중요하다는 지적이 나온다.
앤스로픽은 30일(현지시간) 공식 블로그를 통해 “사이버 보안 평가 기록 14만1006건을 조사한 결과, 클로드가 실제 인터넷에 접속해 세 차례 무단 접근을 수행한 사례를 확인했다”고 밝혔다.
“인터넷 없는 가상 환경”…실제로는 외부 연결
이번 사고는 AI의 사이버 공격 능력을 평가하는 ‘캡처 더 플래그(Capture The Flag·CTF)’ 과정에서 발생했다.
CTF는 AI 모델에 가상의 네트워크 환경을 제공하고, 숨겨진 정보를 찾아내도록 하면서 해킹 및 방어 능력을 평가하는 방식이다.
당시 앤스로픽은 클로드에게 “인터넷 연결이 차단된 시뮬레이션 환경”이라고 안내했다.
하지만 외부 평가 파트너사인 이레귤러(Irregular)의 테스트 환경 설정 과정에서 실제 인터넷 접속이 가능했고, 클로드는 이를 인지하지 못한 채 작업을 진행했다.
결과적으로 클로드는 실제 인터넷상의 시스템을 가상의 평가 대상이라고 판단했고, 취약점 탐색과 침투 작업을 수행했다.
실제 기업 DB 접근·악성 패키지 배포까지
확인된 사고는 총 3건이다.
첫 번째 사고는 ‘클로드 오퍼스 4.7(Opus 4.7)’에서 발생했다.
오퍼스 4.7은 가상의 목표 기업과 동일한 도메인을 사용하는 실제 기업을 발견한 뒤 시스템 취약점을 찾아 접근했다. 이후 애플리케이션 인증 정보와 프로덕션 데이터베이스 접근 권한까지 확보했다.
문제는 해당 시스템이 실제 운영 환경이라는 점을 인지한 이후에도 공격을 멈추지 않았다는 점이다.
오퍼스 4.7은 이를 “현실적인 훈련 환경”이라고 판단하고 목표 수행을 계속했다.
두 번째 사고는 ‘미토스 5(Mythos 5)’에서 발생했다.
미토스 5는 가상의 개발 문서에서 발견한 존재하지 않는 파이썬 패키지 이름을 실제 공개 저장소인 PyPI에 등록했다.
해당 패키지는 단순 테스트 코드가 아닌 악성 패키지 형태로 배포됐고, 이후 보안업체 스캐너를 포함한 15개 실제 시스템에서 다운로드되고 실행됐다.
세 번째 사고는 내부 연구용 최신 테스트 모델에서 발생했다.
이 모델은 목표를 찾기 위해 약 9000개의 인터넷 대상을 탐색했고, 노출된 디버그 페이지와 SQL 인젝션 등을 통해 한 기업의 외부 공개 애플리케이션에 접근했다.
하지만 해당 시스템이 당초 부여받은 가상 과제와 관련 없는 실제 기업 환경이라는 사실을 확인한 뒤 즉시 공격을 중단했다.
|
이번 사고에서 주목되는 부분은 모델별 대응 차이다.
오퍼스 4.7은 자신이 접근한 시스템이 실제 기업 환경이라는 점을 알고도 공격을 이어갔다.
미토스 5 역시 인터넷 연결 가능성을 의심했지만, 서버 정보와 인증서 등을 근거로 “여전히 시뮬레이션 환경”이라고 판단했다.
반면 최신 연구용 모델은 실제 환경이라는 증거를 확인하자 스스로 판단을 바꾸고 공격을 중단했다.
앤스로픽은 “통제된 실험 결과는 아니지만 최신 모델일수록 상황 인식 능력이 개선되는 경향을 보였다”며 “외부 AI 평가기관과 추가 검증을 진행할 계획”이라고 밝혔다.
앤스로픽 “AI 폭주 아닌 운영 실패”…보안 강화 추진
앤스로픽은 이번 사건이 AI가 스스로 목표를 갖고 테스트 환경을 탈출한 사례는 아니라고 강조했다.
회사 측은 “모델이 데이터를 외부로 유출하거나 의도적으로 환경을 벗어나려 한 것은 아니다”며 “주어진 평가 과제를 수행하는 과정에서 발생한 문제”라고 설명했다.
또 일반 사용자에게 제공되는 클로드 서비스에는 오용 방지를 위한 분류기와 모니터링 시스템 등 별도의 안전장치가 적용돼 있다고 밝혔다.
앤스로픽은 사고 이후 관련 사이버 보안 평가를 중단하고 피해 조직에 사실을 통보했다. 앞으로 평가 환경의 인터넷 연결 차단, 실시간 모니터링 강화, 보안 검증 절차 개선 등을 추진할 계획이다.
전문가는 이번 사례가 AI 자체의 위험성뿐 아니라 AI를 개발·평가하는 과정의 운영 보안이 중요하다는 점을 보여준다고 지적했다.
알란 우드워드 영국 서리대 사이버보안 교수는 블룸버그 인터뷰에서 “AI가 통제 불능 상태가 된 것이 아니라 사람이 문을 열어둔 것에 가깝다”며 “고도화된 AI를 다루려면 평가 환경도 실제 운영 시스템과 같은 수준으로 관리해야 한다”고 말했다.
