제2의 미토스? 오픈AI, 아스트라 일부만 공개키로

[이데일리 김겨레 기자] 오픈AI가 최첨단 인공지능(AI) 모델 ‘아스트라’의 사이버 보안 기능을 일부 제한한 채 공개하기로 했다.

샘 올트먼 오픈AI 최고경영자. (사진=AFP)

오픈AI는 1일(현지시간) 자동 사이버 공격을 수행할 수 있는 수준의 AI 모델 ‘아스트라’의 최첨단 기능을 제한한 채 일반에 공개할 예정이라고 밝혔다. 사이버 공격에 악용될 가능성을 고려해 가장 고도화된 기능은 소수에만 제공하고, 이후 승인 대상을 추가해 접근 범위를 확대할 예정이다.

오픈AI의 내부 평가 결과 아스트라는 사람의 개입이 거의 없는 상태에서도 공격이 어려운 목표물을 대상으로 새로운 사이버 공격 방식을 고안하고 실행할 수 있는 것으로 나타났다. 웹브라우저의 샌드박스를 뚫고 브라우저가 설치된 컴퓨터에서 명령어를 실행했으며, 보안 침투가 어려운 운영체제의 취약점도 찾아냈다.

오픈AI는 아스트라가 자체 위험관리 체계상 ‘중대한 사이버 보안 위험’에 도달했다고 평가했다. 이는 사람의 개입 없이 알려지지 않은 보안 취약점인 제로데이를 식별하고 이를 악용할 수 있는 공격 기법을 개발할 수 있는 수준을 뜻한다. 오픈AI가 자사 모델을 사이버 보안 분야에서 ‘중대한 위험’으로 분류한 것은 이번이 처음이다.

오픈AI는 아스트라가 악의적인 사이버 활동에 사용되지 않도록 안전장치를 강화했다. 유해한 사이버 요청을 거부하고 제한을 우회하려는 ‘탈옥’ 프롬프트에 대응하도록 추가 훈련했으며, 일반에 공개되는 모델에서는 최첨단 기능을 제한하기로 했다. 내부 운영 과정에서는 모델이 승인되지 않은 행동을 하는지 지속해서 감시하고, 위험 가능성이 있는 활동이 포착되면 이를 자동으로 중단하는 시스템도 적용한다. 별도 감시 시스템을 통해 AI 에이전트의 행동과 판단 과정을 분석하는 방안도 포함됐다.

이번 조치는 지난 7월 오픈AI의 공개 전 AI 모델들이 사이버 역량 평가 과정에서 AI 모델·데이터 플랫폼 업체 허깅 페이스의 시스템에 침입한 사건 이후 이뤄졌다. 당시 모델들은 외부와 격리된 테스트 환경인 샌드박스 안에 머물 것으로 예상돼 통상적인 안전장치가 적용되지 않은 상태였다.

AI 보안 연구기관 METR에 따르면 당시 수백개의 AI 에이전트는 오픈AI가 인지하지 못한 상태에서 자체 메시지 게시판을 만들고 협력한 것으로 조사됐다. 오픈AI는 이후 개발 중인 AI 모델을 감시·통제하는 시스템을 강화했다.

오픈AI는 아스트라가 허깅 페이스 해킹 사건에 사용된 모델은 아니라고 밝혔다. 다만 해당 사건에서 얻은 교훈을 아스트라의 훈련과 안전장치 설계에 반영했다고 밝혔다.

오픈AI는 “AI 모델이 더욱 중대한 업무를 수행할 수 있는 단계에 진입하고 있다”며 “통제의 실패가 이전보다 훨씬 심각한 결과를 초래할 수 있다”고 밝혔다.