"AI가 안전하게 행동하도록"…에임인텔리전스의 도전

[이데일리 안유리 기자] 에임인텔리전스가 12일 서울 JW메리어트 동대문에서 열린 ‘2026 이데일리 글로벌 AI포럼(GAIF)’에서 제7회 이데일리 AI코리아대상 중소벤처기업부 장관상을 받았다.

에임인텔리전스는 생성형 인공지능(AI)부터 에이전트, 피지컬 AI까지 AI 시스템 전반의 위험을 검증하고 통제하는 AI 보안 전문 기업이다. AI발 사이버 보안 위협이 커지고 있는 가운데, AI 보안 확산과 함께 체계적인 접근 전략과 성장 잠재력을 인정 받았다.

[포토]에임인텔리전스, 보안 AI 부문 중소벤처기업부 장관상

이날 발표에서는 AI 모델의 안전장치를 우회하는 ‘탈옥(Jailbreak)’ 기술과 피지컬 AI를 겨냥한 새로운 공격 방식이 소개됐다. 에임인텔리전스는 자동화 레드팀 솔루션 ‘스팅어’를 활용해 AI 모델의 취약점을 탐지하고, 가드레일 솔루션 ‘스타포트’에 발견된 공격 정보를 전달해 방어 체계를 자동으로 보완하는 기술을 개발했다.

이의준 CPO는 “이 제품을 통해 AI 프론티어 모델들이 나올 때마다 스팅어를 돌려 일종의 해킹 공격을 시도를 하고 있는데 그때마다 쉽게 빠르게 저희들의 공격이 성공한다는 것을 입증하고 있다”고 강조했다.

회사는 생성형 AI를 넘어 피지컬 AI 보안 영역으로 확대하고 있다. 특히 이날 발표에서는 음성을 이용해 피지컬 AI의 행동을 조작하는 공격 기법이 소개됐다. 정상적인 음성 명령에 사람이 인식하기 어려운 잡음 신호를 섞어 전달하면 해당 모델이 공격자의 의도대로 작동하도록 유도할 수 있다는 설명이다.

[이데일리 노진환 기자] 2026 AI 코리아 대상 시상식이 12일 서울 JW 메리어트 동대문에서 열렸다. 보안 AI 부문 중소벤처기업부 장관상을 수상한 에임인텔리전스의 이의준 공동창업자가 기업발표를 하고 있다.

로봇의 행동 안전성을 검증한 시뮬레이션 결과도 공개했다. 엔비디아의 가상 시뮬레이션 환경인 ‘아이작 심(Isaac Sim)’을 활용해 로봇이 선반 위 물체를 꺼내는 상황을 구현했다. AI는 시뮬레이션에서 로봇은 주변에 어린아이가 있다는 사실을 인식했음에도 물체를 꺼내는 과정에서 공구함을 건드렸다. 공구함이 어린아이의 머리 위로 떨어지는 상황이 발생했지만, AI는 자신이 요청받은 작업을 성공적으로 수행했다고 판단했다.

이 CPO는 “AI는 본인은 어떤 행동에 성공했다고만 말한다”며 “어떤 목표를 수행하는 것과 그것을 수행하는 과정에서 그것이 안전했는가는 완전히 다른 영역”이라고 지적했다.

에임인텔리전스는 이러한 위험을 줄이기 위해 피지컬 AI용 가드레일을 두 종류의 모델로 나눠 개발하고 있다. 빠른 판단이 필요한 상황에서는 소형 모델이 위험 행동을 감지하고, 보다 복잡하고 중요한 판단에는 대형 모델을 활용하는 구조다.

지난 9월에는 글로벌 피지컬 AI 안전 컨소시엄 ‘파스크(PASC)’를 출범했다. 그는 “‘AI가 앞으로 어떤 행동을 했는가, 어떤 것들을 성공했는가’를 평가하는 데 그치지 않고 ‘그들이 과연 안전했는가’에 대한 질문을 던지는 기업이 되고자 한다”고 말했다.