로앤컴퍼니, ICML AI4Law 논문 채택…“법률 AI 성능, 추론 과정이 좌우”

[이데일리 김현아 기자] 로앤컴퍼니가 법률 분야에서 대규모언어모델(LLM)의 추론(Reasoning) 과정이 답변 정확도를 높이는 핵심 요소라는 연구 성과를 세계적인 AI 학회에서 인정받았다.

종합 리걸테크 기업 로앤컴퍼니는 법률 AI 추론 연구 논문 ‘AI Achieves a Perfect LSAT Score’가 세계 3대 AI 학회 중 하나인 국제머신러닝학회(ICML) 2026의 AI4Law 워크숍에 최종 채택됐다고 9일 밝혔다.

ICML은 국제머신러닝학회(ICML), NeurIPS, ICLR와 함께 세계 최고 권위의 AI 학회로 꼽힌다. AI4Law 워크숍은 법률 추론과 AI 평가, 사법 접근성 등 법률 AI 최신 연구를 공유하는 행사로 오는 10일 서울 코엑스에서 열린다.

연구진은 미국 로스쿨 입학시험(LSAT)을 활용해 GPT-5, Claude Opus 4, Gemini 2.5 Pro, DeepSeek-R1, Kimi K2 Thinking 등 8개 AI 모델의 성능을 평가했다. 이 가운데 Kimi K2 Thinking과 DeepSeek-R1은 LSAT 180점 만점을 기록했다.

이어 프롬프트 설계, 답안 순서, 다중 샘플링, 사고 단계, 추론 과정 검증 등 다양한 요소가 성능에 미치는 영향을 분석한 결과, 모델의 논리적 추론 과정이 답변 정확도를 결정하는 가장 중요한 요인이라는 결론을 도출했다.

특히 연구진은 프로세스 보상 모델(PRM)을 활용해 법률 전문가가 AI의 추론 과정을 직접 평가하고, 추론 수준이 높은 답변을 선별하는 실험을 진행했다. 그 결과 소형 증류 모델의 정확도는 51.9%에서 63.6%로 11.7%포인트 향상됐다. 이는 단순히 모델 규모를 키우는 것보다 추론 과정을 정교하게 검증하는 것이 법률 AI 성능 향상에 효과적임을 보여준다는 설명이다.

연구를 주도한 구본무 로앤컴퍼니 법률AI연구소 AI 리서치 연구원은 “LSAT은 논리 구조와 논증 능력을 평가하는 시험으로 LLM의 추론 능력을 검증하기에 적합하다”며 “이번 연구는 법률 분야에서 추론 과정의 중요성을 입증한 사례로 향후 법률 AI 서비스의 정확도를 높이는 데 기여할 것으로 기대한다”고 말했다.

로앤컴퍼니는 2019년 법률AI연구소를 설립한 이후 법률 AI 기술 연구를 이어오고 있다. 지난해 출시한 법률 AI 서비스 슈퍼로이어는 최근 제15회 대한민국 변호사시험 선택형 시험에서 만점을 기록하며 법률 AI 성능을 입증한 바 있다.

김본환 로앤컴퍼니 대표는 “수년간 축적해온 법률 AI 연구 성과가 세계적인 AI 학회에서 인정받게 돼 의미가 크다”며 “앞으로도 지속적인 기술 투자와 연구를 통해 국내외 법률 AI 생태계 발전에 기여하겠다”고 말했다.