17일 정보기술(IT) 업계에 따르면 코히어 연구진은 최근 LG CNS와 공동 개발한 1110억개 매개변수 규모 기업용 추론 거대언어모델(LLM)의 개발 과정과 성능을 담은 논문 ‘영어로 추론하고 한국어로 답한다: 다국어 도구 활용 AI 에이전트의 효율적 최적화’를 공개했다.
|
LG CNS는 지난해 3월 코히어와 파트너십을 체결하고 한국어·금융 특화 에이전트 모델 공동 개발에 착수했다. 같은 해 7월에는 코히어의 기업용 LLM ‘커맨드’를 기반으로 1110억개 매개변수를 갖춘 추론형 LLM을 공동 개발했다고 발표했다.
이번 논문에는 구체적인 학습 방법과 기업용 AI 에이전트 성능이 언급됐다. 연구진은 기존 커맨드 A를 기반으로 지도 미세조정(SFT), 검증 가능한 보상 기반 강화학습(RLVR), 선호도 최적화(DPO) 등을 순차적으로 적용했다.
연구진은 영어 추론 데이터를 단순히 한국어로 번역해 학습시키는 방식도 실험했지만 성능 개선 효과가 제한적인 것으로 나타났다. 이에 한국어 질문을 받더라도 중간 추론 과정은 영어로 수행하고 최종 결과만 한국어로 생성하도록 모델을 학습시켰다.
이 과정에서 한국어 질문에 영어로 최종 답변하는 문제가 나타나자 한국어 질문에는 한국어로 답하도록 별도의 ‘언어 일관성’ 보상도 적용했다. 논문에 따르면 최종 응답 언어가 맞지 않는 비율은 SFT 단계 12.2%에서 강화학습 200단계 이후 0.8%까지 낮아졌다.
LG CNS와 코히어가 집중한 또 다른 영역은 실제 기업 업무 수행 능력이다. 일반적인 질의응답뿐 아니라 자연어 명령을 데이터베이스 조회 언어로 바꾸는 NL2SQL과 함수호출 등 AI가 외부 도구를 활용해 업무를 수행하는 능력을 강화했다.
자체 평가에서도 기반 모델보다 성능이 개선됐다. 코히어의 기업용 NL2SQL 평가에서 기존 커맨드 A는 7.3점을 기록했지만 공동 개발 모델은 38.0점으로 상승했다. LG CNS가 기업·금융 업무를 토대로 구성한 에이전트 평가에서도 2.67점에서 4.85점으로 높아졌다.
대형 모델을 기업 내부에서 직접 운영할 수 있도록 경량화하는 기술도 담겼다. 연구진은 4비트 양자화를 적용해 111B 모델의 메모리 사용량을 줄였다. 이를 통해 80GB 용량의 엔비디아 H100 그래픽처리장치(GPU) 한 장에서도 모델을 구동할 수 있다고 설명했다.
LG CNS와 코히어는 기업의 업무와 인프라 환경에 맞춰 활용할 수 있도록 7B·32B·111B 등 서로 다른 규모의 모델을 개발하고 있다. 연구 목적에 한정하지 않고 실제 기업 고객에게 적용하기 위한 상업용 모델로 개발한 것으로 파악된다.
양사는 금융권을 시작으로 제조와 유통·서비스 등으로 에이전틱 AI 사업 영역을 넓힌다는 계획이다. 특히 보안 요구가 높은 기업이 자체 인프라에서 AI를 운영할 수 있도록 온프레미스 환경을 지원하고, 공동 개발 모델의 성능도 지속적으로 고도화할 방침이다.
