과기부가 밝힌 모티프 탈락 이유…SKT NIA 벤치마크·LG ‘전문가 평가' 앞서

[이데일리 김현아 기자] 글로벌 벤치마크 기관인 아티피셜 애널리시스의 AI 모델 평가(AAII)에서 국내 1위, 글로벌 10위를 차지했던 모티프테크놀로지스가 독자 AI 파운데이션 모델 프로젝트(독파모) 2차 단계평가에서 탈락한 이유가 구체적으로 공개됐다.

모티프는 글로벌 벤치마크에서는 가장 높은 점수를 받았지만, NIA 벤치마크와 전문가 평가, 실제 사용자 평가에서는 SK텔레콤(017670)과 LG(003550) AI연구원에 밀렸다.

과학기술정보통신부 고위 관계자는 이데일리와의 통화에서 모티프의 탈락과 관련해 “단순히 활용성만 낮았던 것이 아니라 전문성과 사용성 모두에서 전반적으로 점수가 낮았다”며 “성능이 안 나온 것은 사실”이라고 설명했다.

과기정통부는 20일 독파모 2차 단계평가의 세부 평가기준과 항목별 1위 기업을 공개했다. 최근 평가 결과 발표 이후 세부 점수를 공개하지 않아 평가의 투명성을 둘러싼 논란이 일자 1차 단계평가와 같은 수준으로 평가 항목별 1위와 점수를 공개한 것이다.

이번 평가는 총 100점으로 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다.

가장 눈에 띄는 것은 평가 영역별 1위가 달랐다는 점이다. AAII 글로벌 벤치마크는 모티프, NIA 벤치마크와 AI 전문 사용자 평가는 SK텔레콤, 전문가 평가와 일반 국민 평가는 LG AI연구원이 각각 1위를 차지했다.

글로벌 AAII 벤치마크 25점에서는 모티프가 11.9점으로 1위를 차지했다. 반면 NIA 벤치마크 15점에서는 SK텔레콤이 13.4점으로 가장 높았다.

전문가 평가 35점에서는 LG AI연구원이 29.5점으로 1위에 올랐다. AI 전문 사용자 평가 15점에서는 SK텔레콤이 11.6점으로 가장 높았고, 일반 국민 평가 10점에서는 LG AI연구원이 7.6점으로 1위를 기록했다.

모티프가 강점을 보인 것은 글로벌 공개 벤치마크였지만, 국내 자체 벤치마크와 전문가 및 실제 사용자 평가에서는 SK텔레콤과 LG AI연구원이 앞선 것이다.

과기정통부 고위 관게자는 모티프의 평가 결과와 관련해 “활용성 문제가 아니라, 전문성과 사용성 둘 다 좀 안 좋았다”며 “성능이 안 나온 건 사실이나, 점수 차가 크지는 않다”고 밝혔다.

모티프는 AAII에서 11.9점을 받아 25점 만점 기준 최고점을 기록했지만, NIA 벤치마크에서는 SK텔레콤이 13.4점으로 1위를 차지했다.

NIA 벤치마크는 수학, 지식, 장문 이해, 안전성, 신뢰성, 한국어, 지시이행 등 7개 분야를 평가한다. 글로벌 공개 지표 하나만으로는 포착하기 어려운 국내 환경에서의 모델 성능을 별도로 검증한 것이다.

전문가 평가에서도 모티프는 LG AI연구원에 밀렸다. 전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가가 약 5일간 서면평가와 질의응답을 진행해 개발 전략과 기술, 개발 성과와 계획, 생태계 파급효과 및 기여계획 등을 평가했다.

특히 35점 가운데 10점이 개발 전략 및 기술에 배정됐다. 여기에는 개발 기술의 우수성과 혁신성, 기술적 독자성, 성능 향상 수준, 자원 활용 및 처리 효율성, 안전하고 신뢰성 있는 AI 모델 개발 기술 등이 포함됐다.

나머지 10점은 개발 성과와 계획, 15점은 생태계·글로벌 파급효과에 배정됐다.

LG AI연구원은 이 전문가 평가에서 29.5점으로 1위를 기록했다. 4개 정예팀 평균은 28.75점이었다.

사용자 평가에서도 모티프는 1위를 차지하지 못했다. AI 스타트업 대표 등으로 구성된 AI 전문 사용자 평가에서는 SK텔레콤이 11.6점으로 1위였고, 일반 국민 평가에서는 LG AI연구원이 7.6점으로 가장 높았다.

과기정통부는 사용자 평가에서 단순히 웹사이트의 디자인이나 UI·UX를 평가한 것이 아니라 AI 모델이 생성하는 콘텐츠의 내용과 품질을 중심으로 평가하도록 가이드했다고 설명했다.

AI 전문 사용자 49명과 일반 국민 185명이 실제 AI 서비스를 이용해 절대평가 방식으로 점수를 매겼다.

이 같은 결과는 이번 평가가 특정 벤치마크 성능만으로 최종 순위를 결정하지 않았다는 점을 보여준다. 글로벌 벤치마크에서 모티프가 1위를 차지했더라도 국내 성능 검증, 전문가의 기술·사업성 평가, 실제 사용자 평가를 모두 합산한 최종 결과에서는 탈락할 수 있는 구조였다는 것이다.

과기정통부는 이번 2차 평가에서 독자성 최소기준도 별도로 점검했다. 기술적·정책적·윤리적 측면에서 독자 AI 모델로서의 기준을 충족하는지도 평가 대상에 포함했다.

모티프에 대해서는 신규 참여팀이라는 점을 고려해 생태계 파급효과 평가에서 기존 AI 모델의 현장 확산 실적과 계획까지 포함했다. 기존 3개 정예팀은 독자 AI 모델과 파생모델의 현장 확산 실적·계획을 평가한 반면, 모티프는 기존 AI 모델의 현장 확산 실적과 계획까지 포함해 평가했다는 게 과기정통부 설명이다.

[생성형 AI로 작성]