정신아 카카오 대표는 앞서 인적분할 발표 기자간담회에서 “온디바이스 우선 처리와 지능형 모델 라우팅으로 성능은 유지하되 서버 추론 비용은 최대 90%까지 절감하겠다”며 “이용자가 늘어도 추론 비용이 선형적으로 늘지 않는 서비스 구조를 구축하겠다”고 밝혔다. 모든 요청을 대형 AI 모델로 처리하기보다 기기에서 해결할 수 있는 요청은 경량 모델로 처리하고, 복잡한 요청만 서버의 AI 모델로 넘기겠다는 구상이다.
|
|
백정태 카카오 발표자는 14일 개발자 행사 ‘if(kakao)2026’에서 클라우드 비용 관리 체계인 핀옵스(FinOps) 추진 방향을 소개했다. 정원천 발표자는 사내 쿠버네티스 플랫폼인 DKOS의 자원 자동 조정 기능과 하이브리드 클라우드 적용 사례를 설명했다.
유휴 서버 줄이고, 서비스당 비용 따진다
카카오가 주목한 문제는 서버를 확보해 놓고도 실제로는 충분히 활용하지 못하는 경우가 적지 않다는 점이다. AI 기능과 서비스가 늘면 컴퓨팅 자원 수요도 커지지만, 필요한 서버를 모두 상시 보유하면 비용 부담이 커진다. 반대로 사용률이 낮다는 이유로 서버를 무조건 줄이면 장애나 트래픽 급증에 대응하기 어려워진다.
카카오는 서비스별 자원 사용량과 비용을 연결해 필요한 자원과 과도하게 확보한 자원을 구분하기로 했다. 서버와 데이터베이스(DB), 공통 플랫폼을 서비스 카탈로그와 연계해 어떤 서비스가 자원을 얼마나 사용하고 비용을 얼마나 발생시키는지 파악한다.
비용 관리 기준도 바꾼다. 전체 서버 비용이 얼마나 늘었는지만 보는 대신 정상 처리한 요청 1000건당 비용, 메시지 100만건 전달에 드는 비용 등 서비스 성과 대비 비용(Unit Economics)을 측정한다. AI 기능이 확대되더라도 실제 처리량과 비용을 함께 분석해 인프라 투자의 효율성을 판단하겠다는 취지다.
|
실제 자원 절감 작업도 진행 중이다. 정원천 발표자는 카카오가 조사한 결과 워크로드에 실제 사용량보다 약 30% 많은 컴퓨팅 자원이 할당돼 있었다고 설명했다. 카카오는 실제 사용량에 맞춰 자원 요청량을 자동으로 줄이고, 남는 작업을 일부 서버에 모은 뒤 비어 있는 서버를 회수하는 기능을 도입하고 있다.
이를 통해 컴퓨팅 자원을 20~30% 절감하는 것이 목표다. 다만 이는 전체 서비스에서 달성한 실적이 아니라 기대치로, 적용 범위를 점진적으로 확대하고 있다.
|
서버를 확보하는 방식도 바꾼다. 카카오는 서비스별 여유 자원을 공용 자원 풀로 모아 공유하고, 여러 서비스의 수요가 동시에 늘어 이를 감당하기 어려울 때는 퍼블릭 클라우드에서 필요한 자원을 추가로 확보할 계획이다. 상시 수요는 자체 데이터센터에서 처리하고 일시적인 수요는 외부 자원으로 대응하는 하이브리드 클라우드 전략이다.
이를 위해 기존 쿠버네티스 클러스터에 퍼블릭 클라우드 노드를 연결했다. 개발자가 별도의 클라우드 환경에 서비스를 따로 배포하지 않고도 기존 방식 그대로 필요할 때 외부 컴퓨팅 자원을 활용할 수 있도록 한 것이다.
카카오는 트래픽 급증이 잦은 카카오톡 선물하기 대기열 서비스에서 하이브리드 구성을 검증했다. 명절이나 기념일에는 트래픽이 평소의 최대 16배까지 늘어날 수 있다. 이에 과거 데이터 기반 예측과 AI 기반 급등 패턴 감지, 실시간 임계치 경보 등을 활용해 대응한다.
현재 일부 기능을 수동으로 구성해 작동 여부를 확인했으며 자동화 작업을 진행하고 있다. 자동화 완료 목표 시점은 2026년 11월 말이다.
AI 경쟁이 모델 성능뿐 아니라 운영 비용과 수익성으로 확대되면서 인프라 효율화의 중요성도 커지고 있다. 카카오가 추론 비용과 서버 운영비를 함께 낮춰 AI 서비스 확대에 따른 비용 부담을 얼마나 줄일 수 있을지가 관건이다.
![[단독] '내란 수감자' 접견 2년간 5천회 넘어…윤석열 등 3명이 40%](https://image.edaily.co.kr/images/vision/files/NP/S/2026/10/PS26101400609t.jpg)