카카오(035720)가 경량 멀티모달 AI 모델과 전문가 혼합(Mixture of Experts·MoE) 모델을 국내 최초 오픈소스로 공개했다. 카카오는 국내 공개 모델 중 최고 성능을 입증하며 자체 AI 기술개발 능력을 재차 입증했다고 강조했다. 정부가 추진하는 ‘독자 AI 파운데이션 모델 프로젝트’에 참여한 카카오는 개발 역량과 카카오톡 등의 대규모 서비스 운영 경험 등을 토대로 전 국민의 AI 접근성을 높이고 국가 AI 경쟁력을 강화하는데 기여한다는 방침이다.
카카오는 24일 허깅페이스를 통해 △이미지 정보 이해 및 지시 이행 능력을 갖춘 경량 멀티모달 언어모델 ‘카나나-1.5-v-3b’와 △MoE 언어모델 ‘카나나-1.5-15.7b-a3b’를 오픈소스로 공개했다고 밝혔다.
‘카나나-1.5-v-3b’는 텍스트 뿐만 아니라 이미지 정보도 처리할 수 있는 멀티모달 언어모델이다. 카카오에 따르면 이용자의 질문 의도를 정확히 이해하는 높은 지시 이행 성능과 뛰어난 한국어·영어 이미지 이해 능력을 보유했다. △이미지 및 글자 인식 △동화 및 시 창작 △국내 문화유산 및 관광지 인식 △도표 이해 △수학 문제풀이 등 여러 분야에서 유연하게 활용할 수 있다.
카카오는 카나나-1.5-v-3b가 경량 모델임에도 이미지로 표현된 한국어와 영어 문서 이해 능력이 글로벌 멀티모달 언어모델 GPT-4o와 견줄 수 있을 정도로 뛰어나다고 강조했다. 한국어 벤치마크에서 유사 사이즈의 국내외 공개 모델과 비교한 결과 최고 점수를 기록했다. 다양한 영어 벤치마크에서 해외 오픈소스 공개모델과 비교했을 때도 유사한 수준의 성능을 나타냈다. 지시 이행 능력 벤치마크에서는 국내 공개된 유사한 규모의 멀티모달 언어모델 대비 128% 수준의 성능을 기록했다. 카카오는 인간 선호 반영 학습과 지식 증류를 통해 '카나나-1.5-v-3b’의 성능을 극대화했다고 설명했다.
카나나-1.5-15.7b-a3b는 특정 작업에 최적화된 일부 전문가 모델만 활성화되는 방식으로 효율적인 컴퓨팅 자원 활용과 비용 절감이 강점이다. 157억 개 수준의 파라미터 중 약 30억 개만 활성화돼 추론을 수행한다. 카카오는 업사이클링 방식을 적용해 개발했다고 설명했다. 업사이클링은 기존 신경망 레이어를 복제해 전문가 레이어로 전환하는 방식이다. 이 모델의 성능은 ‘카나나-1.5-8B’에 버금간다. 카카오는 이 모델이 고성능 AI를 저비용으로 구현하려는 기업 및 연구자들에게 실용적인 대안이 될 것으로 기대하고 있다.
카카오는 이번 경량 멀티모달 언어모델과 MoE 모델의 오픈소스 공개를 통해 AI 모델 생태계에 새로운 기준을 제시하고, 더 많은 연구자와 개발자가 효율적이고 강력한 AI 기술을 자유롭게 활용할 수 있는 기반을 마련해 간다는 방침이다. 하반기 중에는 에이전트형 AI 구현에 필수적인 추론 모델의 성과도 공개할 예정이다. 아울러 자체 기술 기반의 모델을 지속적으로 고도화하고, 모델 스케일업을 통해 글로벌 플래그십 수준의 초거대 모델 개발에 도전함으로써 국내 AI 생태계의 자립성과 기술 경쟁력 강화에 기여한다는 계획이다.
김병학 카카오 카나나 성과리더는 “이번 오픈소스 공개는 비용 효율성과 성능이라는 유의미한 기술 개발의 성과를 거둔 것"이라며 "단순한 모델 아키텍처의 진보를 넘어 서비스 적용과 기술 자립이라는 두 가지 측면의 목표에 부합하는 결과물”이라고 말했다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
kim@sedaily.com
