비용 1/12로 절감…트릴리온랩스, 자체 개발 LLM '트리-21B' 오픈소스로 공개

/사진 제공=트릴리온랩스

인공지능(AI) 스타트업 트릴리온랩스가 처음부터 사전학습 방식으로 개발한 대규모 언어모델(LLM) ‘트리(Tri)-21B’를 오픈소스로 공개했다. 전작 대비 파라미터 수를 세 배 이상 확장하는 동시에 1대 GPU에서 작동 가능한 경량성을 갖춘 것이 특징이다.

트릴리온랩스에 따르면 트리-21B는 단순한 텍스트 생성에 그치지 않고 수학, 코딩 등 고차원적 언어 이해와 단계적 추론을 요하는 복잡한 문제 해결에 최적화된 구조를 탑재했다. 특히 트릴리온랩스가 독자 개발한 언어 간 상호학습 시스템 ‘XLDA(Cross-lingual Document Attention)’를 통해 상대적으로 자원이 많은 영어 기반 지식을 한국어, 일본어 등으로 변환할 수 있도록 설계됐다. 이로써 기존 모델 대비 학습 비용은 1/12 수준으로 절감됐다.



벤치마크 결과도 주목할 만하다. 종합지식(MMLU)에서 77.93점(CoT 적용 시 85점), 수학(MATH)에서 77.89점, 코딩(MBPP Plus)에서 75.4점을 기록했다. 이는 메타의 LLaMA3, 알리바바 Qwen, 구글 Gemma 등 글로벌 중형 모델과 비교적 대등한 성능이라는 설명이다. 한국어 이해도에서는 해례(Hae-Rae) 86.62점, KMMLU 62점(CoT 적용 시 70점)으로 특히 문화적 맥락과 어휘 이해 측면에서 높은 평가를 받았다. 트릴리온랩스 측은 “Tri-21B는 700억 파라미터급 모델의 성능을 210억 파라미터 규모에 효과적으로 전이한 플라이휠 구조를 적용해 비용, 속도, 성능 간 이상적인 균형을 구현한 모델”이라며 “향후 공개될 Tri-70B와 함께 풀사이즈 LLM 포트폴리오를 완성할 계획”이라고 설명했다.

한편, 지난해 8월 설립돼 1년을 맞은 트릴리온랩스는 한국어 중심의 LLM을 사전학습부터 직접 설계한 국내 유일 스타트업이다. 카이스트, 옥스퍼드, 버클리, 아마존, 네이버 출신 AI 전문가들로 구성된 팀으로 지난 3월 ‘Trillion-7B-preview’를 오픈소스로 선공개했다.