한국이 참여한 국제 공동 연구진이 그래픽처리장치(GPU) 대비 추론 속도와 전력 효율을 획기적으로 높일 수 있는 인공지능(AI) 반도체 기술을 개발했다.
한국과학기술원(KAIST)은 박종세 전산학부 교수 연구팀이 미국 조지아공대, 스웨덴 웁살라대와 함께 AI 메모리 반도체 기반 기술 ‘핌바(PIMBA)’를 개발했다고 17일 밝혔다. 실험결과 핌바는 기존 GPU 시스템 대비 처리 성능이 최대 4.1배 향상됐고 전력 소비는 평균 2.2배 줄어든 것으로 나타나다.
연구성과는 앞서 ‘제31회 삼성휴먼테크 논문대상’ 금상을 수상한 데 이어 20일 서울에서 열리는 서울에서 열리는 세계적 컴퓨터 구조 학술대회 ‘제58회 국제 마이크로아키텍처 심포지엄(MICRO 2025)’에서 발표된다.
현재 대형언어모델(LLM)은 ‘트랜스포머’ 구조를 기반으로 작동한다. AI 모델이 커지고 처리 문장이 길어질수록 연산량과 메모리 요구량이 급증해 속도 저하와 에너지 소모가 주요 문제로 지적돼 왔다. 이런 트랜스포머 문제점을 보완하기 위해 최근 제시된 순차형 기억형 두뇌인 ‘맘바(Mamba)’ 구조는 시간의 흐름에 따라 정보를 처리하는 방식을 도입해 효율을 높였지만 여전히 메모리 병목 현상과 전력 소모 한계가 남아 있었다.
연구팀은 트랜스포머와 맘바의 장점을 결합한 ‘트랜스포머–맘바 하이브리드 모델’의 성능을 극대화하기 위해 연산을 메모리 내부에서 직접 수행하는 새로운 반도체 구조 핌바를 설계했다. 기존 GPU 기반 시스템은 데이터를 메모리 밖으로 옮겨 연산을 수행하지만 핌바는 데이터를 옮기지 않고 저장장치 내부에서 바로 계산을 수행한다. 이로써 데이터 이동 시간을 최소화하고 전력 소모를 크게 줄일 수 있다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
sookim@sedaily.com
