딥시크 쇼크 > 이슈 : 서울경제

전체서비스

문화·스포츠

영상·포토

서경스타

스페셜 컨텐츠

이용안내

AI서버 한대당 6억…최적 조합으로 구축비용 줄인다 [스케일업리포트]

산업 중기·벤처 2025.04.09 17:35:49

생성형 인공지능(AI) 붐 이후 AI 모델의 학습과 추론에 필수적인 엔비디아의 그래픽처리장치(GPU)가 품귀 현상을 빚자 많은 기업들은 ‘묻지마 사재기’를 시작했다. 일단 확보해놓고 후에 고민해보자는 심리였다. GPU와 서버 구매량을 늘리다 보니 고민이 생긴 부분은 ‘투자 대비 회수’였다. GPU 8장이 들어가는 서버가 대당 5억~6억 원 정도인데 투자금에 비해 활용도가 떨어진다는 게 많은 기업들이 겪는 애로사항이다. AI인프라 스타트업 텐은 이 같은 고민을 가진 기업들을 위해 최적의 AI 인프라 조합을 추천해준다. 뿐만 아니라 AI 모델이 학습을 할 때는 GPU를 하나로 묶어서 ‘최대 용량’으로 가동하고 추론 시에는 다시 이를 분할해 ‘최소 활용’을 돕는 역할을 한다. 국내 경쟁사로는 유일하게 래블업이 언급되는데 전 세계적으로도 AI인프라 스타트업은 드물다는 게 업계의 전언이다. “저희는 다양한 AI 인프라 구성을 표준화해서 최적의 레시피를 여러 개 만들어 놓고 고객별로 가장 좋은 레시피를 제안합니다.” 오세진 텐 대표는 9일 서울 역삼동 사옥에서 진행한 인터뷰에서 텐의 역할을 이 같이 정의했다. 업계에서는 이를 ‘AI 오케스트레이션(Orchestration)’이라고 표현한다. 원하는 AI 모델의 사양과 활용 용도에 따라 필요한 하드웨어와 인프라의 조합을 추천하고 세팅해 바로 활용할 수 있도록 도와주는 것을 의미한다. 이를 위해 GPU 분야에서는 엔비디아와 고성능 컴퓨팅(HPC) 스토리지 분야에서는 IBM, 넷앱과 서버 OEM의 경우 휴렛패커드, 델 등과 파트너십을 체결했다. 새로운 제품이 나오면 국내에서 이를 가장 먼저 써보고 최적의 조합을 마련한다. 텐의 고객군은 크게 두 종류다. 첫 번째는 이미 AI인프라를 확보하고 있지만 관리에 어려움을 느끼는 쪽이다. 실무 부서가 계속 투자를 해달라고 해서 서버당 5억~6억 원을 호가하는 장비를 구입했지만 이를 제대로 쓰고 있는지 점검하기는 어려워 텐을 찾는 이들이다. 두 번째 고객은 새로 인프라를 구축하기 위해 찾아오는 기업이다. 이를 테면 메타의 라마(Llama) 모델을 활용한 자체 시스템을 운영하고 싶은데 트래픽이 얼마나 필요한지, 필요한 트래픽을 견디기 위해서 확보해야 하는 최소한의 인프라는 어느 정도인지를 파악하려고 하는 고객이다. 텐이 강점을 보이는 영역은 AI 모델 학습을 위해 여러 개의 GPU와 노드를 ‘묶어서’ 하나처럼 작동하게 해 최대한의 성능을 내도록 하는 것이다. 동시에 AI 추론의 경우 적은 GPU 자원으로도 가능하도록 GPU를 분할해서 쓰게 하는 방식이다. 쉽게 말해 학습 단계에서는 GPU 가동률을 최대한 높이고 AI 추론·운영 단계에서는 최소로 인프라를 쓰게해 ‘경제적 효율성’을 달성하게 하는 것이다. 올 1월 중국의 딥시크가 AI 추론 영역에서 저비용으로도 좋은 성과를 낸 뒤로 AI 추론 모델에 대한 수요가 빠르게 커졌다. 특히 GPU 1개를 100분의 1 단위까지 분할해 사용할 수 있는 텐의 기술이 주목 받으면서 투자자들도 반응했다. 이를 테면 동시에 여러 그룹이 AI 추론 작업에 나선다고 하면 이들을 위해 GPU 1개당 100개의 블록을 나눠서 일정 구역을 우선순위, 중요도에 따라 배분하는 것이다. 오 대표는 “GPU 분할 기능을 통해 서버 자원의 10분의 1만 활용해도 서비스 운영이 가능하다”며 “비용을 최대 90%까지 감축할 수 있는 셈”이라고 설명했다. 실제 2023년 11월에는 국방부 산하 최대 연구소인 한국국방과학연구소의 딥러닝 연산용 고밀도 GPU기반 클러스터 컴퓨팅 시스템을 구축하면서 신뢰도를 검증 받았다. LG전자, KB국민카드, 한화시스템 등 기업을 비롯해 연세대, 서강대, 한양대, 성균관대 등 대학 고객도 확보했다. 텐은 이달 초 LG유플러스, KDB산업은행, 퀀텀벤처스코리아 등으로부터 70억 규모의 시리즈A 투자를 유치했다. 연세대 전기전자공학부에서 박사 과정을 마친 오 대표가 AI모델이 아닌 AI인프라에 빠져든 것은 주변에서는 의외의 행보로 여겨졌다. 음성인식 분야에서 이름을 날린 연세대 디지털신호처리·인공지능 연구실에서는 AI오디오 스타트업인 가우디오의 오현오 대표를 비롯해 많은 AI 연구자들을 배출됐다. 상당수가 AI 모델쪽을 택했다. 하지만 오 대표는 달랐다. 전문연구요원으로 복무하던 2016년은 구글의 딥마인드가 만든 AI ‘알파고’가 이세돌 9단을 상대로 대국을 여러 차례 이기면서 AI 열풍이 본격적으로 시작된 해였다. 기업들에게 AI모델을 만들어 주는 시스템 통합(SI) 업체에서 근무하다 보니 AI 전공자라는 이유로 다양한 업무를 하게 됐다. 그는 “당시 라이나생명부터 LG전자까지 다양한 기업들이 가진 문제를 해결하기 위해 AI 서비스를 개발했는데 결국 좌초됐다”며 “AI 서비스를 통해 절감해줄 수 있는 비용은 일년에 5억 원 수준인데 인프라 구축에는 20억 원이 들다 보니 결국은 비용이 문제였다”고 말했다. 그때 그가 느낀 것은 좋은 AI모델 이상으로 이를 비용 효율적인 인프라로 구축하는 게 중요하다는 것이다. 또 앞으로는 하드웨어와 인프라가 핵심이 될 것이라는 예감도 들었다는 게 그의 전언이다. 이후 2020년 7월 텐을 창업할 때 주변에는 응원군보다는 의심의 눈초리가 많았다. ‘왜 아무도 가지 않는 길을 하려고 하느냐’ ‘AI 모델이 먼저다’ 등의 시각이었지만 5년 만에 상황이 달라졌다. 지금은 AI인프라 분야에서는 독보적인 실력으로 이 분야의 인재 양성소가 되고 있다. 전 세계적으로도 최근 엔비디아에 인수된 런AI 등 AI 인프라 회사는 몇 곳이 안 된다. 창업 후 5년 가까이 국내에서 기반을 다졌다면 앞으로 5년은 글로벌 시장의 문을 두드려 세계 시장의 강자가 되는 데 집중할 생각이다. 오 대표는 “국내에도 에스넷시스템 등 19개 업체와 파트너십을 맺고 전국의 고객사들을 만나고 있다”며 “해외에도 저희만의 유통망, 교육 프로그램, 영업관리 등을 시스템으로 만들어 바로 적용하는 게 목표”라고 강조했다. 텐의 경우 구글이 개발한 오픈소스 컨테이너 오케스트레이션 도구인 쿠버네티스를 기반으로 하고 있는데 오픈AI도 채택한 표준이기 때문에 확장성이 매우 높아 해외에서도 빠르게 적용할 수 있다는 설명이다. 텐의 목표는 최고의 AI를 만들자는 게 아니라 모두가 AI를 활용할 수 있게 하자는 쪽에 가깝다. 이 때문에 주 고객사들도 엔비디아의 데이터센터솔루션 수퍼팟(SuperPOD)을 구매해 직접 관리를 받을 수 있는 소수의 대기업이 아니라 스타트업부터 중소, 중견 기업 등 사각지대에 있는 기업들이다. 오 대표는 “적은 비용으로도 AI를 빠르게 도입해 가치를 만들어내고 많은 이들이 공유할 수 있도록하는데 노력을 집중하고 있다”며 “AI모델처럼 눈에 띄지는 않아도 ‘뒷단’에서 받쳐줄 수 있는 역할을 제대로 해낼 것”이라고 강조했다.