360도 파노라마 사진 한 장만으로 실내 공간과 사물의 3차원 정보를 파악하는 인공지능(AI) 기술이 개발됐다. 증강현실(AR), 혼합현실(MR), 디지털 트윈 등 공간 정보의 정확한 이해가 필수적인 분야에 활용될 전망이다.
울산과학기술원(UNIST) 인공지능대학원 주경돈 교수팀은 360도 파노라마 이미지에서 공간 구조와 내부 물체의 3차원 정보를 동시에 추출할 수 있는 AI 모델 ‘HUSH(Holistic Panoramic 3D Scene Understanding using Spherical Harmonics)’를 개발했다고 1일 밝혔다.
증강현실(AR)이나 혼합현실(MR) 기술에서 현실 공간과 디지털 콘텐츠를 결합하려면 벽이나 가구의 위치, 물체 간의 거리 정보 등을 AI가 정확히 이해하고 표현할 수 있어야 한다. 이를 위해 기존에는 다각도에서 촬영한 여러 장의 사진이나 깊이 센서와 같은 고가 장비가 필수적이었다.
연구팀이 개발한 HUSH는 360도 파노라마 이미지만을 활용해 이 같은 정보를 파악할 수 있다. 파노라마 이미지는 일반 사진보다 넓은 범위를 한 장에 담을 수 있지만, 둥글게 왜곡된 구면 구조 때문에 AI가 이를 정확히 분석하기 어려웠다. 이미지를 잘라 왜곡을 줄인 뒤 일반 AI 모델을 반복적으로 적용하는 방식이 있으나, 이 과정에서 정보가 손실되거나 연산이 비효율적으로 진행된다.
연구팀은 이러한 문제를 해결하기 위해 파노라마 이미지의 구면 특성을 정확히 반영할 수 있는 ‘구면 조화함수(Spherical Harmonics, SH)’라는 수학적 표현 방식을 활용했다. 이 방식은 구형 표면의 정보를 주파수 성분으로 나눠 분석한다. 천장이나 바닥처럼 넓고 평탄한 영역은 저주파 성분으로, 가구나 물체의 윤곽처럼 세부적으로 복잡한 구조는 고주파 성분으로 표현해 정확성을 높였다.
제1저자인 이종성 연구원은 “구면 조화함수는 원래 가상 뷰 생성 분야에서 객체나 장면의 색감을 표현하는데 주로 쓰이는 기술인데, 구면 위의 데이터를 효과적으로 분석할 수 있다는 특성에서 착안해 파노라마 이미지 기반 공간 복원에 처음으로 적용했다”고 설명했다.
HUSH 모델은 기존의 다른 3D 장면 복원 모델들보다 깊이 예측 등에서 높은 정확도를 기록했고, 단 하나의 이미지로 여러 가지 공간 정보를 동시에 예측할 수 있어 계산 효율성도 뛰어났다.
주경돈 교수는 “AR, MR과 같이 사용자 주변의 실내 공간을 정확히 인지해야 하는 경우나 이미지 한 장으로부터 유저와 상호작용이 가능한 실감미디어 생성 등 실제 생활에 폭넓게 적용될 수 있을 것”이라고 말했다.
이번 연구는 컴퓨터 비전 분야 권위 학회인 CVPR 2025(Conference on Computer Vision and Pattern Recognition)에 채택됐다. CVPR 2025는 지난달 11일부터 5일간 미국 내슈빌에서 열렸다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
jjs@sedaily.com
