“놓쳐선 안 될 이벤트와 하이라이트를 잡아주는 갤럭시S21 카메라의 하이라이트 기능을 위해 야구연습장에서 수없이 배트를 휘두르고, 모래사장·아스팔트 위를 많이도 뛰어다녔습니다. 야간 촬영 데이터가 필요한 나이트나 달 담당 개발자들은 일년의 절반을 밤낮이 바뀐 채 산다고 해도 과언이 아닐 정도죠.”
삼성전자(005930)가 야심차게 내놓은 플래그십 스마트폰 갤럭시S21의 인기가 심상치 않다. 자급제 구매량이 전작보다 3배 늘었는가 하면 사전예약 물량이 동나 개통기간을 일주일 연장하기까지 했다. 이 같은 인기를 끈 요소 중 하나가 인공지능(AI) 기술력을 대폭 끌어올린 ‘똑똑한 카메라’다.
“누구나 ‘금손’으로 만들어준다”는 모토를 내건 갤럭시S21 카메라 소프트웨어 개발자 여동원·최지환 프로는 한층 업그레이드된 기술력 뒤에 숨어있는 노력에 대해 설명했다. “제대로 된 AI 트레이닝을 위해서는 발로 뛰어 만든 살아있는 데이터가 필수적”이라는 게 최근 서울시 서초구 삼성전자 사옥에서 만난 비주얼소프트웨어 그룹 소속 두 개발자의 설명이다.
갤럭시S21은 AI를 접목해 간편하게 만족스러운 사진을 촬영할 수 있는 여러 기능을 제공한다. 한번의 촬영만으로 다양한 이미지와 영상을 만들어주는 싱글테이크, AI가 인물을 인식해 광원과 배경을 최적화해주는 인물사진·셀피 등 전후면 카메라에 적용된 기능들이다. 여 프로는 “피사체를 인식, 움직임을 파악한 뒤 상황별로 베스트컷을 추천해주고 적절한 효과를 입혀주는 전 과정에 AI 기술이 들어간다”며 “AI가 마치 사람처럼 우리가 기억할 만한 순간을 뽑아준다는 게 핵심”이라고 말했다.
손떨림 방지 기능도 AI를 만나 스마트해졌다. 갤럭시S21의 손떨림 방지 기능은 사용자의 모션을 분석·예측해 떨림과 회전까지 잡아낸다. 최 프로는 “떨림이 포함된 입력용 촬영 데이터와 사용자 의도에 부합하는 출력용 데이터쌍을 만들어 인공신경망을 반복적으로 학습시켰다”며 “이를 통해 AI가 의도치 않은 손떨림을 구분해내 부드럽게 보이도록 보정해줄 수 있게 된다”고 설명했다.
AI의 학습을 위해 개발자들에게는 생생한 데이터를 확보해내야 하는 미션이 주어졌다. 현실에 있을 법한 데이터를 가상으로 만들어내는 것도 가능하지만 퀄리티 저하는 불가피하다. 저조도·고조도 등 환경에 따라 다른 데이터셋이 필요하기 때문에 개발자들은 사내에서 밤낮없이 자전거를 타고, 평지·아스팔트·모래사장 위에서 뛰어 다니며 그야말로 ‘막노동’으로 촬영 데이터를 수집했다는 후문이다. 여 프로는 “새로운 문제를 풀어내야 하기 때문에 세상에 없는 데이터를 만들어야 하는데, 굉장한 시간과 노력을 요하는 작업”이라고 덧붙였다.
이런 데이터는 대량의 저품질 데이터로 프리 트레이닝(사전훈련)을 마친 인공신경망의 파인튜닝(미세조정) 재료가 된다. 갤럭시 시리즈의 프로세서 엑시노스에 탑재된 신경망처리장치(NPU) 처리능력도 두 배 늘어 지능형 카메라가 원활하게 작동할 수 있도록 뒷받침한다.
두 프로는 갤럭시S21로 촬영한 달 사진이 인위적으로 조작됐다는 ‘달고리즘(달+알고리즘)’ 논란에 대해서도 직접 해명했다. 달이라는 사실을 인식한 뒤 이미지 프로세싱 과정을 거쳐 최대한 선명하고 또렷한 이미지를 출력하는 AI 기술에 대한 오해가 불러일으킨 헤프닝이라는 것. 여 프로는 “나이트와 슈퍼레졸루션(초해상화) 기술이 결합된 부분이 달 촬영이고, 두 기능의 역할은 센서로부터 다수 이미지를 수집한 뒤 하나의 좋은 이미지를 만드는 것”이라며 “예를 들어 선명도가 30%, 50%로 제각각인 이미지들을 AI의 도움을 받아 프로세싱 과정을 거치면 각 이미지에서 디테일이 조금이라도 살아 있는 부분을 전부 합쳐 보여주기 때문에 육안이나 프리뷰(미리보기)로 본 이미지보다 고퀄리티의 이미지가 저장된다”고 설명했다.
최 프로는 “이 과정은 ‘특정 이미지를 덮어씌운다’거나 ‘달을 합성한다’는 개념과는 전혀 다르다”며 “갤럭시S21 촬영의 결과물은 인공신경망 학습의 결과물”이라고 단언했다. 똑같은 달의 모습을 저장해놓고 덮어씌우는 것이 아니라 북방구·남반구에서 보이는 서로 다른 모습과 색깔의 달, 나뭇가지에 걸린 달, 뿌옇게 촬영된 달을 전부 학습시키고 각각의 상황에서 최선의 이미지를 뽑아내게끔 했다. 여 프로는 “물론 달이라는 것을 100% 판단해내지 못할 수도 있다는 점에서 현재 기술의 한계지점은 있지만 NPU가 고도화되고 학습량이 늘어나면서 기술이 성숙해지면 해결될 문제”라고 부연했다.
AI를 통해 원하는 순간을 놓치지 않고 담아내는 ‘손 안의 카메라’를 만들어내는 것이 이들의 지상과제다. 스마트폰 카메라는 만족스러운 결과를 가져다주면서도 빠르게 실행·촬영이 가능한 사용성 극대화가 가장 중요해서다. 여 프로는 “전문가적 관점을 떠나 ‘이 장면을 놓쳤네’ ‘이 부분이 잘 나왔어야 되는데’ 하는 아쉬움을 남기지 않는 카메라가 좋은 스마트폰 카메라”라며 “누구나 소중한 순간을 찍었을 때 충분히 만족할 수 있는 사진을 얻게 하는 게 목표”라고 말했다.
/오지현 기자 ohjh@sedaily.com
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
