※역자주 : 킬러앱은 컴퓨터 산업계에서, 고의적으로 또는 부지불식간에 소비자가 그 애플리케이션을 실행하는 시스템을 구입하도록 유도하는 프로그램을 가리키는 은어. 본문 내용에서는 머릿속에 있는 생각을 실현할 수 있게 하는 AR기기의 제작을 의미한다.
길을 따라 걸으면서 주위를 둘러보자. 주변환경은 ‘현실’이다. 그러나 마치 군인들이 쓰는 적외선 카메라처럼 커다란 고글을 쓰고 시선을 고정한 후, 주위를 다시 둘러보면 주변사물은 상세한 데이터와 연결된다. 상세 데이터는 마치 포스트 메모장처럼 넘어가면서 해당 사물에 대한 자세한 데이터를 제공한다. 이것이 바로 ‘증강현실(AR; Augmented Reality)’이다.
오른쪽으로 시선을 돌려보자. 친근하게 느껴지는 식당으로 시선을 고정시키고 리모콘 버튼을 누르면 팝업 창이 뜨면서 식당의 이름이 ‘탐스 레스토랑’이라고 알려준다. 이뿐 아니다. 이 식당에서 가장 잘 하는 메뉴인 모닝사이드 샐러리에 대해서도 자세히 소개를 해준다.
AR에 관한 기술이 아무리 발달해도 PDA와 같은 소형단말기 형태로는 나오지 않을 것 같다. 현재까지 AR기기는 약 11kg 정도의 장비를 어깨와 머리에 벨트로 각각 고정시켜야 하고 접시 모양의 안테나를 어깨에 얹어야 하는 수준이다. 사진의 이동식 증강현실 시스템(MARS)은 콜럼비아 대학에서 개발한 것으로 AR용 기기로 만든 것이 아니라 일반 H/W와 S/W를 이용해 조립한 것이다. 이 AR기기에는 그래픽 가속 칩이 장착된 델사의 1GHz 랩탑 컴퓨터와 디스플레이 고글 및 자동 위치제어, 방위 측정 기기 등과 함께 비누 한 장 크기의 배터리가 포함되어 있다.
이 장비들을 전부 갖추어 벨트로 연결해 신체에 매달면 조금은 우스꽝스러운 모습이다. 하지만 이 장비의 성능을 알게되면 AR시스템의 기능에 누구나 놀라게 될 것이다. AR시스템은 컴퓨터로 텍스트나 그래픽, 3-D애니메이션, 사운드를 비롯한 그 밖의 각종 디지털 데이터들을 고글화면에 오버랩으로 표시 해주며 고개를 돌리거나 리모콘의 버튼을 선택하면 해당정보가 즉시 제공되는 하나의 ‘디지털 세계’다.
사람얼굴과 건물, 수리가 필요한 엔진부품 등을 구별해 내고, 비행기의 항공번호, 기차역에서 기차시간표 등을 모두 알려주게 된다. 이미 국방성은 AR시스템을 통해 전투지역 데이터를 실시간으로 제공하고 있으며 군 병원에서 정교한 수술이 요구되는 경우, 의사들에게 X-레이 투사시각을 제공해준다. 데이터는 곧 힘이며, AR은 우리에게 실제세계에 대한 자세한 데이터를 제공해주기 때문에 상당한 경쟁력을 가질 수 있다. 물론 AR의 상용화까지는 많은 시간이 걸릴 것이다. 필자가 MARS 장비를 메고 실제로 거리로 나가봤을 때 행인들의 시선은 호기심으로 가득 찼다.
필자의 경험에 의하면 AR시스템이 데이터 디스플레이를 완벽하게 실시간으로 전하지는 못하는 것 같다. 하지만 AR은 기능이 향상될 경우, 상당히 훌륭한 시스템일 것은 분명하다.
AR시스템 작동은 현재 자신의 위치와 시선이 응시하는 곳을 확실히 파악하는 데서 시작한다. AR시스템은 현재 바라보고 있는 지점에 관한 데이터 입력 방식이 두 가지다. 첫 번째 방식은 착용자의 지점을 cm단위로 측정하는 자동 GPS 시스템이며 두 번째 방식은 정밀도를 높이기 위해 시야의 방향을 계산하는 방식이다. 위치를 측정하기 위해 AR시스템은 접시모양의 안테나와 콜럼비아 대학 공학관의 GPS 수신기로부터 발생되는 신호를 기초로 계산해낸다. 방향제어를 위해 관성·자기 추적기도 AR 고글 헤어밴드에 탑재되어 있다.
이 기기는 소형회전의(回轉儀)와 가속도계의 조합물로 지구의 자기장에 맞춰 착용자가 응시하는 방향을 잡아내는 전자 나침반과 함께 고글이 움직이는 방향을 측정한다. AR시스템에서 가장 중요한 것은 바로 ‘일치’. 즉, 착용자의 시선이 특정 물체로 가는 순간과 사물의 정보를 파악해 실시간으로 정보를 제공하는 시간이 서로 일치해야 한다는 것이다.
현재 AR시스템은 야외에 있는 사물들을 실시간으로 보내는 시간이 실내보다 현격히 뒤진다. 이유는 실내에서는 추적장치에 있는 소형비디오 카메라가 방향 및 위치제어 바코드나 천장에 위치한 적외선 표시기 등을 비교적 쉽게 읽어낼 수 있지만 실외에서는 여러 변수가 너무 많기 때문이다. 현재 사용되는 추적 시스템은 갑작스러운 자기장 변화에 민감하게 반응하고 주변에 건물이나 사물이 너무 많아 그래픽 디스플레이가 거리의 모습 정렬에 방해를 받게되기가 쉽다. 따라서 이런 현상을 해결하기 위해서는 컴퓨터 시각분석 시스템이 더욱 발전해야 하며 방이나 건물의 비디오 도면을 인식해 3-D 컴퓨터 모델과 매치 시킬 수 있는 정보교환 S/W도 필요하다.
이러한 문제를 모두 극복한다 할지라도 여전히 문제는 남아있다. 지금처럼 무게와 부피가 너무 큰 착용식 컴퓨터는 휴대에 많은 지장이 있기 때문이다. 따라서 지난 수년동안 중소업체들은 벽돌 한 장 크기의 착용식 PC들을 선보여왔다. 이중 가장 눈에 띄는 업체의 제품은 사이버노트사에서 선보인 착용식 인터넷 기기 ‘포마’다. 포마는 일본 히타치 제품의 미국판으로 소비자들에게 판매하는 최초의 착용식 컴퓨터다. 기본적으로 머리에 착용할 수 있는 컬러 디스플레이가 포함된 PC인 포마는 미래 AR 어플리케이션의 특징을 갖추고 있으며 외형은 슬림형이다. 눈에 쏙 들어오는 아담한 디자인과 함께 전형적인 PDA만큼 기능도 강력하다. 하지만 아직 3-D위치감지의 AR기기라고 하기에는 한계가 있다.
산업현장에서의 AR
‘증강현실’이라는 용어는 1990년 보잉사의 탐 코델이 처음으로 사용했다. 보잉사는 탐과 그 동료인 마이즐에게 공장에서 작업지시를 내리는데 비용이 많이 드는 도식과 마스킹 기기들을 대신할 대체물이 필요했다. 탐과 마이즐은 각 비행기마다 따로 디자인된 지시도가 담긴 커다란 베니어합판을 없애고, 머리에 착용하는 특별한 장치로 교체할 것을 제안했다. 이 장치는 최첨단 고글을 통해 비행기의 특정 도식을 디스플레이 해주고 이들을 보드 위에 투사해주는 것이었다. 각 공정과정을 단계별로 안내해 주는 베니어합판을 따라 하는 대신, 작업자가 맞춤형 가선 지시도를 착용하고 컴퓨터 시스템을 통해 작업함으로써 빠르고 효율적으로 바뀌리라는 생각이었다.
이 계획을 제안한 후, 코델은 자신과 마이즐이 공장 작업자의 시야 내에 들어오는 정보 범위를 증폭시켰다는 사실을 깨달았다. 코델은 “가선관 보드관련 회의를 진행한 후, 모든 정보의 현실을 증강시켰다는 사실을 알고 이를 1992년 출간된 책에서 처음으로 공개했다”고 밝혔다. 보잉사의 경영진들이 새로운 시스템으로 실험하는 일에 동의했음에도 불구하고 코델은 곧 회사를 떠났다. 복합 과학으로서의 컴퓨터 시각화에 대해 심도 있게 연구하기 위해서였다. 마이즐은 AR 시스템 개발을 계속해 나갔다.
이 때 개발한 것 중에 보잉사 직원들에게 특히 호응이 높았던 제품은 헤어밴드에 접이식으로 부착된 디스플레이 렌즈였다. 그러나 보잉사가 공장 작업장에 이 시스템을 적용시키지 않기로 결정하자 마이즐 또한 회사를 떠났다.
실제로 보잉사는 초기에 AR 시스템 설치에 망설였지만, IBM사와 마찬가지로 AR 기술에 대한 실험을 계속하고 있으며 현재 이 분야에서 미국 내 몇 안 되는 정상급 업체이다.
전투지역에서의 AR
군대에서는 수십 년 동안 파일럿과 탱크 운전병, 그 밖의 전투원들에게 컴퓨터로 실행하는 전투지 분석 정보를 실시간으로 보여주는 진보된 시각시스템을 제공해 왔다. 그러나 육상 전투요원에까지 이를 확장하기란 장비 고안자들에게는 훨씬 어려운 과제다. 1992년 이후 미 공군과 국방고등기술연구원(DARPA)은 머리에 장착하는 AR 기반기술 연구를 지원하고 있다.
7년 전 미군은 ‘지상 전투병 프로그램’ 개발에 착수했으며 착용식 컴퓨터를 표준 장비화 할 계획이다. 군당국은 이미 프로그램 개발에 착수, 2003년까지 착용식 컴퓨터 시스템을 실전테스트 할 수 있을 것으로 기대하고 있으며, 2008년까지 전군에 이 시스템을 보급할 예정이다.
미 해군 연구원(ONR)은 콜럼비아 대학의 AR연구에 자금을 지원하고 프로그램을 간접적으로 지원하고 있다. MARS같이 실외에서 위치 및 방위 감지를 하는 AR시스템은 향후 실제 전투에서 해군에게 커다란 혜택을 가져다 줄 수 있다. ONR이 자체적으로 지원하고 있는 해군 조사연구소의 연구원들은 전투지역의 증강현실 시스템(BARS)을 통해 AR시스템을 더욱 발전시키는데 더욱 주력하고 있다.
가상현실 연구소를 이끌고 있는 로렌스 로젠불룸은 “미래 전투요원은 오프라인 지시가 전혀 없는 사방이 적군인 현실에서 싸워야 할 것”이라고 예상하고 있다. 대표적인 경우가 아프간 전쟁이다.
적진에 침투한 전투요원들은 전투력을 배가시키고 전투지휘본부간의 정보를 공유하기 위해 AR시스템을 사용하게 될 것이다. 따라서 전투원의 생존력은 획기적으로 높아지게 된다.
앞으로 원거리 전투지역에 파견된 소규모 부대는 증강현실 시스템으로 사전에 입력된 지도를 통해 해당 지역의 지형을 파악할 수가 있다. 군인들은 단순히 바위나 나무, 건물만을 보는 것이 아니라 ‘지뢰 매설’이나 ‘적군 무기창고’와 같이 위험물에 대한 자세한 데이터도 얻게 된다. 요원이 전투지휘본부로 정보를 보내면 지휘본부는 새로운 지시정보를 1,600km나 떨어진 전투요원의 AR시스템에 전달한다.
병원에서의 AR
노스캐롤라이나 대학은 증강현실 시스템을 이용한 최초의 임상 의학 실험을 진행하고 있다. 의사들은 정기 유방검사와 종양절제술을 시도한 무작위의 환자들을 대상으로 증강현실 테스트를 실시했다.
의사들은 초음파 스크린을 보고 환자의 상태를 파악하는 대신, 환자 신체의 정보를 직접 투영해주는 헤드기어를 쓰고 있다. 이 AR 시스템은 수술 과정 전반에 걸쳐 일종의 가상 X-레이 정보를 제공해 주는데 얼룩덜룩한 회색 배경과는 대조적으로 유방암과 암성 변이가능 부위는 희미한 흰색 윤곽으로 나타난다.
머리에 장착한 AR시스템으로 의사들은 기존과는 달리 정확하게 바늘 생검을 지시하는 부위를 볼 수 있다. 이 AR응용기기를 이용해 얻을 수 있는 성과는 새로운 수술 기술의 진보뿐 아니라 기존의 시술방법의 개선과 정확한 환자의 치료를 할 수 있다는 것이다.
절개수술이나 절개부위를 최소화하는 복강경 수술은 머리에 장착하는 AR시스템이 제공하는 실제상황과 컴퓨터 가상세계를 결합한 이상적인 형태가 될 수 있다. 하지만 좀 더 오랜 시간이 필요한 수술이나 과정이 복잡한 무작위의 견본 추출 등에는 머리에 착용하는 AR시스템이 핸드헬드 디스플레이장비나 실물 위에 직접 투사하는 이미지보다는 시야확보 등의 불편이 생길 수 있다.
피츠버그대 생의학 공학과 조교수인 조지 스테튼은 “머리에 장착하는 AR디스플레이는 현재 상태로는 매우 제한적이라서 의사의 시야도 제한적이 되고 기기 해상도도 실제 시각보다 떨어진다”며 “오히려 장시간의 수술에는 방해가 될 수 있다”고 지적한다.
스테튼은 X-레이를 통해 얻는 이미지와 환자의 신체부위를 직접 투사해 정보를 제공하는 헨드헬드 초음파 변환기를 개발해왔다. 이 시스템은 컴퓨터로 조직과 뼈에 대한 정보를 파악해 실시간으로 제공함으로써 의사들의 시술과 환자에 대한 정보획득에 상당한 도움을 준다.
일상 생활에서의 AR
헨드헬드와 헤드헬드 기기를 통해 개인의 증강현실 시스템을 개발하는 노력 또한 활발히 진행되고 있다. 미래에는 자동차를 수리할 때 공장에서 고쳐야하는 심각한 경우를 제외하고 간단한 자동차 체크정도는 AR시스템으로 할 수가 있다. 매뉴얼을 볼 필요 없이 AR시스템을 이용하면 후드의 모든 부품들의 수리에 대한 정보를 얻을 수 있다. 예를 들면 “현재 라디에이터의 라인이 분리되어 있으니 한쪽으로 옮기고 카브레터의 캡을 돌려 빼세요!”라는 식이다. 혼자서 할 수 없는 수리라면 관련 데이터를 저장하고 난후, AR시스템을 고정시키면 자동차 부품에 대한 정보와 교체품에 대한 정보를 알려주는 사이트로 안내를 해준다.
AR 헤드기어가 일반적인 안경 크기로 작아지면 점잖은 자리에서 실수를 많이 하는 사람은 사이버 회의를 통해 기회를 만회할 수도 있을 것이다. 관련된 모든 사람들의 상세한 정보를 정리해 입력해 놓으면 같이 회의를 하는 상대방에 대한 정보도 모두 받아볼 수 있을 것이다. TV출연자들에게 대본을 옆에서 보여주게 되는 프롬프터의 사용을 시청자들이 모르는 것처럼 회의에 참석한 사람들도 전혀 이러한 사실을 눈치채지 못할 것이다.
하지만 현재 AR기술개발은 아직 걸음마 수준에 불과하다. 개인 정보의 유출도 문제다. 매우 중요한 회의를 할 때 해커들이 AR시스템을 침입, 정보를 유출해간다거나 잘못된 정보를 입력시키게 되면 경제적 손실은 물론, 개인의 사생활도 상당한 침해를 받을 수가 있다.
생활에서의 AR시스템의 이용에 대한 실제 경험은 ‘사이보그’들이 실험하고 있다. 사이보그들은 북미에만 수십 명이 있으며 잠자는 시간을 제외하고 모든 생활에서 컴퓨터를 부착하고 생활한다. 90년대 MIT 학생들이 최초의 ‘보그’들이었는데 아직도 이 학생들의 일부는 똑같은 생활을 하고 있다.
현재 조지아 공과대학의 조교수인 새드 스터너가 이러한 사이보그 중 한 사람으로 그는 직접 디자인해 착용할 수 있는 컴퓨터에 주변의 모든 정보를 입력해 모든 생활에서 도움을 얻고 있다. 대화를 하거나 회의에서 스터너는 조끼에 감춰진 컴퓨터의 네트워크를 이용해 상대방의 정보를 얻으며 새로운 정보는 직접 입력한다. 자신이 쓰고 있는 안경 속의 작은 스크린에는 대화하는 사람의 정보가 일련의 형식으로 출력된다(위 사진). 스터너는 눈의 초점이 자칫 상대방에게 따른 생각을 하는 듯한 무례를 범하지 않도록 어깨를 으쓱해 보이거나 생각에 잠긴 듯한 표정을 짓는다고 한다.
스터너가 AR을 통해 정보를 얻는 반면, 초기 MIT 사이보그중 한 사람이었던 토론토대학의 컴퓨터 과학자인 스티브 맨은 스터너와 반대로 정보를 차단하는데 AR을 이용한다. 맨의 착용식 컴퓨터 시스템은 막대한 양의 데이터를 제공해주기도 하지만 이 AR소프트웨어는 고글에 비친 스크린을 모두 옥외 광고물이나 폭포 등 자연경관의 디지털 이미지로 바꿀 수 있다.
증강현실 연구자들은 AR에 대해 매우 냉철한 시각을 가지고 있다. 콜럼비아 대학의 파이너 박사는 MARS기기를 시험 착용한 후의 짧은 테스트 기간동안 무게와 부피 때문에 상당히 불편했던 점을 인정한다.
현재로서는 상당히 튀어 보인다고 할 수 있는 디스플레이 고글은 목표물에 정확히 고정하면서 일정한 시간이 경과된 후에야 데이터를 얻을 수 있다. 이러한 점은 유용하기도 하지만 시간이 걸리는 일이며 때로는 귀찮을 정도로 느껴질 수가 있다.
그러나 파이너 박사는 여전히 증강현실 시스템이 일상의 한 부분을 차지하게 될 것이라고 단언한다. 사실, 첨단시대에 디지털 기기 하나 없는 사람이 어디 있겠는가. 머지 않아 AR시스템도 보편화될 것임이 틀림없다. 파이너 박사는 “AR시스템이 미래에는 반드시 필요한 디지털 기기로 잡을 것이기 때문에 AR시스템이 없는 사람이 소외당하는 세상이 올 지도 모른다”고 예측하고 있다.
일반 거리에서의 AR
콜롬비아 대학 연구자들이 개발한 두 종류의 증강현실 체험 시스템. 하나는 인근 음식점이고 다른 하나는 대학 캠퍼스용이다. 간단한 식사 장소를 물색 중(위 왼쪽)일 경우
이 시스템은 시야에 보이는 음식점에 표시를 해준다. 무선 마우스로 ‘톰스 레스토랑(Tom's Restaurant)’ 위에 클릭 하면 새로운 창(위 오른쪽)이 뜨면서 식당에 대한 정보가 뜬다.
캠퍼스 도서관 앞(왼쪽 아래)에서는 이 건물이 1968년 학생들에 의해 점거된 적이 있음을 알려주는 중앙깃발을 보여준다.
복잡한 작업의 안내자 역할
미래에는 증강현실 장치가 컴퓨터 마더보드(위)에서 비행기 엔진에 이르기까지 모든 전자제품을 제조하고 수리하는 기술자 및 전문가들에게 안내자 역할을 하게된다. 증강현실은 또한 비전문가들이 자동차나 가전기기 등을 수리하는데 쓰일 수도 있다. 사용자들은 특별히 고안된 헤드셋을 쓰고 현재 투시하고 있는 부품 위에 설계도를 오버랩 스크린으로 봄으로써 필요한 수리 방법을 차근차근 배워 완벽하게 작업을 끝낼 수 있다. 착용자가 헤드셋을 고장난 기계 위에 놓고 투시하면, 동일한 정보가 PDA 같은 기기를 통해 제공되기도 한다.
군대에서의 AR 가상 시나리오 : 내셔널 스트리트의 한 건물 위층에 인질들이 억류되어 있다. 인질구출 임무를 띈 투입 대원들이 착용한 증강현실 고글은 인질들이 착용하고 있는 컴퓨터와 연결되어있다. 증강현실 고글은 시시각각 변화하며 중대한 인질 구출 임무에 도움이 되는 정보를 대원들의 고글 디스플레이로 보내준다. 대원들의 바라보는 장소가 어디든 모든 주변상황에 자동으로 부연설명이 제공된다. 위험한 지점은 붉은 색으로 표시되며 저격수들이 어느 지점에 어떤 방향으로 위치해 있는지도 알 수 있다.
팝업 창이 뜨면 잠입한 빌딩 안의 어느 곳이 가장 안전하고 눈에 띄지 않는 지를 알려주는 건물의 평면도가 나온다. 공중에서 선회하고 있는 블랙호크 헬리콥터는 중앙 통제실의 지휘관에게 수집된 정보를 전송하고 주변 상황에 대한 설명을 대원들에게 실시간으로 업데이트 시켜 제공한다. 이 같은 AR시스템은 탱크나 전투기 등에서 사용되고 있으며 군당국은 현재 지상군에게도 이를 적용할 수 있도록 개발, 설계하고 있다.
수술실에서의 AR
AR시스템으로 의사들은 확대되고도 투사된 X-선 이미지를 얻을 수 있다. 투영된 영상으로 핸드헬드 초음파 방사기(위)가 사람 손의 조직과 뼈 위에 컴퓨터에서 만든 초음파 영상을 비추어, 동맥에 카테타 삽입 시 더 정밀하게 수술하도록 도와준다. 의학에 AR시스템을 차용하기 위한 임상실험은 이미 노스캐롤라이나 대학에서 실시중이다. AR기술을 흉부 생검(生檢)법에 사용할 경우, 의사는 초음파 이미지를 재현해주는 헤드셋을 착용하기 때문에 환자와 디스플레이 모니터 사이를 곁눈질로 이리저리 봐야 할 필요가 없다.
얼굴과 신원확인
누구의 얼굴인지 잊어버렸다고? 하지만 증강현실 기술로 갈라진 기억의 틈새를 메울 수 있을 것 같다. 혹시라도 길에서 어떤 사람을 만났을 때 대학 동창인지 혹은 담당 회계사의 이혼한 아내인지 기억이 안 날 경우, AR 시스템의 도움을 받아보자. 자동으로 개개인의 얼굴인식 데이터베이스를 찾아내어 사람 이름 뿐 아니라 중요한 개인 정보까지도 알려주는 글이 여러분의 두 눈앞에 생생히 제공된다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
