고대부터 인류는 증강현실을 ‘만들었다’

증강현실

자동차 헤드업 디스플레이·스마트글라스·캐릭터 등

현실·가상 결합한 증강현실

고대 로마·바로크시대에도 벽화·그림으로 담아내

가상현실은 현실을 차단, 수동적 화면에 몰입하게 돼

반면 증강현실은 주체적, 가상과 현실을 겹치는 활동

사회라는 증강현실 속

스마트폰 비롯 기기 통해 사회 전반 이슈에 적극 개입

영리한 군중은 현실파악, 실재하는 사회 군중으로

15세기 말 로마의 콜로세움 아래 지하통로에서 발견된 네로 황제의 황금궁전 궁륭천장의 프레스코화 이미지들. 짐승, 새, 식물 줄기와 인간의 뇌 등이 서로 얽혀 현실과 가상이 함께 펼쳐진 모습이었다. 르네상스 화가 라파엘로는 이 그림들을 ‘그로테스크’라고 불렀다. 네로 황제 시대 사람들은 현실의 방과 천장에 그로테스크한 가상을 결합한 일종의 ‘증강현실’을 즐겼다. 민음사 제공

네로의 황금궁전

증강현실 기술이 많은 분야에서 활용되고 있다. 내비게이션 정보가 자동차 앞 유리에 나타나는 ‘헤드업 디스플레이’, 방송국 가상 스튜디오에 나타나는 캐릭터들, 가상으로 옷을 입어 볼 수 있는 거울, 스마트글라스 등 이 기술은 앞으로 더욱 발전할 전망이다. 이 기술은 현실을 기반으로 그 위에 가상이 겹쳐지는 성격을 띤다.

고대인들도 현실에 가상을 결합한 감상을 즐겼다. 15세기 말 로마 황제 티투스의 목욕탕 근처 지하 통로에서 동굴이 발견된다. 복도로 연결된 회랑과 궁륭천장이 있었고 프레스코화로 채색된 벽면들이 가득했다. 그 속의 그림들이 눈을 휘둥그레지게 했다. 짐승, 새, 물고기, 식물의 줄기와 인간의 뇌 할 것 없이 서로 얽혀 이종 교배된 모습이 즐비했다. 르네상스 화가였던 라파엘로(1483~1520)는 이 그림들을 ‘동굴(grotto)에 속한’이란 뜻의 ‘그로테스크(grotesque)’라 불렀다. 그로테스크는 충격과 매력을 지닌 채 곧 온 유럽에 퍼지게 되었다.

16세기 초 본격적인 발굴이 진행되면서 그것이 26㎢나 되는 네로 황제의 황금궁전(Domus Aurea)임이 밝혀졌다. 네로가 자살하고 황제가 된 베스파시아누스는 로마 시민에게 받을 인기에 연연하여 이 궁전을 파괴하고 그 위에 원형경기장을 세웠던 것. 이미 죽은 전임 황제에게는 ‘기록말살형(Damnatio memoriae)’이라는 죄목을 붙였다. ‘기억에 대한 형벌’이라는 라틴어 의미대로 네로의 모든 기억들, 그러니까 기록, 그림, 조각상에 새겨진 이름, 건물 등을 없애는 구실이었다. 72년에 시작되어 8년 뒤 베스파시아누스의 아들 티투스 황제에 의해 완공된 원형경기장은 그 장소에 있던 ‘네로의 동상 콜로수스(colossus Neronis)’ 또는 ‘거대하다’는 뜻의 콜로살레(colossale)에서 유래된 ‘콜로세움’으로 명명되었다. 이후 콜로세움은 로마의 대표적 유적지가 되었지만 그 바로 밑에는 그로테스크한 가상의 존재들이 벽면과 천장에 장식돼 있었다.

마법이 깨지는 순간

2019년 4월 이후 네로의 궁전 지하 입구에는 헤드셋이 준비돼 있다. 가상현실 기기를 통해 궁전으로 들어가기 위해서다. 관람객들은 디스플레이를 통해 펼쳐진 가상 속에서 새로운 마법에 빠져든다. 하지만 헤드셋을 벗는 순간 화면 속 가상들이 일순간 흩어지면서 즉시 허무감이 치솟는다. 네로 당시에는 맨눈으로 감상했겠지만 이제 헤드셋이 필요한 이유는 이 궁전의 벽면과 천장을 완벽히 복원할 수 없기 때문이라 한다.

네로가 생존했을 1세기만 해도 황금궁전은 현실과 가상이 함께 펼쳐져 있었다. 감상자들은 현실의 회랑과 방, 그리고 천장을 바탕으로 펼쳐진 그로테스크한 일종의 가상을 결합시켰다. 현실에 가상이 추가되는 것은 오늘날로 치면 증강현실에 가까운 반면 헤드셋을 쓰고 현실을 차단한 후 헤드셋 속 궁전에 몰입하는 것은 가상현실에 가깝다. 그러니까 10여년에 걸친 복원 끝에 되살아난 네로의 황금궁전은 2000년 전 인간이 누렸던 증강현실을 가상현실로밖에 체험할 수 없는 한계를 갖고 있다.

가상현실과 증강현실의 차이

가상현실과 증강현실은 그 목표점이 다르다. 가상현실은 가상 강화가, 증강현실은 현실 증강이 그 타깃이다. 증강현실이란 말을 처음 창안한 사람은 미국 보잉사에 근무하던 토머스 코델(Thomas P Caudell)이었다. 그는 1990년 비행사가 머리를 숙여야만 볼 수 있는 항공기 운행정보를 앞면 유리에서 볼 수 있는 ‘헤드업 디스플레이’를 선보이며 ‘증강현실’이라 불렀다.

이후 증강현실이란 개념이 우리에게 친숙해진 것은 스티븐 스필버그가 감독하고 톰 크루즈가 주연한 영화 <마이너리티 리포트>가 2002년에 상영되면서부터다. 이 영화에서 손동작만으로 허공에 펼쳐진 디스플레이를 제어하는 장면이 나오는데 오늘날 글라스를 통해 이것을 실현시키기 위한 노력이 한창이다. 아마도 아예 인간의 망막 안에 렌즈를 삽입한다면 그대로 실현될 수도 있다. 최근 방영된 드라마 <알함브라 궁전의 추억>도 콘택트 렌즈를 활용하여 ‘증강현실’로 들어가는 방식을 묘사했다.

이렇듯 증강현실은 카메라 기술이 특히 중요한데, 3차원 효과를 내야 하기 때문이다. 하나였던 스마트폰 렌즈가 이제는 두 개가 된 이유도 양안시차를 이용해 입체감을 주기 위함이다. 최근 ‘뎁스(depth) 카메라’ 기술을 활용해 화상에 나타난 사물을 인식해서 깊이감으로 바꾸는 연산도 쉽게 한다. 많은 지연시간이 걸렸던 이 작업이 5G 보급과 함께 훨씬 더 빠르게 수행될 것으로 전망된다.

가상과 현실이 결합된 실재(reality)

가상현실(Virtual Reality)과 증강현실(Augmented Reality)에서 공통 단어로 ‘현실’을 뜻하는 영어 ‘리얼리티(reality)’를 볼 수 있다. 하지만 가상현실에서 헤드셋이나 안경을 쓰고 현실을 차단한다고 할 때의 그 ‘현실’은 영어로 ‘액추얼리티(actuality)’다. 혼란을 일으키는 이유는 리얼리티와 액추얼리티가 동일하게 ‘현실’이라는 우리말로 번역되기 때문이다. 이제 혼란을 피하기 위해 리얼리티를 ‘실재’라고 번역해 보자.

프랑스 철학자 질 들뢰즈(1925~1995)는 ‘액추얼리티’와 ‘버추얼리티(virtuality)’, 그러니까 현실과 가상을 구분하고 이 둘이 종합되어 ‘리얼리티’, 즉 실재를 형성한다고 하였다. 그러니까 실재는 현실과 가상으로 나뉜다. 중세철학에서 ‘가상적(virtual)’이라 할 때는 ‘아직 현실적(actual)이지는 않지만 존재하는 어떤 것’으로 여겼는데, 이 개념으로 보자면 가상은 현실적이지는 않지만 실재하는 어떤 것이다.

바로크의 증강현실 ‘아나모르포시스’

‘현실과 가상의 결합된 실재’를 환기시키는 것을 증강현실이라 한다면 인류는 줄곧 그 결합된 실재를 즐겨왔다. 구석기 시대엔 총 길이 296m의 알타미라 동굴에서, 고대 로마 시대엔 네로의 황금궁전과 같은 4면 벽화들 속에서, 르네상스 시대엔 3차원 입체감을 주었던 원근법과 성당 천장화들 속에서 그랬다.

그런데 바로크 화가들은 마치 포켓몬고의 캐릭터가 3차원으로 보이는 것과 같은 효과를 그림에 더 적극적으로 담아내고자 했다. 그도 그럴 것이 바로크 이전 그림들은 시야각이 90도를 넘어서면 제대로 보이지 않았기 때문이다. 하지만 바로크 화가들은 시선의 각도 차에 의한 이런 왜곡현상을 화면 위로 돌출되는 효과로 탈바꿈시킨다. 이것이 왜곡된 이미지라는 뜻의 ‘왜상’ 기법. 당대 화가들은 희랍어 ‘솟아나는(아나) 형체(모르포시스)’라는 뜻의 ‘아나모르포시스(anamorphosis)’라 불렀다. 특히 시야각을 벗어난 사각(斜角)에서 돌출되기 때문에 ‘사각왜상’이라 하였다. 한편 이 시대 화가들은 사각왜상 이외에 반사된 거울의 곡면 유무에 따른 왜상도 적극 활용한다. 그러니까 특정한 위치에 놓인 곡면 거울로 볼 때 비로소 형태가 온전하게 보이는 ‘반사왜상’도 화폭에 담게 되었다.

왜상기법의 대표적인 그림이 한스 홀바인의 ‘대사들’이다. 이 그림에서 해골은 정면에서는 상이 왜곡돼 보이지만 시야각을 벗어나 특정 지점에서는 그 형태가 뚜렷하다. 여기서 가상을 끌어내고자 하는 자의 능동적 주체성이 강조돼야 한다. 왜냐하면 ‘사각왜상’이든 ‘반사왜상’이든 관람자가 자신의 위치를 이리저리 옮기고 곡면반사경을 어디에 두느냐에 따라 왜곡된 현상이 3차원으로 솟아오르기 때문이다. 이전의 그림들이 보이는 것만을 단순히 수동적으로 보는 것이었다면, ‘왜상’ 기법에서는 관람자가 주체적으로 보고자 할 때, 가상은 현실을 바탕으로 떠오르게 되었다.

주인공이 허공의 디스플레이를 손동작으로 제어하는 영화 <마이너리티 리포트> 의 증강현실 장면(위 사진)과 ‘왜상(왜곡된 이미지)기법’의 대표적 작품인 한스 홀바인의 ‘대사들’(아래).

증강현실의 주체성

가상현실 기기를 장착하고 일단 그 세계로 들어가면 고개를 돌릴 때마다 그 시야각에 따라 미리 마련된 정보가 입력된다. 물론 어떤 방향으로 걷고 어떤 시야를 유지할지의 자유 정도는 감상자에게 허용되지만 이 상태에서는 어쩔 수 없이 늘 수동적이다. 가상현실이 수동적으로 화면에 몰입하는 것이라면 증강현실은 주체적으로 가상을 현실에 겹치는 활동이다. 어지럼증과 피로감 같은 부작용은 증강현실이 가상현실보다 훨씬 적다.

주체성은 가상과 현실이라는 두 가지 트랙을 합치시킴으로써 실재, 즉 ‘리얼리티’를 실현한다. 이 경우 ‘현실’과 ‘가상’의 관계가 역전된다. 증강현실이 추구하는 현실과 가상의 두 트랙이 잠시 역전되더라도 동시에 존재하기 위해서는 두 세계의 공존을 확인하는 ‘주체성’이 반드시 필요하다.

질 들뢰즈는 현실에서 존재할 때를 ‘exist’로, 현실과 가상이 결합된 실재에서 존재할 때를 ‘subsist’로 표현했다. 예를 들자면 나의 반려견 ‘하늬’는 존재(exist)하고, ‘개’라고 하는 ‘종’은 존속(subsist)한다. 실재의 ‘개’는 현실에 ‘존재하는’ 반려견을 비롯한 수많은 각각의 개들과 그동안 있었거나 앞으로 있을 개들, 그리고 무한한 잠재력을 갖고 ‘존속하는’ 그 개들을 다 포함하는 개념이다. 들뢰즈는 ‘지금 여기에’ 현실적으로 있지는 않지만 ‘리얼’하게 있는 것에 대한 능동적인 관심을 주장한다. 그 관심 속에서 현실과 가상 각각의 차원에 매몰된 수동성은 주체성으로 역전된다.

현실을 파악한 실재 군중으로

우리는 사회라는 증강현실 속에서 주체적 군중이 돼야 한다. 하워드 라인골드의 <참여군중>을 거칠게 요약하자면 그렇다. 그는 군중에게 “결국 중앙에서 통제되는 매체에서 이동 가능하지만 수동적인 소비자가 되고 말 것인가?”라는 울분 섞인 질문을 던진다. 특히 <참여군중> 한국어판에는 라인골드가 한국 독자들에게 보내는 시기적절한 메시지가 담겨 있다.

도구를 과제로 착각하지 마십시오. 모든 영리한 군중이 반드시 현명한 군중은 아니라는 점을 양지하시기 바랍니다. 그것은 정치적, 사회적, 경제적 문제들에 대해 얼마나 잘 파악하고 있는지 여부에 달려 있습니다. 이들이 중요한 사안들을 이해하지 못하고 이 사안들과 그들에 의해 영향받는 정부 정책들에 관해 토론하지 못한다면 모든 지도자들이 공정한 선거를 통해 선출됐다고 하더라고 민주주의는 공허한 것, 쉽게 조작될 수 있는 것이 될 것입니다.(하워드 라인골드, <참여군중>에서)

그의 주장처럼 현실을 변혁하자. 스마트폰을 비롯한 디바이스들을 통해 사회 전반의 이슈들에 적극적으로 개입하자. 그도 그럴 것이 좌우 진영으로 고정되지 않고 여기저기에서 다시 모이는 ‘영리한 군중(Smart Mob)’은 우리의 체제(body)를 바꾸기 때문이다. 현실과 가상이 결합된 실재 사회가 존속하기 때문이다.

필자 김동훈