현실을 확장하는 새로운 경험,

실감미디어 !!

#실감미디어의 등장과 변화하는 기술 생태계

코로나19로 시작된 원격근무 환경과 언택트 일상은 5G통신기술, 디지털 트랜스포메이션 흐름과 함께 메타버스 세상을 앞당기는 촉매제가 되었다. 또한 비대면 문화의 확산으로 가상현실(VR)과 같은 차세대 콘텐츠에 대한 관심이 증가되면서, 메타버스를 구현하는 실감기술이 빠르게 발전되어 왔다. 포스트코로나 시대로 접어들어 오프라인 일상이 회복되면서 메타버스에 대한 사람들의 관심과 기대는 순식간에 빠져나갔지만, 2023년, ChatGPT와 같은 거대언어모델(LLM: Large Language Model)을 기반으로 한 AI(Artificial intelligence)의 등장으로 기술 생태계에 커다란 변화가 일어나고 있다. 자연어 처리로 인간의 언어를 이해하는 AI 덕분에 기계와 사람간의 원활한 상호작용이 가능해 짐으로써 그동안 한계를 드러냈던 실감기술 분야에도 다시 새로운 가능성이 생겨나고 있다. 그동안의 실감기술은 교육, 국방, 항공과 같은 정부 주도의 산업과 게임, 콘서트, 공연과 같은 다양한 문화 예술 분야로 융합되어 발전을 거듭해 왔다. 이 글에서는 우리 일상에 스며들어 현실을 확장하는 실감 미디어 기술 적용사례와 함께 새로운 경험을 즐길 수 있는 실감미디어 콘텐츠에 대해서 소개하고자 한다

#실감미디어란 ?

실감미디어란 다양한 실감기술을 활용하여 인간의 오감을 극대화하는 몰입도 높은 경험을 제공하는 차세대 콘텐츠를 의미한다. 가상현실(VR), 증강현실(AR), 혼합현실(MR)부터 넓게 보면 현실을 확장하는 색다른 경험을 제공하는 프로젝션 맵핑, 인터랙티브 미디어, 홀로그램 등도 이에 포함된다고 볼 수 있다. 우리가 흔히 알고 있는 VR기기 HMD(Head-Mounted Display)를 사용하여 감상을 하거나, 디지털 사이니지(Digital Signage: 키오스크나 패널, 건물외벽, 홀로그램 등의 디스플레이를 네트워크와 연결해 광고나 각종 정보를 보여주는 디지털 미디어)를 활용한 콘텐츠도 모두 포함된다. 단순히 미디어만을 지칭하는 것이 아니라 영화, 방송, 게임, 전시, 서비스 등에 다양하게 활용되고 있으며 서로 다른 장르가 융합되기도 한다. 실감미디어는 최신 기술을 바탕으로 정교한 스토리텔링을 통해 진짜 같은 경험을 부여함으로써 몰입감을 극대화 하는 것을 목적으로 현실에서 불가능한 체험을 만들거나, 현실보다 더 현실 같은 경험을 만들어 준다.

기술관점에서 보면 ‘감각 인식 기술을 사용하여 오감을 자극하여 실제와 유사한 경험을 전달하는 미디어 기술이다(루이신, 2018)’ 시각과 청각, 촉각과 같은 다채널 감각정보를 생성하고 전달하는 하드웨어 기술로 국한되어 설명될 수 있다. 그러나 경험적 관점으로 보면, ‘미디어를 매개로 가상의 환경이나 상황을 경험하는 사용자에게 마치 현실에서 이루어지는 것과 같은 느낌을 제공하여 현실과 가상을 구분하기 어려운 현존감에 도달하게 하는 것(김우상, 나건, 2019)’이며, 새로운 기술과 융합하여 게임이나 의료, 국방 산업으로 활용분야를 넓혀가고 있다.

#실감미디어의 핵심기술과 메타버스

실감콘텐츠의 핵심 기술은 가장 먼저 디스플레이(Display) 기술이다. HMD나 스마트폰 화면에서 VR과 AR 콘텐츠를 사용자가 시각적으로 몰입할 수 있도록 전사하는 기술로 사용자의 몰입감을 상승하기 위해 디스플레이의 시야각, 해상도와 같은 요소가 고려되어야 한다.

또한 콘텐츠에서 사용자의 생체 데이터를 실시간으로 추적하는 트래킹(Tracking), 고화질의 3D콘텐츠를 구현하고 사실적 이미지 재현 처리를 위한 컴퓨터 그래픽 소프트웨어 기술, 마지막으로 컴퓨터와 사용자의 원활한 상호작용을 기반으로 콘텐츠를 인지하고 조작하고 새로운 정보를 입력할 수 있도록 돕는 인터렉션(Interaction)과 사용자 인터페이스(UI)가 있다.

실감미디어 기술은 전통적인 방식의 시각적 재현 중심에서 벗어나, 다감각 적이고, 다중 참여적이며, 몰입형, 체험형 방향으로 발전하고 있다. 이것은 우리가 기존에 경험하지 못한 새로운 경험을 만들어 우리의 일상을 풍부하게 만들며 삶속에 융화되어 콘텐츠의 범위를 넓혀가고 있다. 이미 우리의 일상에 깊숙이 들어와 있는 몰입형 기술과 사례를 아래의 메타버스 분류표와 접목하여 소개하려고 한다.

1. 증강현실 (Augumented Reality, AR)

현실에서 CG나 시청각 장치를 덧씌워 가상세계를 덧붙이는 방식으로, 현실에서 받기 어려운 감각을 증강시키는 것을 목표로 실제 공간 위에 가상의 정보를 겹쳐 현실세계를 확장한다. 우리가 기존에 알고 있는 포켓몬고 게임을 비롯해 다양한 전시에도 활용되고 있으며, 최근에는 온라인 안경샾, 헤어샾, 네일샾 같은 곳에서도 AR기술을 판매 서비스에 활용하고 있다.

2. 라이프로깅 (Life-Logging)

개인이 현실에서 활동하는 정보가 가상에 연결되어 통합되는 형태로, 우리가 사용하는 소셜미디어나 브이로그처럼 일상적인 경험과 정보를 기록하거나 저장한 온라인 세계가 포함된다. 특히 스마트워치를 비롯한 각종 웨어러블 장비가 여기에 포함되며, 이러한 웨어러블 디바이스로 신체데이터를 연동한다. 이러한 웨어러블 장비는 VR콘텐츠의 몰입과 상호작용에도 사용된다.

3. 거울세계 (Mirror Worlds)

가상공간에 외부의 환경정보가 통합된 구조로 현실세계를 가상으로 재현한 형태이다. VR이머시브 시어터와 같은 가상공연에 참여할 때, VRchat과 같은 소셜공 간에 다중접속된 배우와 관객들은 HMD와 웨어러블 장비를 착용하고, 현실의 공연을 가상공간에 재현한다. 또한 최근 많은 인기를 끌고 있는 버튜버(Virtual Youtuber)들도, 버츄얼 휴먼기술이나 페이스 스왑(Face Swap)과 같은 다양한 인공지능 그래픽 기술을 통해서 실시간 가상의 인물의 모습으로 라이브 방송을 진행하기도 한다.

4. 가상세계 (Vritual Reality)

현실과 별개로 작동하는 완결된 구조를 갖춘 가상의 세계. 개인은 완전히 가상으로 구현된 가상세계에서 속에서 사람들과 상호작용을 하며 소셜 활동을 할 수 있다. 가상으로 만든 아바타를 통해서 각자 새로운 정체성을 가지고 타인과 교류할 수 있다. 제페토를 비롯해 로블록스, 포트나이트와 같은 온라인 게임이 있으며, Meta의 Horizon, VRchat과 같은 가상커뮤니티에서 사람들과의 교류가 이루어지고, 콘서트와 공연이 개최되기도 한다.

5. Creative Works with AI

최근 빠르게 발전하고 있는 AI기술은 가상공간에서 다양하고 창의적인 활동을 할 수 있도록 돕고 있다. 기존에는 트리거와 같은 물리적인 장치를 사용해야 했지만, 언어를 이해하는 인공지능 덕분에 사자들은 자신의 언어로 손쉽게 프로그램을 조작할 수 있게 되었다. 가상공간에서 실시간 사람의 언어를 알아듣고 제어하는 AI번역기프로그램은 실시간 번역된 언어로 국경을 초월하여 사람들과 생각과 대화를 나누고 협업을 할 수 있도록 돕는다. 또한 생성AI 툴을 활용하여 가상공간에서 다양한 창작활동을 할 수도 있으며, 디지털휴먼기술의 발달로 단순한 아바타가 아니라, 나의 모습을 그대로 만든 디지털 휴먼을 가지고 가상공간에서 활동을 할 수도 있다.

#몰입형 HMD와 애플의 공간컴퓨팅 기술

가상세계를 경험하게 해주는 HMD(Head-Mounted Display)기기는 컴퓨터 그래픽과 가상현실의 개척자라 불리는 이반 서더랜드(Ivan Edward Sutherland)에 의해 1968년 최로로 등장한 이후로 다양한 모습으로 발전되고 있다. 많은 HMD 제품들은 그동안 시장성을 확보하지 못하다가 코로나 시기인 2020년 Meta에서 출시한 Quest2가 2022년 1분기까지 1480만대 출하(IDC)되면서 기존보다 높은 판매량을 기록했다. 2023년 10월 Meta는 Quest3를 499달러에 출시하였고, 기존보다 두 배 이상 높은 그래픽 품질을 자랑하며 현재 판매추위를 지켜보고 있다. 또한 아이폰으로 모바일 혁명을 이뤄낸 애플은 2023년 5월 세계 개발자 컨퍼런스에서 ‘공간컴퓨팅(Spatial Computing)이라는 키워드를 바탕으로 Vision Pro로 라는 새로운 HMD 공개 했다. 약 3499달러(450만원)이라는 다소 높은 가격으로 내년 정식 출시를 앞두고 있다.

Vision Pro는 12개의 카메라, 5개의 센서, 6개의 마이크가 기기에 탑재되어 실시간 촬영된 사용자의 외부환경을 기기내부에 구현해 준다. 이를 통해 상용자는 HMD를 쓰고도 마치 현실공간에 있는 것과 같은 시각정보를 얻게 되며, 이 공간 안에서 아이폰앱에서 구동되는 모든 앱과 영상통화, 컴퓨터 기기를 연동시킨 업무를 할 수 있다고 한다. 이러한 애플의 공간컴퓨팅 개념이 과거 종이책의 개념을 바꿔놓은 아이패드의 혁명만큼 사용자들에게 새로운 경험을 만들 수 있을지 다양한 기대를 모으고 있다.

더 읽고 싶으면 클릭해주세요 !

일상의 소소한 즐거움을 위하여 !
재밌고 깊이 있는 문화 예술 뉴스. 엔드 뷰 !

역사와 예술이 교감하는 ‘문화공간 강동갤러리 바람불어좋은날’

#문화공간 #김왕주작가

기록을 한다는 것은 역사적 층위를 만들어 간다는 것. 오래된 건축물을 기록한다는 것은 건축물에 대한 보존과 함께 공간에 대한 기억도 함께 발굴하고 보존한다는 것. 동명동 숙소로 돌아오는 길에 기록할만한 광주만의 특색있는 건축물은 뭘까, 광주의 문화예술 자원은 뭐가 있을까를 고민하면서 두런두런 살폈다. 찾았다! 그런 곳!