최근의 가상현실 기술은 반도체 소형화와 인공지능 등을 통해 가상현실 하드웨어, 소프트웨어, 플랫폼 서비스를 본격적으로 개발해 일반 소비자가 가상현실 기기를 구매할 수 있는 상용화 단계에 이르렀다. 이와 함께 가상현실 분야에 대한 관심이 점차 더 고조되는 분위기이다. 1인 미디어 시대가 열리면서 가상현실을 활용한 새로운 콘텐츠가 개발되고, 이를 즐기는 사람들도 늘고 있다.

디지털 환경에 친숙한 MZ세대(1980~2000년대 초반에 출생한 세대)를 중심으로 가상세계 속 ‘나’를 표현하는 아바타가 메타버스 콘텐츠 소비시장을 형성하고 있다. ICT 기술의 발전과 콘텐츠 제작 환경, 코로나19로 인한 생활의 변화로 가상현실 기술은 더욱 빠르게 사회에 적용되고 있다. 인스타그램, 페이스북, 틱톡 등 일상생활의 모든 순간을 텍스트와 영상으로 저장하고 공유하는 라이프로깅, 구글어스와 카카오맵 등 현실세계를 실시간으로 확인할 수 있는 거울세계, 마인크래프트나 네이버 제페토 등 현실세계를 3D 환경에 융합 . 구현하고 가상의 나(아바타)를 만들어 가상세계를 탐험하는 세상이 되었다.

가상현실 기술은 게임, 영화, 방송 시장뿐 아니라 국방, 제조업, 산업 안전, 의료산업 등 다양한 영역으로 확산되고 있다. 의료 가상현실 시장에서는 마인드메이즈(Mindmaze), 워크 어게인 프로젝트(Walk Again Project)가 주목받고 있다.

가상현실이 뇌에 미치는 영향

가상현실(VR, virtual reality)은 특정한 환경이나 상황을 3D로 만들고 특수 장치를 이용해 사용자에게 가상의 현실을 시각적, 공간적으로 마치 실제처럼 느끼게 하는 기술이다. VR 헤드셋을 쓰고 롤러코스터를 타는가 하면, 전세계 유명 관광지를 방 안에서 돌아다녀 볼 수 있는 가상현실은 우리 뇌에 어떤 영향을 미칠까?

미국 캘리포니아대학교 신경과학자 마얀크 메타는 생쥐를 이용한 신경과학 실험에서 흥미로운 연구를 진행했다. 가상의 공간을 탐험하면서 여러 마리 쥐의 뇌 반응을 측정해 해마(학습과 기억의 과정과 관련된 뇌 영역)에서 무슨 일이 일어났는지 알아보았다. 연구팀은 동일한 현실 미로공간과 가상 미로공간을 만들었다. 먼저 현실 미로공간에서 생쥐를 뛰어다니게 한 다음 가상 미로공간에서 뛰게 하면서 두뇌활동을 비교했다.

현실 미로공간에서는 뉴런 활성화 반응을 나타났고 한 방향으로만 이동했으며 다른 곳으로는 이동하지 않았다. 가상 미로공간에서는 어떻게 이동해야 할지 헤맸다. 현실공간과 가상공간에서 뉴런의 활성 정도를 분석한 결과, 가상공간에서 기억과 학습 과정이 연계된 해마 뉴런의 60퍼센트가 셧다운(비활성, 전원이 꺼진 상태)된 것을 확인했다. 가상현실이 스파이크(뉴런 사이에서 통신하는 전기 신호)의 빈도를 약 66퍼센트 이상(3분의 2) 감소시키는 것으로 나타났다. 이는 전송되는 정보가 크게 감소했음을 의미한다. 탐색을 위한 정보를 제공하는 장소세포의 활동은 실제 상황에서 약 80퍼센트인 것에 비해 약 30퍼센트로 감소했다. [1]

가상현실이 뇌에 부정적인 영향만 주는 것은 아니다. 가상현실 비디오 게임이 노인의 기억력과 인지기능을 향상시킨다는 연구결과도 많다. 뉴욕대학교 연구팀은 가상현실을 이용한 복싱 운동이 청소년의 불안·스트레스에 미치는 영향을 연구했다. 14세~18세 학생 42명을 무작위로 3그룹으로 나눠 BOXVR게임, 유튜브 복싱 연습, 비개입그룹에 각각 14명씩 배정했다. 3그룹 모두 3주 동안 주 5회, 10분간 운동을 실시했다. 이 가운데 BOXVR 참가자들만이 실험 중간과 실험 후에 상당한 스트레스 감소와 스트레스 개선효과를 나타냈다. 한편 모든 그룹에서 공통적으로 숫자 잇기(trail making A;TMTA) 실행 기능의 향상을 보였다. [2]

캘리포니아대학교 뉴로스케이프 연구팀은 건강한 노인의 기억력을 향상시킬 수 있는 ‘가상현실 공간 길찾기 게임(Labyrinth-VR)’을 개발했다. 연구팀은 평균 인지능력을 가진 48명의 노인(평균 68.7 ± 6.4세)을 길찾기 게임 그룹과 플라시보 게임 그룹으로 24명씩 무작위 배정했다. 참가자들은 4주 동안 12시간의 게임을 진행했다. 길찾기 게임은 참가자가 게임을 탐색하면서 제자리에서 걷고 몸을 움직여 일반적인 인지기능 향상과 관련된 뇌 혈류를 증가시킬 수 있는 신체 운동을 하도록 콘텐츠를 구성했다. 이전에 본 물체의 기억을 평가하는 테스트를 사용해 참가자들의 기억력에 점수를 매기기도 했다. 결론적으로 게임을 플레이한 사람들이 플라시보 그룹에 비해 고성능 기억력(High performance memory)이 크게 향상되었다. 고성능 기억력은 장기기억의 중요한 유형이다. [3]

오감의 정보로 뇌를 속여야 하는 가상현실

뇌는 현실과 가상을 명확히 구분하지 않는다. 상상하는 것만으로도 뇌는 그것을 사실로 받아들인다. 가상과 현실의 뇌의 활동 차이를 확인하는 실험이 있었다. 연구팀은 참가자들을 나무 그림을 보는 그룹과 눈을 감고 나무를 상상하는 그룹으로 나눠 뇌의 활동 변화를 관찰했다. 그 결과, 실제 시각정보가 들어오는 후두엽에서만 차이가 발견되고 나머지 뇌의 활성은 비슷한 것으로 나타났다. 나무 그림을 보는 것과 머릿속으로 나무를 상상하는 것에 별 차이가 없었던 것이다.

우리 몸의 오감으로부터 얻은 정보는 뇌로 전달되어 각각 처리된다. 뇌가 오감을 컨트롤하는 것이다. 이 시스템은 매우 정교하고,컴퓨터의 처리속도와는 비교할 수 없이 빠르다. 허상을 실제 현실로 믿게 만들려면 가상현실 콘텐츠를 체험하는 동안 시각, 청각, 후각, 촉각 등의 감각을 자극해야 한다. 뇌가 가상현실을 얼마나 현실로 받아들이는가는 가상현실 속의 감각정보가 얼마나 실제 체험과 흡사한가에 달렸다고 볼 수 있다.

최근 한양대 융합전자공학부 정예환 교수 연구팀은 가상현실에서 촉감을 구현하는 ‘신축성 피부부착형 햅틱 인터페이스’를 개발했다. 이를 통해 기존 촉각재현기술 장치보다 더욱 가볍고, 무선으로 설계할 수 있으며, 시각 기반인 내비게이션의 도로 안내를 촉각 패턴으로 표현하거나 음악 트랙을 촉각 패턴으로 변환하는 등 진동을 통해 감각 패턴을 실시간으로 생성해 피부에 전달하는 감각 구현 시스템을 만들어낼 수 있을 것으로 기대된다.

가상현실 기술의 한계, 디지털 멀미

가상현실 기술에서 아직 해결하지 못한 문제가 있다. 디지털멀미(사이버 멀미)이다. 디지털 멀미는 디지털 기기 화면의 빠른 움직임을 보면서 어지럼과 메스꺼움을 느끼는 증상이다. 시선을 돌리는 속도와 화면에 나타나는 이미지 사이에 지연이 발생하는데, 눈으로 보는 것과 뇌로 판단하는 것의 차이로 인해 디지털 멀미가 발생한다. 가상환경에서의 운동 멀미감을 ‘가상환경에서의 사이버시크니스(cybersickness in VE)’라고 부르기도 한다.

가상현실 플랫폼으로 가장 많이 사용되는 것은 몰입형 가상현실이다. 몰입형 가상현실은 HMD 기기(고글 형태의 가상현실 플랫폼을 착용하는 기기)를 사용해 현재와 비슷한 환경을 제공해주어 몰입도를 올리는 장점이 있으나 어지러움이나 메스꺼움을 느끼는 경우, 방향을 상실하는 경우가 자주 발생한다.

한국표준과학연구원(KRISS) 안전측정연구소 연구팀은 뇌파를 이용해 디지털 멀미를 정량적으로 측정하는 연구를 진행했다. 가상현실 콘텐츠를 이용하기 전에 눈을 뜨고 움직임을 억제한 상태(휴식상태)에서 5분, 가상현실 콘텐츠 이용 중(각성상태) 10분 동안 뇌파를 측정한 후 이를 분석했다. 1주일 간격으로 21명의 참가자에게 동일 자극을 주었을 때 뇌파가 일정하게 반응했는지 관찰하는  실험이 진행됐다. 2번의 실험결과, 같은 사람의 전두엽·두정엽 등 특정 영역에서 델타파, 세타파, 알파파 주파수 범위가 일정한 것을 확인했다. 운동 기능, 자발성 및 충동 제어에 관여하는 전두엽 영역은 뇌파가 우세하고 가상현실 멀미에 의해 크게 변화하는 곳이다. 또한 가상현실 멀미와 EEG의 관계는 측두부의 알파파와 상관관계가 있었으나 약했다. 가상현실 멀미가 심한 사람일수록 뇌파의 변화 범위가 큰 것으로 나타났다. 이 연구를 통해 콘텐츠 구성에 포함된 시각적 흐름, 사실감, 장면 복잡도 등의 요소와 이동속도, 동작축, 회전범위, 시야, VR 충실도가 디지털 멀미의 요인이 될 수 있음을 확인했다. [4]

미래에는 가상공간에 접속해 사람을 만나고 생활하는 것이 일상이 될 것이다. 현실과 가상을 결합하여 실물과 가상 사물들이 공존하는 환경을 만들고, 사용자가 해당 환경과 실시간으로 상호작용을 함으로써 다양한 디지털 정보들을 실감 나게 경험하려면 디지털 멀미 없이 누구나 편리하게 이용할 수 있어야 한다. 우리의 뇌는 방어 기질을 갖고 있기 때문에 미세한 불편함만으로도 큰 스트레스를 받는다. 백 가지 좋은 경험을 하더라도 한 가지 좋지 않은 기억이 더 오래 남을 수 있다. 시각 중심의 콘텐츠를 넘어 다양한 감각을 동원하는 콘텐츠가 많이 개발되어 사용자에게 새롭고 다양한 경험을 제공해주길 희망한다.

[1] Moore, J.J., Cushman, J.D., Acharya, L. et al. (2021),  Linking hippocampal multiplexed tuning, Hebbian plasticity and navigation. Nature 599, 442–448. (https://www.nature.com/articles/s41586-021-03989-z)

[2] Rose Cioffi and Anat V. Lubetzky (2023), BOXVR Versus Guided YouTube Boxing for Stress, Anxiety, and Cognitive Performance in Adolescents: A Pilot Randomized Controlled Trial. Games for Health Journal. 6 Feb 2023.(https://www.liebertpub.com/doi/10.1089/g4h.2022.0202)

[3] Wais, P.E., Arioli, M., Anguera-Singla, R. et al. (2021), Virtual reality video game improves high-fidelity memory in older adults. Scientific Reports 11, Article number: 2552. (https://www.nature.com/articles/s41598-021-82109-3#citeas)

[4] Hyun Kyoon Lim, Kyoungha Ji, Ye Shin Woo, Dong-uk Han, Dong-Hyun Lee, Sun Gu Nam, Kyoung-Mi Jang (2021), Test-retest reliability of the virtual reality sickness evaluation using electroencephalography (EEG), Neuroscience Letters, Volume 743. (https://www.sciencedirect.com/science/article/pii/S0304394020308594)

글. 조용환

국가공인 브레인트레이너. 재미있는 뇌 이야기와 마음건강 트레이닝을 소개하는 유튜브 채널 ‘조와여의 뇌 마음건강’을 운영하고 있다.