포스트 메타버스

- 가상현실, 증강현실 AR, 메타버스 같은 것들은 역사적으로 함께 발전해 오다가 최근 들어 더욱 주목을 받고 있다. 개념을 다시 한번 정리하고 넘어가자, 가상현실은 인간을 가상 세계로 들여보내는 것이고 증강현실은 거꾸로 컴퓨터 안의 가상 세계를 3차원 세계로 흩어내는 것이다. 개념적으로 보면 가상현실과 증강현실은 정반대라고도 볼 수 있다. 그리고 가상현실과 증강현실 사이의 적절한 혼합으로 혼합현실 MR이 존재하고, VR과 MR과 AR을 통틀어 확장현실R이라는 용어가 통용되고 있다.
- 현실 공간에 가상현실의 일부를 가져오는 것을 증강현실Augmented Reality , 가상 공간에 현실의 일부를 가져가는 것을 증강가상Augmented Virtuality 이라고 부른다. 우리가 보고 싶은 걸 보여주는 게 증강현실이라면, 보고 싶지 않은 걸 없애는 것은 감소현실 Diminished Reality 이라고 한다. 그리고 우리가 있는 공간이나 물리적 객체를 매개로 해서 새로운 정보나 공간을 연결하는 것을 매개현실 Mediated Reality 이라고 부르기도 한다. 가상과 현실을 넘나드는 이러한 개념이 메타버스와 연결되면 새로운 가치를 만들어낼 수 있을 것으로 기대 되고 있다. 그런 의미에서 메타버스는 매개현실 또는 현실과 가상을 융합 한 확장 가상 세계라고 할 수 있다. 이 확장 가상 세계는 키보드와 마우스로 접근할 수도 있지만, 아바타를 활용하여 탐색할 수도 있다. 동시에 일상의 현실과도 연결되어 있으므로 일상의 활동도 할 수 있는 공간이다. 따라서 혼합현실 Mixed Reality 을 기반으로 우리 상상력을 가미해 만들어내는 다양한 층위의 매개현실, 또는 확장 가상세계, 그것이 바로 메타버스라고 할 수 있다.
- 메타버스의 정의
사람들이 바라보는 메타버스라는 단어가 혼란스럽게 느껴질 수 있지만, 2007년에 메타버스에 대한 다양한 논의를 토대로 메타버스의 미래를 다룬 로드맵이 정리되었고 여기에 정확한 정의도 등장한다. '메타버스는 1가상으로 향상된 물리적 현실과 2 현실과의 연동으로 지속 가능한 가상 공간의 융합이라는 것이다.
- 보통 기술의 사이클에서 성공적으로 사람들의 관심을 모았다고 보는 수치를 1천만 명 정도라고 한다. 아이폰의 경우 처음 등장 한 것이 2007년이었는데, 2008년에 이미 판매량이 1천만 대를 넘 었다. 그리고 경제 활동이 가능한 규모인 1억 명을 언제 넘기느냐가 중요한데, 아이폰은 2011년에 1억 대가 팔렸고 2016년에는 10억 인구가 아이폰을 쓰고 있었다고 한다.
그렇다면 메타의 가상 세계를 경험할 수 있는 디바이스인 메타 퀘스트2의 판매 수치를 비교해볼 수 있을 것이다. 2020년 가을에 소개된 메타 퀘스트2가 아이폰보다 빨리 보급될 수 있을지 들여다봤을 때, 현재까지는 아이폰과 비슷한 보급 속도를 보이고 있다. 올해 중으로 1천만 대를 돌파할 것으로 보이는데, 얼리 어답터 외에 일반인들까지 구매에 동참해야 가능한 수치인 1억 대가 언제까지 팔릴지는 아직 미지수다. 하지만 1년에 10조 원씩 투입하여 2025년까지는 일상에서 메타버스를 경험하게 하겠다며 총력을 기울이고 있는 메타사의 비전을 보면, 1억 명까지도 가능하지 않을까 희망적인 전망을 기대할 수는 있을 것 같다.
그럼 10억 명까지는 어떨까. 아이폰의 경우를 벤치마킹해 본다면, 메타 퀘스트2가 2029년까지 10억 대가 팔리는지의 수치가 메타버스가 우리 일상에 스며들 수 있을지를 가늠하는 관건이 되지 않을까 싶다. 당장 메타버스가 실현되기를 기대하는 분들에게는 실망 스러운 통계일 수도 있겠지만, 냉정하게 봤을 때 메타버스가 정말일상적인 공간이 되기 위해서는 이 정도의 시각 프레임으로 느긋하게 바라볼 필요가 있다.
- 건축디자인 분야에서 우리는 아직 가상 공간의 이점을 활용하기보다는 기존의 패러다임에 갇혀있는 것 같다. 단순히 현실 세계를 모방하거나 현실에서 좋았던 공간을 가상 공간으로 옮기는 것이 아니라, 더 혁신적으로 예전의 것을 버리고 다양한 시도를 해보는 것이 필요하다. 건축물의 본래 목적은 사람들을 다양한 기후로부터 보호하는 목적을 가지고 있었다. 현실 공간과 가상 공간의 차이에서 언급했듯이 가상 공간은 기후에 영향을 받지 않는다. 결국, 가상 공간 안에서는 건축물의 필요성 자체부터 다시 생각해 봐야 할 것 이다. 또한 실제로 가상 공간 속 건축물이 필요하다면, 현실 세계의 연구 및 디자인 가이드라인을 따르는 것이 아닌 가상 공간 자체 안에서 어떤 공간에 더 만족감을 느끼고, 어떤 공간이 사람들의 창의성이나 퍼포먼스를 높여줄 수 있는지 등에 대한 많은 연구가 필요할 것이다. 그러한 가상 공간 가상 건축디자인 가이드라인이 만들어 진다면 공간의 기능성을 향상시키고 사람들에게 더욱 만족스러운 가상 공간이 되지 않을까. 이를 통해 메타버스가 우리의 일상에 스며든다면 지금보다 훨씬 많은 시간을 보내게 될 가상 세계가 사람들에게 보다 만족스러운 공간으로 구현될 수 있기를 바라본다.
- 메타버스가 현실 세계와 연결되려면 완전한 가상 요소보다는 증강현실이 특히 중요해질 것이다. 실생활에 가상의 것을 증강시키는 부분이 연결된다면 일상에서도 새로운 네트워크 세상이 열리는 셈이라고 본다. 지난 2년 전쯤 이런 부분에 대해 영국 에든버러 대학교의 로빈 윌리엄스 Robin Williams 교수 연구팀이 연구한 내용이 있다. 메타버스와 AR이 함께하는 것을 'Augmented duality'라고 표 현해서, 현실 세계에 있지만 동시에 증강된 새로운 세상을 느낄 수 있는 가능성을 메타버스가 제안한다는 것이었다.
그동안 많은 사람이 메타버스가 현실에 없는 새로운 세상을 만 드는 것처럼 여겨왔지만, 오히려 현실 부분을 증강된 현실에서 해볼 수 있는 새로운 기회로써 해석할 수도 있을 것이다.
장소성 연구는 공간이 지닌 여러 의미를 발견하고 지속적으로 학습하여 사람들이 원하는 공간에 최적의 서비스를 제공하는 메타버스와 결합하게 되면 새로운 기회를 제공할 수 있다. 이를 위해서는 첫 번째로 그 공간이 어떤 형태로 활용되는지를 이해해야 한다. 주말에 사람이 모이는 곳인지, 모여서 사회적인 행위를 하는 곳인지, 혹은 주로 어떤 놀이를 하는 곳인지 등 물리적인 공간에 축적된 다양한 의미를 발굴해야 한다. 두 번째는 현실 세계에 모여있는 사람들에게 어떤 장소성이 이 사람에게 가장 맞는 것인지 실시간 공간 의미를 추론할 수 있어야 하며, 마지막으로 그 내용에 따라 다양한 의미의 공간을 재구성할 수 있어야 할 것이다. 메타버스와 AR을 활용하면 일단 실제 공간에서 자신이 보지 못했던 장소의 다양한 의미를 이해하는 데 도움이 될 것이다. 예를 들면, 기존의 AR은 여행자에게 어떤 공간에 갔을 때 단순히 한 가지 종류의 정보를 전달하는 것 이상의 역할은 하지 못했다. 그런데 이 공간이 가지고 있는 사회적인 의미, 시간 축을 통해 다양하게 축적 된 사람들의 장소성을 경험할 수 있다면 공간에 대한 이해가 훨씬 새로워지지 않을까.
- 얼굴의 움직임 표현하기
이러한 가상 캐릭터들은 물론 몸의 움직임만이 아니라 얼굴의 움직임도 중요할 것이다. 디지털 세상에서 우리는 나를 있는 그대로 표현할 수도 있지만, 내가 표현하고 싶은 모습을 선택적으로 보여줄 수도 있다. 이를테면 나의 어린 시절 모습이나 혹은 나이 들었을 때 의 모습으로 얼굴을 표현할 수도 있는 것이다. 예전에는 이에 대한 데이터를 확보하는 것 자체가 쉽지 않았는데, 최근에 이르러서는 관련된 여러 기술이 발달하면서 다양한 표현이 가능해졌다. 사람의 얼굴을 보고 나이를 추정할 수 있는 기술이 개발되면서 거기에서 자동 으로 데이터를 만들어내고 학습할 수도 있게 된 것이다.
또 얼굴의 변화, 이를테면 하나의 형체가 전혀 다른 이미지로 변화하는 모핑 morphing 기술도 자연스럽게 표현할 수 있게 됐다. 한 예로 마이클 잭슨의 〈Black or White) 뮤직비디오를 보면 다양한 인종과 성별, 나이대의 사람들의 얼굴이 자연스럽게 바뀌면서 모든 사람이 평등하다는 메시지를 전한다. 최첨단 기술을 이용한 영상인 셈인데, 원래 이런 영상을 만들기 위해서는 앞사람의 눈코입이 다른 사람의 눈코입에 어떻게 대응되는지 일인이 손으로 지정을 해야 했다. 그래서 작년에 우리가 개발해 발표한 기술은 이런 모핑을 완전히 자동화시키는 것이다. 굳이 사람만이 아니라 동물이나 음식, 사물이라도 학습 네이터만 충분하다면 사람이 손을 전혀 대지 않고 무엇이든 자동으로 모평될 수 있도록 만든 프로그램이다. 마이클 잭슨의 뮤직비디오 같은 경우는 사람의 정면이 보여야 한다는 제약이 있 었지만, 이 프로그램에서는 얼굴만 보이는 강아지는 또는 몸 전체가 보이는 강아지는 알아서 대응되는 부분을 자동으로 계산해서 모핑이 이루어진다. 또 여러 개의 사진이 동시에 주어지더라도 그 안에 서 가장 적절한 모핑도 일어날 수 있다.
- 꿈을 해석한 대표적인 인물로는 정신분석학의 대가인 프로이 Sigmund Freud 와 라캉Jacques Lacan, 그리고 철학자 지젝 Slavoji Zizek 을 꼽을 수 있을 것 같다. 먼저 프로이트는 《꿈의 해석》이라는 책에서 꿈을 새로운 차원으로 해석한 유명한 학자이자 정신과 의사다. 프로이트가 새롭게 발견한 것이 바로 의식과 무의식의 세계다. 그는 무의식은 잠재된 욕망이며, 겉으로 드러난 의식보다 훨씬 큰 세계라고 보았다. 인간이 꿈을 꿀 때는 그 무의식에 담긴 욕망이 발현된다는 것이다. 라캉은 의식과 무의식의 세계를 3단계로 나눈다. 상상계 Imaginary는 인간이 태어나 언어를 배우기 전, 자신과 타인을 구분하지 못하는 단계다. 그러다 언어를 배우면서 상징계 Symbolic 에 들어오고, 그 상징계 너머에 인간이 실제로는 다다를 수 없는 가장 순수한 욕망의 세계가 실재계 Real라고 이야기한다. 그리고 꿈은 이 Real 세 계의 구현이라는 것이다. 현실 세계를 벗어나 진짜 꿈꾸고 싶은 자기 욕망을 구현하는 세계가 바로 Real의 세계다.
지젝은 이러한 라캉의 이론을 Sexuality에 빗대어 해석하기도 했다. 마스터베이션 Masturbation 과 실제 Sexual act를 비교해 보자. 마스터베이션은 상상 속의 파트너와 하는 행위이니 reall'은 아니고 당연히 파트너와 Sexual act를 하는 것이 실제 real'일 것이다. 그런데 지젝은 이런 의문을 제기한다. 실제로 우리의 이상적인 욕망을 가장 잘 구현하는 것은 마스터베이션일까, Sexual act일까? 사실 잠재적 인 욕망을 그대로 반영하는 마스터베이션이 Real 실재에 더 가까울지도 모른다. 그렇다면 실제로 일어나는 Sexual act는 실제 real이긴 하지만 라캉이 말하는 실재 Real의 세계는 아니지 않을까.  결국 우리가 현실이라고 믿고 있는 것이 현실이지만 '진짜'는 아니고, 반대로 가상이라고 믿고 있는 것은 현실이 아니지만 '진짜' 일 수도 있다는 이야기다. 우리의 욕망이 진짜 구체적으로 실현되는 곳이 현실이 아니라 꿈이라면, 그게 더 진짜 세계에 가까울 수도 있다는 것이다.
이처럼 가상 세계의 의미를 명쾌하게 해석하기는 쉽지 않다.
- 메타버스의 공간은 이러한 기상 세계의 이리 측면을 그대로 보여주고 있는 것이 아닐까, 어떤 민에서는 현실에서 억눌린 욕망을 가상 세계에서 구현하고자 하는 그 의지기 메티버스에서 다양한 형태로 니다니고 있다고 할 수도 있고, 다른 한편으로는 더 나아가 현실을 그대로 가상 공간에 옮기동이 더 현실 같은 공간으로 만드는 모습도 메타버스에 나타나기 때문이다. 요즘 메타버스에서 단순한 만남과 놀이 이외에도 다양한 비즈니스나 경제 활동이 벌어지고 있는 점이 그런 가능성을 말해주는 것은 아닐까. 가상 세계 메타버스의 해석은 지금부터가 시작인 셈이다.
- 보통 디지털 커뮤니케이션의 특징을 CMC Computer Mediated Communication 라고 이야기한다. 즉 면대면 커뮤니케이션이 아니라 컴퓨터를 매개로 하는 커뮤니케이션이라는 뜻이다. 그런데 어쩌면 앞으로는 CMC가 아니라 AMC Avatar Mediated Communication, (아바타 매개 커뮤니케이션)가 등장할 수도 있겠다는 생각이 든다. 아바타를 매개로 하는 가상공간의 커뮤니케이션이 굉장히 중요한 커뮤니케이션의 흐름이 될수도 있지 않을까. 실제로 가상의 아바타 모델이나 아바타 걸그룹이 등장하기도 했으니, AMC의 현실도 머지않아 실현될지도 모르겠다.
그런데 또 한편으로는 자기 캐릭터를 현실과 비슷하고 정교하게 만들려는 것과는 반대로, 최대한 단순하고 재미있게 만화처럼 바 꾸려고 하는 흐름도 있다. 특히 모바일 메타버스 게임에서 더욱 그런 특징이 발견된다. 이것은 아바타의 두 가지 상반된 측면인 셈이다. 왜 현실 세계의 인물과 비슷하지 않은 캐릭터 같은 모습을 취할까? 현실과 똑같은 아바타를 만들게 되면, 아바타에서 사람의 얼굴 부분이 굉장히 작은 비율로 그려질 수밖에 없기 때문이다. 사람과 사람이 대화할 때는 말뿐 아니라 표정이나 얼굴에 드러난 감정을 보는 것도 중요한데, 사람과 같은 비율로 만들어진 아바타의 얼굴로 는 풍부한 감정 표현을 나누기가 어렵다. 그래서 만화처럼 이등신이 나 삼등신의 캐릭터처럼 만드는 아바타가 선호되는 측면도 있는 것 이다.
어떻게 보면 자신을 꼭 닮은 아바타를 만드는 것이나 얼굴 모 양을 크게 만드는 것 양쪽 모두 메타버스 커뮤니케이션을 극대화하 기 위한 방식으로 볼 수 있다. 그러나 과연 어떤 것이 더 효과적이며 사용자의 욕망을 더 잘 구현할 수 있는지는 지켜볼 필요가 있을 것 같다.
- 언젠가 도래할지도 모르는 써로게이트〉의 세상은 과연 좋은 세상일까? 현실과 가상 세계가 합치되는 세계는 행복한 곳일까? 아 바타 매개 커뮤니케이션이 등장한다면 그것은 바람직한 변화일까? 이 대목에서 철학자 퍼트넘 Hilary Putnam 의 말을 되새겨 볼 필요가 있다. 그는 정보통신기술이 우리 생활을 더욱 개인화시킬 것이며, 인터넷의 확산으로 지구 반대편에 있는 사람들과는 더 가까운 관계 를 유지할 수 있겠지만, 정작 길 건너 사는 이웃과의 유대는 더욱 약 해질 것이라고 우려했다. 메타버스가 가져올 미래의 모습에는 아직 정답이 없다. 우리가 메타버스를 이야기할 때, 그곳이 즐거움을 느낄 수 있는 새로운 놀이공간일 수도 있지만 오히려 인간성이 상실 되고 소통이 단절되는 세계가 될 수도 있다는 측면도 함께 들여다봐야 한다.
- Ego or Alter Ego
사람들은 아바타를 어떻게 이용하고 있을까. Ego or Alter Ego, 자신을 표현하기 위해서 사용하거나, 아니면 또 다른 존재가 되기 의해서 사용한다. Microsoft Research에서 2016년에 공개한 데모를 보면, 어린아이가 움직이고 말하는 것을 여러 대의 카메라로 찍어서 바로 가상 아바타로 만든 다음에 어린아이의 아빠가 있는 별개의 공간에 전송한다. 그러면 아빠는 딸이 마치 자신과 같은 공간에 있는 것처럼 느끼고 대화할 수 있게 된다. 이럴 때 아바타는 사용자의 외양이나 움 직임 등을 그대로 모사하여 사용자의 Ego를 표현하는 것이다. 하지만 모든 아바타가 Ego를 표현하는 것은 아니고, 자신이 아니라 자신이 되고 싶은 Alter Ego를 표현하기도 한다. 미국에 일종의 복면가왕과 같은 프로그램 (Alter Ego)에서는 사람이 나오지 않고 아바타로 등장해서 심사위원 앞에서 노래를 부르는 장면을 볼 수 있다. 여기에서는 여러 여건 때문에 가수가 되지 못한 출연자들이 자신의 실제 모습이 아닌 아바타로 자신을 표현하며 노래를 부르는데, 이런 것이 아바타가 Alter Ego를 표현한 예라고 할 수 있다.
- 신체에 직접 자극을 주는 하드웨어적 방법 외에 소프트웨어적인 조작만으로 촉각 정보를 증강시킬 수도 있다. 예를 들어 VR 헤드셋을 착용한 상태에서 가상의 물체를 쥐고 들어올릴 때 내 실제 손의 위치보다 가상의 손의 위치를 더 아래쪽으로 보여주게 되면, 내 몸이 느끼는 손의 위치 정보와 내 눈에 보여지는 손의 위치 정보가 불일치하게 되고, 뇌에서는 이런 감각 정보 간의 충돌이나 불일치를 그 가상 물체가 무겁다고 착각하게 된다는 연구 결과가 있다. 이 경 우 촉각 정보는 아예 조작하지 않고 시각 정보만 왜곡해 제시함으로 써 뇌가 이것을 촉각 정보로 잘못 해석하도록 만드는 방법이다. 이런 방법을 Control/Display ratio 조작이라고 한다.
- 주의의 두 가지 종류
주의는 가장 일반적으로 하향식 주의와 상향식 주의로 나뉜다.
하향식 주의는 그 사람의 의지에 의해서 자발적으로 통제되는 주의기능이다. 예를 들어 공항에서 짐 가방을 찾을 때 보통 사람이라면 공항 바닥이나 천장에 집중하는 게 아니라 짐이 나오는 컨베이어 벨 트 위에 집중할 것이다. 짐 가방이 보통 그곳에서 나타난다는 지식 을 가지고 있어서 자발적으로 시선을 그쪽에 두기 때문이다.
반면 상향식 주의는 본인 의지가 아니라 외부 자극의 특성에 의해서 반사적으로 통제되는 주의 기능이다. 예를 들어 짐 가방을 찾는 도중 어딘가에서 큰 화재 경보 알람이 들린다면 내 의지와 상 관없이 소리가 나는 쪽을 쳐다보게 될 것이다. 이렇게 갑작스럽거나 아주 강한 자극의 특성 때문에 반사적으로 통제되는 주의를 상향식 주의라고 한다.
이 두 가지 주의 기능은 뇌에서 각각 다른 영역에 의해 작용하기 때문에, 주의를 유도하는 방법 역시 다르다. 하향식 주의 기능을 이용하는 가장 고전적 방법은 화살표 같은 내생적인 단서를 사용하 는 것이다. 우리는 어릴 때부터 학습을 통해 화살표의 의미를 너무 잘 알고 있기 때문에 오른쪽을 가리키는 화살표를 보는 순간 자발적 으로 화살표가 가리키는 오른쪽 방향으로 주의를 옮기게 된다. 화살 표 같은 단서들은 우리가 내적으로 의미를 해석한 결과로써 주의가 유도되기 때문에, 내생적 단서라고 부른다.
반면 상향식 주의를 이용하는 주의 유도 방법은, 주의를 유도하고 싶은 바로 그 위치에 매우 강하거나 갑작스러운 자극을 제시하 는 것이다. 갑자기 무엇이 움직이거나 빛이 깜빡이는 등의 자극이 나타나면 사람들이 반사적으로 그곳으로 주의를 옮기게 되는데, 이 경우 외부 자극의 특성에 의해서 주의가 유도되므로 외생적 단서라 고 부른다.
- 메타버스에서 아바타의 움직임과 인터랙션
이렇게 뇌의 운동 피질이 보내는 신호를 통해 신체의 움직임을 직접 통제할 수 있는 반면, 메타버스에서 아바타의 움직임은 그보다 훨씬 간접적으로 통제될 수밖에 없다. 사실 가장 기초적인 아바타 움직임의 통제 방법은 컨트롤러나 키보드 같은 간접적인 장치를 이용하는 것이다. 이 경우에 사용자가 버튼을 누르는 행위와 아바타의 움직임이 임의의 규칙으로 대응되어 있기 때문에, 규칙 자체를 익히 고 사용하는 데 사람의 많은 인지 자원이 소모되고 인터랙션의 효율 성이 떨어질 수밖에 없다.
그래서 최근에는 보다 직관적으로 아바타 움직임을 통제하는 방법이 많이 사용되고 있다. 즉, 트래킹이나 모션 캡처 방식을 사용해서 실제 사람의 움직임을 아바타의 움직임으로 재현하는 것이다. 실제 손의 움직임을 트래킹해서 아바타 움직임에 적용한다든지, 전 신의 움직임을 모션 캡처 기술로 추적해서 아바타 신체 움직임으로 재현해주기도 한다. 이러한 방법들은 본인의 신체 움직임 그대로 직접 아바타를 조종할 수 있기 때문에 중간 매개 장치를 이용하는 간 접적 통제 방법에 비해 훨씬 효율적이고 직관적이다.
하지만 현실 세계의 움직임과 달리, 메타버스에서의 움직임은 공간의 차이 때문에 여러 제약과 한계점도 지니고 있다. 특히 가상 현실을 생각해 보면, 실제 사용자의 몸이 위치하는 실내 공간은 협소하지만 가상 세계 공간은 끝없이 광활하다. 따라서 사용자의 실제 움직임을 트래킹해서 그대로 아바타 움직임으로 재현하기에는 큰 동작이나 이동 거리에 제한이 생길 수밖에 없다.
이런 한계점을 극복하기 위해서 크게 두 가지 방법이 사용되고 있다. 첫째는 트레드밀처럼 하드웨어적 장치를 사용해 걷거나 뛰거 나 점프하는 동작을 실제 이동 없이 제자리에서 하도록 하는 것 이다. 또 다른 방법은 리디렉티드 워킹 redirected walking 과 같이 실제 신 체의 이동과 시각적으로 주어지는 아바타의 움직임을 사용자가 지 각하지 못할 만큼만 조금 다르게 제공해서 실제 공간보다 더 큰 공 간을 탐험할 수 있도록 하는 방법이다.
- 가장 기본적인 청각 처리가 이루어진 다음에는 더 상위 레벨에서의 다양한 언어적인 이해 과정이 수반되어야 할 것이다. 이 때 먼저 음성 음운 분석이 이루어진다. 예를 들어서 'lion' 이라는 단 어를 들었다고 하면, 일단 'li'까지 들었을 때 여기에 매칭되는 모든 단어가 머릿속에 떠오르게 된다. 'lie, liar, lion 등의 단어들이 떠오 르다가 단어를 끝까지 다 듣고 나면 lion'을 제외한 나머지 단어들은 모두 탈락하고 내가 들은 단어를 인지하게 되는 것이다. 그 다음에 는 우리 머릿속에 있는 일종의 사전, 멘탈 렉시콘 mental lexicon 에서 이 단어의 발음과 의미, 문법 정보 등을 순식간에 끄집어낸다. 이렇게 음성이 나오기 시작해서 어휘 처리까지 이루어지는 과정은 약 400밀리초 정도, 즉 1초의 반도 안 되는 짧은 시간밖에 걸리지 않 는다. 특히 우리 머릿속에는 수도 없이 많은 어휘 정보가 들어있는 데, 이 단어들은 무작위로 존재하는 것이 아니라 의미상 연관이 있는 단어들끼리 더 긴밀한 네트워크를 형성한다. 그래서 'lion'이라는 단어를 들으면 '사자 갈기’, ‘고양이', '호랑이' 등의 단어가 같이 떠오 르며 활성화되고, 관련 단어에 대한 반응 속도도 훨씬 빨라지게 된다.
어휘 정보를 처리한 다음에는 당연히 문법 정보를 파악해야 할 것이다. 문장의 의미를 파악하기 위해서 통사 구조를 분석하게 된다. 예를 들면, 이 문장에서 무엇이 명사이고 동사이며, 무엇이 주어, 목적어인지 문장의 문법 정보를 이해하는 것이다. 또한 언어를 이해하기 위해서 우리는 여러 가지 상황이나 문맥 정보도 반영한다. 심지어 단어에는 나타나지 않는 숨은 화자의 의도까지 파악하는 것이 바로 우리가 하는 언어 처리 과정이다. 이러한 일련의 과정을 거쳐서 우리가 최종적으로 음성언어를 이해하게 되는 것이다.
- 메타버스에서 음성언어적 소통
음성학자로서 메타버스에서의 의사소통에 대해 생각해 보면, 언어적 표현과 비언어적 표현에 대한 기술적 개발이 모두 필요하지 않을까 싶다. 우선 언어적 측면을 살펴보면, 우리는 청각 정보와 시각 정보 를 동시에 활용하여 말소리를 인지한다. 그런데 메타버스에서 아바 타를 활용해 소통할 때 아바타에는 이런 시각적인 정보가 결여되어 있고, 따라서 음성 인지가 좀 더 어려워지며 듣기 노력이 증가할 수 밖에 없을 것이다. 듣기 노력이 증가하면 자연히 듣기의 피로도가 증가하는 것이기 때문에, 이것이 메타버스 사용의 피로도와도 연관 이 될 수 있다. 그래서 과연 이 피로도를 낮추고 좀 더 쉽게 이해할 수 있는 음성을 어떻게 구현할 수 있을 것인지, 시각 정보와 청각 정 보를 어떻게 일치시킬 수 있을 것인지와 관련된 기술 개발이 하나의 과제가 될 것으로 보인다.
하지만 반대로, 현실에서 겪는 음성언어 이해의 어려움을 메타버스에서 어느 정도 통제할 수도 있을 것 같다. 일반적인 환경에서는 우리가 컨트롤할 수 없는 요소가 상당히 많다. 예를 들어 사람들이 동시에 이야기할 경우에도 듣기 노력을 통해 집중도를 높여야 한다. 그런데 메타버스에서는 다양한 사람이 동시에 이야기할 경우 타깃 화자의 음성을 증폭시킨다든가 화자들 간의 공간적인 거리를 더 늘린다든가 하는 음성 기술을 통해 음성언어의 이해를 증진시킬 수 있는 방법을 시도해 볼 수 있다.
비언어적 측면에 대해서도 고려할 부분이 있다. 예를 들면, 아바타의 겉모습은 자유롭게 설정할 수 있기 때문에 굉장히 조그맣고 귀여운 몸집의 아바타에서 중후한 저음의 목소리가 날 수도 있을 것이다. 물론 그게 잘못된 것은 아니지만 실제로 몸의 사이즈와 목소리에 큰 상관관계가 있기 때문에, 그 사람의 음성에 어느 정도 일치하는 아바타를 추천하는 기능을 고려해 볼 수도 있을 것 같다. 또한, 기술을 통해 말소리의 공간적인 정보를 구현한다면 언어에 대한 실감도가 더 올라갈 수 있을 것이다.
- 메타버스에서 보다 자유롭게 체화된 음악을 즐기기 위해서는 인간이 음악을 할 때 뇌에서 어떤 일이 벌어지는지 이해할 필요가 있다. 메타버스에서 음악을 위한 커뮤니케이션을 할 때 이러한 뇌의 신호를 통해 커뮤니케이션의 질을 높일 수 있는 가능성이 있기 때문이다. 우리는 생각보다 많은 뇌의 영역을 음악을 위해 사용하고 있다. 당연히 먼저 귀를 통해 음악을 듣지만, 그 음악을 몸으로 표현 하기 위해서는 몸을 움직이는 운동 영역으로 신호가 전달된다. 또한 음악에 대한 고차원적 사고를 하거나 음악이 내게 어떤 의미로 다가 오는지 느끼는 과정은 전두엽에서 일어난다. 음악을 들어서 즐겁거 나 슬프거나 타인과 공감하는 등의 감정적인 과정은 뇌 안쪽의 보상회로를 통해 이루어진다. 즉, 우리는 다양한 뇌를 사용해 음악 활동을 하고 있다. 현재는 음악을 감상하거나 이해할 때 주로 시각과 청각에 의존하지만 음악을 할 때 사용되는 다양한 뇌 신호에 대한 이해가 높아진다면, 궁극적으로는 뇌와 뇌가 더 직접적으로 소통하여 마치 텔레파시처럼 향상된 형태의 커뮤니케이션도 가능할 것이다.
- 뇌의 청각 경로
구체적으로 음악을 할 때 우리 뇌에서 청각 피질과 운동 피질을 어떻게 사용하는지 살펴보자. 우리가 소리를 들을 때 소리는 귀를 통해 중뇌를 거쳐 대뇌피질로 가게 된다. 귀를 통해 소리를 듣지만 결국 뇌의 청각 피질에서 소리를 처리하는 것이다. 청각 피질에는 우리가 높은음을 들을 때와 낮은음을 들을 때 각각 응답하는 신경들이 따로 자리를 잡고 있다. 음고의 높낮이 변화 통해 선율이 만들어지는데, 우리가 높은 소리를 들을 때는 이를 담당하는 청각 신경이 활성화되고, 낮은 소리를 들을 때는 다른 쪽의 청각 신경이 활 성화된다.
- 소리에 대한 뇌파 응답
소리에 대한 뇌의 응답을 보기 위해서는 자기공명영상 MRI를 사 용해 뇌 영상을 찍거나, EEG와 같은 뇌파 장치를 통해 뇌에서 나오는 전기적 신호를 측정한다. 음악을 한다는 건 우리가 인식하는 차원에서는 소리를 통한 정보 전달이지만 사실 뇌에서는 전부 전기적 신호로 바뀌어 처리되기 때문에, 사실 뇌에서는 소리 그 자체가 아닌 전기적인 신호를 통한 커뮤니케이션이 이루어진다. 따라서 음악을 들을 때 뇌파를 측정해 그 전기 신호를 분석해 보면, 뇌에서 어떤 일이 일어났는지를 알 수 있는 것이다. 음악을 들을 때 뇌간 Brainstem 의 응답을 측정해 보면 원래 소리와 뇌파의 특징이 매우 유사하다. 예를 들어 첼로 소리를 들을 때 뇌파를 측정해 보면, 원래 첼로 소리 의 음높이와 음색 특징을 잘 반영하고 있다. 뇌파를 측정해 보면 실 제 그 사람이 지금 어떤 소리를 듣고 있는지 알아낼 수 있다는 것 이다. 마찬가지로, '다'라는 말소리를 들었을 때 뇌파는 '다'의 음향적 특징을 잘 반영한다. 따라서 뇌파를 분석해 보면 우리가 '다'라는 소리를 얼마나 정확하고 효율적으로 처리하고 있는지를 직접적으로 관찰할 수 있다. 실제로 어릴 때부터 10년 이상 음악을 해온 음악가와 음악을 전공하지 않은 일반인들이 같은 음악을 들었을 때 뇌파를 비교해 보면, 음악 훈련을 오랫동안 해온 사람은 신경이 기능적으로 발달되어 뇌파도 다르고 소리를 좀 더 효율적으로 처리하고 있다는 것을 알 수 있다.
- 청각 피질 외에도 음악을 할 때 중요한 뇌의 영역이 바로 운동 피질이다. 음악을 연주하거나 음악에 맞춰 춤을 출 때도 몸을 사용 하지만, 음악의 중요한 요소인 리듬을 들을 때도 몸과 관련된 운동피질을 사용한다. 운동 피질은 우리 몸의 다양한 부분과 연결되어 있으며, 실제로 내가 손을 움직여야겠다고 생각하면 운동 피질의 손 에 해당되는 부분에 신호를 보내 손을 움직인다. 만약 내가 손을 움 직이고 싶을 때 운동 피질에서 어떤 신호를 발생시키는지를 측정해 분석하면, 반대로 그 신호가 측정되었을 때 지금 이 사람이 어떤 움직임을 원하는지를 예측할 수 있다. 이러한 연구는 향후 메타버스
공간에 있는 가상의 악기를 인간이 연주할 때 손을 직접 움직일 필요 없이 운동 피질의 뇌파 신호만을 통해 가상 악기를 조절할 수 있는 가능성을 보여준다.
- ‘우리는 음악을 근육으로 듣는다'고 말한 니체의 말처럼, 음악이란 감상의 대상에 그치는 것이 아니라 직접 행위를 하는 것이고, 따라서 몸의 참여가 매우 중요하다. 음악에 대한 인지과학 및 신경 과학 연구들을 살펴보면, 앞으로 메타버스에서의 음악은 작곡가와 연주자, 감상자의 영역을 나누는 기존의 시스템을 재현하는 데 그치지 않고 귀뿐만 아니라 신체 움직임까지 아울러서 참여가 가능한 형태로 진화해야 할 것이다. 이를 통해 우리는 본연의 'Musicking' 에 한 발짝 더 가까워질 수 있을 것으로 예상한다.