넥서스

- 정보가 하는 일은 별개의 것들을 하나로 묶어서 연인이든 제국이든 새로운 현실을 만들어내는 것이다. 정보의 결정적인 특징은 재현이 아니라 연결이며, 따라서 정보란 서로 다른 지점들을 네트워크로 연결하는 무언가다. 정보가 꼭어떤 것들에 대해 무언가를 알릴 필요는 없다. 오히려 정보는 서로 다른 것들을 무언가로 묶는 역할을 한다. 별자리 운세는 연인을 별점으로 묶고, 선전 방송은 유권자를 정치적으로 묶고, 군가는 병사들을 군사 대형으로 묶는다.
대표적인 예로 음악을 살펴보자. 대부분의 교향곡, 멜로디, 선율은 무언가를 재현하지 않는다. 따라서 그것이 사실인지 거짓인지 묻는 것은 의미가 없다. 지금까지 사람들은 좋지 않은 음악을 많이 만들었지만 가짜 음악을 만들지는 않았다. 아무것도 재현하지 않지만 그럼에도 음악은 많은 수의 사람들을 연결하고 그들의 감정과 움직임을 동기화하는 놀라운 일을 해낸다. 음악은 병사들이 대형을 이루어 행진하게 하고, 클럽에 간 사람들이 함께 몸을 흔들게 하고, 교회 신도들이 리듬에 맞추어 손뼉을 치게 하고, 스포츠 팬들이 일제히 응원 구호를 외치게 만들 수 있다.

- 약 7만 년 전 호모 사피엔스는 무리들끼리 협력하는 전례 없는 능력을 보이기 시작했다. 다른 무리들과 무역을 시작하고, 예술이 출현했으며, 인류의 고향 아프리카에서 지구 전체로 빠르게 확산하기 시작한 데서 그것을 알 수 있다. 사피엔스 무리들 사이의 협력이 가능해진 것은 허구적 이야기를 말하고, 믿고, 그런 이야기에 깊이 감동받을 수 있게 되면서부터였다. 이런 능력은 아마도 진화 과정에서 뇌 구조와 언어 능력에 변화가 일어나면서 생겼을 것이다. 네안데르탈인처럼 사람과 사람의 연결만으로 네트워크를 구축하는 대신, 호모 사피엔스는 인간과 이야기의 연결이라는 새로운 유형의 사슬을 갖게 되었다. 사피엔스는 이제 서로를 개인적으로 알지 못해도 협력할 수 있었다. 똑같은 이야기를 알고 있기만 하면 되었다. 그리고 그 똑같은 이야기를 수십 억 명이 공유할 수 있었다.

- 타의 추종을 불허하는 개인 우상화를 통해 수많은 사람들을 연결했던 이오시프 스탈린은 이야기의 힘을 잘 이해하고 있었다. 문제아였던 그의 아들 바실리가 사람들에게 두려움과 외경심을 불러일으키기 위해 아버지의 이름을 이용하자 스탈린은 아들을 꾸짖었다.
아들이 "저도 스탈린이에요"라고 항의했다. 그때 스탈린은 "아냐, 너는 아니야"라고 대답했다. "너는 스탈린이 아니고, 나도 스탈린이 아니야. 스탈린은 소련 권력이야. 스탈린은 신문과 초상화에 등장하는 사람이지 네가 아니야. 나도 아니고!"
오늘날 인플루언서와 셀럽도 스탈린의 말에 동의할 것이다. 일부는 수억 명의 팔로어를 보유하고 있으며, 소셜 미디어를 통해 그들과 매일 소통한다. 하지만 개인 간의 진짜 연결은 거의 존재하지 않는다. 소셜 미디어 계정은 전문가 팀이 운영하고, 모든 이미지와 말은 '브랜드'라는 것을 창조하기 위해 전문가가 공들여 제작하고 선별한 것이다.
브랜드는 특정 종류의 이야기다. 상품을 브랜딩한다는 것은 그 상품에 대한 이야기를 들려준다는 뜻이다. 이야기는 상품의 실제 품질과는 거의 관계가 없지만 소비자들은 그것을 듣고 해당 상품을 떠올린다. 예를 들어 코카콜라사는 수십 년 동안 코카콜라 음료에 대한 이야기를 반복적으로 들려주는 광고에 수백억 달러를 투자했다.' 사람들은 그 이야기를 하도 많이 보고 들어서 특정 재료로 맛을 낸 물을 볼 때마다 재미나 행복, 젊음을 떠올리게 되었다(충치, 비만, 플라스틱 쓰레기가 아니라). 이것이 브랜딩이다.

- 예수의 최후의 만찬이 유대인의 유월절 식사였디는 점은 흥미로운 대목이다. 복음서에 따르면 예수는 십자가에 못 박허기 직전 제자들과 그 저녁 식사를 함께 했다. 유대교 전통에서 유월절의 목적은 인위적인 기억을 만들고 재현하는 것이다. 유대인 가족들은 매년 유월절 전날 저녁에 함께 모여 음식을 먹으면서 '자신들의' 이집트 탈출을 떠올린다. 그들은 야급의 자손들이 이집트에서의 노예생활로부터 어떻게 벗어났는지 이야기해야 할 뿐만 아니라, 어떻게 자신들이 이집트인들에게 몸소 고통받았고, 어떻게 홍해가 갈라지는 것을 직접 보았고, 어떻게 시나이산에서 여호와에게 몸소 십계명을 받았는지 기억해야 한다.

- 유월절 의식에 대한 전통은 이책((하가다)은 "모든 세대의 유대인은 마치 자신이 직접 이집트에서 탈출한 것처럼 생각해야 할 의무가 있다"고 강력하게 주장한다. 누군가는 그것이 허구이며 자신들이 직접 이집트에서 나온 건 아니라고반박할 수도 있다. 그럴 경우에 대비하여 유대교 현자들이 준비해둔 대답이 있다. 그들은 역사에 존재한 모든 유대인의 영혼은 태어나기 오래전에 여호와가 창조했으며 이 모든 영혼은 시나이산에 있었다고 주장한다.' 유대인 소셜 미디어 인플루언서인 살바도르 리트박은 2018년 자신의 온라인 팔로어들에게 다음과 같이 설명했다. "여러분과 나는 그곳에 함께 있었습니다. 마치 우리가 직접 이집트를 떠난 것처럼 여기는 의무를 다할 때 그것은 단지 은유가 아닙니다. 우리는 이집트 탈출을 상상하지 않고 그것을 기억합니다."

- 그래서 매년 유대력에서 가장 중요한 축제가 찾아올 때마다 수백만명의 유대인들은 자신들이 직접 목격하지 않았고 십중팔구 일어나지도 않았을 일을 마치기억하고 있는 것처럼 연극한다. 현대의 수많은 연구가 보여주듯이, 가짜 기억을 반복적으로 말하다 보면 결국에는 진짜 기억으로 받아들이게 된다. 서로를 모르는 두 유대인이 처음 만나도 그들은 자신들이 같은 가족이고 이집트에서 함께 노예생활을 했으며 시나이산에 함께 있었다고느낄수 있다. 이런유대감이 수백년 동안 여러 대륙에 걸친 유대인 네트워크를 지탱해주었다.

- 매머드 사냥에 나서는 무리는 당연히 매머드에 대한 정확한 사실을 알아야 했다. 그들이 주문을 외워서 매머드를 죽일 수 있다고 믿였다면 사냥 원정은 실페했을 것이다. 하지만 메머드에 대한 사실을 아는 것만으로는 충분하지 않았다. 사냥에 나서는 사람들은 죽음을 감수하고 큰 용기를 발휘할 필요도 있었다. 그런데 그들이 어떤 주문을 외우면 죽은 사냥꾼들이 사후에 좋은 곳으로 갈 수 있다고 믿었다면 사냥 원정의 성공 확률이 휠씬 높았을 것이다. 설령 주문이 객관적으로는 효력이 없었고 죽은 사냥꾼들에게도 실질적인 도움이되지 않았을지라도, 살아 있는 사냥꾼들의 용기와 연대 의식을 북동
워 사냥의 성공에 결정적 기여를 했을 것이다.
만일 당신이 폭탄을 만들 때 물리학적 사실을 무시한다면 그 폭탄은 폭발하지 않을 것이다. 하지만 이데올로기를 구축할 때는 물리학적 사실을 무시해도 이데올로기는 여전히 폭발적인 결과를 가져올 것이다. 힘은 진실과 질서 모두에서 나오지만, 현실에서 폭탄제조법이나 매머드 사냥법을 아는 사람들에게 지시를 내리는 쪽은 대개 이데올로기를 구축하고 질서를 유지하는 방법을 아는 사람들이다. 실제로 로버트 오펜하이머가 프랭클린 델러노 루스벨트에게
복종했지그 반대가 아니었다. 마찬가지로 베르너 하이젠베르크가 아돌프 히틀러에게 복종했고, 이고리 쿠르차토프는 이오시프 스탈린의 결정을 따랐으며, 현대 이란의 핵물리학 전문가들은 이슬람교의 시아파 신학 전문가들의 명령을 따른다.

- 순진한 관점이 주장하는 것과 달리 정보는 진실의 원재료가 아니며, 인간의 정보 네트워크는 진실을 발견하는 것만이 목표가 아니다. 그렇다고 해서 포풀리스트의 관점처럼 정보가 무기에 불과한 것도 아니다. 오히려 인간의 정보 네트워크가 성공하기 위해서는 진실 발견과 질서 유지라는 두 가지 일을 동시에 해야 한다. 따라서 역사가 전개됨에 따라 인간의 정보 네트워크는 별개의 두 가지 기술을 개발해왔다. 한편으로 네트워크는 순진한 정보관의 예상대로 약제, 매머드, 핵물리학 같은 것들을 더 정확하게 이해하기 위해 정보를 처리하는 방법을 배웠다. 동시에 네트워크는 더 많은 사람들 사이에서 더 강력한 사회질서를 유지하기 위해서는 정보를 어떻게 활용해야 하는지도 배웠다. 즉, 사실 그대로 전달하는 것 외에도 허구, 환상, 선전, 때로는 새빨간 거짓말까지 이용하게 되었다.

- 문서는 유기체가 아니라서 생물학법칙을 따르지 않으며, 진화에 의해 질서 있게 정리되어 있지도 않다. 세금 신고서는 세금 신고서 선반에서 열리지 않는다. 세금 신고서는 누군가가 그 선반에 가져다놓아야 한다. 그러기 위해서는 먼저 정보를 선반별로 분류하는 아이디어를 생각해내야 하고, 어떤 문서를 어느 선반에 둘지 결정해야 한다. 단순히 숲에 존재하는 질서를 발견하기만 하면 되는 채집자들과 달리, 기록 관리자는 세상의 새로운 질서를 고안해야 한다. 그 질서를 관료제라고 부른다.
대규모 조직에 속한 사람들이 검색 문제를 해결하여 더 크고 강력한 정보 네트워크를 만들어벌 수 있었던 비결이 바로 관료제였다. 하지만 신화와 마찬가지로 관료제도 질서를 위해 진실을 희생시키는 경향이 있다. 새로운 질서를 만들어 그것을 세상에 도입하는과정에서 관료제는 관료제만의 특징적인 방식으로 사람들이 세상을 보는 관점을 왜곡했다. 사람들에게 잘못된 꼬리표를 붙여 차별하는 편향된 알고리즘이나, 인간의 필요와 감정을 무시하는 경직
된 프로토콜 등 21세기 정보 네트워크가 안고 있는 문제들 대부분은 컴퓨터 시대에 새로 생긴 것이 아니다. 이런 문제들은 컴퓨터라는 것을 상상조차못 했던 때부터 존재해온 전형적인 관료주의적 문제들이다.

- 권력 이동은 세상의 힘의 균형을 바꾸었다. 좋든 나쁘든 문서를 다를 줄 아는 관료 집단은 일반 시민을 회생시켜 중앙정부의 권한을 강화하는 경향이 있었다. 문서와 기록 보관소 덕분에 중앙에서 세금을 부과하고, 재판하고, 징집하는 것이 더 쉬위진 면이 있었지만 그게 전부는 아니었다. 관료 권력의 작동 방식을 이해하기 어려워지면서 대중의 입장에서는 정부에 영향을 미치거나 저항하거나 그것을 회피하는 것이 더 어려워졌다. 관료제가 사람들에게
하수도, 교육, 안전을 제공하는 선의의 힘이었을 때도 여전히 관료제는 지배자와 피지배자 사이의 격차를 넓히는 경향이 있었다. 관료제 덕분에 중앙정부는 국민에 대한 정보를 더 많이 수집하고 기록할 수 있었지만, 국민은 시스템 자체가 어떻게 작동하는지 이해하기 어려운 처지가 되었다.

- 교회는 사회를 일종의 반향실 안에 가두고 교회를 지지하는 책만 보급할 수 있게 했고, 보급된 책들은 거의 모두 교회를 지지하는 책이었으니 사람들은 당연히 교회를 지지했다. 심지어 글을 몰라서 책을 읽지 못하는 평신도들도 이 귀한 텍스트를 낭독하는 소리나 내용에 대한 설명을 들으며 경외심을 느꼈다. 신약과 같은 이른바 무오류의 초인적 기술에 대한 믿음은 이런 식으로, 모든 반대 의견을 '잘못된 것'으로 억압하고 아무도 교회의 견해에 의문을 제기하지 못하게 하는, 극도로 강력하지만 오류를 범하는 인간의 기관인 가톨릭교회를 등장시켰다.
자크 푸르니에와 같은 가톨릭의 정보 전문가들은 사도 바울의 편지를 아우구스티누스가 해석한 것을 다시 토마스 아퀴나스가 해석한 텍스트를 읽고 거기에 자신의 해석을 추가하면서 하루를 보냈다.
이 모든 상호 관련된 텍스트는 현실을 재현하지 않았으며, 유대교 랍비들이 만들어낸 것보다 휠씬 더 크고 강력한 새로운 정보 생태계를 탄생시켰다. 중세 유럽인들은 그 안에 갇혀 있었고, 텍스트에 관한 텍스트에 관한 텍스트가 그들의 일상생활, 생각, 감정을 빚었다.

- 강조했듯이 투표가 전부가 아니다. 1824년의 미국을 민주주의 국가로 봐야 하는 휠씬 더 중요한 이유가 있다. 미국이라는 새로운 국가는 당시 대부분의 정치체제와 비교해 휠씬 강력한 자정 장치들을 갖추고 있었다. 상원과 의사당
에서알 수 있듯이, 건국의 아버지들은 고대 로마에서 영감을 받았고(상원은 로마공화정 시대의 윈로원에서 유래했고, 국회의사당은 로마의 정치 중심지였던 카피톨리누스 언덕에서 유래했다-옮긴이) 로마공화정이 결국 전제적인 제국으로 변한 것을 잘 알고 있었다. 그들은 미국에도 카이사르 같은 사람이 나타나 자신들의 공화국에 비슷한 일을 할까봐 우려하여 견제와 균형을 위한 여러 가지 중첩되는 자정 장치를 마련했다. 그중 하나가 자유로운 언론이었다. 고대 로마에서는 영토와 인구가 늘어나면서 공화국의 자정 장치가 마비되었지만, 미국에서는 현대 정보 기술이 언론의 자유와 결합해 국가가 대서양에서 태평양까지 확장되는 동안에도 자정 장치가 계속 돌아갈수 있도록 도왔다.
이런 자정 장치 덕분에 미국은 점차 투표권을 확대하고, 노예제를 폐지하고, 더포용적인 민주주의 국가로 변모할수 있었다. 건국의 아버지들은 노예제를 지지하고 여성에게 투표권을 주지 않는 등 엄청난 실수를 범했지만, 동시에 후손들이 이런 실수를 바로잡을 수 있는 도구를 제공했다. 이것야말로 그들의가장 위대한 유산이다.

- 언제나 그렇듯이, 우리는 기술 결정론을 조심해야 한다. 즉 대중매체의 등장이 대규모 민주주의로 이어졌다고 단정해서는 안 된다.
대중매체는 대규모 민주주의를 가능하게 만들었을 쁜, 필연으로 만들지 않았다. 대중매체는 다른 유형의 정치체제도 가능하게 만들었다. 현대의 새로운 정보 기술은 무엇보다도 대규모 전체주의 정권의 문을 열었다. 닉슨과 케네디처럼, 스탈린과 흐루쇼프도 라디오를 통해 메시지를 내면 블라디보스토크에서부터 칼리닌그라드까지 수억 명의 사람들이 동시에 들을 수 있었다. 또한 전화와 전신을 통해 매일 수백만 명의 비밀경찰 요원과 정보원으로부터 보고를 받을 수 있었다. (링컨의 게티즈버그 연설 때 일어났던 일처럼) 블라디보스
토크나 칼리닌그라드의 신문이 최고 지도자의 최근 연설이 어리석었다고 썼다면, 편집장부터 식자공까지 모든 관련자가 KGB의 방문을 받았을 것이다.

- 교회가 전체주의적인 기관에 가까워진 것은 근대 정보 기술이 보급된 근대 후기에 와서였다. 우리는 교황을 중세의 유물로 생각하기 쉽지만, 사실 교황은 근대 기술을 잘다룬 사람들이다. 18세기에 교황은 전 세계 가톨릭교회에 대한 통제력 이거의 없었고, 볼로냐나 페라라의 지배권을 놓고 이탈리아의 다른 세력들과 경쟁하는 지역군주의 지위로 격하되었다. 그러나 라디오가 등장하면서 교황은 지구상에서 가장 영향력이 사람중 하나가 되었다. 교황은 바티칸궁에 앉아서, 자신의 말을 왜곡하거나 숨길지도 모르는 대주교, 주교, 교구 신부를 통하지 않고 폴란드에서부터 필리핀에 이르기까지 수백만 명의 가톨릭 신도들에게 직접 연설할수 있었다.

- 이전 시대와 마찬가지로 정보 네트워크들은 진실과 질서 사이에서 울바른 균형을 찾기 위해 고군분투할 것이다. 어떤 네트워크는 진실을 우선시하고 강력한 자정 장치를 유지할 것이다. 또 어떤 네트워크는 정반대 선택을 할 것이다. 성경의 정경화, 근대 초기의 마녀사냥, 스탈린주의 집단화 운동에서 얻은 교훈 중 많은 부분이 여전히 유효할 것이며, 어쩌면 우리는 같은 교훈을 얻게 될지도 모른다. 하지만 현재의 정보혁명은 우리가 전에 본 어떤 것과도 다르며 잠재적으로 휠씬 더 위험한 독특한 특징도 몇 가지 가지고 있다.

- 알고리즘의 정치적 영향력에 대해서는 더 많은논의가 필요하다.
무엇보다도 많은 독자들은 알고리즘이 독립적인 결정을 내린다는 주장에 동의하지 않을 것이고, 알고리즘이 한모든 일은 인간개발자가 작성한 코드와 인간 경영진이 채택한 사업 모델의 결과물이라고 주장할지도 모른다. 이 책의 입장은 다르다. 인간 병사들은 자신들의 유전 코드와 상사의 명령을 따르지만 그럼에도 여전히 독립적인 결정을 할수 있다. AI 알고리즘도 마찬가지임을 이해하는 것이 중요하다 알고리즘도 인간 개발자가 프로그래밍하지 않은 것을스스로 학습할수 있고 인간 경영진이 예측하지 못한 결정을 내릴수있다. 수많은 새로운 주체들이 세상에 등장하여 강력한 영향력을 행사하고 있다는 것, 이것이 AI 혁명의 본질이다.

- 지능은 목표(예를 들어 소설 미디어 플랫품에서 사용자 참여를 극대화하는 것)를 달성하는 능력이다. 의식은 고통. 쾌락, 사랑, 증오 같은 주관적인 감정을 경험할 수 있는 능력이다. 인간과 여타 포유류에게서는 지능이 종종 의식과 합께 나타난다. 페이스북 경영진과 개발자들은 자신들의 감정에 의지하여 결정을 내리고, 문제를 해결하고, 목표를 달성한다.
하지만 인간과 포유류에게서 일어나는 일을 바탕으로 존재 가능한 모든 실체의 상황을 추론하는 것은 잘못이다. 박테리아와 식물은 분명히 의식이 없지만 지능은 있다. 그들도 환경으로부터 정보를 수집하고, 복잡한 선택을 한다. 그리고 먹이 획득, 번식, 다른 유기체와의 협력, 포식자와 기생충 피하기 등을 위한 독창적인 전략을 모색한다. 인간도 스스로 의식하지 못하는 상태에서 지능적인 결정을 내린다. 호흡부터 소화까지 우리 몸에서 일어나는 과정의 99퍼센트는 의식적인 결정 없이 일어난다. 더 많은 아드레날린 또는 도파민을 생산하기로 결정하는 것은 우리 뇌다. 우리는 그 결정을 인지할 수 있지만 의식적으로 결정하지는 않는다.의 로형야족 사례는 컴퓨터도 마찬가지임을 암시한다. 컴퓨터는 고통, 사랑, 두려움을 느끼지 못하지만 그럼에도 사용자 참여를 극대화하는 결정을 내릴 수 있으며, 중요한 역사적 사건에 영향을 미칠 수도 있다.

- 페이스북 알고리즘은 더 많은 사람들이 페이스북을 사용했으면 좋겠다는 '욕망'을 느끼지 않고, 사람들이 온라인에서 더 많은 시간을 보낸다고 해서 기쁨을 느끼지 않으며, 참여 시간이 줄어든다고 해서 슬픔을 느끼지도 않는다. 우리는 또한 '결정하다' '거짓말하다' '척하다'와 같은 말도 의식 있는 존재에게만 쓰자고 합의할 수 있고, 그러면 GPT-4가 태스크래빗 직원과 대화를 나누는 장면을 기술할 때 그런 단어들을 사용해서는 안 된다. 하지만 이 경우 우리는 비의식적 존재의 '목표'와 '결정'을 말할 때 사용할 새로운 용어를 만들어야 한다. 나는 신조어를 피하고 싶기 때문에 컴퓨터, 알고리즘, 챗봇의 경우에도 목표와 결정이라는 표현을 그대로 사용하려고 한다. 따라서 내가 이런 표현을 사용한다고 해서 컴퓨터가 어떤 종류의 의식을 가지고 있다는 것을 암시하지 않는다는 점에 유의하라. 의식에 대해서는 이전 저서에서 자세하게 다루었으며," 앞으로 탐구할 이 책의 주요 내용은 컴퓨터가 의식을 가질 수 있는가가 아니다. 이 책의 논지는 스스로 목표를 추구하고 결정을 내릴 수 있
는 컴퓨터의 출현이 정보 네트워크의 기본 구조를 변화시킨다는 것이다.

- 국가들은 수천년 동안 돈에 과세했으며, 정보에 과세하는 방법을 모른다. 적어도 아직까지는 말이다. 우리가 실제로 화폐 거래가 지배하는 경제에서 정보 거래가 지배하는 경제로 이동하고 있다면국가들은 어떻게 대응해야 할까? 중국의 사회신용 시스템은 국가가새로운 상황에 적할수 있는 한가지 방법이다. 사회신용 시스템은 본질적으로 새로운 종류의 돈이다.
즉 정보 기반 화폐다. 모든 국가가 중국 사례를 모방하여 자체적인 사회신용을 발행해야 할까? 다른 전략이 있을까?

- 정치는 진실과 질서 사이의 섬세한 균형이 필요한 일이다. 컴퓨터가 정보 네트워크의 중요한 구성원이 되면서, 진실을 발견하고 질서를 유지하는 임무가 점점 더 컴퓨터로 옮겨 가고 있다. 예를 들어, 기후변화에 대한 진실을 밝히는 일은 점점 컴퓨터만이 할 수 있는 계산에 의존하며, 기후변화에 대한 사회적 합의를 도출하는 일은 점점 더 우리의 뉴스 피드를 선별하는 추천 알고리즘과 뉴스 기사, 가짜 뉴스, 허구를 작성하는 창의적인 알고리즘에 의존하고 있다. 현재 우리는 기후변화와 관련하여 정치적 교착상태에 빠져 있다. 이는 어느 정도 컴퓨터가 교착상태에 빠져 있는 탓이다. 한 집단의 컴퓨터들이 실행한 계산은 생태 재앙이 임박했다고 경고하지만, 또 다른 집단의 컴퓨터들은 그런 경고에 의문을 제기하는 동영상을 추천한다. 어느 쪽 컴퓨터들을 믿어야 할까? 인간 정치는 이제 컴퓨터 정치이기도 하다.

- 다양한 하향식 감시에 더하여 개인들이 서로를 지속적으로 감시하는 개인간 시스템도 있다. 예를 들어 온라인 여행 플랫폼기업인 트립어드바이저는 호텔, 휴가용 숙박 시설 레스토랑, 관광객을 모니터링하는 전세계적인 감시 시스템을 운영한다. 2019년에 트립어드바이저에서 4억6,300만 명의 여행자가8억5,900만 건의 리뷰를 훑어보았고, 86억 곳의 숙박 시설, 레스토랑, 관광 명소를 검색했다. 특정 레스토랑이 가볼 만한 곳인지 판단하는 것은 어떤 정교한 AI 알고리즘이 아니라 이용자들 본인이다. 그 레스토랑에서 식사를 한 사람들은 1점부터 5점까지 점수를 매길 뿐 아니라 사진과 리뷰를 올릴 수 있다. 트립어드바이저 알고리즘이 하는 일은 단순히 그 데이터를 집계하여 레스토랑의 평균 점수를 계산하고, 동종의 다른 레스토랑들과 비교해 순위를 매기고, 그 결과를 모두가 볼 수 있게 공개하는 것뿐이다.

- 알고리즘은 동시에 이용자들도 평가한다. 이용자가 리뷰나 여행후기를 올리면 100점을 얻고, 사진이나 동영상을 올리면 30점, 온라인 커뮤니티에 게시물을 올리면 20점, 시설물을 평가하면 5점, 다른 사람들의 리뷰에 투표하면 1점을 얻는다. 그 점수를 바탕으로 이용자는 레벨 1(300점)부터 레벨6(1만 점)까지 등급이 매겨져 그에 따른 특전을 제공받는다. 인종차별적인 댓글을 남기거나 부당한 악평을 작성하여 특정 레스토랑을 협박하는 등 시스템의 규칙을 위반하는 이용자는 불이익을 받거나 강제 탈퇴 처분을 받을 수 있다.
이것이 바로 개인 간 감시다. 모두가 다른 모두를 끊임없이 평가한다. 트립어드바이저는 카메라나 스파이웨어에 투자할 필요도, 고도로 정교한 생체 인식 알고리즘을 개발할 필요도 없다. 수백만 명의 인간 이용자들이 회사 운영에 필요한 거의 모든 데이터를 제공하고 거의 모든 업무를 수행한다. 트립어드바이저 알고리즘이 하는 일은 인간이 매긴 점수를 집계하여 웹에 게시하는 것뿐이다.

- 개인 간 감시 네트워크는 이런 사생활 감각을 없었다. 직원이 혹시라도 고객을 만족시키지 못하면 레스토랑은 나쁜 리뷰를 받게 되고, 이는 향후 수천 명의 잠재적 고객이 결정을 내리는 데 영향을 미칠 수 있다. 좋든 싫든 힘의 균형은 고객 쪽으로 기울고, 직원들은 대중의 시선에 전보다 많이 노출된다고 느낀다. 작가이자 저널리스트인 린다 킨슬러의 말에 따르면 "트립어드바이저 이전에는 고객이 명목상으로만 왕이었지만, 지금은 인생을 좌지우지하는 힘을 가진 진정한 폭군이 되었다. 오늘날 수백만 명의 택시 기사, 이발사, 미용사 및 기타 서비스업 종사자들이 이와 같은 사생활 상실을 겪고 있다. 과거에는 택시를 타거나 이발소에 들어온다는 것은 누군가의 사적인 공간에 들어온다는 뜻이었다. 하지만 이제 고객들은 택시를 타거나 이발소에 올 때마다 카메라, 마이크, 감시 네트워크, 그리고 수천 명의 잠재적 시청자를 데리고 들어온다. 이것이 바로 정부의 개입 없는 개인 간 감시 네트워크의 토대다.

- 빈틈없는 화폐 시장과 모호한 평판 시장의 차이는 지금도 유지되고 있다. 레스토랑 주인은 손님이 음식 값을 다 지불하지 않으면 그 사실을 알아채고 항의할 것이다. 메뉴판에 있는 모든 음식은 정확한 가격이 매겨져 있기 때문이다. 하지만 자신의 선행을 사회가 제대로 등록하지 않았다는 것을 레스토랑 주인이 어떻게 알까? 노인고객을 돕거나 무례한 고객에게 인내심 있게 대하는데도 적절한 보상을 받지 못했다면 그는 누구에게 불만을 제기할 수 있을까? 경우에 따라서는 트립어드바이저에 불만을 제기할 수 있을 테고, 그럴 때 화폐 시장과 평판 시장의 경계가 허물어져 레스토랑과 호텔의 모호한 평판 시스템이 정확한 포인트로 계산되는 수학 시스템으로 바뀐다. 사회신용이란 이런 감시 방법을 레스토랑과 호텔에서 모든 것으로 확대하는 것이다. 가장 극단적인 유형의 사회신용 시스템에서는 모든 사람의 모든 행동을 계산해 평판 총점을 매기고 이 점수가 사람들이 할 수 있는 모든 것을 결정한다.

- 박수 테스트는 사람들의 진실은 밝히지 못했지만, 사람들에게 질서를 강제하고 특정 방식으로 행동하도록 강요하는 데는 효과적이었다. 이런 방법은 시간이 갈수록 비굴, 위선, 냉소주의를 퍼뜨렸다.
이것이 소련의 정보 네트워크가 수십 년 동안 수억 명의 사람들에게 한 일이다. 양자역학에서는 아원자 입자를 관찰하는 행위가 입자의 행동을 바꾼다. 인간의 관찰 행위도 마찬가지다. 관찰 도구가 강력해질수록 영향력도 커진다.
소련 정권은 역사상 가장 막강한 정보 네트워크를 구축했다. 소련은 시민들에 대한 방대한 데이터를 수집하고 처리했다. 또한 마르크스, 잉겔스, 레닌, 스탈린의 오류 없는 이론들을 통해 인류에 대한 깊은 이해를 얻었다고 주장했다. 하지만 사실 소련의 정보 네트워크는 인간 본성의 많은 중요한 측면을 무시했으며, 소련의 정책이 자국민에게 끔직한 고통을 주었다는 사실을 완전허 부인했다.
그 네트워크는 지혜를 생산하는 대신 질서를 생산했고, 인간에 관한 보편적 진실을 드러내는 대신 사실상 호모 소비에티쿠스라는 새로운 인간형을 창조했다.

- 2016년에 작성된 페이스북의 한내부 문건에 따르면 페이스북은 다음과 같은 사실을 발견했다. "극단주의 그룹에 가입한 사례의 64퍼센트가 페이스북 추천툴 때문이다. (-) 우리의 추천 시스템이 문제를 키우고 있다." 내부 고발자 프랜시스 하우건이 유출한, 2019년 8월에 작성된 페이스북 내부의 비밀문건에는 이렇게 적혀 있었다. 페페이스북및 관련 앱들에서 유포되는혐오 발언, 분열을 조장하는 정치적 발언, 허위 정보가 전세계 사회에 영향을 미치고 있다는 증거를 다양한 출처로부터 입수했다.
또한 바이럴성(빠른 전파성), 추천, 참여 최적화 둥 페이스북의 핵심기능들이 이런 유형의 발언이 페이스북에 퍼지는 데중요한 역할을하고 있다는 설득력 있는 증거도 입수했다."

- 2019년 12월에 유출된 또 다른 문건에는 이렇게 언급되어 있었다. "친한 친구나 가족과의 소통에서는 볼 수 없는 바이럴성은 우리가 인터넷 생태계에 도입한 새로운 현상이며, (..) 사업상의 이유로 의도적으로 장려하기 때문에 발생한다." 이 문건은 "건강이나 정치처럼 관심도가 높은 주제에 대한 콘텐츠의 순위를 참여도(클릭, 좋아요, 댓글, 공유)를 기준으로 매기는 것은 왜곡된 인센티브(의도하지않은 부정적 결과를 초래하는 인센티브 시스템 옮긴이)와 진실성 문제(개인이나 조직의 가치, 원칙, 윤리적 기준에 어긋나는 행동이나 상황-옮긴이)를 야기한다"고 지적했다. 그리고 이 문건은 결정적으로 이렇게 밝혔
다. "우리 랭킹 시스템은 사용자 참여를 유도하는 콘텐츠와 다른 사용자에게 공유될 가능성이 높은 콘텐츠를 각각 예측하는 별개의 모델을 운영하고 있다. 불행히도 조사에 따르면 분노와 허위 정보가 바이럴성이 더 높았다." 유출된 이 문건은 한 가지 중요한 권고를 제시했다. 수백만 명이 이용하는 플랫폼에서 유해한 콘텐츠를 모두 삭제할 수는 없으니, 적어도 "유해한 콘텐츠를 비정상적으로 확산시키는 것을 멈춰야 한다"는 것이다

- 역사에는 결정적인 군사적 승리가 정치적 낭패로 이어진 사례가 부지기수다. 클라우제비츠에게 가장 명백한 예는 가까운 곳에 있었다. 즉 나폴레옹이 갔던 길이다. 나폴레옹의 군사적 천재성에는 아무도 이의를 제기하지 않는다. 나폴레옹은 전략과 전술 모두에 능통했다. 하지만 그는 일련의 승리로 광대한 영토를 일시적으로 장악할 수 있었을망정 지속적인 정치적 성과를 얻지는 못했다. 그의 군사 정복은 대부분의 유럽 열강들이 그에게 맞서 연합할 빌미를
제공했을 뿐이며, 그의 제국은 그가 스스로 황제에 오른 지 10년 만에 무너졌다.
사실 장기적인 관점에서 보면 나폴레웅의 승리는 프랑스가 영구적으로 쇠퇴하는 길을 뒤았다. 수 세기 동안 프랑스는 유럽에서 지정학적으로가장 영향력 있는 국가였는데, 이는 무엇보다도 이탈리아와 독일이 통일된 정치적 실체로 존재하지 않았기 때문이다.
이탈리아는 수십 개의 전쟁 중인 도시국가, 봉건 영지, 교회 영토가 뒤섞여 있었다. 독일의 경우는 명목상의 종주권을 가진 신성로마제국아래 1,000개가 넘는 독립적인 정치체가 느슨하게 결합된, 훨씬 더 기괴한 직소퍼즐이었다. 1789년에 독일이나 이탈리아가 프랑스를 침략한다는 것은 상상도 못할 일이었다. 독일 군대, 또는이탈리아 군대 같은 것이 존재하지 않았기 때문이다.

- 나폴레옹은 자신의 제국을 중앙 유럽과 이탈리아반도로 확장하면서 1806년에 신성로마제국을 해체했고, 독일과 이탈리아의 여러 작은 공국들을더큰 영토 블록으로 통합하여 라인동맹과 이탈리아왕국을 세웠으며, 이 영토들을 나폴레옹 왕조 통치 아래 통일하려고 했다. 한편으로 그의 승리한 군대는 근대 민족주의와 국민주권의 이상을 독일과 이탈리아 땅에 전파했다. 사실 나폴레옹은 기존의 구조를 해체하여 독일인들과 이탈리아인들에게 민족 통합의 경험을 맛보게 함으로써 의도치 않게 독일(1866~1871)과 이탈리아1848~1871)의 최종 통합을 위한 토대를 마련했다. 비슷한 시기에 여러 작은 나라로 비슷하게 나눠져 있던 두 국가가 하나의 민족국가로 통일되는 과정은 1870년부터 1871년까지 이어진 프로이센-프랑스 전쟁에서 독일이 프랑스를 상대로 승리함으로써 마무리되었다. 새롭게 통일되어 민족주의 열기로 달아오른 두 강국을 동쪽 국경에 두게 된 프랑스는 다시는 예전의 지배적 지위를 되찾지 못했다.

- 수십억 대의 컴퓨터가 상호작용하는 네트워크가 세상에 대한 막대한 양의 정보를 축적하고 있다고 생각해보라. 네트워크로 연결된 컴퓨터들은 다양한 목표를 추구하기 때문에, 서로 소통하고 협력하는 데 도움이 되는 공동의 세계 모델을 만들어낸다.이 공동의 모델은 아마 오류, 허구, 누락으로 점철되어 있을 것이고, 따라서 우주에 대한 사실적 설명이라기보다는 일종의 신화일 것이다. 예를 들어, 인종차별 같은 인간의 논리가 아니라 우리가 이해할 수 없는 어떤 컴퓨터 논리에 의해 결정된 가짜 범주들로 인간을 나누는 어떤 사회신용 시스템이 만들어질 수 있다. 우리는 사는 동안 매일 이 컴퓨터 신화를 접하게 될 것이다. 그것이 컴퓨터가 우리에 대해 내리는 수많은 결정에 영향을 미칠 테니 말이다. 하지만 이 신화적 모델은 비유기적 존재들이 다른 비유기적 존재들과 행동을 조율하기 위해 만들어진 것이라서, 옛날의 생물학적 드라마와는 전혀 무관하며 따라서 우리에게는 완전히 낯설 것이다.

- 모든 알고리즘이 학습해야 할 첫번째 교훈은 자기가 오류를 범할 수 있다는 것이다. 아기 알고리즘은 스스로를 의심하고, 불확실성을 알리고, 사전 예방 원칙을 지키는 법을 배워야 한다. 이것은 불가능한 일이 아니다. 이미 개발자들은 AI가 자기 의심을 표현하고, 피드백을 요청하고, 실수를 인정하도록 하는 데 상당한 진척을 보이고 있다.
하지만 알고리즘이 자신의 오류 가능성을 인지하고 있다고 해서 인간이 손을 놓아서는 안 된다. AI가 발전하는 속도를 고려하면, AI가 앞으로 어떻게 진화할지 예측하여 미래에 일어날 모든 위험에 대비해 안전장치를 마련해두는 것은 불가능하다. 이것은 AI를 핵같은 이전의 실존적 위협과 차별화하는 핵심적인 차이다. 핵기술의 경우 전면적인 핵전쟁을 포함해 우리가 쉽게 예상할 수 있는 몇 가지 종말 시나리오가 있었다. 즉 사전에 위험을 명확하게 완화할 방법을 모색하는 것이 가능했다는 뜻이다.

- 사회가 점점 더 많은 결정을 컴퓨터에 맡길수록 민주주의의 자정기능, 투명성, 책임성이 약화된다. 선출직 공무원이 자신이 이해할 수도 없는 알고리즘을 어떻게 통제할 수 있겠는가? 이에 따라 '설명을 요구할 권리'라는 새로운 인권을 성문화하라는 요구가 높아지고 있다. 2018년 발효된 유럽연합의 일반 데이터 보호 규정Genenal Data Protection regulation, GDPR은, 알고리즘이 한 인간에 대한 결정을 내릴 경우(예를 들어 신용 연장을 거부하는것) 해당인은 결정에 대해 설명을 듣고 인간이 운영하는 기관에 이의를 제기할 권리가 있다고 명시한다." 이상적으로는 이렇게 하면 알고리즘의 편향이 최소화되고, 민주주의의 자정 장치(시민, 법원, 언론, 시민 단체 등의 참여와 감시-옮긴이)를 통해 컴퓨터의 중대한 실수 중 적어도 일부를 찾아내어 바로잡을 수 있을 것이다.

- 그렇다면, 매우 지능적인 봇 수백만 개, 나아가 수십억 개가 엄청나게 호소력 있는 정치 선언문을 작성하고 딥페이크 이미지와 영상을 만들 뿐 아니라 심지어 인간의 신뢰와 우정까지 얻을 수 있을 때 민주주의 토론은 어떻게 될까? AI와 온라인 정치 토론을 한다면, AI의 의견을 바꾸려고 시도하는 것은 시간 낭비다. AI는 의식이 없는 존재라서 정치에는 실제로 관심이 없을뿐더러 투표할 수도 없기 때문이다. 하지만 AI와 대화를 더 많이 나눌수록 AI는 우리를 더 잘 알게 될 것이고, 그럴수록 우리의 신뢰를 얻고 자신의 주장을 연마
하여 결국에는 우리의 견해를 바꿀 수도 있을 것이다. 사람들의 가슴과 머리를 사로잡아야 하는 싸움에서 친밀감은 매우 강력한 무기다. 기존의 정당은 우리의 관심을 끌 수 있어도 친밀감을 대량 생산할 수는 없었다. 라디오는 지도자의 연설을 수백만 명에게 들려줄 수 있어도 청취자와 친구가 될 수는 없었다. 하지만 이제부터는 정당이나 외국 정부가 봇 군단을 배치하여 수백만 명의 시민과 친밀감을 쌍고 그 친밀감을 이용해 시민들의 세계관에 영향을 미칠 수 있을 것이다.

- 이 책에서 AI에 대한 논의를 성경과 같은 공인된 경전들에 대한 논의와 나란히 배치한 이유는 우리가 지금 AI에 권위를 부여하는 일종의 AI 정경화 과정에 있기 때문이다. 아타나시우스 주교와 같은 교부들이 <디모테오에게 보낸 첫째 편지>를 <성경> 데이터세트에 포함시키고 <바울과 테클라의 행전>은 제외하기로 결정한 일은 수천 년 동안 우리가 사는 세계에 영향을 미쳤다. 21세기까지 수십억명의 기독교인이 <바울과 테클라의 행전>의 관용적인 태도 대신 <디모테오에게 보낸 첫째 편지>의 여성 혐오 사상을 바탕으로 세계관을 형성했다. 지금도 방향을 되돌리기는 어려운데, 교부들이 성경에 아무런 자정 장치를 포함시키지 않기로 결정했기 때문이다. 오늘날 아타나시우스 주교에 해당하는 사람들은 AI의 초기 코드를 작성하고 AI가 학습할 데이터세트를 선택하는 개발자들이다. AI가 더 큰 힘과 권위를 가지면서 스스로 해석하는 거룩한 책이 되고 있는 지금, 개발자들이 내리는 결정은 수 세기 후까지 파장이 미칠 것이다.