2029 기계가 멈추는 날

- 기계는 20년 내에 인간이 할 수 있는 모든 일을 할 수 있게 될 것이다. (AI의 선구자 허버트 사이먼 Herbert Simon, 1965년)
- 최소한 현재 구현되고 있는 기계들은 그들에게 프로그램된 일 이외에는 다른 일을 하지 않는다. 이런 식의 상황이 계속되는 한, 상상 속 악의를 걱정할 필요는 없다. 스티븐 핑커는 다음과 같이 말했다.
(로봇이 초지능을 갖게 되면 인간을 노예로 삼을 것이란) 시나리오는
제트기가 독수리의 비행 능력을 능가했기 때문에 언젠가는 하늘에서 급강하해 가축을 덮칠 것이라는 생각과 비슷하다.  이런 오류는 지능을 동기와 혼동하고, 믿음을 욕구와, 추론을 목표와, 생각하는 것을 원하는 것과 혼동하는 데에서 비롯된다. 우리가 초인간 지능의 로봇을 발명한들 그들이 주인을 노예로 만들고 세계를 정복하고 싶어 할 이유가 있을까? 지능은 목표를 이루기 위해 새로운 수단을 효율적으로 사용하는 능력이다. 하지만 목표는 지능과 관련이 없다. 똑똑해지는 것과 뭔가를 원하는 것은 다르다.
- 기계 번역 프로그램은 '바이텍스트'bitext, 즉 원본과 번역본으로 이루어진 두 쌍의 문서를 통해 학습하면서 작동한다. 불행히도 웹상의 글 중 상당 부분(어떤 경우에는 전체 웹 문서의 50퍼센트에 이르기도 한다)이 사실상 기계 번역 프로그램으로 만들어졌다. 결과적으로 구글번역이 번역에서 실수를 저지르면 그 실수가 웹상의 문서로 남게 되고, 그 문서가 다시 데이터가 되어 실수를 강화하는 것이다. 
- 이와 비슷하게 많은 시스템이 인간 크라우드 워커crowdworker(인터넷에서 제공되는 데이터 입력, 구글의 URL 순위 지정, 기록 복사, 사진 태그 달기 등 비정규적이고 한시적인 업무를 수행하는 사람 - 옮긴이)에게 의존해 이미 지에 이름을 붙이는데, 때로 이런 크라우드 워커들도 AI로 작동되는 로 봇을 이용해서 일을 처리한다. AI 연구 공동체는 특정 작업을 인간이 했는지, 로봇이 했는지를 구별하는 기법을 개발했지만 이 과정 자체가 AI연구자와 짓궂은 크라우드 워커들 간의 대결 구도가 되어 어느 쪽도 영구적인 우위를 유지하지 못하는 상황이 되어버렸다. 그 결과 인간이 만들었다고 하는 고품질 데이터 중 많은 부분이 사실 기계가 만들어낸 것으로 밝혀지고 있다.
- 《대량살상 수학무기》의 저자 캐시 오닐이 강조했듯이 프로그램이 인종이나 민족을 기준으로 사용하지 않도록 만들어진다고 해도 지역, 소셜미디어 연결, 교육, 직업, 언어, 심지어는 즐겨 입는 옷에 이르기까지 대신 사용해서 동일한 결과를 가져오게 하는 온갖 종류의 '프록시proxy,
즉 연관 기능들이 있다. 더구나 프로그램이 내린 알고리즘에 따라 산 출된 결정은 객관성'이라는 가면을 쓰고 있어 관료들이나 기업의 중역 들에게 깊은 인상을 주고 일반 대중을 위협한다. 프로그램의 작업은 신 비에 쌓여 있다. 훈련 데이터는 기밀이고 프로그램은 독점적이며 의사결정 과정은 프로그램 디자이너조차 설명할 수 없는 블랙박스다. 따라서 개인은 알고리즘이 내린 결정이 부당하다고 느껴도 이의를 제기하기가 거의 불가능하다.
- 몇 년 전 근로자의 퇴사율을 낮추고 싶었던 제록스는 직원들이 얼마 나 회사를 다닐지 예측하는 빅데이터 프로그램을 배치했다. 이 프로그 램은 통근 시간이 대단히 큰 변수라는 것을 발견했다. 출근 시간이 긴 직원들이 직장을 빨리 그만두는 것은 당연한 일이다. 하지만 제록스의 경영진은 회사가 부유한 지역에 위치해 있기 때문에 통근 거리가 먼 사람을 고용하지 않는 것은 사실상 저소득층 혹은 중산층에 대한 차별과 마찬가지라는 점을 깨달았다. 이 회사는 이 기준을 고려 대상에서 제외했다. 인간의 면밀한 감시가 없다면 이런 종류의 편견은 계속해서 튀어나올 것이 분명하다.
현재의 AI가 가진 여덟 번째 문제는 AI가 잘못된 목표를 가지기 쉽다. 는 점이다. 딥마인드의 연구원 빅토리아 크라코프나 Victoria Krakovna는 이 런 일이 일어난 수십 가지 사례를 수집했다. 축구를 하는 로봇은 가능 한 한 공을 많이 차야 한다고 프로그램되자 공을 양 발 사이에 두고 빠르게 진동하는 전략을 개발했다. 프로그래머가 생각지도 못한 부분이 었다. 특정한 물건을 쥐는 법을 배워야 했던 로봇은 쥐는 법을 보여주는 이미지로 훈련을 받은 뒤 카메라와 물체 사이에 손을 넣기만 하면 된다 고 판단했다.  로봇에게는 그 상태가 물체를 쥐는 모습과 똑같아 보였 기 때문이다. 야심이라고는 없는 한 AI는 테트리스 게임을 하라는 과제가 주어지자 지는 위험을 감수하기보다는 무한정 게임을 멈추어 두는 편이 낫다는 판단을 내렸다.

- 아이디어, 실체, 추상, 초월에 관해서라면 나는 그들의 머리에 그런 개념을 도무지 집어넣을 수가 없었다. (조너선 스위프트 Jonathan Swift, 《걸리버 여행기》 중에서)
- 소립자들이 단순하고 보편적인 법칙을 따르리라고 기대하는 것과 인간이 같은 것을 따르리라고 기대하는 것은 전혀 다른 문제다. (자비네 호젠펠더sabine Hossenfelder, 수학의 함정 중에서)
- 딥러닝은 어떤 원리로 작동하는 것일까? 딥러닝은 두 가지 근 본적인 아이디어를 기반으로 한다.
첫 번째 핵심 아이디어인 '계층적 패턴 인식'hierarchical pattern recognition은 1950년대에 이루어진 일련의 뇌 연구 실험에서 비롯됐다. 신경생 리학자 데이비드 허블David Hubel과 토르스텐 비셀rorsten Wiesel은 이 실험 으로 1981년 노벨 생리의학상을 수상했다. 허블과 비셀은 시각 시스템 에 존재하는 여러 뉴런들이 시각적 자극에 뚜렷이 다른 방식으로 반응 한다는 점을 발견했다. 어떤 뉴런은 특정한 방향의 선과 같은 단순한 자 극에 대단히 활발하게 반응하는 반면, 어떤 뉴런은 보다 복잡한 자극에 격렬한 반응을 보였다. 그들이 제안한 이론은 복잡한 자극이 선에서 문자, 단어로 추상성이 증가하는 계층 구조를 통해 인식될지 모른다는 것이었다.
- 1980년대에 AI 역사에서 획기적이라고 할 만한 사건이 벌어졌다. 일본의 신경망 분야 선구자인 후쿠시마 구니히코福島邦彦가 허블과 비셀의 이론을 계산학적으로 구현한 신인식기 Neocognitron를 만들어 컴퓨터 시각의 일부 측면에서도 이 이론이 유효하다는 점을 보여준 것이다(이후 제프 호킨스 Jeff Hawkins와 레이 커즈와일의 책들도 같은
아이디어를 옹호했다. 신인식기는 (직사각형처럼 보이는) 일련의 층으로 이루어져 있었다. 다 음 페이지에 나오는 그림 왼쪽 첫 번째에 있는 것이 자극이 표시되는 입력층으로, 그 본질은 디지털 이미지의 픽셀들이다. 이후 오른쪽으로 이어지는 층들은 이미지를 분석하면서 명암이나 모서리 등의 차이를 찾으며, 끝에는 입력된 정보가 속하는 범주를 찾는 출력층이 있다. 층들 사 이의 연결을 통해 모든 관련 처리 과정이 일어난다. 이 모든 아이디어, 즉 서로 연결된 입력층, 출력층, 내부층이 현재 딥러닝의 중추다. 이런 시스템을 '신경망'이라고 부른다. 각 층이 뉴런에 비견될 수 있는(인간에 비하면 대단히 단순화됐지만) 노드node라는 요소들로 이루어져 있 기 때문이다. 이들 노드 사이에는 연결 가중치connection weight 혹은 가중치weight라고 불리는 연결부가 있다. 노드 A에서 노드 B 사이의 가중치 가 클수록 A가 B에 미치는 영향은 커진다. 네트워크가 하는 일은 이런 가중치의 함수다.
딥러닝의 두 번째 핵심 아이디어는 바로 학습tearning이다. 예를 들어 입력의 특정한 배열이 특정한 출력에 가하는 가중치를 강화하면 네트워 크가 특정한 입력과 그에 상응하는 출력의 연관성을 학습하도록 훈련’시킬 수 있다.
- 딥러닝 시스템은 전반적으로 내용을 이해하는 것이 아니라 그저 '연관성'에 의존하기 때문에 질문이 끝나기도 전에 임의적인 추측으로 버저를 누른다. 예를 들어 당신이 “얼마나 많은?”이라고 질문하면 “2”라는 답을 얻고 “어떤 스포츠?”라고 물으면 "테니스" 라는 답을 얻게 된다. 이런 시스템들을 몇 분만 다루어 보면 진짜 지성이 아닌 정교한 속임수로 상호작용이 이루어지고 있다는 느낌을 받을 것이다.
기계 번역에서는 같은 문제가 좀 더 기괴한 버전으로 나타난다. 구글번역에 dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog'를 입력하고 나이지리아 요루바어(와 다른 몇 가지 언어)에서 영어로 번역을 요청하면 이런 번역 결과가 나온다. 
지구 종말을 알리는 시계는 12시 3분 전을 가리키고 있다. 우리는 세상에서 극적인 발전과 개성을 경험하고 있다. 이는 우리가 점점 종말의 시간과 예수의 재림에 가까워지고 있다는 것을 시사한다.
- 이러한 결과에서 보듯이 딥러닝은 그리 심층적이지가 않다. 딥러닝이라는 용어에서 '딥deep(심층)이라는 단어는 신경망에 있는 층의 숫자를 의미할 뿐임을 알아야 한다. 그 맥락에서의 답은 그 시스템이 입력된 데이터에 대해 개념적으로 특별히 의미 있는 어떤 '지식'을 배웠다는 뜻이 아니다. 
- 본트리올대학교의 조슈아 벤지오 교수는 최근 “심층 신경망은 높은 수준의 추상적인 개념이 아니라 데이터 세트 내의 표면 통계적 규칙성 Surface statistical regularities 을 학습하는 경향이 있다.”고 인정했다. 마간가 지로 2018년 말의 인터뷰에서 제프리 힌턴과 딥마인드 개발자인 데미 스 허사비스Demis Hassabis 도 범용 인공지능은 현실과 거리가 멀다고 이 야기했다.
이는 일종의 '롱테일' 문제로 귀결된다. 데이터 수집만을 놓고 봤을 때 배우기 쉬운 흔한 예들도 있지만 배우기가 아주 어려운 희귀한 항목 (롱테일)들도 대단히 많은 것이다. 딥러닝이 한 무리의 아이들이 프리스비를 가지고 논다고 말하게 만드는 일은 쉽다. 그런 라벨이 붙은 사례가 매우 많기 때문이다. 하지만 다음 페이지의 그림 13처럼 평범함에서 벗어난 것들에 대해서 이야기하게 만들기는 훨씬 더 어렵다. 
- 그렇다고 딥러닝 시스템이 지능적인 일들을 아예 할 수 없다는 말은아니다. 우리는 딥러닝 자체에 완전한 지성이라면 갖춰야 할 유연성'과 '적응성이 부족하다는 말을 하고 있는 것이다. 우주선 설계의 에이킨 법칙Akin's Laws of Spacecraft Design에서 31번째 법칙은 불후의 명언으로 부족함이 없다. “높은 나무에 성공적으로 올랐다고 해서 달에 이를 수 있는 것은 아니다.”
- 인지과학자인 더글러스 호프스태터Douglas Hofstadter는 《디 애틀랜틱》에 실린 훌륭한 기사를 통해 구글 번역의 한계를 설명했다.
우리 인간은 부부, 집, 개인 소지품, 긍지, 경쟁, 질투, 사생활을 비롯해 결혼한 부부가 그녀의 것', 그의 것'이라고 수놓인 수건을 갖 고 있는 것과 같은 기이한 일에 이르기까지 다양한 무형적인 것들에 대한 지식을 갖고 있다. 구글 번역은 그런 상황에 익숙하지 않다. 오로지 글자로 이루어진 단어들의 문자열에만 친숙하다. 구글 번역은 조각 글을 초고속으로 처리하는 데 능수능란할 뿐 생각하거나, 상상하거나, 기억하거나, 이해하는 일은 전혀 못 한다. 심지어 단어들이 대상을 상징한다는 것조차 알지 못한다.
- 대개의 경우 기계 번역 프로그램은 전체 단락의 의미는 이해하지 못한 채 한 번에 하나의 문장씩을 바꾸어 나가면서 유용한 것을 만들어낸다. 그러나 인간인 당신이 어떤 이야기나 에세이를 읽을 때는 이와 완전히 다른 일을 한다. 당신의 목표는 '통계적으로 그럴듯한 쌍의 조합을 만들어내는 것이 아니라 '작가가 당신과 공유하려는 세상을 재구성하는 것이다. 
- 어떤 글을 읽을 때 당신이 하는 일은 인지심리학에서 사용하는 표현을 빌리자면 그 글이 전하는 말의 의미에 대한 인지 모델cognitive model을 구축하는 것이다. 이 일은 대니얼 카너먼 Daniel Kahneman과 작고한 앤 트라이즈먼 Anne Treisman이 목적 파일object file이라고 불렀던 것(개별 객체 와 그 특징의 기록)을 편집하는 일만큼 간단할 수도 있고 복잡한 시나리 오를 완벽하게 이해하는 일만큼 복잡할 수도 있다.
- ANI의 전형인 구글 번역에는 인지 모델을 구축하고 이용하는 과정 자체가 없다. 구글 번역은 추론을 하거나 추적할 필요가 전혀 없다. 꽤 나 잘하는 일이 있기는 하지만 구글 번역이 다루는 것은 진짜 독해가 의 미하는 바의 아주 작은 일부일 뿐이다. 구글 번역은 이야기의 인지 모델 을 구축하지 않는다. 할 수가 없기 때문이다. 딥러닝 시스템에게는 “톰 슨 씨가 지갑이 있는지 더듬어 보고 지갑이 있을 거라고 생각한 곳이 불 룩했다면 어떤 일이 생겼을까?”라는 질문을 할 수가 없다. 그것은 패러 다임의 일부가 아니기 때문이다.
통계는 실제적 이해의 대체물이 아니다. 문제의 핵심은 단지 여기저 기에서 무작위적으로 오류가 나타난다는 점이 아니다. 번역에 요구되 는 유형의 통계적 분석, 그리고 시스템이 읽은 것을 실제로 이해하기
위해 필요한 인지 모델의 구축 사이에 근본적인 부조화가 존재한다는 점이다.
- 자연어 이해 분야는 지금껏 두 마리 토끼를 잡으려다 한 마리도 잡지 못한 셈이다. 한 마리 토끼인 딥러닝은 학습에는 뛰어나지만 합성성과 인지 모델 구축에서는 형편없고, 다른 한 마리 토끼인 클래식 AI는 합성 성과 인지 모델 구축을 통합하지만 학습에서는 좋게 말해도 그저 그런 정도다. 그리고 이 둘 모두가 우리가 이 장 내내 강조해온 중요한 부분, 즉 상식을 놓치고 있다. 세상이 어떻게 돌아가는지에 대해서, 사람과 장소와 대상에 대해서, 그들이 상호작용을 하는 방식에 대해서 많은 것을 알지 못하는 한, 복잡 한 글에 대한 믿을 만한 인지 모델을 구축할 수 없다. 상식이 없으면 아 무리 많은 글을 읽어도 이해할 수가 없다. 컴퓨터가 글을 읽지 못하는 진짜 이유는 그 시스템들에게는 세상이 어떻게 돌아가는지에 대한 기본적인 이해조차 없기 때문이다. 불행히도 상식을 쌓는 것은 생각보다 훨씬 더 어려운 일이다. 앞으로 보게 되겠지만 기계가 상식을 쌓아야 하는 필요성은 대개 보편적이고 전반적인 이유에서 비롯된다. 그리고 그 필요성은 언어 영역에 있어서 도 긴급한 문제지만 로봇공학 영역에 있어서는 더욱 시급하고 중요한 문제로 작용한다.
- 지능을 가진 존재(로봇, 인간, 동물)로서 룸바보다 수준이 높기를 바란다면 몇 가지 갖추어야 할 것이 있다. 우선 지능이 있는 모든 존재는 다 섯 가지 기본적인 일을 계산할 수 있어야 한다. 자신이 어디에 있는지, 주변 세상에서 어떤 일이 일어나는지, 당장 무슨 일을 해야 하는지, 계 획을 어떻게 실행해야 하는지, 주어진 목표를 달성하기 위해서는 장기 적으로 어떤 일을 해야 할지 계산해야 하는 것이다.
단일한 과제에 집중하는 수준이 낮은 로봇은 이런 계산을 할 줄 모른다. 룸바의 초기 모델은 자신이 어디에 있는지 전혀 몰랐고, 자신이 돌아다니는 영역의 지도를 추적하지 못했고, 계획을 세우지 못했다. 이 첫 모델은 자신이 움직이고 있는지, 최근에 어디에 부딪쳤는지 이상은 거의 알지 못했다(최근의 룸바 모델들은 지도를 만들어 보다 효율적으로 움직이 고 무작위적인 탐색 과정에서 오염 부분을 놓치지 않으려 한다). 그다음으로 무슨 일을 해야 할 것인가의 문제는 제기된 적이 없다. 룸바의 유일한 목표는 청소다. 하지만 룸바의 이런 명쾌한 단순성에는 한계가 있다. 더 다양한 기능을 수행해야 하는 가정용 로봇이라면 일상생활에서 대단히 많은 선택과 마주하게 되며 따라서 의사결정이 좀 더 복잡해진다. 세상에 대한 훨씬 더 정교한 이해에 의존해 의사결정을 내려야 하는 것이다. 목표와 계획 은 언제든 변할 수 있다. 주인이 식기세척기에서 그릇을 꺼내라고 지시 했더라도 좋은 가정용 로봇이라면 무조건 그 일만 해서는 안 된다. 상황이 변하면 거기에 적응해야 한다.
유리 접시가 식기세척기 옆 바닥에 떨어져 있다면 로봇은 식기세척기 로 가는 또 다른 길을 찾거나(단기 계획의 변화) 기왕이면 우선 깨진 접시를 치우고 그러는 동안 그릇 꺼내는 일은 보류해야 한다고 인식해야 한다. 가스레인지 위의 음식에 불이 붙었다면 로봇은 불을 끌 때까지 식기 세척기에서 그릇 꺼내는 일을 미뤄야만 한다. 하지만 우리의 불쌍한 로 봇청소기 룸바는 5급 허리케인이 들이닥친 와중에도 청소를 계속할 것이다. 우리는 로지에게 그보다 더 나은 것을 기대한다.
- 어떤 마법이 있기에 우리 인간은 지능을 갖게 되는 것일까? 이 경우에는 '비법이 없다는 것이 비법이다. 지능의 힘은 어떤 단일하고 완벽한 원리가 아닌 우리의 방대한 다양성에서 비롯된다. (마빈 민스키, 《마음의 사회》 중에서)
- 신경과학 연구가 우리에게 가르쳐준 것이 있다. 두뇌는 엄청나게 복잡하다는 점이다. 지구상에서 가장 복잡한 시스템으로 묘사될 정도다. 평범한 인간의 두뇌에는 대략 860억 개의 뉴런이 있다. 뉴런의 유형은 수천까지는 아니더라도 수백 개를 가뿐히 넘어선다. 시냅스는 수조 개 이며 각 개별 시냅스 내에는 수백 가지 다른 단백질이 있다. 4 모든 차원마다 그 복잡성이 엄청나다. 뚜렷하게 식별할 수 있는 150개 이상의 두뇌 영역이 있고 그들 사이에는 방대하고 복잡한 연결망이 있다. 선 구적인 신경과학자 산티아고 라몬 이 카할은 1906년 노벨상 수상 연설에서 이렇게 표현했다. “불행히도 자연은 편의성과 통합성에 대한 우리의 지적 욕구에 대해서 알지 못하며 매우 자주 복잡성과 다양성 안에서 즐거움을 느끼는 것 같습니다. 
정말로 지능적이고 유연한 시스템이라면 두뇌처럼 복잡성으로 가득 할 가능성이 높다. 그래서 지능을 단일한 원리, 혹은 단일한 마스터 알고리즘으로 수렴시키려는 이론은 헛다리를 짚기 마련이다.
- 사람이 두뇌의 10퍼센트만을 사용한다는 이야기는 사실이 아니다. 하지만 두뇌 활동이 대사적으로 소위 '가성비가 떨어지 기에 우리가 한 번에 두뇌 전체를 사용하는 경우가 거의 없다는 것만은 사실이다. 우리가 하는 모든 일에는 두뇌 자원의 다른 하위 집합이 필요하며, 따라서 주어진 순간에 두뇌의 일부 영역은 활성화되는 반면 일부 영역은 빈둥거리고 있을 것이다. 후두 피질은 시각에 대해 활성화되는 경향이 있으며 소뇌는 신체 움직임에 활성화되는 식이다. 두뇌는 대단 히 구조화된 장치이며 정신적 역량의 대부분은 적절한 때에 적절한 신 경 도구들을 사용하는 데에서 나온다. 우리는 진정한 인공지능이라면 고도로 구조화되어 있을 것이라고 예상한다. 그들이 가진 힘의 대부분은 주어진 인지 과제에 대해서 그 구조를 적절한 시기에 적절한 방식으로 활용하는 능력에서 나올 것이다.
- 아이러니하게도 이는 현재의 추세와는 정반대다. 현재 머신러닝은 가능한 한 작은 내부 구조를 가진 단일한 동질의 기제를 사용하는 종단종모델에 치우쳐 있다. 그 예가 엔비디아 Nvidia의 2016년 운전 모델이다. 이 모델은 인식, 예측, 의사결정과 같은 전형적인 모듈 구분을 저버리고, 인풋(픽셀)과 아웃풋 한 세트(조종과 가속에 대한 지시) 사이의 더욱 직접적인 연관관계를 학습하기 위해 상대적으로 획일적인 단일 신경망을 사용했다. 이런 종류의 일에 열광하는 사람들은 여러 모듈(인식, 예측 등)을 별개로 훈련시키는 대신 전체 시스템을 공동으로 훈련시키는 장점을 강조한다.  그런 시스템들은 개념적으로는 어느 정도 단순하다. 인식, 예측, 그리 고 그 나머지에 대해 별개의 알고리즘을 고안할 필요가 없다. 더구나 언뜻 보기에는 효과가 좋다. 인상적인 동영상들이 이를 증명하는 것처럼 보인다. 하나의 큰 네트워크와 적절한 훈련 세트를 두는 것이 훨씬 편한 데 왜 귀찮게 인식과 의사결정과 예측을 별개의 모듈로 취급하는 하이브리드 시스템을 사용해야 하는가? 문제는 그런 시스템에는 유연성이 거의 없다는 점이다. 엔비디아의 시스템은 인간 운전자의 개입을 크게 요구하지 않고 잘 작동한다. 몇 시 간 동안은 말이다. 그러나 수천 시간을 기준으로 볼 때는 잘 작동한다고 볼 수 없다. 조금 더 모듈식에 가까운 웨이모 시스템은 A지점에서 B지점까지의 운행에 효과적이고 차선 변경과 같은 일을 잘 처리하는 반면, 엔비디아 시스템이 할 수 있는 일은 차선을 그대로 유지하는 것뿐이다. 차선 지키기도 물론 중요한 일이지만 그것은 운전과 관련된 일의 아주 작은 부분에 불과하다.
복잡한 문제를 풀 때 다른 대안이 없는 경우라면 최고의 AI 연구자들은 종종 하이브리드 시스템을 사용한다. 우리는 이런 사례가 더 많아질 것으로 예상한다. 딥마인드는 픽셀과 게임 점수부터 조이스틱 움직임에 이르기까지 종단종 시스템 훈련을 통해 하이브리드 시스템 없이도 아타리 게임의 문제를 (어느 정도) 해결할 수 있었다. 하지만 바둑에는 이와 유사한 접근법이 먹히지 않았다. 바둑은 여러 면에서 1970년대부터 1980년대까지의 저해상도 아타리 게임들보다 훨씬 더 복잡했기 때문이다. 예를 들어 바둑에서는 게임에서 가능한 위치가 너무나 많고 하나의 수가 훨씬 더 복잡한 결과를 낸다. 순수 종단종 시스템이여 이제 안녕! 반갑다 하이브리드.
바둑에서 승리하기 위해서는 두 가지 다른 접근법을 종합해야 했다. 딥러닝과 몬테카를로 트리 탐색Monte Carlo Tree Search 이라고 알려진 기법으로, 게임이 펼쳐질 수 있는 방식으로 가지가 뻗어 나간 나무 사이에서 가능성을 샘플링하는 것이다. 몬테카를로 트리 탐색 자체도 두 가지 다른 아이디어가 합성된 것이다. 두 아이디어, 즉 게임 트리 탐색과 몬테카를로 탐색 모두 그 유래는 1950년대로 거슬러간다. 게임 트리 탐색은 선수의 가능한 움직임을 내다보는 교과서적인 AI 기법이며, 몬테카를로 탐색은 다수의 임의적 시뮬레이션을 진행하고 그 결과로 통계를 내는 일반적인 방법이다. 딥러닝이는 몬테카를로 트리 탐색이든 어떤 시스템도 그 자체만으로는 세계 챔피언을 배출할 수 없다. 여기에서의 교훈은 딱 하나다. AI가 인간의 정신과 마찬가지로 구조화되어야 한다는 점이다. 즉 문제의 서로 다른 측면에 서로 다른 종류의 도구로 대응하는 방식으로 작동해야 한다
- 데미스 허사비스가 최근 말했듯이 “진정한 지능은 딥러닝이 뛰어난역량을 보였던 분야인 개념적 분류를 훨씬 넘어서는 것이기 때문에 그것을 1980년대에 클래식 AI가 다루려고 노력했던 많은 것들, 즉 더 높은 수준의 사고와 상징적 추론에 다시 연결시켜야만 한다.” 광범위한 지능, 궁극의 범용지능에 이르기 위해서는 오래된 도구와 새로운 도구들을 비롯해 많은 다양한 도구들을 우리가 아직 발견하지 못한 방식으로 통합해야 할 것이다.
- 형식 논리 시스템의 목표는 모든 것을 정확하게 만드는 것이지만 현실 세계에서는 우리가 대처해야 하는 많은 것들이 모호하다는 데 더 큰 문제가 있다. 1939년 소련의 핀란드 침공이 제2차 세계대전 발발에 영향을 끼쳤는지 판단하는 것은 논리적 표기의 면에서도 분류법에서만큼이나 어려운 문제다. 더 넓게 보면 우리가 이야기해온 형식 논리가 잘하는 일은 딱 하나다. 우리가 확신하는 지식에 유효한 규칙을 적용해서 마찬가지로 확실한 새로운 지식을 연역할 수 있게 해준다. 우리가 아이다가 아이폰을 소유하고 있다는 점을 완벽하게 확신하고, 애플이 모든 아이폰을 만든다는 점을 확신한다면, 다음으로 우리는 아이다가 애플이 만든 것을 갖고 있다고 확신할 수 있다. 하지만 도대체 '완벽한 확신이란 무엇인가? 버트런드 러셀이 말했듯이 “인간의 모든 지식은 불확실하고, 부정확하고, 불완전하다. 그런데도 인간은 용케 살아가지 않는가?
기계가 이 같은 일을 하게 되면, 즉 인간과 같은 유동성을 가지고 불확실하고, 부정확하고, 불완전한 지식을 표상하고 추론할 수 있게 되면 유연하면서도 강력한 범용지능의 시대가 다가올 것이다.
- 역사적으로 AI는 수동 코딩과 머신러닝이라는 양극단 사이를 오갔다. 칼의 작동 방법에서 유추해 잔디 깎기 작동법을 학습하는 일은 라벨이 붙은 많은 사진을 집어넣어 개의 종을 분류하는 시스템을 개선하는 일과는 전혀 다르다. 지나치게 많은 연구가 전자를 배제하고 후자에만 몰두했다. 칼 그림에 라벨을 다는 것은 픽셀의 공통 패턴에 대한 학습의 문제일 뿐이다. 칼이 무슨 일을 하는지' 이해하기 위해서는 형태와 기능, 그들이 어떤 연관을 갖는지에 대한 훨씬 더 심층적인 지식이 필요하다. 칼의 용도와 위험성을 이해하는 것은 많은 사진을 축적하는 것이 아 닌 인과관계의 이해(그리고 학습)에 대한 문제다. 결혼식을 계획하는 디지털 비서라면 결혼식에는 전형적으로 칼과 케이크가 필요하다는 것만 알아서는 안 된다. 이 디지털 비서는 그 칼이 케이크를 자르기 위해서 거기에 있다는 이유를 알아야만 한다. 케이크가 결혼식용 특별 밀크셰 이크로 대체되면 이전 데이터에서 칼과 결혼식의 상관관계가 아무리 높다 해도 칼은 필요하지 않다. 신뢰할 수 있는 디지털 비서는 칼은 집에두고 빨대를 잔뜩 가져가야 한다는 것을 인식할 만큼 밀크셰이크에 대해 충분히 이해하고 있어야 한다. 거기에 이르기 위해서는 학습을 완전히 새로운 수준으로 끌어올려야 한다.
- 결국 인간 정신의 연구에서 얻은 교훈은 모든 일에 타협이 필요하다는 것이다. 우리에게 필요한 것은 0에서부터 모든 것을 학습해야 하는 백지 상태의 시스템도, 생각할 수 있는 모든 우발적 상황을 미리 완전히 시뮬레이션한 시스템도 아니다. 그보다는 개념적이고 인과적 수준에서 새로운 것을 학습할 수 있게 해주는 강력한 본유의 토대를 갖춘 주의 깊 게 구조화된 하이브리드 모델이다. 즉, 단순히 분리된 사실들만이 아니라 이론을 학습할 수 있는 시스템을 추구해야 하는 것이다.
- 상식, 궁극적으로는 '범용지능에 이르는 우리의 레시피는 이렇게 요약할 수 있다. 첫 번째 단계에서는 인간 지식 그러니까 시간, 공간, 인과 성, 물리적 사물과 그들의 상호작용에 대한 기본적 지식, 인간과 그들의 상호작용에 대한 기본적 지식의 핵심 체계를 나타낼 수 있는 시스템을 개발한다. 둘째, 추상성, 구상성, 개별 추적에 대한 중심 원리를 항상 염 두에 두면서 이런 것들을 온갖 종류의 지식으로 자유롭게 확장될 수 있 는 아키텍처에 집어넣는다. 셋째, 복잡하고 불확실하고 불완전한 지식 을 다룰 수 있고 하향식, 상향식으로 모두 자유롭게 작동할 수 있는 강 력한 추론 기법을 개발한다. 그리고 이들을 인식, 조종, 언어와 연결한다. 이들을 이용해서 세상에 대한 강화된 인지 모델을 구축한다. 그 후 마지막 단계에 이르러 인간에게 영감을 받는 종류의 학습 시스템을 만드는 것이다. 이 시스템은 AI가 가지고 있는 모든 지식과 인지역량을 이용하고, 학습한 지식을 이전 지식에 통합하고, 아이들처럼 모든 가능한 정보로부터 탐욕스럽게 학습하고, 세상과 상호작용하고, 사람과 상호작용하고, 책을 읽고, 비디오를 보고, 가르침을 받는다. 이 모든 것이 합쳐지면 거기에서 딥 언더스탠딩을 얻을 수 있다. 분명 무리한 요구다. 하지만 반드시 해야 할 일이다.
- 신들은 언제나 그들을 만든 사람들과 똑같이 행동한다. (조라 닐 허스턴zora Neale Hurston, 《내 말에게 말하라》Tell My Horse 중에서)
- 제2차 세계대전 중에 실존주의 철학가 장 폴 사르트르의 수업을 듣던 한 학생은 인생의 두 갈래 길에서 갈피를 잡지 못하고 있었다. 이 학생은 프랑스군에 입대해서 참전해야 한다고 생각했지만 어머니가 감정적 으로 그에게 대단히 의지하고 있었다(그의 아버지는 어머니를 버렸고 형은 사망한 상황이었다). 사르트르는 그 학생에게 이렇게 말했다. “어떤 보편적 윤리 규범도 네가 무엇을 해야만 할지 정해주지 않는다. 먼 미래 의 언젠가는 그런 것들을 걱정하는 기계를 만들 수 있을 것이다. 하지만 그보다 긴급한 문제들이 있다.
- 지금 우리는 일종의 공백기에 있다. 네트워크화됐고 자율성을 가졌으나 힘의 결과에 대해서 추론할 진정한 지능은 거의 없는 좁은 지능의 상 태에 있는 것이다. 머지않아 AI는 더욱 정교해질 것이다. 자기 행동의 결과에 대해 추론할 수 있게 될 날은 빨리 올수록 좋다.
이 모든 것이 이 책의 큰 주제와 매우 직접적으로 연관된다. 우리는 지금의 AI연구가 대체로 잘못된 길을 가고 있다고 주장해왔다. 기존 연구와 노력의 대부분은 한정된 과제를 수행하고 우리가 딥 언더스탠딩이 라고 부르는 것이 아닌 빅데이터에 주로 의존하는, 비교적 지적이지 않 은 기계를 만드는 데 집중되고 있다. 우리는 그것이 큰 실수라고 생각한다. 그 방향이 일종의 '사춘기 AI로 이어질 가능성 크기 때문이다. 자신 의 장점이 무엇인지 모르고 자기 행동의 결과를 심사숙고할 수단을 갖 지 못한 기계로 말이다.
단기적인 해법은 우리가 만드는 AI에게 입마개를 씌우는 것이다. 심각한 결과가 따르는 일은 할 수 없게 하고 발견되는 개별적 오류를 수정하는 것이다. 하지만 지금까지 살펴보았듯이 이것은 장기적으로 실행할 수는 없는 방법이며 단기적으로도 포괄적인 해법이 아닌 반창고를 붙이는 수준일 뿐이다.
이런 난장판을 벗어나는 유일한 방법은 상식, 인지 모델, 강력한 추론도구들을 갖춘 기계를 만드는 일을 하루빨리 시작하는 것이다. 이 모든 것을 합치면 딥 언더스탠딩에 이를 수 있다. 딥 언더스탠딩은 자신의 행 동 결과를 예측하고 평가할 수 있는 기계를 만드는 전제 조건이다. 이 프로젝트는 이 분야가 통계나 빅데이터에 대한 심각한, 그러나 피상적 인 의존으로부터 탈피해야만 비로소 시작될 수 있다. 위험한 AI에 대한 치료제는 더 나은 AI이며 더 나은 AI로 가는 가장 올바른 길은 세상을 진정으로 이해하는 AI를 통해서만 가능하다.