- AMD에서 그는 마이크로칩 설계도를 직접 종이에 그렸다. 설계도는 칩의 레이어를 한장씩 따로 그렸다. 맨아래 장에는 트랜지스터를, 그위 장에는 복잡하게 연결된 배선구조를 그렸다. 젠슨은 각각의 레이어를 완성한 다음 사무실 뒤쪽 제작부서로 가져갔다. 거기에서 설계도는 투명 셀로판지로 옮겨졌고, 이 셀로판지를 바탕으로 포토마스크가 제작되었다. 그런 다음, 포토마스크는 반도체 제조시설로 보내졌다.
어떤 이유에서인지 AMD의 포토마스크 제작 담당 직원들은 모두 중국계 여성이었다. 그들은 작업대에 않아 색색의 셀로판지를 정밀하게 배열하는 일을 했다. 그 여성들은 영어를 거의 하지 못했고, 젠슨은 집에서 대만 방언인 호키엔을 썼기 때문에 중국 표준어 만다린을 하지 못했다. 호키엔과 만다린은 독일어와 영어만큼이나 서로 다른 언어였다. 하지만 젠슨은 포토마스크 제작팀과 이야기를 나누면서 점차 만다린을 배웠다. "그냥 발음을 듣고 대화를 나누며 익혔어요." 그는 말했다.
- 80년대 중반이 되자 엔지니어들은 수십만 개의 트랜지스터를 하나의 침에 집적하기 시작했고, 이로 인해 종이 위에 회로를 설계하는 방식은 한계에 부뒷혔다. 이 작업은 마치 사람의 머리카락으로 테니스 코트 위에 미로를 만드는 것과 같았다.
LSI 로직의 '대규모 집적' 프로세스는 회로 설계에서 낮은 단계의 작업을 자동화함으로써 엔지니어들이 더높은 수준의 아키텍처에 집중할 수 있도록 했다. 시간이 지나면서 그 자동화된 설계 룰은 '초대규모 집적' 로 진화했다. 오늘날 대부분의 엔지니어들은 이 VISI를 기본 툴로 사용하여 반도체 설계를 시작하며, 회로 설계는 개별 트랜지스터가 있었는지 잊어버릴 정도로 집적도가 높아졌다. 이제 수작업으로 마이크로칩을 설계하던 시절을 기억하는 건 젠슨과 몇몇 베테랑 엔지니어들뿐이다.
- 젠슨은 끝없는 노력으로 SPICESimulation Program vith Integrated Circuit Emphasis 라는 소프트웨어를 완전히 익혔다. SPICE는 회로 시뮬레이션 프로그램으로 엔지니어가 명령어 줄에 회로 구성 요소의 목록을 입력하면 전압 데이터가 텍스트 형태로 출력되었다. 당시 SPICE는 주로 학술 연구용으로 여겨졌지만, 젠슨은 이를 활용해 누구도 생각하지 못했던 수준으로 회로 성능을 끌어올렸다.
고객들이 새로운 기능을 요구하면, 대다수 설계자들은 단호하게 말했다. "그건 불가능해요." 하지만 젠슨은 달랐다. "한번 해 볼게요." 그는 시뮬레이터를 가지고 몇 시간씩 씨름하며, 고객이 원하는 기능을 구현할 방법을 찾기 위해 회로 구성 요소의 배열을 끊임없이 조정했다. 이는 그래픽 사용자 인터페이스나 컬러 모니터조차 없는 환경에서 진행된 일이었기에 매우 고된 작업이었다
- 썬 마이크로시스템즈는 소비자용 PC 비디오게임 하드웨어를 다루는 시장에 진출하지 않기로 결정했다. 로리의 이전 직장이자 3D그래픽 업계의 선두주자인 실리콘 그래픽스도 마찬가지였다. (당시 실리콘 그래픽스 직원들은 <쥬라기 공원>의 컴퓨터 생성 이미지CGI 공룡을 애니메이션화하는 작업으로 바짜다.) 주요 업제들이 PC게임에 투자하지 않은 결과로 시장에는 커다란 공백이 생겼고, 이 틈을 차지하기 위해 여러 스타트업 기업들이 앞다투어 뛰어들고 있었다.
그래픽 가속기는 원래 비행기와 공룡의 와이어 프레임 스켈레톤을 그리는 데 사용되던 하드웨어를 활용해 3D 게임에서 조작 가능한 애니메이션 캐릭터를 만드는 것이었다. 이를 실행하려면 저렴하고 효율적인 회로를 대량 생산해야 했고, 동시에 게임 프로그래머들이 하드웨어의 컴퓨팅 구조에 쉽게 접근할 수 있도록 하드웨어위에 얇은 소프트웨어 층을 추가해야 했다. 완성된 제품은 그래픽칩을 핵심으로 하는 주변기기용 회로기판이었다. 설치는 컴퓨터의 외장 금속 케이스를풀고, 메인보드의 지정된 슬롯에 이 회로기판을 끼워 넣기만 하면 되었다.
이런 그래픽 가속기를 만들려는 회사는 최소 35개가 경쟁하고 있었고, 젠슨은 36번째 경쟁자가 진입할 자리가 있을지 격정했다. 젠슨은 컴퓨터 그래픽 분야의 최고 전문가인 존 페디에게 시장 상황을 묻기 위해 연락했다. 그는 이 분야의 교과서를 여러 권 집필한 이였다. 두 사람은 곧 친구가 되었고, 젠슨은 밤늦게까지 끊임없이 전화를 걸어 질문을 던졌다. 존 페디는 젠슨에게 이 시장은 이미 너무 많은 경쟁자가 있고, 최고의 엔지니어들은 이미 다른 스타트업에서 일하고 있다고 말했다. "하지 말라고 조언했죠." 존 페디는 말했다. "그건 그가 따르지 않은 조언 중 최고의 것이었어요."
- 에뮬레이션은 위험한 도박이었다. 곧 출시될 NV3 칩에 들어간수백만 개의 트랜지스터 중 하나라도 배열이 틀렸다면, 실제 양산단계에서 실패하고, 회사가 망할 수도 있었다. 그러나 젠슨은 새로운 리스크의 세계로 스스로 뛰어들기로 결심했다. 그는 학창 시절 공부부터 운동, 회사 생활에 이르기까지 늘 1등을 향해 달려왔다.
하지만 이제는 꼴찌가 주는 색다른 자유를 누릴 차례였다. 수많은 경쟁자들이 앞서가는 모습을 지켜보며, 젠슨은 꼴찌가 되는 것도 꽤 재미있다는 걸 깨달았다. 어중간하게 중간에 머무는 것보다 훨씬 나았다.
꼴찌 기업이라면 무엇이든 마음대로 할 수 있었다. 다른 누구도 감히 시도하지 못하는 지름길로 갈 수도 있었다. 물론 에뮬레이터작업을 맡은 사람들에게는 꼴찌 자리가 그리 흥미롭지 않았다. 당시 비디오게임들은 움직임을 만들어내기 위해 대략 초당 30프레임을 렌더링했다. 그런데 에물레이터는 이 비율을 거꾸로 뒤집어, 30초마다 한 프레임씩만 렌더링했다. 이를 보면서는 동영상을 떠올릴 수 없었고, 게임 플레이도 불가능했다. 드와이트 디어크스의 지휘 아래 엔지니어들은 엄청나게 느린 속도로 재생되는 데모 영상을 꼼꼼히 살펴봤다. 머리가 멍해질 정도로 지루한 검증 과정은 몇주간 이어졌다. 그러나 에뮬레이터는 서서히 진가를 드러냈다. 보통 12개월가량 걸리는 개발 주기를 약3개월로 단축했다
- 절박해야 이긴다
리바128이 성공을 거둔 이후, 젠슨은 에물레이터에 더욱 적극적으로 투자하는 한편, 물리적 프로토타입 제작을 완전히 포기했다. 그는 이렇게 말했다. "오늘날까지도 에뮬레이터를 가장 많이 사용하는 회사는 엔비디아입니다."
반도체 업계에서 실제 프로토타입을 제작하는 것은 일견 필수적이고 당연한 일로 보였다. 충돌 테스트를 거치지 않은 자동차가 판매된다면 어떻겠는가. 프로토타입 제작은 합리적이고, 어른스러운 사람들이 택하는 실질적인 방식으로 여겨졌다. 그러나 밤낮없이 일하면서 직원들의 게임기까지 압수한 젠슨은 정작 그 어른들이 오히려 충분히 위험을 감수하지 못한다는 것을 깨달았다. 또한 업계의 모범적인 설계 방식과 절차를 따른 NV1은 실패로 끝났지만, 광적일정도로 즉흥적인 방식으로 만들어낸 NV3라는 짝퉁 제품은 성공을 거두었다. 때로는 무모한 도박이 필요했다.
이경험은 젠슨에게 해방감을 안겨주었다. 승리의 어머니는영감이 아니라 절박함이었다
그는 직원들에게 리바 개발 당시의 위기감을 잊지 말고, 회사가 파산 직전에 있다고 생각하며 일하고 독려했다. 회사가 막대한 이윤을 내고 있을 때조차도 이런 기조는 유지되었고, 이후 수년간 젠슨은사내 발표를 시작할 때마다 "우리 회사는 앞으로 30일 후면파산합니다" 라는 말을 되풀이했다.
이 말은 오늘날까지도 엔비디아의 모토로 자리 잡고 있다.
- 인텔의 집은 표준적인 직렬 처리 방식을 사용해 한 번에 한 가지 연산만 수행했지만, 성능이 기하급수적으로 증가했다. 이는 훗날 인텔의 CEO가 되는 고든 무어가 1965년 처음 예측한 바'를 따른 것이다. 약 18개월마다 처리 능력이 2배로 증가한다는 그의 예측은 여러 차례 검증되며 '무어의 법칙으로 불리게 되었다. 날씨 예측이나 고에너지 물리학과 같은 특수 기술 분야를 제외하면, 무어의 법칙 덕분에 단일 프로세서(모든 것을 담당하는 CPU)만으로도 가장 까다로운 사용자들의 요구를 충족시키기에 충분했다. 병렬 컴퓨팅 전문가 빌 델리메는 이렇게 말했다. "만약 소프트웨어가 더 빠르게 실행되길 원한다면 둘 중 하나를 선택해야 했어요. 병렬 컴퓨터로 옮기고 100만 줄의 코드를 다시 작성하든가, 아니면 그냥 2년 후에 CPU가 2배로 빨라지기를 기다리는 것이었죠."
무어의 법칙은 이미 엔비디아가 처음 진출한 애드온카드시장도 삼켜버렸다. 1993년 3D 그래픽 가속기가 처음 구상되었을 때는 사운드카드, 네트워킹카드, 프린터카드 등과 함께 여러슬롯형 확장 카드 중 하나로 간주되었다.
그러나 1990년대 후반 인텔은 사운드, 네트워킹, 프린팅 기능을 모두 메인보드에 통합했다. 유일하게 3D 그래픽카드만 살아남았다. 파괴된 생태계의 고립된 생존자였다. 그래픽카드 업체들은 이후 탐욕적으로 모든 것을 흡수했다. 사용 가능한 모든 컴퓨팅 용량을 빨아들인 후에도 더 많은 것을 요구했다. 멀티미디어 PC의 다른 기기에는 요구되는 성능의 상한이 있었다. 예를 들어 오디오를 CD와 동일한 품질로 처리하면 추가 컴퓨팅 파워는 필요하지 않았다. 그러나 3D 그래픽의 경우 수요의 한계가 없었다. 3D 그래픽에 완성이란 없었고, 우리가 영화 매트릭스 안에 살게 되는 순간까지 끝난 것이 아니었다. 반도체 애널리스트인 한스 모제스만은 이렇게 분석했다. "인텔이 간과한 점은 그래픽 회사들이 얼마나 더 멀리 가야 하는지였어요. 그 분야에서의 처리 능력에 대한 수요는 사실상 무한했어요.'
CPU는 3D 렌더링의 가속도를 따라잡을 수 없었다. 지금도 마찬가지이고, 앞으로도 그럴 것이다. 2배로 빨라지는 것만으로는 결코 충분하지 않았다.
- 1994년에 프레드릭 달은 젤리피시를 공개했다. 이는 대중에게 판매된 최초의 신경망 기반 프로그램이었다. 젤리피시는 수백만번의 백개먼 게임을 치루며 훈련받았지만, 이 방대한 연산 과정을 거친 결과물은 3.5인치 플로피 디스크에 담길 정도로 용량이 작았다. 프레드릭은 젤리피시를 자신의 원시적인 웹사이트를 통해 판매했다.
이때 AI의 두 가지 주요 단계, 즉 훈련 단계training stage와 추론 단계inference stage 사이의 중요한 구분이 확립되었다. 첫째, 훈련 단계는 컴퓨터가 학습하는 과정으로 번거롭고 느리게 진행된다. 둘째, 추론 단계는 컴퓨터가 학습한 지식을 활용해 결정을 내리는 과정으로 전 단계에 비해 휠씬 저렴하고 효율적이었다. 인간의 경우도 이와 유사한 구조를 가지고 있다. 추론을 담당하는 인간의 뇌는 고작 무게 3파운드(1.4키로그램)인데, 이를 훈련시킨 것은 수억 년에 걸친 진화적 조건화이기 때문이다.
프레드릭 달은 신경망의 이 같은 생물학적 유사성을 잘 이해하고 있었다. 그가 프로그램 이름을 젤리피시로 정한 것은 해파리가 지구 생물 중 초기에 출현한 해양 자포동물로서 자극과 반응 체계를 제어하는 신경망을 가졌기 때문이었다. 프레드릭은 "이 프로그램은 약 100개의 뇌세포를 가지고 있었습니다. 해파리와 비슷한 수준이죠."라고 말했다. 이것이 신경망 구조의 힘이었다. 백개먼을 정복하거나, 위험한 해양 생태계에서 5억 년 동안 살아남거나, 어쩌면 소련군의 침공을 막아내는 데에도, 단 100개의 작은 신경세포만으로 충분할지 모른다.
- 경쟁 위협은 모든 자본주의 기업이라면 피할 수 없는 요소이지만, 반도체 산업에서의 위협은 전혀 다른 수준이었다. 코카콜라 같은 기업의 경우. 일단 성공적인 레시피를 개발하면 그 제품은 저절로 팔렸다. 회사가 해야 할 일은 성공을 유지하는 것이었다. 그러나 반도체 산업은 패션업계와 더 비슷했다. 오늘의 제품이 어제의 제품과 비슷하다면 그것은 치명적인 실수였다. 반도체 산업에서는 모든 것이 몇 년마다 처음부터 다시 재창조되었다. 이는 칩 설계에 사용되는 소프트웨어 툴, 칩에 회로 패턴을 새기는 자외선 포토리소그래피, 칩의 아키텍처도 해당되었다. 엔비디아의 첫 번째 칩에는 100만 개의 트랜지스터가 집적되었다. 하지만 2000년이 되자 엔비디아의 칩에는 그 20배에 달하는 2,000만 개의 트렌지스터가 집적되었다. 이칩들은 고속팬으로 냉각되고, 절반 크기의 패키지에 담겼다. 자본주의의 초기 관찰자는 이렇게 말했다. "모든 고체는 녹아 공중으로 사라진다." 몇 년 뒤에 앤디 그로브는 다음과 같이 말했다. "우리는 모두 변화의 바람에 스스로를 노출시켜야 한다."
- 젠슨은 지금까지 경쟁사들보다 앞서 나가는 데 성공했지만, 엔비디아는 자산 경량화 방식의 머천트 사업 모델은 본질적으로 실리콘밸리 사무실에 않아 있는 엔지니어들로 이루어진 집합체에 불과했다. 만약 이 엔지니어들이 끊임없이 새로운 기술, 복제하기 어려운 기술을 개발하지 못한다면, 아시아의 제조업체들이 엔비디아의 칩을 모방하기 시작할 것이고, 엔비디아는 존재하지않게 될 것이었다.
젠슨은 나중에 이렇게 말했다. "우리가 컴퓨터 그래픽스를 재창조하지 않으면, 우리 스스로를 재창조하지 않으면, 이 프로세서로 할 수 있는 것들의 캔버스를 열지 않으면, 우리는 상품 경쟁에서 도태되고 말 겁니다." 도박을 하지 않는 것이야말로 가장 큰 위험이었다.
- 이런방식으로 회로를 병렬 구조로 재설계하는 것은 하위 구조부터 상위 구조까지 모든 것을 바뀌버리는 근본적인 변화였다. 이것이 병렬 컴퓨팅의 도전 과제였다. 복잡한 안무를 다루기 위해서는 정확한 조율이 필요했고, 그렇게 하려면 프로그래머는 문제를 완전히 새로운 방식으로 접근해야 했다.
인텔의 CPU에 명령을 입력하는 것은 쉬웠다. 그것은 한번에 하나의 패키지를 배달하는 배송 트럭처럼 작동했기 때문이다. 트럭은 느릴지 몰라도 프로그래머에게 많은 것을 요구하지 않았다. 배달할 패키지가 있는가? 그냥 트럭에 던져 넣으면 된다!
엔비디아의 병렬 GPU는 마치 도시 전역으로 퍼져나가는 오토바이 배달윈처럼 작동했다. 운전자들은 모든 소포를 거의 동시에 배달했고, 전체 과정은 약 30분 만에 완료될 수 있었다. 그러나 이 병렬 방식은 빠른 반면 실행하기가 월씬 더 어려있다. 더 많은 운전자에 더 많은 기계를 제공해야 하고, 더 복잡한 물류 시스템을 갖취야 한다. 즉 오토바이 배달원들이 창고를 끊임없이 드나드는 상황에서 각 소포가 정확한 차량에 할당되어야 하고, 정확히 목적지로
배달될 수 있도록 경로를 정밀하게 설정해야 한다.
수십 년 동안 프로그래머들은 트럭 방식을 선호했다. 그러나 존 니콜스가 예측한 대로, 이제 트럭은 전자기학적 물리 한계에 도달하면서 교통 체증에 같히게 되었다. 그 순간이 오면, 프로그래머들도 더는 어쩌지 못하고, 오토바이 배달원 무리를 관리하는 방법을 배워야만 할 것이었다. 사실 다른 선택지가 없었기 때문에 반드시 배워야 할 수밖에 없을 것이라 생각했다.
- 아무도 믿지 않은 쿠다의 가치
쿠다는 2006년 말 공식 출시되었다. 이 소프트웨어 패키지는 무료였지만, 엔비디아 하드웨어에서만 작동했다. 2007년 한 해 동안의 다운로드 수는고작1만3,000건에 불과했다. 전세계 지포스사용자 수억명 중 자신의 게임용 하드웨어를 슈퍼컴퓨터로 변환하는 기능을 사용해 보려고 한비율이 0.01%밖에 되지 않은 것이었다.
회의적인 투자자들은 이 기술이 누구를 위한 것인지 의문을 제기했다."월스트리트는 쿠다가 가치 있다고 생각하지 않았을 뿐아니라, 오히려 가치를 떨어트리는 기술이라고 봤어요." 당시 상황을 잘아는 한 직원은 말했다.
- 많은 프로그래머들이 쿠다의 사용을 어려워했다. GPU의 성능을 최대한 활용하려면, 프로그래머들은 큰 작업을 수백 개의 작은 하위 작업인 스레드threads로 나눠야 했다. 그런 다음 스레드들을 매우 신중하게 쿠다 코어에 투입해야 했다. 이는 숨겨진 합정이 많은 까다로운 과정이었다. 프로그래머들은 여러 개의 메모리 뱅크를 혼동 없이 관리해야 했고, 잘못된 결과를 초래할 수 있는 타이밍 불일치를 피해야 했다. 병렬 프로그래밍의 학습 곡선은 완만했고, 고급 컴퓨터 과학 개념을 기반으로 했다. 물리학이나 의학 같은 다른 분야에서 훈련받은 학자들은 쿠다를 제대로 활용할 만큼의 프로그래밍 실력을 갖춘 경우가 드물었다.
데이비드 커크는 셰이더 기술로 거둔 성공을 반복하고자 했다. 그래서 컴퓨터 과학자 원메이 후와 함께 교재 <대규모 병렬 프로세서 프로그래밍Programming Massively Parall Processors)을 집필했다. 그는 이 교재를 가지고 쿠다를 홍보하려고 했다. 서문에서 저자들은 컴퓨터 아키텍처가 헝가리 출신의 천재 존 폰 노이만이 1945년에 기본 개념을 정립한 이후로 진화하지 않았다고 지적했다. 그들은 이렇게 썼다. "컴퓨터 사용자들은 새로운 세대의 마이크로프로세서가 나올 때마다 프로그램이 점점 더 빠르게 실행되리라고 기대해 왔습니다. 그러나 이제 그런 기대는 더이상 유효하지 않습니다." 바람과 달리 교재를 강의에 도입한 교수는 거의 없었다. 그것은 이단적이었고, 신성 모독이었으며 존 폰 노이만의 권위에 대한 의심이었기 때문이었다.
- 지금무엇을 할 수 있는가에서 출발하라
기술의 미래가 어떻게 펼쳐질지에 대한 황의 비전은 구체적이지 않았다. 어떤 기술 사업가들은 명확한 비전을 품고 있었다. 예컨대 일론 머스크는 자신이 화성 표면에 서 있는 모습을 상상하며 출발했고, 거기에 도달하기 위해 필요한 기술을 역으로 개발해 나갔다. 젠슨은 정반대 방식으로 접근했다. 그는 눈앞에 놓인 회로로 무엇을 할 수 있는지 파악한 후 예상할 수 있는 한계까지 전망을 확장해 나갔다. 그리고 그 지점에 도달한 뒤에야 비로소 한 걸음 더 내디뎌 불확실한 직관의 영역으로 나아갔다. 젠슨과 오랜 시간 함께 옌스
한 호르스트만은 이렇게 말했다. 젠슨이 하는 일은 단순한 집중을 넘어서요. 나는 그것을 공명 Resonance이라고 부르고싶어요."
이 공명을 이루기 위해 젠슨 황은 고객 그리고 직원들과 끊임없이 소통했다. 엔비디아가 주최하는 콘퍼런스에서는 기자들을 뒷자리에 배치했고, 과학자들을 맨 앞에 앉혔다. 발표에서도 언론보다 과학자들에게 더 많은 관심을 기울였다. 또한 그가 일선 직원들과 자주 만난 것도 단순히 사기를 북돋우기 위해서가 아니라, 자신의 손끝으로 회사의 맥박을 직접 느끼기 위해서였다. LSI에서 일할 때, 우리는 때로 아무것도 하지 않아도 될 정도로 고객의 생각을 읽을 수 있었습니다." 엔스는 말했다. "병렬 컴퓨팅도 마찬가지였어요. 젠슨은 고객, 직원들과의 대화를 통해 그 공명을 감지할 수 있었어요. 그는 그 순간이 왔다는 걸 알아차린 겁니다."
돌파구가 다가오고 있었다. 젠슨은 그것을 감지했다. 연구자들과의 대화에서, 그리고 엔비디아의 기술이 가능하게 만든 속도 향상에 놀라는 그들의 반응에서 그것을 알아차렸다. 빌 델리, 존 니콜스, 이안 벅 같은 뛰어난 직원들의 집착에 가까운 열정을 통해서도 그것을 감지했다. 이처럼 젠슨은 이 모든 것을 충분히 감지하고 확신했기 때문에 수익을 희생하면서까지 쿠다에 올인했다. 너무나 확실했기 때문에 핵심 제품을 위태롭게 할 수도 있는 결정을 내렸고, 자신의 자리를 걸었다.
그 돌파구가 팅와이 추 같은 양자 물리학자에게서 나오는 것이 아닐 수도 있다. 하지만 젠슨은 확신했다. 어딘가에 쿠다가 옳았다는것을 증명해 줄괴짜 과학자가 있을 것이라고 말이다. 어딘가에 연구비 신청의 번거로운 절차를 건너뛰고, 주거 보조금으로 엔비디아GPU를 사서 혁명을 일으킬 대학원생이 있을 것이라고. 어딘가에 과학의 소외된 한분야가 쿠다의 연산 능력을 활용해 기존 패러다임을 깨뜨릴 준비를 하고 있을 것이라고. 다만, 젠슨 황은 그것이 무엇인지 아직 알지 못했다.
- 가시화되는 AI 혁명
상황이 빠르게 돌아가기 시작했다. 다들 실리콘밸리로 몰려들고 있었다. 딥러닝 스타트업 DNN리서치를 구글에 매각한 후 알렉스 크리제브스키, 제프리 힌턴, 일리야 수츠케버는 마운틴뷰로 이주하여 본격적인 병렬 컴퓨팅 혁명을 일으켰다. 구글은 알렉스에게 구글의 방대한 CPU 클러스터를 사용하도록 제안했지만, 그는 이를 거절했다. 대신에 일반 PC와 소매용 엔비디아 그래픽카드를 몇 개 구입해 사무실 옷장에 설치했다. 곧이어 구글의 다른 연구원들도 당시 세계에서 가장 큰 민간 컴퓨터 네트워크 중 하나인 구글의 거대 데이터
센터에서 벗어나 책상 아래에 게임용 하드웨어를 설치하고 실험을 진행하기 시작했다.
브라이언 카탄자로는 무언가 심상치 않은 기류를 감지했고, 엔비디아에 더 많은 자원을 요청했다. 하지만 그의 요청은 처음에는 거절당했다. 사람들이 보기에는 섬세한 성격에, 인문학 학위를 가지고 있는 그가 엔비디아에 딱 맞는 이상적인 직원은 아니었기 때문이다.
브라이언은 이렇게 말했다. "엔비디아에서 내 성과 평가는 그리 좋지 않았어요. 연봉도 별로 좋지 않았고요." 그러나 그는 물러서지 않았다. 혼자서 풀타임으로 cuDNN을 개발하기 시작했다. 이는 쿠다플랫폼에서 신경망 개발을 가속하는 소프트웨어 라이브러리였다.
처음에는 고전의 연속이었다. 브라이언은 연구자였지만 실무 소프트웨어 엔지니어링 경험이 전무했다. 게다가 넷째 아이가 막 태어난 직후여서, 집에서 잠을 제대로 잘 수 없었다. 건강 문제도 있었고, 복용 중인 약 때문에 늘 머리가 멍한 상태였다. 그럼에도 마침내 2013년 초, CuDNN의 프로토타입을 엔비디아 소프트웨어팀에 선보였다. 하지만 기대와 달리 혹평이 쏟아졌고, 그는 자신감을 잃기 시작했다. 그는 한숨을 쉬며 엔비디아의 악명 높은 평가 등
급인, RI개선 필요)'를 떠올렸다. 그가 말했다. "내 상사들은 제가 중요한 일을 하고 있다고 생각하지 않았던 것 같아요. 뭔가 제대로 굴러가지 않는 기분이었습니다."
브라이언은 결국 직접 젠슨 황에게 자신의 연구를 설명하기로 결심했다. 당시 머신러닝 기술은 젠슨의 관심사가 아니었다. 2013년 열린 GTC에서 젠슨은 날씨 예측 모델링과 모바일 그래픽에 대해 이야기했지만, 신경망에 대해서는 전혀 언급하지 않았다. (그는 컨퍼런스에서 처음으로 가죽 재킷을 착용했다. 투박하고 볼품없는 디자인이었지만 그의 스타일이 서서히 변해가는 과정이었다.)
그런데 의외로 젠슨은 브라이언의 이야기에 즉각 흥미를 보였다. 첫 회의 이후 젠슨은 예정된 일정을 취소하고, AI 관련 자료를 읽는 데 주말을 할애했다. AI에 대해 잘 모르는 상태에서 이 분야를 직접 공부하기로 한 것이다. 얼마 지나지 않아 두 번째 회의를 했고. 브라이언 카탄자로는 놀라운 상황을 마주했다. 젠슨이 이제 신경망에 대해 자신만큼, 어쩌면 그 이상으로 많은 것을 알고 있었다. 쿠다에 대한 젠슨의 도박은 회사를 미지의 바다로 깊숙이 이끌었다. 지난 10년 동안 뱃머리에 서서 새로운 땅을 찾으려 애써온 그는 마침내 아틀란티스를 발견한 듯했다. 젠슨은 연구와 전화회의에 몰두했고, 배울수록 홍분은 더욱 커졌다. 그리고 2013년 중반이 되자 거의 광적인 에너지를 뿜어냈다.
젠슨은 브라이언을 사무실로 쓰는 회의실로 불렀다. 그러고는 이렇게 선언했다. "cuDNN은 엔비디아의 20년 역사상 가장 중요한 프로젝트다." 벽에 붙어 있던 화이트보드에서 기존의 다이어그램이 모두 지워져 있었다. 그 자리에 젠슨의 완벽한 필체로 적힌 수수께끼 같은 하나의 문구만 남아 있었다. `O.I.A.L.O.' 젠슨은 'Once in a Lifetime Opportunity(일생일대의 기회)'라는 뜻이라고 설명했다. 놀란 브라이언에게 젠슨은 사고실험 하나를 제안했다. "그는 엔비디아의 모든 직원 8,000명을 주차장으로 불러 모았다고 가정해보라고 했어요. 그러더니 그중 원하는 누구라도 제 팀에 합류시킬수 있다고 했죠."
- 클라우드 서비스 제공업체들은 컴퓨팅 파워를 수도나 전기와 마찬가지로 공공재처럼 판매했다. 데이터센터들은 전 세계 곳곳의 별 특징이 없는 산업용 창고에 자리 잡고 있었다. 보안 검색대를 통과하고, 에어락 설비를 지나, 온도와 습도의 조절이 완벽하게 통제되는 데이터센터 내부로 들어가면, 도서관의 책장처럼 줄지어 서 있는 높이 7피트(2.1m) 높이의 랙이 보였다. 각 랙에는 여러 개의 수평형 트레이가 놓여 있고, 각 트레이에는 1~2개의 GPU가 장
착되어 있다. 트레이는 모듈식으로 설계되어 있어 쉽게 업그레이드할 수 있다. 전체 시스템은 케이블로 연결되어 수백 개의 GPU가 하나의 컴퓨터처럼 작동할 수 있도록 구성되어 있다. 소규모의 CPU 코어가 시스템을 관리하고, 굵은 광섬유 케이블이 이를 외부세계와 연결한다.
엔비디아는 직접 랙이나 트레이를 만들지 않았고, 데이터센터 자체를 구축하지도 않았다. 엔비디아가 공급하는 것은 오직 칩뿐이었지만, 그것만으로도 엄청난 수익을 올릴 수 있었다. 게다가 엔비디아는 이 시장에서 사실상 독점적인 지위를 누리고 있었다. 엔비디아는 자사의 침 아키텍처에 유명한 과학자들의 이름을 붙였다. 큐리 와 테슬라Tesla, 페르, 케플러, 맥스웰, 파스칼, 튜링Turing, 볼타, 암페어, 러브레이스Lovelace, 호퍼, 블랙웰Backwell 등이었다. 이들 중 후기에 출시된 칩셋들은 AI 연산을 위한 전용 회로를 포함했고, 이에 따라 데이터센터의 트레이는 지속적인 업그레이드가 필요했다. 엔비디아 칩의 업그레이드 주기인 6개월마다 머신러닝 선도 기업들에게 칩을 공급하는 업
체들 사이에서 경쟁적인 패닉바잉(공황 구매) "이 발생했다. 그 결과 엔비디아는 막대한 수익을 올렸다.
- 클라우드 서비스 제공업체들은 요금을 'GPU 1개당, 시간당달러'로 책정했다. 최신 엔비디아 칩셋을 사용할 경우 요금은 시간당 3달러까지 치솟았다. 비슷한 성능의 인텔 CPU 사용료는 몇센트에 불과했다. 이요금 체계를 기준으로 계산하면 알렉스넷의 곤충수준 뇌를 학습시키는 데약 500달러가 들었을 것이다. 그러나 연구자들은 이제 수십억 개의 파라미터(매개변수)를 가진 모델을 개발하고 있었다. 이 거대한 신경망을 학습시키기 위한 비용은 수백만 달러에 달했다. 이처럼 막대한 비용이 투입되는 학습이었지만 결과를 제대로 활용하면 이익을 낼 수 있었다. 이를 잘 보여주는 사례가 구글이었다. 구글은 신경망을 이용해 서버 네트워크의 전력 소비를 최적화함으로써 연간 전기료를 수억 달러 절감했다. AI 투자 비용을 거의 즉각적으로 회수한 셈이었다. 구글은 또한 AI 이미지 인식기술을 사진 애플리케이션에 적용헤 사용자 사진에 자동 태깅 기능을 제공했고, 검색 엔진의 품질을 높이는 데에도 활용했다.
다른 거대 테크기업들도 자사 제품에 AI를 통합했다. 인스타그램과 페이스북, 트위터 같은 소설미디어 플랫폼은 사용자 피드를 알고리즘적으로 정렬하기 시작했다. 알고리즘적 정렬이란 머신러닝을 이용해 사용자 참여도를 극대화하는 전략을 완곡하게 표현한것이다. 이런 전략은 효과적이면서도 착취적이었다. 소셜미디어의 자동화된 콘텐츠 큐레이션 시스템은 분노를 유발하는 콘텐츠를 끊임없이 제공함으로써 사용자들이 부정적인 콘텐츠를 보는 둠스크
롤링을 몇 시간이고 멈추지 못하게 만들었다. AI 투자는 직접적인 방식으로 기업의 이익을 창출했고, 젠슨은 소매업의 오래된 마케팅 전략 중 하나를 부활시켰다. `더 많이 살수록 더 많이 절약할 수 있습니다."
- 새로운 상어 지느러미 형태의 트랜지스터 덕분에 설계자들은 전기 흐름을 휠씬 정밀하게 제어할 수 있게 되었다. 과거의 트랜지스터는 마치 정원용 호스처럼 여기저기서 전기가 새어 나갔고, 출력량은 대략적으로만 조절되었다. 하지만 새로운 트랜지스터는 누설 전류가 없었고, 마치 최첨단 노즐이 장착된 것처럼 다양한 방식으로 분사를 조절할 수 있었다. 핀FET는 칩 설계자들이 오
랫동안 염원해 온 정밀성과 효율성, 제어력을 동시에 제어하는 혁신적인 기술이었다.
하지만 이런 혁신은 대중으로부터 거의 주목받지 못했다. 이는 트랜지스터, 즉 컴퓨터에서 1970년대 이후 나타난 가장 중요한 물리적 업그레이드였지만, 그 의미를 알거나 관심을 갖는 사람은 100명중 한 명도 되지 않았다. 마치 오랫동안 정상의 자리를 지키고 있는 명문 스포츠팀처럼, 오랫동안 지속되어온 반도체 산업의 놀라운 성과들은 너무나 당연한 것으로 여겨졌고, 심지어 소프트웨어 엔지니어들조차 이를 당연하게 받아들였다. 컴퓨터는 언제나 더 좋아지는 것이라는 게 기본값이었다. 그렇게 되지 않을 기능성은 상상조차할 필요가 없었다.
- 클라우드와 렌털 경제에서 포착한 가능성
2017년 한해 동안 쿠다 소프트웨어 패키지는 270만 번 다운로드되었다. 이는 전년 대비 거의3배에 가까운 숫자였고, 2012년과 비교하면 15배에 달하는 횟수였다. 일부 다운로드는 암호화폐 채굴을 위한 것이었지만, 대부분은AI 개발을 위한 것이었다. 특히 학생들의 관심이 높았다 2017년 스탠퍼드 대학교에서 가장 인기 있는강의는'CS229: 딥러닝 입문'이었다.
쿠다를 활용하는 개발자들은 암호화폐 채굴자들과 달리 반드시 엔비디아 하드웨어를 직접 구매할 필요가 없었다. 많은 개발자들이 가상머신을 임대해 쿠다를 실행했고, 자신의 스타트업 전체를 클라우드에서 운영하기도 했다. 이는 클라우드 서비스 제공업체들에게 막대한 수익원이 되었다. 시장을 지배한 회사는 아마존 웹 서비스로 50%의 점유 율을 기록했다. 업황이 좋은 해에는 아마존의 방대한 이커머스 사업보다 더 많은 수익을 올리기도 했다. 그 뒤를 추격한 것은 마이크로소프트의 클라우드 서비스 애저로, 마이크로소프트에 다시 활력을 불어넣은 CEO 사티아나델리의 리더십 아래 급성장했다. 아마존과 마이크로소프트, 기타 클라우드 업체들의 대규모 구매 수요 덕분에 엔비디아
의 데이터센터용 칩 판매량은 1년 만에 2배 증가했다.
젠슨은 가상 컴퓨팅 장비 임대가 물리적 하드웨어 판매보다 더 수익성이 높다는 사실을 놓치지 않았다. 그는 2017년에 직접 두가지 임대 플랫폼을 도입했다. 첫 번째는 지포스 나우로 가상 그래픽카드를 대여해 게이머들이 저사양 노트북이나 일반 PC에서도 고사양 게임을 플레이할 수 있도록 하는 것이었다
물론 여전히 지포스 게이밍 그래픽카드의 실물 판매가 엔비디아 매출의 대부분을 차지했고, 하드웨어 애호가들은 자신의 시스템을 자랑하는 것을 즐겼지만, 클라우드 게이밍이 미래가 될 것이 분명했다. 클라우드 컴퓨팅이 보편화되면서 게이머들에게 모니터와 안정적인 초고속 인터넷만 있으면 충분한 시대가 열릴 것이었다. 젠슨은 지포스 나우를 통해 25년간 엔비디아의 핵심 사업이었던 GPU판매를 언젠가 직접 없앨 준비를 미리 하고 있었다. 그의 논리는 단순했다. 자신이 먼저 죽이지 않으면, 언젠가 다른 누군가가 대신 그 일을 할 것이라는 점이었다.
- 두 번째 플랫폼은 휠씬 더 기묘했다. 젠슨은 서던캘리포니아 대학교연구원 예브겐 체보타르vevgen Chebotar가 로봇 팔을 훈련시키는 모습을 보면서 이 아이디어를 떠올렸다. 예브겐 체보타르는 강화 학습 기법을 적용해 로봇 팔이 하키 스틱으로 오렌지색 공을쳐서 골을 넣도록 훈련 중이었다. 충분한 시간이 주어진다면, 이 로봇 팔이 언젠가 전설적인 하키 선수 웨인 그레츠키에 필적할 수도 있을 것이다. 하지만 문제는 연구 방식이었다. 예브겐과 연구원들은 공을 스틱 앞에 놓는 작업을 수천 번 반복해야 했다. 젠슨 황은 이것이 너무 비효율적이라고 생각했고, 그 순간 아이디어를 떠울렸다. 하키의 물리적 법칙을 컴퓨터에서 시뮬레이션하는 편이 더 니을 것이라는 판단이 들었다. 시뮬레이션의 힘은 젠슨의 경력 전반에서 반복되는 주제였다. 그는 시물레이션할 수 있는 것은 무엇이든 했고, 그 결과는 늘 혁신적인 제품과 수익으로 이어졌다. 이제 단순히 하나의 개별적인 사물을 시물레이션하는 것으로는 충분하지 않다는 생각에 이르렀다. 모든 것을 시뮬레이션해야했다. 젠슨은 이렇게 말했다. "우리는 이제 대체 우주를 만들어야 합니다."
로봇 훈련을 위한 대체 우주에서 예브겐은 공을 직접 다시 세팅할 필요가 없었다. 대신 강화 학습이 즉각적으로 이루어질 수 있었고, 로봇 팔은 같은 시간 동안 10억 개의 공을 칠 수 있었다. 제럴드 테사우로는 수백만 번의 주사위 굴리기를 시물레이션해 백개먼 게임을 훈련시켰다. 젠슨은 코드를 통해 새로운 현실을 만들어내며 하키 경기를 시뮬레이션하려 했다.
- 트랜스포머는 문장에서 다음으로 올 가능성이 가장 높은 단어를 정확히 예측할수 있었던 것처럼, 교향곡에서 다음 음표나, 그림속다음 픽셀도 예측할 수 있었다. 곧 트랜스포머는 음악을 작곡하고, 그림을 그리기 시작했다.
한번에 한걸음씩 나아가는 가장 단순한 개념을 수행하도록 설계된 이 우아한 아키텍처는 AI를 위한 마스터키 같았다. 팀은2017년에 이 연구 결과를 신경정보처리시스템 학회 저널에 발표했다. 이 저널은 알렉스넷의 연구 결과가 게재된 매체였다. 논문 제목을 지을 때 라이온 존스는 비틀스를 떠올렸고 Attention Is All You Need(당신이 필요한 모든 것은 관심)'"라는 아이디어를 즉홍적으로 제안했다. 그는 그저 농담으로 던진 이 제목을 팀이 채택하리라고 예상하지 못했다. 하지만 나중에 그는 이 문장을 팔에 문신으로 새긴 사람들을 만나게 된다.
연구 결과를 발표하기 직전인 2017년 7월, 노암 샤지어와 우카시 카이저는 한 가지 실험을 시도했다. 트랜스포머에게 기존의 텍스트를 번역하도록 요청하는 대신, 위키피디아 문서 수백만 개를 학습하도록 한 뒤 그것을 바탕으로 새로운 텍스트를 생성하도록 한 것이다. 그들은 단 하나의 요청을 입력했다. "트랜스포머에 대한 기사를 작성하라."
그러자 일본 뉴웨이브 펑크 밴드 트랜스포머에 대한 1,000단어 짜리 설명이 흘러나왔다. 물론 그런 밴드는 존재하지 않았다. 완전히 환각이었다. 그런데도 문장은 매끄럽고 자신감 있게 쓰였으며, 게다가 조작된 각주까지 포합하고 있었다.
에이든 고메즈는 이 모습을 보고 예상보다 기술 발전이 휠씬 더 빠르게 진행되고 있음을 깨달았다. "어제까지만 해도 모델이 겨우 철자를 맞추는 수준이었어요. 우리는 설득력 있는 영어를 쓰는 모델이 나오려면 몇십 년은 걸릴 거라고 생각했는데, 갑자기 그게 눈앞에 나타난 거죠!"
트랜스포머팀은 구글이 이 기술을 소비자용 제품으로 발전시킬 것이라 기대했지만, 경영진은 이상하게도 그 가치를. 제대로 인식하지 못했다. 팀원들은 구글이 검색에서 독점적 지위를 얻으면서 비대하고, 관료적인 조직을 만들어버렸고, 결과적으로 더 이상 모험을 하지 않게 되었다고 느꼈다. 당시의 상황에 대해 일리야 폴로수킨은 이렇게 말했다. "경영진은 '검색 창에 들어맞지 않는 것은 출시할 수 없다'는 식이었어요. 15년 전만 해도 우리는 완성도가 낮
아도 그냥 출시했어요. 그러고 나서 반복하고, 배우고, 계속해서 개선해 결국에는 정말 좋은 걸 만들었습니다. 그런데 어느 순간, 우리는 그런 사고방식을 잃어버렸어요"
- 연구자들은 모델의 크기를 개별 가중치, 즉 파라미터의 수로 표현한다. 각 파라미터는 대략 생물학적 뇌에서 하나의 시냅스에 대응하는 개념이다.
GPT-1은 약 1억 개의 파라미터를 가지고 있어 곤충 수준의 뇌이다. GPT -2는 15억 개로 작은 도마뱀 수준의 규모였다. 일리야는 다음 모델에서 1,000억 개의 파라미터를 목표로 삼았는데, 이는 설치류 수준에 해당하는 규모였다.
이 신경망 구조를 훈련하는 데는 전례 없는 수준의 연산 능력이 필요했다. 전기 요금만 해도 인공지능 역사상 가장 비싼 프로젝트 중 하나가 되었고, 이는 앞으로 다가올 변화의 신호였다. 오픈AI의 CEO 샘 올트먼은 기부금만으로는 일리야 수츠케버의 꿈을 실현시킬 만큼 자금을 조달할 수 없다는 것을 깨달았다. 그래서 그는 2019년 오픈시I가 수익 제한 자회사를 설립한다고 발표했다. 이 구조에서 투자자들이 받을 수 있는 최대 수익은 100배로 제한된다.
보도자료에는 다음과 같은 문장에 담겨 있었다.
"오픈AI 글로벌 LL.C에 대한 투자는 일종의 기부로 간주하는 것이 현명합니다. AGI 이후의 세계에서 돈이 어떤 역할을 하게 될지는 예측하기 어려울 수도 있습니다."
기부자 중 가장 큰 금액을 내놓은 건 마이크로소프트였다. 그들은 10억 달러를 투자했다. 그리고 최대 1,000억 달러가 될 수 있는 소소한 수익률을 받아들인 것이었다. (어쩌면 돈을 초월한 세계가울 수도 있겠지만, 그날이 오기 전까지 마이크로소프트는 계속해서 돈을 벌어들일 것이다.) 이 투자는 7년 전 알렉스 크리제브스키와 일리야 수츠케버가 지포스 2개를 사느라 쓴 1,000달러와 비교하면 100만 배 커진 규모였다. 그러나 이 정도로도 일리야 수츠케버의 욕구를 충족시키기에는 부족했다. 인간의 뇌는 약 200조 개의 시냅스를 가
지고 있다. AGI 여부를 떠나, 오픈시I는 이를 넘어설 방법을 모색하고 있었다. 엔비디아도 이미 이를 실현하기 위한 컴퓨팅 시스템을 구축하고 있었다. 젠슨 황은 그것을 슈퍼컴퓨터나 데이터센터가 아니라 AI 팩토리라고 불렀다.
- 엔비디아는 독보적인 시장 지위를 바탕으로 높은 가격을 책정할수 있었고, AI 칩의 총이익률은 90%를 넘기도 했다. 이런 수익 구조는 상어 떼를 끌어들이듯 새로운 경쟁자들을 불러 모았다. 구글과 테슬라는 엔비디아 의존도를 낮추기 위해 자체적으로 AI 훈련용 하드웨어를 개발했고, 여러 스타트업들도 이 시장을 노렸다. 그중 하나인 세레브라스는 디너 접시만 한 '메가칩'을 제작했
다. 세레브라스의 CEO 앤드류 펠드먼은 엔비디아를 향해 직격탄을 날렸다. "그들이 고객을 착취하고 있는데도, 아무도 소리 내 말하지 않는다."
일각에서는 엔비디아의 시장 지배력이 지속될 수 있을지 의문을 품었다. AMD와 인텔은 쿠다의 오픈소스에 대한 대안을 제공하고 있었고, 이는 고객들이 엔비디아 하드웨어 생태계에서 벗어날 수 있게 해주며, 수십억 달러를 절감할 가능성을 열어주었다. 하지만 실제로 AMD나 인텔의 제품을 사용하는 AI 연구자는 거의 없었다.
왜 그럴까?
나는 이 질문을 수많은 사람들에게 던졌고, 다양한 답변을 들었다. 흔한 오해 중 하나는 쿠다에서 벗어나는 것이 기술적으로 어렵다는 것이었다. 하지만 실제로는 매우 간단해서, 경우에 따라 몇 줄의 코드만 수정하면 되는 수준이었다. 또 다른 오해는 기업의 하드웨어 구매 담당자들이 안전한 선택을 한다는 것이었다. 한스 모제스만은 과거 IBM을 두고 했던 말을 빌려 "엔비디아를 사서 해고당한 사람은 없다"라고 말했다. 그런데 정작 하드웨어 구매 담당자와
인터뷰를 해본 결과 그들은 경쟁 제품을 꾸준히 테스트해 보고 있으며, 값싼 대체재가 나오기를 간절히 바라고 있었다. 그는 엔비디아의 컴퓨팅 스택에 대해 이렇게 말했다."이거, 개같이 비싸요."
- 전속력으로 달려 최초가 되는 것
엔비디아가 성공한 이유는 회로의 성능이 더 뛰어나서가 아니었다. 핵심은 소프트웨어였다. 더 이상 성능 향상을 위해 트랜지스터를 더많이 집적하는 고전적인 방식이 통하지 않았다. 무어의 법칙은 이미 끝난 상태였다. 나머지 성능 향상은 빌 밀리, 이안 벅, 그리고 엔비디아 과학자들이 수학적 마법을 이용해 행렬 곱셈을 가속한 덕분이었다.
엔비디아 엔지니어들은 GPU에 새로운 명령어를 가르쳐, 마치 루빅스 큐브를 순식간에 풀어내는 방식으로 연산 속도를 높였다. 프로세서가 원래 사용하는 정교한 데이터 표현 방식 대신, 덜 정교하지만 더 빠른 로우파이 데이터 타입으로 바이다. 비유하면 서예대신 속기로 쓰는 것과 비슷하다. 또 뉴런 네트워크에서 쓸모없는 정보를 제거하는 방식으로 이른바 '죽은' 시냅스를 행렬에서 잘라냈다. 이는 영화 <이터널 선샤인>의 '망각 기계'처럼 불필요한 정보를 삭제하는 과정과 유사했다.
2012년부터 2022년까지 10년 동안 엔비디아는 단일 칩의 AI추론 성능을 무려 1,000배나 향상시켰다. 이는 무어의 법칙이 예즉한 것보다 휠씬 빠른 속도였다. 그런데 트랜지스터 증가로 인한 성능 향상은 겨우 2.5배에 불과했고, 나머지 400배는 전적으로 엔비디아의 수학적 기술 덕분이었다. 하드웨어 엔지니어링 디렉터인 아르준 프라부는 이렇게 말했다. "솔직히 말해 AMD도 우리만큼 훌륭한 칩을 만들 수 있습니다. 하지만 연산 속도를 이렇게까지 끌어올릴 수는 없죠."
- 이 강력한 엔진 위에 엔비디아는 특정 분야의 프로그래머들을 위한 영역별 도구를 구축했다. 자동차 연구를 위한 '드라이브Drive', 신약 개발을 위한 '바이오네모BioNeMo'와 의료 영상 분석을 위한 클라라, 사이버 보안을 위한 '모르페우스 Morpheus', <포트나이트>에서 결정적인 킬샷을 자동 캡처해 주는 '하이라이트 Higthlights' 등이 있다. 2020년대에 접어들며 엔비디아는 게임과 애니메이션, 행성 과학. 기후학, 수학. 물리학, 금융, 생화학, 양자 컴퓨팅 등 다양한 분야에 걸쳐 거의 300개에 달하는 소프트웨어 툴킷을 제공했다.
소프트웨어 패키지는 누구나 자유롭게 사용할 수 있었고, 라이선스 비용도 없었다. 젠슨은 이 률킷들을 마치 할머니가 음식을 한 접시 더 챙겨주듯 과학자들에게 적극적으로 나눠주었고, 이 도구들을 내 보물들'이라고 불렀다.
물론 젠슨이 자선 사업가여서 그런 것이 아니다. 그의 장기적인 전략은 이 무료 소프트웨어를 통해 연구자들을 엔비디아의 하드웨어 업그레이드 주기에 묶어두는 것이었다. 칼텍 데이터센터의 한 관리자는 2024년 초에 학교에서 구매한 H100 칩을 받기까지 대기 시간이 거의 18개월에 달한다고 말했다. 그는 학교 교수들에게 다른 공급업체로 전환하면 좋겠다는 의견을 냈지만, 이를 받아들이려는 사람은 거의 없었다고 전했다. 그는 이렇게 말했다. "교수들은
쿠다를 포기하느니 하드웨어를 기다리겠다고 하더군요."
엔비디아의 경쟁 우위는 바로 이 모든 코드 덕분에 만들어졌다.
- 엔비디아의 소프트웨어 제품들은 항상 아름답거나 사용하기 쉬운 것은 아니었고, 일부 툴킷의 인터페이스는 10년은 뒤처진 상태였다. 그러나 드와이트는 외관에 신경 쓰는 사람이 아니었다. 그는 오직 '최초'가 되는 데에만 관심을 가졌다. 어떤 과학 분야이든 새로운 프론티어가 열릴 기미가 보이면, 그는 가장 먼저 그곳에 도달해서 투박하지만 효과적인 최신 소프트웨어 불킷을 배포했다. 경쟁자가 나중에 더 세련되고 운영 비용이 저렴한 제품을 들고 나타날 수도 있었지만, 그때쯤이면 이미 너무 늦었다. 업계 표준이 이미 정해져 있었기 때문이다. 빌 들리는 내게 엔비디아가 오픈소스 경쟁에 대해 걱정하지 않는 것은 이런 이유 때문이라고 설명했다. "왜냐하면 우리는 전속력으로 달리고 있으니까요! 우리는 항상 그들보다 두 세대는 앞서 있어요."
- 집에 머물면서 세계에서 가장 가치 있는 반도체 회사를 운영하던 젠슨은 자신과 현장 직원들과의 접점이 끊어지고 있다고 걱정하게되었다. 엔비디아는 너무 커져서 그가 직접 모든 상황을 완전히 파악할 수 없었지만, 그렇다고 해서 업무 위임은 그의 스타일이 아니었다. 조직과의 공명을 유지하려면 최전선에 있는 직원들과 직접 소통해야 했다.
2020년경 젠슨은 전 직원에게 매주 자신이 진행 중인 가장 중요한 다섯 가지 업무 목록을 제출해 달라고 지시했다. 그날 이후 매주 금요일마다 그는 2만 통의 이메일을 받았다. 간결하게 작성해 달라고 권장했고, 젠슨은 받은 이메일 중 일부를 무작위로 골라 늦은 밤까지 읽었다. 그리고 그에 대한 답장을 직접 보냈다. 하루 수백 통의 이메일을 썩는 데 대부분 몇 단어 정도로 짧았다. 한 임원은 그의 이메일을 하이쿠와 같다고 했고, 또 다른 이는 몸값 요구서 같다고 했다. 그의 응답 속도는 거의 초인적이있다. 빌 달리는 이렇게 말했다. "새벽 2시에 이메일을 보내면 2시 5분에 답장이 읍니다. 그리고 다시 새벽 6시에 이메일을 보내면 6시 5분에 또 답장이 와요."
젠슨 황은 바로 이메일을 통해 트랜스포머 아키텍처에 대한 소문을 들었다. 오픈시I가 마이크로소프트 애저 서버에서 거대한 훈련 작업을 돌리고 있는데, GPU 1,000개를 무려 한 달 넘게 점유했고, 비용은 약 500만 달러에 달한다는 것이었다. 이 모델은 새로운 형태의 언어 모델이었는데, 사람들은 이를 '대규모 언어 모델이라고 부르기 시작했다. 이 모델이 기존에 배포된 어떤 모델보다 100배 이상 큰 규모였기 때문에 붙은 이름이었다.
젠슨 황은 트랜스포머 전용 률킷이 필요하다는 것을 깨달았다. 그는 바스 아르츠에게 현재 사용 중인 순환 신경망 컴파일러를 휴지통으로 끌어다 놓고 즉시 트랜스포머 컴파일러 작업을 시작하라고 지시했다. 바스 아르츠는 이 전환을 오히려 기삐했다. 그는 순환신경망의 장기.단기 기억 구조가 쓸데없이 복잡하다고 생각하고 있었다. "RNN은 프로그래밍하기도 어럽고, 컴파일하기는 더더욱 어려웠어요 . 트랜스포머가 모든 면에서 휠씬 더 적합했죠"
- 소비자용 AI 제품들은 눈에 띄고 화려했다. 하지만 AI분야 관련자들은 진정한 발전은 본래 보이지 않는 제품군에서 일어난 다고 믿었다. 산업 분야에서 AI가 도입되면서 전럭망이 더 효율적으로 관리되었고, 항공편 스케줄이 더 빠르게 조정되었으며, 배송속도가 빨라졌다. 그리고 이 외에도 작지만 실질적인 개선이 수없이 많이 이뤄졌다. 이런 각각의 개선은 전문가들 외에는 눈치채지
못한 채 후방 인프라에 흡수되었지만, 이러한 개선이 모여서 전 세계 생산성이 계속해서 대규모로 업드레이드 되었다.
또한 인간 활동의 마지막 개척지라고 할 수 있는 영역에서도 진전이 있었다. 바로 AI를 활용해 A의 발전을 가속화하는 것이다. 딥마인드는 2022년 행렬 곱셈을 빠르게 수행하기 위한 신경망을 공개했다. 엔비디아는 2년 후 생성형 AI를 사용해 실리콘 마이크로칩의 패턴을 설계하는 소프트웨어 패키지를 선보였다. 이런 자기 증식형 AI는 아직까지는 인간의 통제 안에 머몰러 있다. 하지만 이 상태가 언제까지 유지될지는 알 수 없다.
- 대규모 하이퍼스케일 데이터센터들의 연간 전력 요구량은 기가와트 단위에 이른다. 이는 원자력 발전소 한 기의 출력량과 맞먹으며, 미니애폴리스 도시 전체를 가동할 수 있는 규모이다. 데이터센터에서 엔비디아 칩을 계속해서 업그레이드하면서 구글의 온실가스 배출량은 5년간 50% 증가했다. 이는 전력망의 효율성 향상을 감안한 수치이며, 2030년까지 탄소 중립을 달성하겠다고 공언한 상황에서 나온 수치이다. (구글 대변인은 2024년 AI 전력 소모가 '쉽지 않은 과제'임을 인정하면서도 탄소 중립에 대한 구글의 의지를 재확인했다.) 고가의 오픈AI 모델을 학습하고 배치한 마이크로소프트의 클라우드 컴퓨팅 부문에서도 탄소 배출량이 3분의 1 가까이 증가했다. 클라우드 제공업체들은 심지어 사용하고 있지 않은 암호화폐 채굴 시설을 사들이려고도 했다.
- 경영학자들은 CEO가 직접 보고를 받는 임윈이 8명에서 12명 정도인 것이 이상적이라고 말한다. 하지만 젠슨은 무려 55명에게서 직접 보고를 받고 있다. 그에게는 오른팔 역할을 해줄 사람도, 비서실장도 없으며, 명령 체계도 없다. 후계자 역시 정해져 있지 않다. 엔비디아가 성장할수록 경영진은 오히려 줄어들었기 때문에 실수에 대한 희생양도 없었다. 이사회 멤버들은 젠슨의 대체 불가능성에 대해 이야기했다.
그가 아니었으면 미국 경제는 침체에 빠졌을지도 모른다는 말조차 과언이 아니었다. 엔비디아의 성장 과정에서 미국 주식 시장은 유럽과 아시아 시장을 크게 앞질렀고, 그 성과는 대부분 AI 덕분이었으며, 그 핵심에는 엔비디아가 있다. 3조 달러에 달하는 엔비디아의 시가총액은 겉으로는 앞으로 엔비디아가 벌어들일 이익에 대한 기대치라고 하지만, 실제로는 이61세 남자의 능력에 대한 기대에 걸린 도박, 국내총생산GDP 규모의 베팅과도 같았다.
- 그는 여전히 다소 알 수 없는 인물이었다. 그와 대화를 시작하더라도 조심해야 했다. 젠슨은 내게 흥미로운 일화를 많이 들려주었지만, 그 세부적인 내용은 조금씩 바뀌었다. 나는 그를 직접 인용하는 것이 위험할 수 있다는 사실을 깨달았다. 그가 무언가를 말한다고 해서 반드시 그것을 믿는다는 뜻은 아니었다. 젠슨의 말은 어디로 될지 흐름이 불규칙했다. 개와 구토에 대한 기괴한 이야기를 하기도 했고, 남성 패션, 데니스 레스토랑의 계란 품질, 또는 그 순간 그의 머릿속에 떠오른 어떤 주제로든지 빠질 수 있었다.
그에게서 일관성을 찾아보기 어려웠다. 종종 심사숙고한 의견처럼 보이거나 간결한 격언처럼 들리는 말조차도, 그가 즉석에서 생각해낸 것이거나 진심으로 한 말이 아니었으며, 나중에는 자신이 그런 말을 했다는 사실조차 기억하지 못할 때도 있었다.
젠슨은 자주 스스로의 말을 모순되게 만들었고 때로는 한 번의 인터뷰를 하는 동안에도 상반된 관점을 동시에 내놓기도 했다. 그렇다고 그가 악마의 변호인 역할을 자처한 것은 아니었다. 그는 단지 아이디어를 양쪽에서 모두 공격하기를 좋아했을 뿐이었다. 옌스 호르스트만은 이렇게 말했다. "그는 정치인이 되려는 게 아닙니다. 메시지를 일관되게 유지하려는 것도 아니고요. 그는 실시간으로 들어오는 정보들을 처리하려는 거예요. 그리고 일시적으로라도 모순된 생각을 받아들일 준비가 되어 있는 겁니다." 겉보기에는 확고한
선언처럼 보이는 말도, 사실은 젠슨이 그저 자신의 생각을 소리 내 정리하고 있는 것인 경우가 많았다.
그러다 그가 같은 말을 반복하기 시작하면 주의 깊게 들어야 했다. 어떤 아이디어가 진정으로 젠슨에게 와닿으면, 그것은 며칠, 때른는 몇 주에 걸쳐 서서히 힘을 키워갔다. 그 아이디어는 그의 어휘에 스며들었고, 회의마다 반복적으로 나타났다.
- 스타트업 앤트로픽Anthropic이 만든 모델인 '클로드caude'는 여러 기준에서 GPT-40에 필적하거나 더 나은 성능을 보여주었다. 각국 정부는 민감한 데이터를 클라우드에 맡기지 않으려 대규모 자체 AI훈련 센터를 건설하고 있었다. 일론 머스크의 xAI 이니셔티브는 오라클의 GPU 서버를 임대하는 100억 달러 규모의 계약을 체결했다. (2015년에 그가 표현했던 AI에 대한 실존적 우려는 이제 일론 머스크에게서 사라진 듯했다.) 가장 큰 투자는 마크 저커버그의 메타에서 나왔다.
메타는 300억 달러를 투입해 엔비디아 칩 100만 개를 구매하고, 이를 가동할 전용 원자력 발전소를 확보할 계획이라고 발표했다. 캘리포니아주 상원의 법안이 이 중 어느 것 하나라도 막을 수 있을 것이라는 전망은 순진하게 주 정부의 힘을 믿는 사람들 사이에서만 나왔다. 엔비디아 GPU의 속도가 빨라질수록 경제 성장에 대한 기대치도 함께 높아졌다. 실리콘밸리의 산업 거물들은 이미 베팅을 마쳤고, 그들의 수익 상한선을 제한한다는 것은 주식 시장을 붕괴시킨다는 것이나 마찬가지 의미였다. 이를 막을 만한 영향력을 가진 정치인은 어디에도 없었다.
