책정리

- 야노마미인의 샤면인 다비 코페타와가 말한 것처럼, 모든 것이 상품이라는 믿음이 보편화되었고, 우리가 경험하고 느낄 수 있는 모든 것을 상품에 투영하는 지경에 이르렀다. 세계 여러 곳에 사는 사람들의 모든 경험이 상품에 투영되면서 우리는 우리 외부에 있는 모든 사물이 무조건 상품일 것이라고 믿게 되었다.

- 위기를 둘러싼 국제적, 국내적 이해관계가 극도로 복잡한 조건에서, 개별국가는 인류 전체의 생존과 자국의 이익 사이에서 끊임없이 흔들린다. 특히 자원과 권력을 가진 나라들이 문제다. 이들은 역사적으로 가장 많은 온실가스를 배출한 곳인 동시에 자신을 향한 재앙의 피해를 가장 늦출 수 있는 나라이기도 하다. 그래서 위개 대응에 가장 적극적이야 할 강대국들이 가장 소극적으로 반응하는 역설이 나타난다. 그 결과가 바로 1.5도선 붕괴라는 지금의 절망적 상황이다.

- 기후재앙의 효과는 모두에게 평등하지 않고, 재앙을 둘러싼 개별 국가의 이해관계가 복잡하게 얽혀 있으며, 국제적 협력의 효과적이기 어렵다는 사실은 국제정치의 객관적 조건으로 존재한다. 이런 조건은 몇몇 강대국의 힘으로 바꿀 수 있는 것은 아니다. 결국 1.5도라는 비현실적 목표에 집착하는 것보다 기후재야잉 몰고 올 전 지구적 혼란 상황에서 시민의 안전을 지키는 것이 더 현실적 목표라고 생각할 수 있다. 지금 강대국들의 움직임을 보면 이런 생각을 이미 암묵적으로 전제하고 있는 것은 아닌지 의심스럽다. 실제로 부유한 나라들이 전쟁과 군대에 쏟아붓는 비용의 총액이 기후위기 대응 비용의 30배에 달한다는 조사가 있다.

- 자연을 자원으로 활용하면서 살아온 인류가 지금 직면한 질문은 이런 것이다. 파국을 회피하기 위해 지금까지 살아온 방식을 완전히 바꿀 것인가, 혹은 기존의 방식대로 살다가 파국을 맞을 것인가? 인류는 여전히 이 질문에 어떻게 답할지 명확하게 결정하지 못했다. 기후위기 앞에서 노골적으로 드러나고 있는 인류의 무능함은 이런 머뭇거림에서 비롯한다. 머뭇거림의 이유를 다양한 차원과 맥락에서 찾을 수 있겠지만, 가장 직접적인 이유는 기존 질서를 결코 포기할 수 없다는 극단적 보수주의, 미래를 희생해 현재를 누리겠다는 변형된 종말론적 태도에 있다. 한마디로, 지금의 인류는 이대로 살다가 파국의 종말을 맞는 편이 낫겠다는 생각에서 여전히 벗어나지 못하고 있다. 그래서 표면적이고 부분적인 변화를 통해 위기에 대응하려는 전력에 집착한다.

- 정확성을 높이기 위해 중앙값과 평균 중 어느 것을 선택해야 하는지에 대한 판단의 기준은 이탈값이 전체적인 기술을 왜곡하는지, 아니면 전달하고자 하는 메시지의 중요한 일부인지에 달려 있음. 
판단력이 수학보다 중요하다. 물론 그 무엇도 당신에게 중앙값 또는 평균을 선택하라고 말해주지 않는다. 종합적인 통계분석에서는 일반적으로 두가지가 함께 제시된다. 중앙값이나 평균만 나타나는 이유는 간결함을 위해서 누군가가 통계를 이용해 설득을 하고자 하기 때문이다.

- 통계적 부정행위는 수학기술이 부족하기 때문이 아니다. 오히려 복잡한 계산이 사악한 동기를 숨길 수 있다. 평균을 정확히 계산했다고 해서 중앙값이 더 정확한 지표라는 사실을 바꿀 수는 없다. 판단력과 정직함이 무엇보다 중요하다. 법에 대한 세부지식이 범죄행위를 방지하지 못하듯, 통계에 대한 세세한 지식이 부정한 행위를 막지 못한다. 통계와 범죄 모두에서, 악당들은 흔히 자신이 무슨 일을 벌이는지를 정확히 알고 있다.

- 통계적 추론은 마법도 아니고 항상 옳은 것도 아니지만, 세상을 이해하는 데 둘도 없는 좋은 도구다. 가장 가능성 높은 설명을 찾아내는 것만으로도 우리는 다양한 생활현상에 대해 멋진 통찰을 할 수 있다. 대부분의 사람들이 통계적 추론을 한다. 예를 들어 "맥주병에 둘러싸여 바닥에 쓰러져 있는 저 학생은 테러리스트에 의해 독살된 것 같아." 모다는 "맥주병에 둘러싸여 바닥에 쓰러져 있는 저 학생은 술을 너무 많이 마신 것 같아."라고 한다. 통계적 추론은 단지 이 과정을 형식화한 것일 뿐이다.

 

- 사람이 하고 있는 일을 인공지능과 로봇이 대신하는 추세는 앞으로 점점 강해질 것임. 이 때문에 생기은 일자리 문제를 어떻게 해결해야 할까? 그렇다고 어떤 나라에서 무턱대고 인공지능과 로봇을 제한하거나 금지하면, 인공지능과 로봇을 잘 활용하는 다른 나라의 경쟁업체에 밀려 그 나라의 모든 사업이 망할 수도 잇다. 그렇게 되면 일자리가 어 빨리, 더 많이 없어질지도 모른다. 즉, 로봇이 내 일자리를 대체해서 내가 실업자가 되는 일보다, 인공지능을 더 잘 활용하는 경쟁사 때문에 회사가 망해서 내가 실업자가 되는 일이 일어날 가능성이 더 크다.

- 미래사회는 잘못된 정보로 사기를 치거나 범죄를 저지를 수 있는 위험의 크기도 점점 커질 것이고, 반대로 정부가 정보를 철저히 통제할 경우 정부에 저항하는 사람을 추적해서 탄압하기도 훨씬 쉬워질 것이다. 그렇다면 어느 선에서 자신을 드러내지 않는 인터넷을 자유롭게 활용할 수 있다고 정해두는 것이 옳을까? 어떤 식의 관리방법이 가장 좋을까?

- 어떤 사람이 어떤 절차를 밟았을 때 우주의 어느 지역을 그 사람의 땅, 그 사람의 것으로 인정해 줄 수 있을까? 그 권리를 영원히 인정해줘야할까, 일정한 기한을 두는 것이 좋을까? 이런 문제에 관해서는 어떤 원칙을 택해서 어떤 절차에 따라 규정을 정하는 것이 옳은 방법일까?
신항로 개척시대에 신대륙을 발견했다거나 새로운 섬을 발견했다고 주장하던 유럽의 탐험가들은 자칫 잔인한 침략행위를 저지르던 때가 많았기 때문에 그 시절의 규정을 그대로 본받아 활용하는 것은 좋은 방법은 아닐 것이다.

- 신경과 호르몬에 관한 연구, 뇌의 화학적 반응에 대한 연구가 진행될수록 사람의 기분, 행복감에 대한 이해는 깊어질 것이고 이것을 인위적으로 조종하는 방법도 개발될 것임. 그렇다면 누구나 행복하게 해줄 수 있는 약은 과연 허용되어도 좋을까? 이런 약을 금지해야 하는 근거를 찾아낼 수 있을까? 과거에는 전 세계적으로 금지되는 추세였던 대마초 등의 약물에 대해 해외 일부 지역에서 그 허용폭을 넓히는 정책이 추진되고 있다. 혹시 효과가 어느 수준 이상으로 평가되고 부작용이 어느 수준 미만으로 제거된다면 비슷한 부류의 약물을 허용해도 괜찮을까?

 

- 최초의 마이크로프로세서 4000시리즈 이후 인텔의 히트작이 된 8086 프로세서에 맞서 모토로라는 68000 프로세서를, 자이로그는 Z8000을 출시. 후발주자들은 성능면에서 인텔 8086보다 앞섰고 사용자 편의성 측면까지 고려해 인텔의 약점을 파고들었다. 이런 상황 속에서 인텔은 경쟁전략에 대해 고민했고 일명 크러쉬 전략을 시행. 크러쉬 작전은 고객들에게 마이크로프로세서의 기술적 우수성만을 홍보하는 것이 아니라 고객들이 가진 문제에 대해 포괄적인 솔루션을 제공하겠다는 캠페인이었다. 성능사양을 제시했던 카탈로그도 고객들에게 어떤 도움이 되는지를 제시하는 것으로 바꿈. 

- 트랜스포머 기반 알고리즘을 구동하는 것은 매우 고된 단순반복 작업이다. 의미를 알 수 없는 수십만권의 책이 있는데 그 책을 꼼꼼이 읽으며 단어와 단어가 어떤 식으로 연결이 되는지를 보고 가장 많이 연결된 단어로 문장을 구성한다고 생각해보자. 인간이 수행한다는 것은 불가능이다. 상상이야 할 수 있지만 엄청난 성능의 수퍼 컴퓨터가 없으면 실제로 실험해 볼 수조차 없다. 전문가 방식의 인공지능 알고리즘은 정확하지 않지만 주제에 크게 벗어나지 않는 대답을 내놓는다. 트랜스포머 기반 알고리즘은 적당히 학습하면 얼토당토 않은 답을 내놓는다. 모델이 엄청 커지기 전까지는 터무니 없이 낮은 정확성을 보인다. 그러다 일정 규모 이상의 파라미터를 갖게 되면 다른 알고리즘과는 비교할 수 없는 정확성을 보인다.

- 트랜스포머 모델의 특징은 범용성. 이미지 인식, 언어 인식 등 개별적 목적을 가진 다양한 인공지능 알고리즘이 있다. 파라미터값이 작은 모델부터 수조개의 파라미터를 갖는 초거대언어모델까지 사이즈별로도 종류가 다양하다. 사용하는 목적에 따라 라벨이 붙은 데이터를 사용하는 모델도 있고 라벨이 없는 데이터를 사용하는 모델도 있다. 지도학습, 비지도학습 등 학습방식도 다양.
트랜스포터는 무작위 데이터를 입력해 정답을 찾아내는 방식이기 때문에 데이터의 성격을 따지지 않음. 초거대언어 모델을 만들어 목적에 따라 적당히 파인튜닝하면 이미지, 언어, 추천 등 어떤 서비스라도 제공가능. 어떤 데이터가 입력되던디 처리방식은 그저 행렬곱이다. 더하기 곱하기만 반복한다. 더하기 곱하기로 모든 답을 찾아내고 모든 솔류션을 제시한다. 이는 모든 인공지능 서비스의 기반이 된다고 해서 파운데이션 모델이라고도 한다.

- 앞으로의 반도체 성능을 나타내는 기준으로 트랜지스터 집적도나 전력당 성능이 주요 후보로 거론되고 있음. 트랜지스터 집적도를 강조하는 주요 기업은 인텔이다. 인텔은 TSMC, 삼성전자에 비해 공정노드는 뒤처지지만 같은 공정노드에서 트랜지스터 집적도는 높았다. 인텔의 마크 보어는 "일부 기업들이 집적도를 높이지 못하면서 20나노에서 14나노, 10나노 등으로 노드 이름을 바꾸고 있다"며 절대적인 트랜지스터 집적도로 측정을 해야한다고 주장.
트랜지스터 집적도가 높아야 한다는 인텔의 주장도 일리가 있다. 하지만 선폭개선을 지속적으로 진행한 TSMC나 삼성전자는 결국 인텔보다 더 뛰어난 성능을 보여줬다. 같은 노드에서 성능은 인텔이 뛰어날지 몰라도 TSMC, 삼성전자는 인텔보다 앞선 노드를 성공시켰다. 게다가 인텔의 공정은 면적은 줄일 수 있을지 몰라도 트랜지스터끼리 연결하는 배선이 더 복잡해지기도 한다. 배선이 들어가야 할 자리를 줄여서 트랜지스터 면적을 줄인것인지도 노드를 비교할 때 살펴보아야 할 점이다. 

- 냉각장치에 필요한 공간 확보여부에 따라 반도체가 사용할 수 있는 전력 사용량이 정해짐. 냉각장치를 달 수 없는 디바이스에는 고성능 반도체를 쓸 수 없다. TV에는 5와튼 전력을 소비하는 반도체를, 노트북은 10와트, 모바일폰은 2와트 수준을 사용하는 반도체가 한계. 더 좋은 성능의 반도체가 있어도 전력사용량이 많으면 사용할 수 없는 것이다.

- 공랭식으로 온도를 낮출 수 있는 한계 전력량은 GPU카드당 약 400와트. 400와트보다 더 많은 전력을 사용하는 반도체는 수냉식 냉각장치를 사용함. 
A100은 400와트의 전력을 사용하기 때문에 공랭식 냉각이 가능. 하지만 H100은 700와트를 사용하므로 수냉식 냉각장치를 달 수 밖에 없음. 데이터센터를 구성하는 데는 100-150와트 반도체가 가성비가 좋음. GPU이전의 서버용 CPU들이 그 정도 전력을 사용해왔고, 그에 맞게 냉각설비가 발전되어 온 추세가 있기 때문. 
그렇다고 100와트를 사용하는 AI반도체를 많이 사용하는 것이 정답은 아님. 반도체는 내부에서 데이터 처리를 할 때는 전력을 많이 사용하지 않는데, 다른 칩과 데이터를 주고받을 통신을 하면 전력을 많이 사용하기 때문. 성능이 낮은 반도체를 여러개 달면 오히려 전성비가 떨어진다. 

- 쿠다를 개발할 때 고성능 인터페이스와 컨트롤러를 개발할 때 딥러닝 시대를 예상하고 개발한 것은 아니다. 딥러닝의 연산방식이 그래픽 연산방식과 유사하다는 의도치 않은 운이 작용. 이에 더해 엔비디아는 그들이 잘하는 부분을 AI시대에 어떻게 활용할 수 있는지에 대해 빠르게 캐치하고 그 방향으로 빠르게 강화시켜 나갔다. 반도체업의 특성상 미래를 내다보며 사용자가 필요할 것을 예측하고 하드웨어에 녹여내는 것이 임무다. 이를 위해 어떤 반도체는 실제사용자와 밀접한 관계를 유지하며 요구사항을 기준으로 차세대 설계를 구상한다. 특정 고객사가 없는 경우는 다목적으로 사용할 수 있는 범용적인 반도체를 설계하거나 고객사의 수준을 웃도는 연구를 통해 미래를 예측할 수밖에 없다.