책정리

- 방적기 때문에 해고된 노동자들이 밤에 공장에 잠입해 방적\기를 때려부순 운동이어서 흔히 러다이트 운동을 '기계 파괴 운동'으로 부르기도 한다. 실상은 다르다. SF 작가 테드 창은 2023년 <뉴요커>에 기고한 칼럼에서 러다이트를 단순한 반기술 운동이 아니라 경제 정의를 위한 사회 운동으로 소개한다
러다이트는 기계를 무차별적으로 파괴하지 않았고, 기계의 소유주가 노동자에게 충분한 임금을 지급하면 기계를 내버려 두었습니다. 러다이트는 기술에 반대하는 것이 아니라 경제적 정의를 윈했습니다. 그들은 공장주들의 관심을 끌기 위해 기계를 파괴했습니다. '러다이트'라는 단어가 비이성적이고 무지한 사람을 부르는 모욕적인 표현으로 사용되는 것은 자본의 세력에 의한 명예훼손 캠페인의 결과입니다.

- 가장 먼저택시의 외관을 보면, 전에는 없던 광고판이 택시의 천장 위에 올라가 있다. 이러한 광고판의 목적은 두 가지다. 하나는 광고판 본연의 기능대로 광고를 송출하는 것이고, 다른 하나는 광고판 내부에 장착된 센서를 통해 주변의 길거리 데이터를 수집하는 것이다. 미세먼지 농도, 거리에 오가는 사람들 수, 특정시간대의 조도 같은 데이터를 센서로 실시간으로 수집하고 데이
터를 AI 기술을 통해 정제하여 서버에 저장한다.
택시 내부에는 뒷좌석에서 잘 보일 수 있도록 태블릿PC가 부착되어 있다. 이 중 특정 제조사의 태블릿PC는 승객이 탑승했는지를 인식하고, 승객을 인식하여 성별에 따라 맞춤형 광고 혹은 영상 등을 노출한다. 그 외에도 택시를 부르는 일들도 AI 배차 시스템을 이용한다. AI 배차 시스템은 입 사용자가 택시 호출 버튼을 누르면 AI가 기존 데이터를 기반으로 택시 기사를 추천하고, AI를 통해 추천된 기사군에 사용자가 보낸 콜을 보내 기사의 수락 여부를 확인하는 형태로 설계되었다.
택시에 적용된 AI 기술들을 살펴보면 이 기술들이 기업이 소비자에 대해 더 많은 데이터를 수집할 수 있는 경유지로서 작동하고 있음을 이해할 수 있다. 더불어 AI 배차 시스템은 객관적인 듯하지만 궁극적으로 택시 기사들을 효율적으로 관리'하는데 이용된다. 수락률이 높은 택시기사들이 추천군에 올라가므로 택시기사들은 콜수락을 자율적으로 관리하기보다 일단 수락할 수 밖에 없는 상태에 놓이게 되는 것이다. 실제로 택시 기사들의 온라인 커뮤니티에서는 "AI 알고리즘의 비위를 조금이라도 상하게" 하면 콜수가 줄어든다는 하소연을 쉽게 접할수있다.

- 물론 개개인의 삶을 보다 편리하고 효율적으로 만드는 AI도 있다. 예를 들어 마이크로소프트에서는 자체 AI인 코파일럿을 노트북에 탑재한 코파일럿플러스PC를 선보였다. MS의 노트북 브랜드인 서피스(Surface)에서만이 아니라 삼성과 델 등 기타 제조사에서 내놓은 노트북 중에서도 코파일럿이 접목된 제품을 만나볼 수 있다. 이러한 노트북에서는 "어제 내가 보낸 메일 찾아줘"처럼 두루뭉술한 질문을 던져도 원하는 메일을 손쉽게 찾아준다고 한다. 파일명이 생각나지 않아 머리를 쥐어뜯는 일이 없도록, 그 모든 것을 AI가 대신 기록하고 저장하여 발견하기 쉽게 도와준다는 것이다.
그러나 여기에도 양면성이 있다. 코파일럿플러스PC가 그런 기능을 수 있는 이유는 사용자가 노트북에서 취하는 모든 액션을 전부 데이터로 기록하기 때문이니까. 실제로 해외 커뮤니티에서는 이러한 기능 때문에 사생활 침해의 소지가 있다며 코파일럿품러스PC를 사용하지 않겠다는 비판이 줄을 이었다.

- 물론 AI가 모든 업무 현장에 딱 맞는 퍼즐 조각인 건 아니다. 글로벌 컨설팅사 베인앤컴퍼니에서는 2024년 6월, 생성형 AI를 사용했던 응답자들이 기대치 대비 실제 성과가 어떠했는지 응답한 결과를 발표한 바 있다. 소프트웨어 프로그래밍, 영업, 고객 응대 등 몇몇 분야에서는 AI 서비스를 업무에 사용하는 것이 기대보다 더 좋았다고 응답했지만 그렇지 않은 분야도 많았다. 특히 조직 운영, 인사(HR), 법률 관련 직무에서는 유난히 서비스가 기대치에 미치지 못했고, 기대치와 성과 사이의 격차도 매우 큰 것으로 집계되었다
이 결과에는 직무의 특성이 반영되어 있다. 조직 운영, 인사, 법률 관련 직무의 구체적인 특징은 조직원 혹은 고객, 특정한 사건처럼 구체적인 대상과 그 맥락을 이해하는 것이 선행해야 하는 직무다. 인사만 보더라도 어떤 사람을 어떤 팀에 배치할지, 어떤 팀장과 팀원을 매칭했을 때 가장 성과가 좋을 것 같은지 파악해야 하는데 이런 업무를 AI가 하려면 해당 인원들의 특징과 성격 등을 자세히 알아야만 한다. 무엇보다 조직원을 그러한 데이터로 치환하는 일 자체가 어렵기도 하다.
생성형 AI 서비스는 일반론적인 차원에서 가장 적합해 보이는 대답을 곧잘 생성하지만 개개인의 특정하고 구체적인 맥락을 정확하게 파악하지는 못한다. 소프트웨어 개발 같은 분야는 .에러메시지와 그 해결에 대한 것들이 상대적으로 일반적인 규칙성에 따르고, 그렇기 때문에 생성형 AI에 대한 도입 효과가 다른 것보다 더 나은 것이라는 사실을 이해할 수 있다.

- 만화, 소설 같은 서사 작품 안에서 종종 기술은 마법으로 비유되곤 한다. 한번은 애니메이션 <하울의 움직이는 성)을 보다가 마법사 하울이 마법에 관해 설명하는 장면에서 무릎을 탁 쳤다.
하울은 이렇게 말한다.
"마법 덕분에 이 왕궁에는 적군의 포탄이 떨어지지 않아.그 폭탄은 대신 옆 마을에 떨어지지. 마법이란 그런 거야."
여기'가 안전한 대신 '저기'가 위험해지는 것. IT 전반이 아니라 오로지 AI만 보더라도 이와 같은 일들을 금세 발견할 수 있다. 이를테면 <타임>에서 2023년 1월 보도한 기사에서는 첫GPT가 사용자들에게 친절하고 매너 있는 메시지를 내보내기 위해 케냐, 우간다 등지의 노동자들이 시간당 2달러도 안 되는 돈을 받으며 폭력적인 메시지를 걸러내는 작업을 했다는 사실을 밝혀냈다. 첫
GPT가 내밸는 폭력적인 텍스트들을 빠짐없이 읽고 검수했던 노동자 중 한 명은 인터뷰에서 그 작업은 그야말로 고문이었다고 언급했다. 챗GPT를 사용하는 이들의 장소가 안전한 대신 일하는 이들이 대신 위험에 처하는 상황, 하율이 말하는 마법 그 자체다.

- AI 기술이라고 하면 머신러닝 알고리즘을 활용한 기술을 전반을 이야기한다. 아서 새뮤얼에 의하면 머신러닝은 '사람이 하나하나 코드를 작성하여 명시적으로 지시하지 않아도 대량의 데이터 속에서 폐턴율 학습하여 실행할 수 있는 알고리즘'이다. 그중에서도 딥러닝 기술이 알파고 이후 점차 확산되어 다른 머신러닝 알고리즘이나 AI 기술을 개발하던 분야들이 모두 딥러닝 방법
론을 활용하는 방향으로 발전하게 되었다. 그런 과정에서 전통적인 방식의 개발 방법론을 활용하던 분야들에도 AI 기술이 도입되는 사례 또한 늘어났다.
바꾸어 말하면 기존에 다루어온 방법론이나 접근론 자체가 바뀌는 경험을 공통적으로 할 수밖에 없었다. 사실 이런 변화는 핑장히 이질적이다. 어느 분야든 각 학문의 체계에 따라 발전해 온 연구 방법론이 존재하는데 한순간에 특정한 방향으로 인접 학문의 모든 방법론이 집중되는 것은 평장히 특이한 현상이라고 볼수 있다. 이러한 상황에서 단기간에 질 좋은 교육 과정을 설계하
고 자격을 갖추기는 어려운 일이다.

- 언어를 기반으로 인공지능 알고리즘을 다루는 사람들에게 2018년은 특별한 해로 기억된다. 오픈AI가 GPT-1을 처음으로 공개한 해이면서, 현재의 첫GPT 시대를 만든 흥미로운 아이디어들이 태동한 시기이기 때문이다.
챗GPT의 T, 트랜스포머(Transfomcr) 모델에 대한 아이디어는 이보다 빠른 2017년 6월에 공개되면서 이 황금기의 서막을 열었다. '어텐션이 전부다'라는 패기 넘치는 제목을 단 논문은 구글의 딥러닝 기반 번역기에 사용된 알고리즘을 세상에 알렸다. 알고리즘을 구성하는 어텐션 합수를 이용한 트랜스포
머 구조는 다양하게 변주되면서 거대 언어 모델의 신호탄이 되었다. 이 논문은 2025년 1월 기준으로 15만 회 가까이 인용되면서, AI 기술에 입문하는 사람들에게 성경처럼 읽히고 있다.
2018년 2월, 엘모라는 언어 모델이 사전 학습된 언어 모델을 사용하는 아이디어를 제안해 돌풍을 일으켰다. 사전 학습이라는 개념이 생기기 전의 기계 학습 알고리즘은 하나의 문제를 풀기 위해서 그 문제만을 위한 학습을 진행했다. 요약을 하는 모델은 요약만 할 수 있고 번역을 하는 모델은 번역만 할 수 있었다.
그런데 사전학습 모델은 사전에 엄청나게 큰 모델을 한번 학습한 뒤에 풀고자 하는 문제를 위한 추가 학습을 시키면 하나의 모델이 번역도 하고 요약도 할 수 있다는 것을 보여주었다. 한 번 학습을 하여 하나의 모델을 만드는 데 상당히 많은 자원이 들기 때문에 이를 절약할 수 있는 획기적인 아이디어였다.

- AI 산업은 태생적으로 많은 자원을 필요로 한다. 실험적으로 모델을 한번 학습하는 비용만 적게는 몇 백만 원에서는 많게는 몇백억 원이든다. 모델을 학습하기 위해서 필요한 컴퓨팅 자원이 고가이기 때문이다. 그중에서도 많은 양의 계산을 동시에 수행할수 있는 GPU가 필수적인 장비인데,GPU 시장의 98퍼센트를 점유하고 있는 엔비디아"의GPU 제품 중H100은 한대에 최대6천만 원이고 보통 여덟 대를 묶어서 하나의 서버로 사용한다.서버를 만드는 데는 GPU뿐 아니라 다른고성능 컴퓨팅 장비가 필요하다. 서버 하나를 갖추는 데 4-5억 원 이상이 들어가는 셈이다. 이러한 서버를 수천 대 구축하여 몇 주간 가동해서 모델을 만든다. 이렇게 대규모 장비를 가동하는 데는 그만큼 큰 서버를 관리할 수 있는 데이터센터가 필요하고, 데이터센터를 운용하는 전기, 여기 드는 돈도 막대하다. 한 번 학습해서 성공적인 모델이 나오는 것이 아니므로 여러 번 학습을 거치면 쉽게 1억 원 넘는 비용이 사라진다. 장비를 직접 구입하지 않고 클라우드 서비스를 이용해 대여해서 사용하는 경우라면 시간당 과금을 기반으로 요금이 부여되기 때문에 계약된 기간 동안 실시간으로 비용이 타고 있다'는 압박을 지울 수 없다.
단순히 모델을 만드는 데서 그치지 않는다. 실제 제품으로 만들기 위한 테스트를 하다 보면 제품 개발에 들어가는 비용만 몇억에서 수십억 원이 예사로 들어간다. 책GPT를 개발한 오픈AI는 2020년 신경망 언어 모델의 확장 법칙 '이라는 논문을 공개했다. 이 논문을 통해 모델 크기, 데이터셋 크기, 계산량을 증가시킬수록 모델의 성능이 향상된다는 것을 보여주었다. 그럼에도 불구하고 비용을 태워가면서 모델과 데이터셋을 키우는 데 투자하는 것은 무모해 보였다. 기술은 모델의 크기를 줄여서 학습이나 추론에 들어가는 비용을 줄이기 위한 방향으로도 발전하고 있었다. 그러나 크기를 줄이면 당연히 성능이 하락했고, 그 중간 지점을 찾아가면서 고객을 만족시킬 수 있는 서비스를 만드는 것은 모두 도전적인 과제였다. 모델의 발전은 계속 일어나고 있으나 이를 서비스화 하는 작업은 교착 상태에 빠져 있었다.
'과연 언어 모델이 상용 가능할까?' 내 안에서 이런 의문이 생겨나고 있을 때 겠GPT가 공개되었다. 셋GPT는 확신을 가지고 모델 구조는 변경하지 않은 채 순수하게 데이터와 모델의 크기를 키워서 압도적인 성능을 보여주었다. 이를 목도한 AI를 다루는 회사들은 모두 모델의 크기를 키우는 데 몰두하기 시작했다.

- 이러한 현상의 핵심에도 역시 '더크면 더 좋다'라는 단순하면서도 강력한 믿음이 자리 잡고있다. 더큰모델은 더 많은 데이터를 처리하고, 더복잡한 패턴을 인식할수 있으며, 결과적으로 더 뛰어난 성능을 보여줄수 있기 때문이다. 챗GPT가 보여준성공은이러한 믿음을 더욱 강화했고,기업들은경쟁에서 뒤처지지 않기 위해더큰모델 개발에 박차를 가했다.
오픈AI의 대항마인 앤트로픽의 CEO는 모델 훈련 비용이매년 기하급수적으로 늘고 있다고 밝혔다. 최근 공개된 모델은 1억달러가 들었고, 현재 훈련을 진행하고 있는 모델은 열 배인 10억달러까지 훈련 비용이 치숯았다는 사실을 공개했다. GPU가 3만개 이상 들어간 GPT-4도 1억 달러 이상 비용이 사용되었을 것으로 추정된다." xAI의 CEO 일론 머스크는 2025년까지 10만 개의
GPU 클러스터를 구축하겠다고 밝혔다. 엔비디아의 최신 GPU가 새로 공개될 때마다 개당 3-4만 달러대에서 판매되며 시장 상황에 따라 그 이상의 가격으로 유통되기도 한다. 웬만한 기업은 GPU를 확보할 예산도 마련하기 힘든 상황이다.
이처럼 비대해지는 모델의 크기는 아주 극소수의 플레이어만 이 게임에서 살아남을 수 있도록 하는 장치가 된다. 실패에 대한 비용이 커질수록 도전이 어려워지고, 도전이 어려워지면 당연히 창의적인 해결책이 나오기는 어럽다.

- 이렇게 파워풀한 성능을 보여주는 모델은 사실 엄청나게 단순한 방식으로 답변을 생성한다. 텍스트나 이미지가 입력되면, 입력된 정보는 모델이 이해하고 계산할 수 있는 형태로 변환된다. 그리고 그 입력을 바탕으로 다음에 어떤 단어가 올 확률이 높은지를 계산해서 출력한다. 이 작업을 단순히 반복해가는 방식으로 답변을 생성한다. 이 때문에 전 구글 연구원인 팀닛 게브루sms GPT -3 같은 언어 모델을 '확률적 앵무새'라고 명명하기도 했다. 앵무새가 사람의 말을 따라하지만 그 뜻을 모르는 것과 같이 언어 모델도 실제 이해를 바탕으로 문장을 생성하는 것이 아니라 확률적으로 단어를 연속하여 생성할 뿐이라는 의미다. 이 단순한 방식에도 불구하고 모델의 크기가 압도적으로 커지자 놀랍도록 자연스러운 발화를 생성했다. 문법적으로 자연스러운 문장을 생성하는 것을 넘어서서 유용한 지식을 체계적으로 구조화한 텍스트를 만들어냈다.

- 민지가 AI의 도움을 받을 수 있었던 부분은 크게 두 가지였다. 첫 번째는 디자인의 전체적인 방향성을 정하거나 새로운 콘셉트를 제안하는 등의 '기획', 두 번째는 기존에 게티이미지뱅크같은 유료 이미지 사이트에서 구매하여 사용하던 이미지를 만들어 쓸 수 있는 '재료'. 기획의 영역에서는 챗GPT와 미드저니를 모두 사용했다.
먼저 챗GPT에게 개발하고자 하는 서비스의 개요를 전달하고, 그 서비스에 적합한 디자인 레퍼런스를 검색하거나 검색한 레퍼런스를 기반으로 새로운 디자인 콘셉트를 짜보라고 한다. 그리고 선정한 디자인 콘셉트를 기반으로 미드저니에서 이미지를 생성할 수 있도록 미드저니 프롬프트에 넣을 명령어까지 만들어 달라고 요청한다. AI를 통해 또 다른 AI 서비스의 명령어를 만들어 내는 것이다.
예를 들어 우리가 어떤 연령대의 사람들을 대상으로 특정한 서비스를 만들고 싶다고 챗GPT한테 얘기하는 거죠. 그리고 콘셉트를 만들어보라고요. 그러면 겠GPT가 콘셉트를 여러 개 제시하는데, 그중 몇 가지를 골라서 다시 기획을 더 발전시켜보라고해요.그렇게 하나를 선택한 후미드저니 명령어까지 만들어
달라고 하면 콘셉트에 적합한 이미지가 생성돼요."
콘셉트를 만드는 방식은 꽤 효율적이었다. 그러나 디자인의 재료가 되는 이미지를 만드는 일은 디자이너의 부담이 경감된다고 보기 어려웠다. 전에는 적합한 이미지를 찾는 게 일이었다면, 이제는 내가 원하는 방식으로 이미지를 만들기만 하면 되는데도 시간은더오래 걸렸기 때문이다.
기존에 스톡 이미지를 많이 썼거든요. 주로 게티이미지뱅크 같은 곳에서 구매했어요. 그런데 이제 필요한 이미지를 찾고 구매하느라 시간을 들이는 대신 이미지 생성 AI로 필요한 이미지를 만들어서 쓰는 거죠. 기존 유료 이미지 사이트에서는 원하는 이미지를 딱 찾기 어려우니까 원하는 걸 만들 수 있다는 점에서는 좋은데.... 이게 엄청나게 효율이 좋은가 하면 또 그렇다고 말하기가 애매한 게, 원하는 대로 잘 나오진 않거든요. 구글에서 검색하면 한두 시간이면 찾을 거를 이미지 생성 AI를 서너 시간씩 붙잡고 이미지를 계속 만들고 수정하게 되더라고요."
그림을 그리지 않아도 그림을 얻을 수 있다는 장점은 있었지만(그래서 이들은 생성형 AI를 통한 이미지 제작 작업을 말할 때 이미지를 '뽑는다'고 말한다), 지시한 방향과 다른 결과가 계속해서 도출되었기에 일러스트를 미세하게 수정하는 데서 민지는 난항을 겪었다.
결과적으로 AI만으로 백 퍼센트 작업을 하는 전 무리가 있었어요. 현재 기술 수준으로는 아직 사람이 후반 작업에 좀더 투입되어야 하기도 하고, 당장 실무에 쓸 수 있는 그래픽이 적기도 했고요. 3D 이미지는 정말 잘 만들더라고요. 그런데 아이콘은 디테일이 너무 떨어지고 글자도 다 뭉개져서 다시 새로 작업을 해야 돼요."
디자인 영역에서 AI 서비스를 활용하는 데는 퀄리티만이 아니라 여러 난관이 남아 있었다. 하나의 서비스 안에서 일관된 디자인 톤을 유지해야 하는 UI/UX 디자인 특성상 새로운 디자인요소를 만들려면 기존 디자인을 참고하여 전체적인 통일감이 깨지지 않도록 작업해야 한다. 이런 작업을 AI 서비스로 수행하려면 기존 디자인 작업물을 참고 이미지로 사용할 수 있도록 AI 서
비스에 업로드해야 한다. 그런데 이 과정에서 디자인 작업물 보안이 침범될 수 있다.
"실제로 작업하는 서비스를 AI에 넣는 건 불가능했어요. 보안 이슈가 켰거든요. 이 이미지들을 AI에 올리면 그쪽(AI 서비스를 제공하는 회사) 서버에 한 번 들어갔다 나오는 거니까요."

- 국내 개발자 커뮤니티 중 하나인 프로그래머스에서 개발자를 대상으로 실시한 설문조사에서는 경력 개발자 69.2퍼센트가 '스스로의 전문성 부족을가장큰 고민으로 꼽았다고 한다. 이미 경력이 있는 데다 계속 현업 전선에서 일하고 있는 개발자들의 고민이 전문성 부족'이라는 건어쩐지 의미심장하다 개발, 그러니까 현업의 일 그자체만으로는 개발자의 전문성이 보장되지않는다는뜻이니까.
사실 현장에서는 기술력 그자체보다 눈앞의 일을 당장 처리할수있는 능력을 더 요구한다 난도가 높은 알고리즘을 짜거나 최신 개발 언어를 사용하는 일말고 이미 누군가가 만들어놓은 코드를 짬짬이 고치는 일말이다. 이런 상황에서 개발자들은 자신의 기술력이 하락한다고느낀다. 그래서 대다수 개발자들이 퇴근후자신의 전문성'을 위해 높이기 다시 공부를 하는 것이다.
그러니 전문성이란 애를 써도 결코 닿을수 없는 먼 하늘의 별처럼 여겨지기도 한다. 그러나 한편으로 개발에서의 전문성이란 더 복잡한 면면을 고려해야 한다. 개발에도 '구독형 서비스'가 상당히 많이 출시되었기 때문이다. 이전에는 데이터베이스를 하나 구축하려면 서버를 직접 구매/ 대여해서 데이터베이스를 설치하고, 일일이 설정을 해주어야 했다. 그러나 지금은 데이터베이스도 '클라우드'에 있다. 구글 드라이브를 월 결제하여 서비스를 구독하듯, 데이터
베이스도 파이어베이스 같은 서비스를 돈을 내고 사용하면 된다. 데이터베이스를 어떻게 설치해야 하는지, 어떤 설정이 필요한지 알지 못하더라도 서비스와 연동하는 법만 잘 이해하면 데이터베이스를 뚝딱 만들어 쓸 수 있다. 이전에는 개발자의 기술에 기대야 했던 '전문성'이 이제 돈으로 지불하면 그만인 서비스가 된 것이다.

- 사람들은 이제 스택오버플로우가 아니라 챗GPT에게 물어본다. 이제 오류가 났을 때 메시지를 붙여넣는 곳은 구글 검색창이 아니라 챗GPT의 프롬프트다. 우리 같은 사람이 한둘이 아니었는지 실제로 켓GPT 출시 이후 스택오버플로우의 게시물 감소량은 어마어마하다고 한다. 약6년간의 감소폭이 챗GPT가 등장한 후 단 6개월 만에 이뤄졌다고 한다." 사용량이 급감한 스택오버플로우에서도 위기감을 느꼈는지 부랴부랴 오버플로우 AI를 출시했지만 아직 이렇다 할 성과를 내지는 못하고 있는 상황이다.
스택오버플로우의 위기는 여러모로 시사하는 바가 크다. 단지 개발자들이 사용하는 서비스가 바뀐 것 뿐이라고 이해할 수만은 없다. 스텍오버플로우에 게시된 질문과 답변은 다른 사용자들도 누구나 열람할 수 있지만 켓GPT에 남긴 질문은 사용자가 아니라면 아무도 볼 수 없다. 이전에는 나와 같은 오류에서 헤매던 누군가의 기록을 볼 수도 있고 그 아래 달린 답변과 논의를 보면서 뜻밖의 심화 학습을 할 수도 있었지만, 이제는 그런 공론장을 보기 힘들어진 것이다. 이전에는 우리가 묻고 답한 것들이 데이터로 남아 누구든 볼 수 있었지만, 이제 그러한 질답 데이터가 모두 AI 개발사의 소유가 될 것이다.
전문가들은 사람들의 지식이 쌓이고 모이는 열린 공론장이
사라진다면, 짓GPT 역시 학습할 데이터를 찾지 못해 곤란에 빠질 것이라 지적한다. 실제로 챗GPT 출시후 스택오버플로우의 사용량 감소치를 주의 깊게 연구한 논문에서는 결론부에서 다음과 같이 쓰기도 했다.
"언어 모델이 오픈 데이터 생성을 방해한다면, 그들은 미래의 학습 데이터와 효율성 측면에서 그들 자신의 미래마저 제한할 것이다.""
이러한 사실을 알면서도 다시 스택오버플로우로 돌아가기란 여간 어려운 일이 아니다. 챗GPT에 물어보면 1초 만에 받을 수 있는 답변을 스택오버플로우에서는 몇 날 며칠이고 기다려야하기 때문이다. 물론 챗GPT가 늘 옳은 답변을 내는 건 아니다. 그 때문에 오히려 간단하게 풀 수 있는 문제를 돌아가는 일도 생긴다. 스스로 제한될 미래를 만드는 데 동참하고 있다는 사실을 알면서도, 이게 가장 빠른 해결책일지 모른다는 생각에 결국 챗GPT에 접속하고야 만다.

- 전쟁 무기에 AI가 적용되는 사례는 비단 드론에 그치지 않는다. 이스라엘은 전쟁과 관련한 여러 분야에 AI 기술을 훨씬 이른 시기부터 접목하여 사용하고 있다. 2020년 11월 이란의 수석 핵과학자 모센 파크리자데가 총격으로 사망했다. 그를 조준한 건 다름 아닌 이스라엘 정보기관 과사드의 원격 AI 로봇 기관총이었다. 당시 파크리자데는 부인과 함께 차를 타고 이동하고 있었는데 AI 로봇 기관총이 150여 미터 떨어진 곳에서 그의 얼굴을 인식해 그에게만 정확하게 총격을 가했다고 한다. 조수석에 탄 그의 부인은 무사했으며, 암살을 마친 후 해당 로봇 기관총이 설치되어 있던 트럭은 자동 폭파되었다.
이후로도 이스라엘은 이 AI 로봇 기관총을 민간인들이 지나는 팔레스타인 서안 지구 검문소에 설치해 인권 침해 논란이 일기도 했다. 이 로봇 기관총이 핵과학자 암살에 쓰인 것이 2020년, 검문소에 설치된 것이 2022년이다. 첫GPT 서비스가 시작된 게 2022년 10월이니 AI 기술은 일반인들이 일상 속 업무 파트너로 만나기 전부터 이미 전쟁과 국방 영역에서 실제 사용되고 있었음을 알수 있다.
2023년 촉발된 이스라엘-팔레스타인 전쟁에서는 로봇 기관총뿐 아니라 휠씬 더 많은 AI 기술이 사용되고 있다. 이스라엘-팔레스타인 독립 언론지 <+927 매거진> 보도에 따르면 2023년이 전쟁에서 이스라엘군은 AI로 포격 대상을 탐지하고 추천하는 '라벤더', 표적이 된 개인을 추적해 그가 주거지로 들어왔을 때 신호를 보내는 '웨어이스대디' 시스템을 운영하고 있다고 한다. 오탐지율이 10퍼센트에 달하는 이런 무기들을 이스라엘군에 속한 '인간 지휘관'들이 이를 제대로 확인하지 않고 승인하며, 이 때문에 이번 전쟁에서 민간인 사상 비율이 이전에 비해 급증했다는 것이 기사의 요지다. 심지어 포격을 할때 민간인 희생치 수준을 '설정'할 수 있다. 하마스 하급 대원 한 명을 죽일 때 설
정된 민간인 희생치는 15-20명, 하마스 상급 대원 한 명을 죽일때의 희생치는 100명 이상이다."
실제로 20세기 가자 지구 분쟁에서 민간인 사망 비율이 40퍼센트였는데 2023년 10월가자 지구 보복 공습 첫 3주간 민간인사망 비율은 61퍼센트였다." AI를 동원한 전쟁에서 전쟁과 상관없는 사람들이 이전보다 더 많이 죽어가고 있는 것이다.

-  데이터센터는 한정된 수자원을 퍼다 쓰는 주범이자 막대한 온실가스 배출의 윈인으로도 지목된다. 2023년 <한겨레>에서 미국 콜로라도대학의 연구 결과를 소개한 바 있다. 챗GPT에 질문을한 번할 때마다 500밀리리터의 물이 소비된다고 적혀 있었다. 2024년 9월 <가디언>이 내보낸 기사에서는 데이터
센터의 급증으로 온실가스 배출이 증대하고 있으며 메타, 애플, 마이크로소프트 같은 빅테크 기업이 공식적으로 신고한 온실가스 배출량보다 실제 배출량이 662퍼센트가량 더 높을 수 있다고 지적했다. 공식 발표 수치와 실제 배출량이 이토록 크게 차이가 나는 이유는 신재생에너지공급인증서(Rco)에 근거한다. 신재생에너지를 구매하여 사용하고 있다는 인증서가 있으면 공식 배출량을 계산하는 데 그만큼을 감하여 발표할 수 있기 때문이다."
물론 테크 업계에서도 이 문제점을 잘 안다. AI기술을 위해 물과 전기가 어마어마하게 소비되는 만큼 업계에서도 이를 개선해야 한다고 여긴다. 실제로 이를 변화시키기 위한 여러 방안이 시도되고 있다. 대표적인 것이 마이크로소프트에서 진행중인 '나틱 프로젝트'다.이 프로젝트는 데이터센터를 아예 바다에 집어넣는 방안을 실험하고 있다. 수년에 걸쳐 여러 차례 테스트한 결과 냉각수를 절감할 수 있을 뿐만 아니라 풍력과 태양열만으로도 전기를 충당할 수 있다고 한다. 다만 데이터센터가 바다에 들어갔을 때 해양 생물이나 해양 생태계에 미치는 영향은 아직 발표된 바 없다.

- 오픈AI와 구글이 1, 2위를 다투는 것처럼 보이던 초거대 언어모델 시장에서 메타가 선택한 전략도 오픈소스 전략이다. 오픈AI와 치열한 경쟁에 내몰리자 구글은 기존과는 다르게 비공개 전략을 택했다. 반면 메타는 자사에서 개발한 초거대 언어 모델 라마를 오픈소스로 공개했다. 그러면서 챗GPT가 독주할 것으로 보이던 시장의 판도를 바꾸었다.
초거대 언어 모델의 성능을 평가하기 위한 리더보드에 라마를 기반으로 한 모델들이 높은 순위를 기록하기 시작했다. 수십, 수백억 원의 자본을 투입할 수 없는 개인 또는 작은 조직도 공개된 라마 모델을 바탕으로 자신만의 모델을 개발할 수 있게 되었다. 소수의 골리앗이 독점할 것으로 보이던 시장에 다윗들이 힘을 낼 수 있게 된 것이다
메타의 마크 저커버그는 라마를 오픈소스로 공개하면서 '오픈소스: AI가 나아가야 할 길'이라는 글을 공개했다. 오픈소스는 전 세계의 더 많은 사람이 I의 혜택과 기회에 접근할 수 있도록하고, 소수의 기업에 권력이 집중되지 않도록 하며, 사회 전반에 걸쳐 기술이 보다 균등하고 안전하게 배포될 수 있도록 한다는 것이 저커버그의 설명이다." 모텔에 접근하고 사용하는 권한에 비용을 정구하는 오픈AI나 앤트로픽과 달리 메타는 이를 이익창출의 대상으로 삼고 있지 않다.

- 가장 치명적일 수 있는 문제는 먼저 누구에게나 접근권한이 있다는 것은 그만큼 악용될 가능성이 커진다는 것이다. 딥페이크나 사이버 공격에 이용될 수도 있고, 테러리스트나 범죄조직이 이 기술을 사용해서 사람들에게 해가 되는 기술을 개발할 수도 있다. 첫GPT를 개발한 오픈AI의 일리야 수츠케버는 이러한 점 때문에 AI 기술이 고도로 개발될수록 사람들에게 덜 개방적이어야 한다는 의견을 표했다. 일론 머스크와 주고받은 메일에서 그는 오픈AI의 '오픈'은 기술 자체를 공개하는 것이 아니라 기술의 효용을 모든 사람이 나누겠다는 의미라고 적었다. 이러한 논의끝에 오픈AI의 산출물은 '오픈'이라는 사명과 달리 폐쇄형으로 운영되고 있다. 이와 같은 논리는 모델을 페쇄적으로 운영하는 기업들이 내세우는 표면적인 이유다.
그러나 그 속내를 잘 들여다보면 경쟁 우위를 지켜내기 위한 전략임을 짐작할 수 있다. 천문학적 비용을 들여 개발한 모델을 무료로 공개하는 것은 쉬운 결정이 아니다. 그 비용을 모두 회수하기 전에 후발주자에게 너무 손쉬운 발판을 만들어주는 것이기도 하기 때문이다.

- 이와같은 폐쇄형 모델 전략은2025년 돌풍처럼 나타난 중국발저비용 AI모델 딥시크에 의해 새로운 국면을 맞이하고 있다. 오픈소스 모델로 어마어마한 성능을 보여주고 있는딥시크에 대하여 전문가들은 오픈소스 모델이 폐쇄형 모델을 넘어섰다고 평가하고 있기 때문이다. 때문에 여전히 오픈소스논쟁은 현재진행형이다. 문을 열것인가, 닫을 것인가 어떤 선택이 기업,사회, 나아가 인류 전체에 더도움이 되는 방향인가.

- 2023년 한겨레포럼에서 스탠퍼드대학 인간중심인공지능연구소의 설립자이기도 한 제임스 랜데이 부소장이 연사로 나섰다. 당시 그는 이런 말을 했다. 지난 10년간 자율주행 기술에 어마어마하게 많은 공적자금이 투자금을 쏟아부었는데 지금 와서 돌이켜보니 그러한 투자가 썩 옳은 방향이 아니었다는 것이다. 자율주행으로 사람들이 꿈꾸는 미래란 자동차에 앉아 편하게 않아 책도 읽고 잠도 자면서 목적지에 도착할 수 있는 모습이지 않은가. 그런데 우리는 이미 그것을 할 수 있다. 대중교통 인프라를 통해서. 물론 대중교통으로도 접근 불가능한 곳들이 있지만 지금까지 자율주행에 쏟았던 막대한 공적 자금을 대중교통 인프라 확충에 집중했다면 우리는 지금 대중교통을 통해 못 가는 곳이 없었으리라는 말이었다. 다시 말해 우리가 상상하는 미래의 모습을 달성하기 위해완전히 새로운 기술이 필요한건 아니며, 문제 의식의 방향만
바꾸면 우리가 지금 보유한 기술로도 충분히 달성할수 있으리라는 이야기다.

- 

- AMD에서 그는 마이크로칩 설계도를 직접 종이에 그렸다. 설계도는 칩의 레이어를 한장씩 따로 그렸다. 맨아래 장에는 트랜지스터를, 그위 장에는 복잡하게 연결된 배선구조를 그렸다. 젠슨은 각각의 레이어를 완성한 다음 사무실 뒤쪽 제작부서로 가져갔다. 거기에서 설계도는 투명 셀로판지로 옮겨졌고, 이 셀로판지를 바탕으로 포토마스크가 제작되었다. 그런 다음, 포토마스크는 반도체 제조시설로 보내졌다.
어떤 이유에서인지 AMD의 포토마스크 제작 담당 직원들은 모두 중국계 여성이었다. 그들은 작업대에 않아 색색의 셀로판지를 정밀하게 배열하는 일을 했다. 그 여성들은 영어를 거의 하지 못했고, 젠슨은 집에서 대만 방언인 호키엔을 썼기 때문에 중국 표준어 만다린을 하지 못했다. 호키엔과 만다린은 독일어와 영어만큼이나 서로 다른 언어였다. 하지만 젠슨은 포토마스크 제작팀과 이야기를 나누면서 점차 만다린을 배웠다. "그냥 발음을 듣고 대화를 나누며 익혔어요." 그는 말했다. 

- 80년대 중반이 되자 엔지니어들은 수십만 개의 트랜지스터를 하나의 침에 집적하기 시작했고, 이로 인해 종이 위에 회로를 설계하는 방식은 한계에 부뒷혔다. 이 작업은 마치 사람의 머리카락으로 테니스 코트 위에 미로를 만드는 것과 같았다.
LSI 로직의 '대규모 집적' 프로세스는 회로 설계에서 낮은 단계의 작업을 자동화함으로써 엔지니어들이 더높은 수준의 아키텍처에 집중할 수 있도록 했다. 시간이 지나면서 그 자동화된 설계 룰은 '초대규모 집적' 로 진화했다. 오늘날 대부분의 엔지니어들은 이 VISI를 기본 툴로 사용하여 반도체 설계를 시작하며, 회로 설계는 개별 트랜지스터가 있었는지 잊어버릴 정도로 집적도가 높아졌다. 이제 수작업으로 마이크로칩을 설계하던 시절을 기억하는 건 젠슨과 몇몇 베테랑 엔지니어들뿐이다.

- 젠슨은 끝없는 노력으로 SPICESimulation Program vith Integrated Circuit Emphasis 라는 소프트웨어를 완전히 익혔다. SPICE는 회로 시뮬레이션 프로그램으로 엔지니어가 명령어 줄에 회로 구성 요소의 목록을 입력하면 전압 데이터가 텍스트 형태로 출력되었다. 당시 SPICE는 주로 학술 연구용으로 여겨졌지만, 젠슨은 이를 활용해 누구도 생각하지 못했던 수준으로 회로 성능을 끌어올렸다.
고객들이 새로운 기능을 요구하면, 대다수 설계자들은 단호하게 말했다. "그건 불가능해요." 하지만 젠슨은 달랐다. "한번 해 볼게요." 그는 시뮬레이터를 가지고 몇 시간씩 씨름하며, 고객이 원하는 기능을 구현할 방법을 찾기 위해 회로 구성 요소의 배열을 끊임없이 조정했다. 이는 그래픽 사용자 인터페이스나 컬러 모니터조차 없는 환경에서 진행된 일이었기에 매우 고된 작업이었다

- 썬 마이크로시스템즈는 소비자용 PC 비디오게임 하드웨어를 다루는 시장에 진출하지 않기로 결정했다. 로리의 이전 직장이자 3D그래픽 업계의 선두주자인 실리콘 그래픽스도 마찬가지였다. (당시 실리콘 그래픽스 직원들은 <쥬라기 공원>의 컴퓨터 생성 이미지CGI 공룡을 애니메이션화하는 작업으로 바짜다.) 주요 업제들이 PC게임에 투자하지 않은 결과로 시장에는 커다란 공백이 생겼고, 이 틈을 차지하기 위해 여러 스타트업 기업들이 앞다투어 뛰어들고 있었다.
그래픽 가속기는 원래 비행기와 공룡의 와이어 프레임 스켈레톤을 그리는 데 사용되던 하드웨어를 활용해 3D 게임에서 조작 가능한 애니메이션 캐릭터를 만드는 것이었다. 이를 실행하려면 저렴하고 효율적인 회로를 대량 생산해야 했고, 동시에 게임 프로그래머들이 하드웨어의 컴퓨팅 구조에 쉽게 접근할 수 있도록 하드웨어위에 얇은 소프트웨어 층을 추가해야 했다. 완성된 제품은 그래픽칩을 핵심으로 하는 주변기기용 회로기판이었다. 설치는 컴퓨터의 외장 금속 케이스를풀고, 메인보드의 지정된 슬롯에 이 회로기판을 끼워 넣기만 하면 되었다.
이런 그래픽 가속기를 만들려는 회사는 최소 35개가 경쟁하고 있었고, 젠슨은 36번째 경쟁자가 진입할 자리가 있을지 격정했다. 젠슨은 컴퓨터 그래픽 분야의 최고 전문가인 존 페디에게 시장 상황을 묻기 위해 연락했다. 그는 이 분야의 교과서를 여러 권 집필한 이였다. 두 사람은 곧 친구가 되었고, 젠슨은 밤늦게까지 끊임없이 전화를 걸어 질문을 던졌다. 존 페디는 젠슨에게 이 시장은 이미 너무 많은 경쟁자가 있고, 최고의 엔지니어들은 이미 다른 스타트업에서 일하고 있다고 말했다. "하지 말라고 조언했죠." 존 페디는 말했다. "그건 그가 따르지 않은 조언 중 최고의 것이었어요."

- 에뮬레이션은 위험한 도박이었다. 곧 출시될 NV3 칩에 들어간수백만 개의 트랜지스터 중 하나라도 배열이 틀렸다면, 실제 양산단계에서 실패하고, 회사가 망할 수도 있었다. 그러나 젠슨은 새로운 리스크의 세계로 스스로 뛰어들기로 결심했다. 그는 학창 시절 공부부터 운동, 회사 생활에 이르기까지 늘 1등을 향해 달려왔다.
하지만 이제는 꼴찌가 주는 색다른 자유를 누릴 차례였다. 수많은 경쟁자들이 앞서가는 모습을 지켜보며, 젠슨은 꼴찌가 되는 것도 꽤 재미있다는 걸 깨달았다. 어중간하게 중간에 머무는 것보다 훨씬 나았다.
꼴찌 기업이라면 무엇이든 마음대로 할 수 있었다. 다른 누구도 감히 시도하지 못하는 지름길로 갈 수도 있었다. 물론 에뮬레이터작업을 맡은 사람들에게는 꼴찌 자리가 그리 흥미롭지 않았다. 당시 비디오게임들은 움직임을 만들어내기 위해 대략 초당 30프레임을 렌더링했다. 그런데 에물레이터는 이 비율을 거꾸로 뒤집어, 30초마다 한 프레임씩만 렌더링했다. 이를 보면서는 동영상을 떠올릴 수 없었고, 게임 플레이도 불가능했다. 드와이트 디어크스의 지휘 아래 엔지니어들은 엄청나게 느린 속도로 재생되는 데모 영상을 꼼꼼히 살펴봤다. 머리가 멍해질 정도로 지루한 검증 과정은 몇주간 이어졌다. 그러나 에뮬레이터는 서서히 진가를 드러냈다. 보통 12개월가량 걸리는 개발 주기를 약3개월로 단축했다

- 절박해야 이긴다
리바128이 성공을 거둔 이후, 젠슨은 에물레이터에 더욱 적극적으로 투자하는 한편, 물리적 프로토타입 제작을 완전히 포기했다. 그는 이렇게 말했다. "오늘날까지도 에뮬레이터를 가장 많이 사용하는 회사는 엔비디아입니다."
반도체 업계에서 실제 프로토타입을 제작하는 것은 일견 필수적이고 당연한 일로 보였다. 충돌 테스트를 거치지 않은 자동차가 판매된다면 어떻겠는가. 프로토타입 제작은 합리적이고, 어른스러운 사람들이 택하는 실질적인 방식으로 여겨졌다. 그러나 밤낮없이 일하면서 직원들의 게임기까지 압수한 젠슨은 정작 그 어른들이 오히려 충분히 위험을 감수하지 못한다는 것을 깨달았다. 또한 업계의 모범적인 설계 방식과 절차를 따른 NV1은 실패로 끝났지만, 광적일정도로 즉흥적인 방식으로 만들어낸 NV3라는 짝퉁 제품은 성공을 거두었다. 때로는 무모한 도박이 필요했다.
이경험은 젠슨에게 해방감을 안겨주었다. 승리의 어머니는영감이 아니라 절박함이었다
그는 직원들에게 리바 개발 당시의 위기감을 잊지 말고, 회사가 파산 직전에 있다고 생각하며 일하고 독려했다. 회사가 막대한 이윤을 내고 있을 때조차도 이런 기조는 유지되었고, 이후 수년간 젠슨은사내 발표를 시작할 때마다 "우리 회사는 앞으로 30일 후면파산합니다" 라는 말을 되풀이했다.
이 말은 오늘날까지도 엔비디아의 모토로 자리 잡고 있다.

- 인텔의 집은 표준적인 직렬 처리 방식을 사용해 한 번에 한 가지 연산만 수행했지만, 성능이 기하급수적으로 증가했다. 이는 훗날 인텔의 CEO가 되는 고든 무어가 1965년 처음 예측한 바'를 따른 것이다. 약 18개월마다 처리 능력이 2배로 증가한다는 그의 예측은 여러 차례 검증되며 '무어의 법칙으로 불리게 되었다. 날씨 예측이나 고에너지 물리학과 같은 특수 기술 분야를 제외하면, 무어의 법칙 덕분에 단일 프로세서(모든 것을 담당하는 CPU)만으로도 가장 까다로운 사용자들의 요구를 충족시키기에 충분했다. 병렬 컴퓨팅 전문가 빌 델리메는 이렇게 말했다. "만약 소프트웨어가 더 빠르게 실행되길 원한다면 둘 중 하나를 선택해야 했어요. 병렬 컴퓨터로 옮기고 100만 줄의 코드를 다시 작성하든가, 아니면 그냥 2년 후에 CPU가 2배로 빨라지기를 기다리는 것이었죠."
무어의 법칙은 이미 엔비디아가 처음 진출한 애드온카드시장도 삼켜버렸다. 1993년 3D 그래픽 가속기가 처음 구상되었을 때는 사운드카드, 네트워킹카드, 프린터카드 등과 함께 여러슬롯형 확장 카드 중 하나로 간주되었다.
그러나 1990년대 후반 인텔은 사운드, 네트워킹, 프린팅 기능을 모두 메인보드에 통합했다. 유일하게 3D 그래픽카드만 살아남았다. 파괴된 생태계의 고립된 생존자였다. 그래픽카드 업체들은 이후 탐욕적으로 모든 것을 흡수했다. 사용 가능한 모든 컴퓨팅 용량을 빨아들인 후에도 더 많은 것을 요구했다. 멀티미디어 PC의 다른 기기에는 요구되는 성능의 상한이 있었다. 예를 들어 오디오를 CD와 동일한 품질로 처리하면 추가 컴퓨팅 파워는 필요하지 않았다. 그러나 3D 그래픽의 경우 수요의 한계가 없었다. 3D 그래픽에 완성이란 없었고, 우리가 영화 매트릭스 안에 살게 되는 순간까지 끝난 것이 아니었다. 반도체 애널리스트인 한스 모제스만은 이렇게 분석했다. "인텔이 간과한 점은 그래픽 회사들이 얼마나 더 멀리 가야 하는지였어요. 그 분야에서의 처리 능력에 대한 수요는 사실상 무한했어요.'
CPU는 3D 렌더링의 가속도를 따라잡을 수 없었다. 지금도 마찬가지이고, 앞으로도 그럴 것이다. 2배로 빨라지는 것만으로는 결코 충분하지 않았다.

- 1994년에 프레드릭 달은 젤리피시를 공개했다. 이는 대중에게 판매된 최초의 신경망 기반 프로그램이었다. 젤리피시는 수백만번의 백개먼 게임을 치루며 훈련받았지만, 이 방대한 연산 과정을 거친 결과물은 3.5인치 플로피 디스크에 담길 정도로 용량이 작았다. 프레드릭은 젤리피시를 자신의 원시적인 웹사이트를 통해 판매했다.
이때 AI의 두 가지 주요 단계, 즉 훈련 단계training stage와 추론 단계inference stage 사이의 중요한 구분이 확립되었다. 첫째, 훈련 단계는 컴퓨터가 학습하는 과정으로 번거롭고 느리게 진행된다. 둘째, 추론 단계는 컴퓨터가 학습한 지식을 활용해 결정을 내리는 과정으로 전 단계에 비해 휠씬 저렴하고 효율적이었다. 인간의 경우도 이와 유사한 구조를 가지고 있다. 추론을 담당하는 인간의 뇌는 고작 무게 3파운드(1.4키로그램)인데, 이를 훈련시킨 것은 수억 년에 걸친 진화적 조건화이기 때문이다.
프레드릭 달은 신경망의 이 같은 생물학적 유사성을 잘 이해하고 있었다. 그가 프로그램 이름을 젤리피시로 정한 것은 해파리가 지구 생물 중 초기에 출현한 해양 자포동물로서 자극과 반응 체계를 제어하는 신경망을 가졌기 때문이었다. 프레드릭은 "이 프로그램은 약 100개의 뇌세포를 가지고 있었습니다. 해파리와 비슷한 수준이죠."라고 말했다. 이것이 신경망 구조의 힘이었다. 백개먼을 정복하거나, 위험한 해양 생태계에서 5억 년 동안 살아남거나, 어쩌면 소련군의 침공을 막아내는 데에도, 단 100개의 작은 신경세포만으로 충분할지 모른다.

- 경쟁 위협은 모든 자본주의 기업이라면 피할 수 없는 요소이지만, 반도체 산업에서의 위협은 전혀 다른 수준이었다. 코카콜라 같은 기업의 경우. 일단 성공적인 레시피를 개발하면 그 제품은 저절로 팔렸다. 회사가 해야 할 일은 성공을 유지하는 것이었다. 그러나 반도체 산업은 패션업계와 더 비슷했다. 오늘의 제품이 어제의 제품과 비슷하다면 그것은 치명적인 실수였다. 반도체 산업에서는 모든 것이 몇 년마다 처음부터 다시 재창조되었다. 이는 칩 설계에 사용되는 소프트웨어 툴, 칩에 회로 패턴을 새기는 자외선 포토리소그래피, 칩의 아키텍처도 해당되었다. 엔비디아의 첫 번째 칩에는 100만 개의 트랜지스터가 집적되었다. 하지만 2000년이 되자 엔비디아의 칩에는 그 20배에 달하는 2,000만 개의 트렌지스터가 집적되었다. 이칩들은 고속팬으로 냉각되고, 절반 크기의 패키지에 담겼다. 자본주의의 초기 관찰자는 이렇게 말했다. "모든 고체는 녹아 공중으로 사라진다." 몇 년 뒤에 앤디 그로브는 다음과 같이 말했다. "우리는 모두 변화의 바람에 스스로를 노출시켜야 한다."

- 젠슨은 지금까지 경쟁사들보다 앞서 나가는 데 성공했지만, 엔비디아는 자산 경량화 방식의 머천트 사업 모델은 본질적으로 실리콘밸리 사무실에 않아 있는 엔지니어들로 이루어진 집합체에 불과했다. 만약 이 엔지니어들이 끊임없이 새로운 기술, 복제하기 어려운 기술을 개발하지 못한다면, 아시아의 제조업체들이 엔비디아의 칩을 모방하기 시작할 것이고, 엔비디아는 존재하지않게 될 것이었다.
젠슨은 나중에 이렇게 말했다. "우리가 컴퓨터 그래픽스를 재창조하지 않으면, 우리 스스로를 재창조하지 않으면, 이 프로세서로 할 수 있는 것들의 캔버스를 열지 않으면, 우리는 상품 경쟁에서 도태되고 말 겁니다." 도박을 하지 않는 것이야말로 가장 큰 위험이었다.

- 이런방식으로 회로를 병렬 구조로 재설계하는 것은 하위 구조부터 상위 구조까지 모든 것을 바뀌버리는 근본적인 변화였다. 이것이 병렬 컴퓨팅의 도전 과제였다. 복잡한 안무를 다루기 위해서는 정확한 조율이 필요했고, 그렇게 하려면 프로그래머는 문제를 완전히 새로운 방식으로 접근해야 했다.
인텔의 CPU에 명령을 입력하는 것은 쉬웠다. 그것은 한번에 하나의 패키지를 배달하는 배송 트럭처럼 작동했기 때문이다. 트럭은 느릴지 몰라도 프로그래머에게 많은 것을 요구하지 않았다. 배달할 패키지가 있는가? 그냥 트럭에 던져 넣으면 된다!
엔비디아의 병렬 GPU는 마치 도시 전역으로 퍼져나가는 오토바이 배달윈처럼 작동했다. 운전자들은 모든 소포를 거의 동시에 배달했고, 전체 과정은 약 30분 만에 완료될 수 있었다. 그러나 이 병렬 방식은 빠른 반면 실행하기가 월씬 더 어려있다. 더 많은 운전자에 더 많은 기계를 제공해야 하고, 더 복잡한 물류 시스템을 갖취야 한다. 즉 오토바이 배달원들이 창고를 끊임없이 드나드는 상황에서 각 소포가 정확한 차량에 할당되어야 하고, 정확히 목적지로
배달될 수 있도록 경로를 정밀하게 설정해야 한다.
수십 년 동안 프로그래머들은 트럭 방식을 선호했다. 그러나 존 니콜스가 예측한 대로, 이제 트럭은 전자기학적 물리 한계에 도달하면서 교통 체증에 같히게 되었다. 그 순간이 오면, 프로그래머들도 더는 어쩌지 못하고, 오토바이 배달원 무리를 관리하는 방법을 배워야만 할 것이었다. 사실 다른 선택지가 없었기 때문에 반드시 배워야 할 수밖에 없을 것이라 생각했다.

- 아무도 믿지 않은 쿠다의 가치
쿠다는 2006년 말 공식 출시되었다. 이 소프트웨어 패키지는 무료였지만, 엔비디아 하드웨어에서만 작동했다. 2007년 한 해 동안의 다운로드 수는고작1만3,000건에 불과했다. 전세계 지포스사용자 수억명 중 자신의 게임용 하드웨어를 슈퍼컴퓨터로 변환하는 기능을 사용해 보려고 한비율이 0.01%밖에 되지 않은 것이었다.
회의적인 투자자들은 이 기술이 누구를 위한 것인지 의문을 제기했다."월스트리트는 쿠다가 가치 있다고 생각하지 않았을 뿐아니라, 오히려 가치를 떨어트리는 기술이라고 봤어요." 당시 상황을 잘아는 한 직원은 말했다.

- 많은 프로그래머들이 쿠다의 사용을 어려워했다. GPU의 성능을 최대한 활용하려면, 프로그래머들은 큰 작업을 수백 개의 작은 하위 작업인 스레드threads로 나눠야 했다. 그런 다음 스레드들을 매우 신중하게 쿠다 코어에 투입해야 했다. 이는 숨겨진 합정이 많은 까다로운 과정이었다. 프로그래머들은 여러 개의 메모리 뱅크를 혼동 없이 관리해야 했고, 잘못된 결과를 초래할 수 있는 타이밍 불일치를 피해야 했다. 병렬 프로그래밍의 학습 곡선은 완만했고, 고급 컴퓨터 과학 개념을 기반으로 했다. 물리학이나 의학 같은 다른 분야에서 훈련받은 학자들은 쿠다를 제대로 활용할 만큼의 프로그래밍 실력을 갖춘 경우가 드물었다.
데이비드 커크는 셰이더 기술로 거둔 성공을 반복하고자 했다. 그래서 컴퓨터 과학자 원메이 후와 함께 교재 <대규모 병렬 프로세서 프로그래밍Programming Massively Parall Processors)을 집필했다. 그는 이 교재를 가지고 쿠다를 홍보하려고 했다. 서문에서 저자들은 컴퓨터 아키텍처가 헝가리 출신의 천재 존 폰 노이만이 1945년에 기본 개념을 정립한 이후로 진화하지 않았다고 지적했다. 그들은 이렇게 썼다. "컴퓨터 사용자들은 새로운 세대의 마이크로프로세서가 나올 때마다 프로그램이 점점 더 빠르게 실행되리라고 기대해 왔습니다. 그러나 이제 그런 기대는 더이상 유효하지 않습니다." 바람과 달리 교재를 강의에 도입한 교수는 거의 없었다. 그것은 이단적이었고, 신성 모독이었으며 존 폰 노이만의 권위에 대한 의심이었기 때문이었다.

- 지금무엇을 할 수 있는가에서 출발하라
기술의 미래가 어떻게 펼쳐질지에 대한 황의 비전은 구체적이지 않았다. 어떤 기술 사업가들은 명확한 비전을 품고 있었다. 예컨대 일론 머스크는 자신이 화성 표면에 서 있는 모습을 상상하며 출발했고, 거기에 도달하기 위해 필요한 기술을 역으로 개발해 나갔다. 젠슨은 정반대 방식으로 접근했다. 그는 눈앞에 놓인 회로로 무엇을 할 수 있는지 파악한 후 예상할 수 있는 한계까지 전망을 확장해 나갔다. 그리고 그 지점에 도달한 뒤에야 비로소 한 걸음 더 내디뎌 불확실한 직관의 영역으로 나아갔다. 젠슨과 오랜 시간 함께 옌스
한 호르스트만은 이렇게 말했다. 젠슨이 하는 일은 단순한 집중을 넘어서요. 나는 그것을 공명 Resonance이라고 부르고싶어요."
이 공명을 이루기 위해 젠슨 황은 고객 그리고 직원들과 끊임없이 소통했다. 엔비디아가 주최하는 콘퍼런스에서는 기자들을 뒷자리에 배치했고, 과학자들을 맨 앞에 앉혔다. 발표에서도 언론보다 과학자들에게 더 많은 관심을 기울였다. 또한 그가 일선 직원들과 자주 만난 것도 단순히 사기를 북돋우기 위해서가 아니라, 자신의 손끝으로 회사의 맥박을 직접 느끼기 위해서였다. LSI에서 일할 때, 우리는 때로 아무것도 하지 않아도 될 정도로 고객의 생각을 읽을 수 있었습니다." 엔스는 말했다. "병렬 컴퓨팅도 마찬가지였어요. 젠슨은 고객, 직원들과의 대화를 통해 그 공명을 감지할 수 있었어요. 그는 그 순간이 왔다는 걸 알아차린 겁니다."
돌파구가 다가오고 있었다. 젠슨은 그것을 감지했다. 연구자들과의 대화에서, 그리고 엔비디아의 기술이 가능하게 만든 속도 향상에 놀라는 그들의 반응에서 그것을 알아차렸다. 빌 델리, 존 니콜스, 이안 벅 같은 뛰어난 직원들의 집착에 가까운 열정을 통해서도 그것을 감지했다. 이처럼 젠슨은 이 모든 것을 충분히 감지하고 확신했기 때문에 수익을 희생하면서까지 쿠다에 올인했다. 너무나 확실했기 때문에 핵심 제품을 위태롭게 할 수도 있는 결정을 내렸고, 자신의 자리를 걸었다.
그 돌파구가 팅와이 추 같은 양자 물리학자에게서 나오는 것이 아닐 수도 있다. 하지만 젠슨은 확신했다. 어딘가에 쿠다가 옳았다는것을 증명해 줄괴짜 과학자가 있을 것이라고 말이다. 어딘가에 연구비 신청의 번거로운 절차를 건너뛰고, 주거 보조금으로 엔비디아GPU를 사서 혁명을 일으킬 대학원생이 있을 것이라고. 어딘가에 과학의 소외된 한분야가 쿠다의 연산 능력을 활용해 기존 패러다임을 깨뜨릴 준비를 하고 있을 것이라고. 다만, 젠슨 황은 그것이 무엇인지 아직 알지 못했다.

- 가시화되는 AI 혁명
상황이 빠르게 돌아가기 시작했다. 다들 실리콘밸리로 몰려들고 있었다. 딥러닝 스타트업 DNN리서치를 구글에 매각한 후 알렉스 크리제브스키, 제프리 힌턴, 일리야 수츠케버는 마운틴뷰로 이주하여 본격적인 병렬 컴퓨팅 혁명을 일으켰다. 구글은 알렉스에게 구글의 방대한 CPU 클러스터를 사용하도록 제안했지만, 그는 이를 거절했다. 대신에 일반 PC와 소매용 엔비디아 그래픽카드를 몇 개 구입해 사무실 옷장에 설치했다. 곧이어 구글의 다른 연구원들도 당시 세계에서 가장 큰 민간 컴퓨터 네트워크 중 하나인 구글의 거대 데이터
센터에서 벗어나 책상 아래에 게임용 하드웨어를 설치하고 실험을 진행하기 시작했다.
브라이언 카탄자로는 무언가 심상치 않은 기류를 감지했고, 엔비디아에 더 많은 자원을 요청했다. 하지만 그의 요청은 처음에는 거절당했다. 사람들이 보기에는 섬세한 성격에, 인문학 학위를 가지고 있는 그가 엔비디아에 딱 맞는 이상적인 직원은 아니었기 때문이다.
브라이언은 이렇게 말했다. "엔비디아에서 내 성과 평가는 그리 좋지 않았어요. 연봉도 별로 좋지 않았고요." 그러나 그는 물러서지 않았다. 혼자서 풀타임으로 cuDNN을 개발하기 시작했다. 이는 쿠다플랫폼에서 신경망 개발을 가속하는 소프트웨어 라이브러리였다.
처음에는 고전의 연속이었다. 브라이언은 연구자였지만 실무 소프트웨어 엔지니어링 경험이 전무했다. 게다가 넷째 아이가 막 태어난 직후여서, 집에서 잠을 제대로 잘 수 없었다. 건강 문제도 있었고, 복용 중인 약 때문에 늘 머리가 멍한 상태였다. 그럼에도 마침내 2013년 초, CuDNN의 프로토타입을 엔비디아 소프트웨어팀에 선보였다. 하지만 기대와 달리 혹평이 쏟아졌고, 그는 자신감을 잃기 시작했다. 그는 한숨을 쉬며 엔비디아의 악명 높은 평가 등
급인, RI개선 필요)'를 떠올렸다. 그가 말했다. "내 상사들은 제가 중요한 일을 하고 있다고 생각하지 않았던 것 같아요. 뭔가 제대로 굴러가지 않는 기분이었습니다."
브라이언은 결국 직접 젠슨 황에게 자신의 연구를 설명하기로 결심했다. 당시 머신러닝 기술은 젠슨의 관심사가 아니었다. 2013년 열린 GTC에서 젠슨은 날씨 예측 모델링과 모바일 그래픽에 대해 이야기했지만, 신경망에 대해서는 전혀 언급하지 않았다. (그는 컨퍼런스에서 처음으로 가죽 재킷을 착용했다. 투박하고 볼품없는 디자인이었지만 그의 스타일이 서서히 변해가는 과정이었다.)
그런데 의외로 젠슨은 브라이언의 이야기에 즉각 흥미를 보였다. 첫 회의 이후 젠슨은 예정된 일정을 취소하고, AI 관련 자료를 읽는 데 주말을 할애했다. AI에 대해 잘 모르는 상태에서 이 분야를 직접 공부하기로 한 것이다. 얼마 지나지 않아 두 번째 회의를 했고. 브라이언 카탄자로는 놀라운 상황을 마주했다. 젠슨이 이제 신경망에 대해 자신만큼, 어쩌면 그 이상으로 많은 것을 알고 있었다. 쿠다에 대한 젠슨의 도박은 회사를 미지의 바다로 깊숙이 이끌었다. 지난 10년 동안 뱃머리에 서서 새로운 땅을 찾으려 애써온 그는 마침내 아틀란티스를 발견한 듯했다. 젠슨은 연구와 전화회의에 몰두했고, 배울수록 홍분은 더욱 커졌다. 그리고 2013년 중반이 되자 거의 광적인 에너지를 뿜어냈다.
젠슨은 브라이언을 사무실로 쓰는 회의실로 불렀다. 그러고는 이렇게 선언했다. "cuDNN은 엔비디아의 20년 역사상 가장 중요한 프로젝트다." 벽에 붙어 있던 화이트보드에서 기존의 다이어그램이 모두 지워져 있었다. 그 자리에 젠슨의 완벽한 필체로 적힌 수수께끼 같은 하나의 문구만 남아 있었다. `O.I.A.L.O.' 젠슨은 'Once in a Lifetime Opportunity(일생일대의 기회)'라는 뜻이라고 설명했다. 놀란 브라이언에게 젠슨은 사고실험 하나를 제안했다. "그는 엔비디아의 모든 직원 8,000명을 주차장으로 불러 모았다고 가정해보라고 했어요. 그러더니 그중 원하는 누구라도 제 팀에 합류시킬수 있다고 했죠."

- 클라우드 서비스 제공업체들은 컴퓨팅 파워를 수도나 전기와 마찬가지로 공공재처럼 판매했다. 데이터센터들은 전 세계 곳곳의 별 특징이 없는 산업용 창고에 자리 잡고 있었다. 보안 검색대를 통과하고, 에어락 설비를 지나, 온도와 습도의 조절이 완벽하게 통제되는 데이터센터 내부로 들어가면, 도서관의 책장처럼 줄지어 서 있는 높이 7피트(2.1m) 높이의 랙이 보였다. 각 랙에는 여러 개의 수평형 트레이가 놓여 있고, 각 트레이에는 1~2개의 GPU가 장
착되어 있다. 트레이는 모듈식으로 설계되어 있어 쉽게 업그레이드할 수 있다. 전체 시스템은 케이블로 연결되어 수백 개의 GPU가 하나의 컴퓨터처럼 작동할 수 있도록 구성되어 있다. 소규모의 CPU 코어가 시스템을 관리하고, 굵은 광섬유 케이블이 이를 외부세계와 연결한다.
엔비디아는 직접 랙이나 트레이를 만들지 않았고, 데이터센터 자체를 구축하지도 않았다. 엔비디아가 공급하는 것은 오직 칩뿐이었지만, 그것만으로도 엄청난 수익을 올릴 수 있었다. 게다가 엔비디아는 이 시장에서 사실상 독점적인 지위를 누리고 있었다. 엔비디아는 자사의 침 아키텍처에 유명한 과학자들의 이름을 붙였다. 큐리 와 테슬라Tesla, 페르, 케플러, 맥스웰, 파스칼, 튜링Turing, 볼타, 암페어, 러브레이스Lovelace, 호퍼, 블랙웰Backwell 등이었다. 이들 중 후기에 출시된 칩셋들은 AI 연산을 위한 전용 회로를 포함했고, 이에 따라 데이터센터의 트레이는 지속적인 업그레이드가 필요했다. 엔비디아 칩의 업그레이드 주기인 6개월마다 머신러닝 선도 기업들에게 칩을 공급하는 업
체들 사이에서 경쟁적인 패닉바잉(공황 구매) "이 발생했다. 그 결과 엔비디아는 막대한 수익을 올렸다.

- 클라우드 서비스 제공업체들은 요금을 'GPU 1개당, 시간당달러'로 책정했다. 최신 엔비디아 칩셋을 사용할 경우 요금은 시간당 3달러까지 치솟았다. 비슷한 성능의 인텔 CPU 사용료는 몇센트에 불과했다. 이요금 체계를 기준으로 계산하면 알렉스넷의 곤충수준 뇌를 학습시키는 데약 500달러가 들었을 것이다. 그러나 연구자들은 이제 수십억 개의 파라미터(매개변수)를 가진 모델을 개발하고 있었다. 이 거대한 신경망을 학습시키기 위한 비용은 수백만 달러에 달했다. 이처럼 막대한 비용이 투입되는 학습이었지만 결과를 제대로 활용하면 이익을 낼 수 있었다. 이를 잘 보여주는 사례가 구글이었다. 구글은 신경망을 이용해 서버 네트워크의 전력 소비를 최적화함으로써 연간 전기료를 수억 달러 절감했다. AI 투자 비용을 거의 즉각적으로 회수한 셈이었다. 구글은 또한 AI 이미지 인식기술을 사진 애플리케이션에 적용헤 사용자 사진에 자동 태깅 기능을 제공했고, 검색 엔진의 품질을 높이는 데에도 활용했다.
다른 거대 테크기업들도 자사 제품에 AI를 통합했다. 인스타그램과 페이스북, 트위터 같은 소설미디어 플랫폼은 사용자 피드를 알고리즘적으로 정렬하기 시작했다. 알고리즘적 정렬이란 머신러닝을 이용해 사용자 참여도를 극대화하는 전략을 완곡하게 표현한것이다. 이런 전략은 효과적이면서도 착취적이었다. 소셜미디어의 자동화된 콘텐츠 큐레이션 시스템은 분노를 유발하는 콘텐츠를 끊임없이 제공함으로써 사용자들이 부정적인 콘텐츠를 보는 둠스크
롤링을 몇 시간이고 멈추지 못하게 만들었다. AI 투자는 직접적인 방식으로 기업의 이익을 창출했고, 젠슨은 소매업의 오래된 마케팅 전략 중 하나를 부활시켰다. `더 많이 살수록 더 많이 절약할 수 있습니다."

- 새로운 상어 지느러미 형태의 트랜지스터 덕분에 설계자들은 전기 흐름을 휠씬 정밀하게 제어할 수 있게 되었다. 과거의 트랜지스터는 마치 정원용 호스처럼 여기저기서 전기가 새어 나갔고, 출력량은 대략적으로만 조절되었다. 하지만 새로운 트랜지스터는 누설 전류가 없었고, 마치 최첨단 노즐이 장착된 것처럼 다양한 방식으로 분사를 조절할 수 있었다. 핀FET는 칩 설계자들이 오
랫동안 염원해 온 정밀성과 효율성, 제어력을 동시에 제어하는 혁신적인 기술이었다.
하지만 이런 혁신은 대중으로부터 거의 주목받지 못했다. 이는 트랜지스터, 즉 컴퓨터에서 1970년대 이후 나타난 가장 중요한 물리적 업그레이드였지만, 그 의미를 알거나 관심을 갖는 사람은 100명중 한 명도 되지 않았다. 마치 오랫동안 정상의 자리를 지키고 있는 명문 스포츠팀처럼, 오랫동안 지속되어온 반도체 산업의 놀라운 성과들은 너무나 당연한 것으로 여겨졌고, 심지어 소프트웨어 엔지니어들조차 이를 당연하게 받아들였다. 컴퓨터는 언제나 더 좋아지는 것이라는 게 기본값이었다. 그렇게 되지 않을 기능성은 상상조차할 필요가 없었다.

- 클라우드와 렌털 경제에서 포착한 가능성
2017년 한해 동안 쿠다 소프트웨어 패키지는 270만 번 다운로드되었다. 이는 전년 대비 거의3배에 가까운 숫자였고, 2012년과 비교하면 15배에 달하는 횟수였다. 일부 다운로드는 암호화폐 채굴을 위한 것이었지만, 대부분은AI 개발을 위한 것이었다. 특히 학생들의 관심이 높았다 2017년 스탠퍼드 대학교에서 가장 인기 있는강의는'CS229: 딥러닝 입문'이었다.
쿠다를 활용하는 개발자들은 암호화폐 채굴자들과 달리 반드시 엔비디아 하드웨어를 직접 구매할 필요가 없었다. 많은 개발자들이 가상머신을 임대해 쿠다를 실행했고, 자신의 스타트업 전체를 클라우드에서 운영하기도 했다. 이는 클라우드 서비스 제공업체들에게 막대한 수익원이 되었다. 시장을 지배한 회사는 아마존 웹 서비스로 50%의 점유 율을 기록했다. 업황이 좋은 해에는 아마존의 방대한 이커머스 사업보다 더 많은 수익을 올리기도 했다. 그 뒤를 추격한 것은 마이크로소프트의 클라우드 서비스 애저로, 마이크로소프트에 다시 활력을 불어넣은 CEO 사티아나델리의 리더십 아래 급성장했다. 아마존과 마이크로소프트, 기타 클라우드 업체들의 대규모 구매 수요 덕분에 엔비디아
의 데이터센터용 칩 판매량은 1년 만에 2배 증가했다.
젠슨은 가상 컴퓨팅 장비 임대가 물리적 하드웨어 판매보다 더 수익성이 높다는 사실을 놓치지 않았다. 그는 2017년에 직접 두가지 임대 플랫폼을 도입했다. 첫 번째는 지포스 나우로 가상 그래픽카드를 대여해 게이머들이 저사양 노트북이나 일반 PC에서도 고사양 게임을 플레이할 수 있도록 하는 것이었다
물론 여전히 지포스 게이밍 그래픽카드의 실물 판매가 엔비디아 매출의 대부분을 차지했고, 하드웨어 애호가들은 자신의 시스템을 자랑하는 것을 즐겼지만, 클라우드 게이밍이 미래가 될 것이 분명했다. 클라우드 컴퓨팅이 보편화되면서 게이머들에게 모니터와 안정적인 초고속 인터넷만 있으면 충분한 시대가 열릴 것이었다. 젠슨은 지포스 나우를 통해 25년간 엔비디아의 핵심 사업이었던 GPU판매를 언젠가 직접 없앨 준비를 미리 하고 있었다. 그의 논리는 단순했다. 자신이 먼저 죽이지 않으면, 언젠가 다른 누군가가 대신 그 일을 할 것이라는 점이었다.

- 두 번째 플랫폼은 휠씬 더 기묘했다. 젠슨은 서던캘리포니아 대학교연구원 예브겐 체보타르vevgen Chebotar가 로봇 팔을 훈련시키는 모습을 보면서 이 아이디어를 떠올렸다. 예브겐 체보타르는 강화 학습 기법을 적용해 로봇 팔이 하키 스틱으로 오렌지색 공을쳐서 골을 넣도록 훈련 중이었다. 충분한 시간이 주어진다면, 이 로봇 팔이 언젠가 전설적인 하키 선수 웨인 그레츠키에 필적할 수도 있을 것이다. 하지만 문제는 연구 방식이었다. 예브겐과 연구원들은 공을 스틱 앞에 놓는 작업을 수천 번 반복해야 했다. 젠슨 황은 이것이 너무 비효율적이라고 생각했고, 그 순간 아이디어를 떠울렸다. 하키의 물리적 법칙을 컴퓨터에서 시뮬레이션하는 편이 더 니을 것이라는 판단이 들었다. 시뮬레이션의 힘은 젠슨의 경력 전반에서 반복되는 주제였다. 그는 시물레이션할 수 있는 것은 무엇이든 했고, 그 결과는 늘 혁신적인 제품과 수익으로 이어졌다. 이제 단순히 하나의 개별적인 사물을 시물레이션하는 것으로는 충분하지 않다는 생각에 이르렀다. 모든 것을 시뮬레이션해야했다. 젠슨은 이렇게 말했다. "우리는 이제 대체 우주를 만들어야 합니다."
로봇 훈련을 위한 대체 우주에서 예브겐은 공을 직접 다시 세팅할 필요가 없었다. 대신 강화 학습이 즉각적으로 이루어질 수 있었고, 로봇 팔은 같은 시간 동안 10억 개의 공을 칠 수 있었다. 제럴드 테사우로는 수백만 번의 주사위 굴리기를 시물레이션해 백개먼 게임을 훈련시켰다. 젠슨은 코드를 통해 새로운 현실을 만들어내며 하키 경기를 시뮬레이션하려 했다.

- 트랜스포머는 문장에서 다음으로 올 가능성이 가장 높은 단어를 정확히 예측할수 있었던 것처럼, 교향곡에서 다음 음표나, 그림속다음 픽셀도 예측할 수 있었다. 곧 트랜스포머는 음악을 작곡하고, 그림을 그리기 시작했다.
한번에 한걸음씩 나아가는 가장 단순한 개념을 수행하도록 설계된 이 우아한 아키텍처는 AI를 위한 마스터키 같았다. 팀은2017년에 이 연구 결과를 신경정보처리시스템 학회 저널에 발표했다. 이 저널은 알렉스넷의 연구 결과가 게재된 매체였다. 논문 제목을 지을 때 라이온 존스는 비틀스를 떠올렸고 Attention Is All You Need(당신이 필요한 모든 것은 관심)'"라는 아이디어를 즉홍적으로 제안했다. 그는 그저 농담으로 던진 이 제목을 팀이 채택하리라고 예상하지 못했다. 하지만 나중에 그는 이 문장을 팔에 문신으로 새긴 사람들을 만나게 된다.
연구 결과를 발표하기 직전인 2017년 7월, 노암 샤지어와 우카시 카이저는 한 가지 실험을 시도했다. 트랜스포머에게 기존의 텍스트를 번역하도록 요청하는 대신, 위키피디아 문서 수백만 개를 학습하도록 한 뒤 그것을 바탕으로 새로운 텍스트를 생성하도록 한 것이다. 그들은 단 하나의 요청을 입력했다. "트랜스포머에 대한 기사를 작성하라."
그러자 일본 뉴웨이브 펑크 밴드 트랜스포머에 대한 1,000단어 짜리 설명이 흘러나왔다. 물론 그런 밴드는 존재하지 않았다. 완전히 환각이었다. 그런데도 문장은 매끄럽고 자신감 있게 쓰였으며, 게다가 조작된 각주까지 포합하고 있었다.
에이든 고메즈는 이 모습을 보고 예상보다 기술 발전이 휠씬 더 빠르게 진행되고 있음을 깨달았다. "어제까지만 해도 모델이 겨우 철자를 맞추는 수준이었어요. 우리는 설득력 있는 영어를 쓰는 모델이 나오려면 몇십 년은 걸릴 거라고 생각했는데, 갑자기 그게 눈앞에 나타난 거죠!"
트랜스포머팀은 구글이 이 기술을 소비자용 제품으로 발전시킬 것이라 기대했지만, 경영진은 이상하게도 그 가치를. 제대로 인식하지 못했다. 팀원들은 구글이 검색에서 독점적 지위를 얻으면서 비대하고, 관료적인 조직을 만들어버렸고, 결과적으로 더 이상 모험을 하지 않게 되었다고 느꼈다. 당시의 상황에 대해 일리야 폴로수킨은 이렇게 말했다. "경영진은 '검색 창에 들어맞지 않는 것은 출시할 수 없다'는 식이었어요. 15년 전만 해도 우리는 완성도가 낮
아도 그냥 출시했어요. 그러고 나서 반복하고, 배우고, 계속해서 개선해 결국에는 정말 좋은 걸 만들었습니다. 그런데 어느 순간, 우리는 그런 사고방식을 잃어버렸어요"

- 연구자들은 모델의 크기를 개별 가중치, 즉 파라미터의 수로 표현한다. 각 파라미터는 대략 생물학적 뇌에서 하나의 시냅스에 대응하는 개념이다.
GPT-1은 약 1억 개의 파라미터를 가지고 있어 곤충 수준의 뇌이다. GPT -2는 15억 개로 작은 도마뱀 수준의 규모였다. 일리야는 다음 모델에서 1,000억 개의 파라미터를 목표로 삼았는데, 이는 설치류 수준에 해당하는 규모였다.
이 신경망 구조를 훈련하는 데는 전례 없는 수준의 연산 능력이 필요했다. 전기 요금만 해도 인공지능 역사상 가장 비싼 프로젝트 중 하나가 되었고, 이는 앞으로 다가올 변화의 신호였다. 오픈AI의 CEO 샘 올트먼은 기부금만으로는 일리야 수츠케버의 꿈을 실현시킬 만큼 자금을 조달할 수 없다는 것을 깨달았다. 그래서 그는 2019년 오픈시I가 수익 제한 자회사를 설립한다고 발표했다. 이 구조에서 투자자들이 받을 수 있는 최대 수익은 100배로 제한된다.
보도자료에는 다음과 같은 문장에 담겨 있었다.
"오픈AI 글로벌 LL.C에 대한 투자는 일종의 기부로 간주하는 것이 현명합니다. AGI 이후의 세계에서 돈이 어떤 역할을 하게 될지는 예측하기 어려울 수도 있습니다."
기부자 중 가장 큰 금액을 내놓은 건 마이크로소프트였다. 그들은 10억 달러를 투자했다. 그리고 최대 1,000억 달러가 될 수 있는 소소한 수익률을 받아들인 것이었다. (어쩌면 돈을 초월한 세계가울 수도 있겠지만, 그날이 오기 전까지 마이크로소프트는 계속해서 돈을 벌어들일 것이다.) 이 투자는 7년 전 알렉스 크리제브스키와 일리야 수츠케버가 지포스 2개를 사느라 쓴 1,000달러와 비교하면 100만 배 커진 규모였다. 그러나 이 정도로도 일리야 수츠케버의 욕구를 충족시키기에는 부족했다. 인간의 뇌는 약 200조 개의 시냅스를 가
지고 있다. AGI 여부를 떠나, 오픈시I는 이를 넘어설 방법을 모색하고 있었다. 엔비디아도 이미 이를 실현하기 위한 컴퓨팅 시스템을 구축하고 있었다. 젠슨 황은 그것을 슈퍼컴퓨터나 데이터센터가 아니라 AI 팩토리라고 불렀다.

- 엔비디아는 독보적인 시장 지위를 바탕으로 높은 가격을 책정할수 있었고, AI 칩의 총이익률은 90%를 넘기도 했다. 이런 수익 구조는 상어 떼를 끌어들이듯 새로운 경쟁자들을 불러 모았다. 구글과 테슬라는 엔비디아 의존도를 낮추기 위해 자체적으로 AI 훈련용 하드웨어를 개발했고, 여러 스타트업들도 이 시장을 노렸다. 그중 하나인 세레브라스는 디너 접시만 한 '메가칩'을 제작했
다. 세레브라스의 CEO 앤드류 펠드먼은 엔비디아를 향해 직격탄을 날렸다. "그들이 고객을 착취하고 있는데도, 아무도 소리 내 말하지 않는다."
일각에서는 엔비디아의 시장 지배력이 지속될 수 있을지 의문을 품었다. AMD와 인텔은 쿠다의 오픈소스에 대한 대안을 제공하고 있었고, 이는 고객들이 엔비디아 하드웨어 생태계에서 벗어날 수 있게 해주며, 수십억 달러를 절감할 가능성을 열어주었다. 하지만 실제로 AMD나 인텔의 제품을 사용하는 AI 연구자는 거의 없었다.
왜 그럴까?
나는 이 질문을 수많은 사람들에게 던졌고, 다양한 답변을 들었다. 흔한 오해 중 하나는 쿠다에서 벗어나는 것이 기술적으로 어렵다는 것이었다. 하지만 실제로는 매우 간단해서, 경우에 따라 몇 줄의 코드만 수정하면 되는 수준이었다. 또 다른 오해는 기업의 하드웨어 구매 담당자들이 안전한 선택을 한다는 것이었다. 한스 모제스만은 과거 IBM을 두고 했던 말을 빌려 "엔비디아를 사서 해고당한 사람은 없다"라고 말했다. 그런데 정작 하드웨어 구매 담당자와
인터뷰를 해본 결과 그들은 경쟁 제품을 꾸준히 테스트해 보고 있으며, 값싼 대체재가 나오기를 간절히 바라고 있었다. 그는 엔비디아의 컴퓨팅 스택에 대해 이렇게 말했다."이거, 개같이 비싸요."

- 전속력으로 달려 최초가 되는 것
엔비디아가 성공한 이유는 회로의 성능이 더 뛰어나서가 아니었다. 핵심은 소프트웨어였다. 더 이상 성능 향상을 위해 트랜지스터를 더많이 집적하는 고전적인 방식이 통하지 않았다. 무어의 법칙은 이미 끝난 상태였다. 나머지 성능 향상은 빌 밀리, 이안 벅, 그리고 엔비디아 과학자들이 수학적 마법을 이용해 행렬 곱셈을 가속한 덕분이었다.
엔비디아 엔지니어들은 GPU에 새로운 명령어를 가르쳐, 마치 루빅스 큐브를 순식간에 풀어내는 방식으로 연산 속도를 높였다. 프로세서가 원래 사용하는 정교한 데이터 표현 방식 대신, 덜 정교하지만 더 빠른 로우파이 데이터 타입으로 바이다. 비유하면 서예대신 속기로 쓰는 것과 비슷하다. 또 뉴런 네트워크에서 쓸모없는 정보를 제거하는 방식으로 이른바 '죽은' 시냅스를 행렬에서 잘라냈다. 이는 영화 <이터널 선샤인>의 '망각 기계'처럼 불필요한 정보를 삭제하는 과정과 유사했다.
2012년부터 2022년까지 10년 동안 엔비디아는 단일 칩의 AI추론 성능을 무려 1,000배나 향상시켰다. 이는 무어의 법칙이 예즉한 것보다 휠씬 빠른 속도였다. 그런데 트랜지스터 증가로 인한 성능 향상은 겨우 2.5배에 불과했고, 나머지 400배는 전적으로 엔비디아의 수학적 기술 덕분이었다. 하드웨어 엔지니어링 디렉터인 아르준 프라부는 이렇게 말했다. "솔직히 말해 AMD도 우리만큼 훌륭한 칩을 만들 수 있습니다. 하지만 연산 속도를 이렇게까지 끌어올릴 수는 없죠."

- 이 강력한 엔진 위에 엔비디아는 특정 분야의 프로그래머들을 위한 영역별 도구를 구축했다. 자동차 연구를 위한 '드라이브Drive', 신약 개발을 위한 '바이오네모BioNeMo'와 의료 영상 분석을 위한 클라라, 사이버 보안을 위한 '모르페우스 Morpheus', <포트나이트>에서 결정적인 킬샷을 자동 캡처해 주는 '하이라이트 Higthlights' 등이 있다. 2020년대에 접어들며 엔비디아는 게임과 애니메이션, 행성 과학. 기후학, 수학. 물리학, 금융, 생화학, 양자 컴퓨팅 등 다양한 분야에 걸쳐 거의 300개에 달하는 소프트웨어 툴킷을 제공했다.
소프트웨어 패키지는 누구나 자유롭게 사용할 수 있었고, 라이선스 비용도 없었다. 젠슨은 이 률킷들을 마치 할머니가 음식을 한 접시 더 챙겨주듯 과학자들에게 적극적으로 나눠주었고, 이 도구들을 내 보물들'이라고 불렀다.
물론 젠슨이 자선 사업가여서 그런 것이 아니다. 그의 장기적인 전략은 이 무료 소프트웨어를 통해 연구자들을 엔비디아의 하드웨어 업그레이드 주기에 묶어두는 것이었다. 칼텍 데이터센터의 한 관리자는 2024년 초에 학교에서 구매한 H100 칩을 받기까지 대기 시간이 거의 18개월에 달한다고 말했다. 그는 학교 교수들에게 다른 공급업체로 전환하면 좋겠다는 의견을 냈지만, 이를 받아들이려는 사람은 거의 없었다고 전했다. 그는 이렇게 말했다. "교수들은
쿠다를 포기하느니 하드웨어를 기다리겠다고 하더군요."
엔비디아의 경쟁 우위는 바로 이 모든 코드 덕분에 만들어졌다.

- 엔비디아의 소프트웨어 제품들은 항상 아름답거나 사용하기 쉬운 것은 아니었고, 일부 툴킷의 인터페이스는 10년은 뒤처진 상태였다. 그러나 드와이트는 외관에 신경 쓰는 사람이 아니었다. 그는 오직 '최초'가 되는 데에만 관심을 가졌다. 어떤 과학 분야이든 새로운 프론티어가 열릴 기미가 보이면, 그는 가장 먼저 그곳에 도달해서 투박하지만 효과적인 최신 소프트웨어 불킷을 배포했다. 경쟁자가 나중에 더 세련되고 운영 비용이 저렴한 제품을 들고 나타날 수도 있었지만, 그때쯤이면 이미 너무 늦었다. 업계 표준이 이미 정해져 있었기 때문이다. 빌 들리는 내게 엔비디아가 오픈소스 경쟁에 대해 걱정하지 않는 것은 이런 이유 때문이라고 설명했다. "왜냐하면 우리는 전속력으로 달리고 있으니까요! 우리는 항상 그들보다 두 세대는 앞서 있어요."

- 집에 머물면서 세계에서 가장 가치 있는 반도체 회사를 운영하던 젠슨은 자신과 현장 직원들과의 접점이 끊어지고 있다고 걱정하게되었다. 엔비디아는 너무 커져서 그가 직접 모든 상황을 완전히 파악할 수 없었지만, 그렇다고 해서 업무 위임은 그의 스타일이 아니었다. 조직과의 공명을 유지하려면 최전선에 있는 직원들과 직접 소통해야 했다.
2020년경 젠슨은 전 직원에게 매주 자신이 진행 중인 가장 중요한 다섯 가지 업무 목록을 제출해 달라고 지시했다. 그날 이후 매주 금요일마다 그는 2만 통의 이메일을 받았다. 간결하게 작성해 달라고 권장했고, 젠슨은 받은 이메일 중 일부를 무작위로 골라 늦은 밤까지 읽었다. 그리고 그에 대한 답장을 직접 보냈다. 하루 수백 통의 이메일을 썩는 데 대부분 몇 단어 정도로 짧았다. 한 임원은 그의 이메일을 하이쿠와 같다고 했고, 또 다른 이는 몸값 요구서 같다고 했다. 그의 응답 속도는 거의 초인적이있다. 빌 달리는 이렇게 말했다. "새벽 2시에 이메일을 보내면 2시 5분에 답장이 읍니다. 그리고 다시 새벽 6시에 이메일을 보내면 6시 5분에 또 답장이 와요."
젠슨 황은 바로 이메일을 통해 트랜스포머 아키텍처에 대한 소문을 들었다. 오픈시I가 마이크로소프트 애저 서버에서 거대한 훈련 작업을 돌리고 있는데, GPU 1,000개를 무려 한 달 넘게 점유했고, 비용은 약 500만 달러에 달한다는 것이었다. 이 모델은 새로운 형태의 언어 모델이었는데, 사람들은 이를 '대규모 언어 모델이라고 부르기 시작했다. 이 모델이 기존에 배포된 어떤 모델보다 100배 이상 큰 규모였기 때문에 붙은 이름이었다.
젠슨 황은 트랜스포머 전용 률킷이 필요하다는 것을 깨달았다. 그는 바스 아르츠에게 현재 사용 중인 순환 신경망 컴파일러를 휴지통으로 끌어다 놓고 즉시 트랜스포머 컴파일러 작업을 시작하라고 지시했다. 바스 아르츠는 이 전환을 오히려 기삐했다. 그는 순환신경망의 장기.단기 기억 구조가 쓸데없이 복잡하다고 생각하고 있었다. "RNN은 프로그래밍하기도 어럽고, 컴파일하기는 더더욱 어려웠어요 . 트랜스포머가 모든 면에서 휠씬 더 적합했죠"

- 소비자용 AI 제품들은 눈에 띄고 화려했다. 하지만 AI분야 관련자들은 진정한 발전은 본래 보이지 않는 제품군에서 일어난 다고 믿었다. 산업 분야에서 AI가 도입되면서 전럭망이 더 효율적으로 관리되었고, 항공편 스케줄이 더 빠르게 조정되었으며, 배송속도가 빨라졌다. 그리고 이 외에도 작지만 실질적인 개선이 수없이 많이 이뤄졌다. 이런 각각의 개선은 전문가들 외에는 눈치채지
못한 채 후방 인프라에 흡수되었지만, 이러한 개선이 모여서 전 세계 생산성이 계속해서 대규모로 업드레이드 되었다.
또한 인간 활동의 마지막 개척지라고 할 수 있는 영역에서도 진전이 있었다. 바로 AI를 활용해 A의 발전을 가속화하는 것이다. 딥마인드는 2022년 행렬 곱셈을 빠르게 수행하기 위한 신경망을 공개했다. 엔비디아는 2년 후 생성형 AI를 사용해 실리콘 마이크로칩의 패턴을 설계하는 소프트웨어 패키지를 선보였다. 이런 자기 증식형 AI는 아직까지는 인간의 통제 안에 머몰러 있다. 하지만 이 상태가 언제까지 유지될지는 알 수 없다.

- 대규모 하이퍼스케일 데이터센터들의 연간 전력 요구량은 기가와트 단위에 이른다. 이는 원자력 발전소 한 기의 출력량과 맞먹으며, 미니애폴리스 도시 전체를 가동할 수 있는 규모이다. 데이터센터에서 엔비디아 칩을 계속해서 업그레이드하면서 구글의 온실가스 배출량은 5년간 50% 증가했다. 이는 전력망의 효율성 향상을 감안한 수치이며, 2030년까지 탄소 중립을 달성하겠다고 공언한 상황에서 나온 수치이다. (구글 대변인은 2024년 AI 전력 소모가 '쉽지 않은 과제'임을 인정하면서도 탄소 중립에 대한 구글의 의지를 재확인했다.) 고가의 오픈AI 모델을 학습하고 배치한 마이크로소프트의 클라우드 컴퓨팅 부문에서도 탄소 배출량이 3분의 1 가까이 증가했다. 클라우드 제공업체들은 심지어 사용하고 있지 않은 암호화폐 채굴 시설을 사들이려고도 했다.

- 경영학자들은 CEO가 직접 보고를 받는 임윈이 8명에서 12명 정도인 것이 이상적이라고 말한다. 하지만 젠슨은 무려 55명에게서 직접 보고를 받고 있다. 그에게는 오른팔 역할을 해줄 사람도, 비서실장도 없으며, 명령 체계도 없다. 후계자 역시 정해져 있지 않다. 엔비디아가 성장할수록 경영진은 오히려 줄어들었기 때문에 실수에 대한 희생양도 없었다. 이사회 멤버들은 젠슨의 대체 불가능성에 대해 이야기했다.
그가 아니었으면 미국 경제는 침체에 빠졌을지도 모른다는 말조차 과언이 아니었다. 엔비디아의 성장 과정에서 미국 주식 시장은 유럽과 아시아 시장을 크게 앞질렀고, 그 성과는 대부분 AI 덕분이었으며, 그 핵심에는 엔비디아가 있다. 3조 달러에 달하는 엔비디아의 시가총액은 겉으로는 앞으로 엔비디아가 벌어들일 이익에 대한 기대치라고 하지만, 실제로는 이61세 남자의 능력에 대한 기대에 걸린 도박, 국내총생산GDP 규모의 베팅과도 같았다.

- 그는 여전히 다소 알 수 없는 인물이었다. 그와 대화를 시작하더라도 조심해야 했다. 젠슨은 내게 흥미로운 일화를 많이 들려주었지만, 그 세부적인 내용은 조금씩 바뀌었다. 나는 그를 직접 인용하는 것이 위험할 수 있다는 사실을 깨달았다. 그가 무언가를 말한다고 해서 반드시 그것을 믿는다는 뜻은 아니었다. 젠슨의 말은 어디로 될지 흐름이 불규칙했다. 개와 구토에 대한 기괴한 이야기를 하기도 했고, 남성 패션, 데니스 레스토랑의 계란 품질, 또는 그 순간 그의 머릿속에 떠오른 어떤 주제로든지 빠질 수 있었다.
그에게서 일관성을 찾아보기 어려웠다. 종종 심사숙고한 의견처럼 보이거나 간결한 격언처럼 들리는 말조차도, 그가 즉석에서 생각해낸 것이거나 진심으로 한 말이 아니었으며, 나중에는 자신이 그런 말을 했다는 사실조차 기억하지 못할 때도 있었다.
젠슨은 자주 스스로의 말을 모순되게 만들었고 때로는 한 번의 인터뷰를 하는 동안에도 상반된 관점을 동시에 내놓기도 했다. 그렇다고 그가 악마의 변호인 역할을 자처한 것은 아니었다. 그는 단지 아이디어를 양쪽에서 모두 공격하기를 좋아했을 뿐이었다. 옌스 호르스트만은 이렇게 말했다. "그는 정치인이 되려는 게 아닙니다. 메시지를 일관되게 유지하려는 것도 아니고요. 그는 실시간으로 들어오는 정보들을 처리하려는 거예요. 그리고 일시적으로라도 모순된 생각을 받아들일 준비가 되어 있는 겁니다." 겉보기에는 확고한
선언처럼 보이는 말도, 사실은 젠슨이 그저 자신의 생각을 소리 내 정리하고 있는 것인 경우가 많았다.
그러다 그가 같은 말을 반복하기 시작하면 주의 깊게 들어야 했다. 어떤 아이디어가 진정으로 젠슨에게 와닿으면, 그것은 며칠, 때른는 몇 주에 걸쳐 서서히 힘을 키워갔다. 그 아이디어는 그의 어휘에 스며들었고, 회의마다 반복적으로 나타났다. 

- 스타트업 앤트로픽Anthropic이 만든 모델인 '클로드caude'는 여러 기준에서 GPT-40에 필적하거나 더 나은 성능을 보여주었다. 각국 정부는 민감한 데이터를 클라우드에 맡기지 않으려 대규모 자체 AI훈련 센터를 건설하고 있었다. 일론 머스크의 xAI 이니셔티브는 오라클의 GPU 서버를 임대하는 100억 달러 규모의 계약을 체결했다. (2015년에 그가 표현했던 AI에 대한 실존적 우려는 이제 일론 머스크에게서 사라진 듯했다.) 가장 큰 투자는 마크 저커버그의 메타에서 나왔다.
메타는 300억 달러를 투입해 엔비디아 칩 100만 개를 구매하고, 이를 가동할 전용 원자력 발전소를 확보할 계획이라고 발표했다. 캘리포니아주 상원의 법안이 이 중 어느 것 하나라도 막을 수 있을 것이라는 전망은 순진하게 주 정부의 힘을 믿는 사람들 사이에서만 나왔다. 엔비디아 GPU의 속도가 빨라질수록 경제 성장에 대한 기대치도 함께 높아졌다. 실리콘밸리의 산업 거물들은 이미 베팅을 마쳤고, 그들의 수익 상한선을 제한한다는 것은 주식 시장을 붕괴시킨다는 것이나 마찬가지 의미였다. 이를 막을 만한 영향력을 가진 정치인은 어디에도 없었다.

.

- 소프트웨어 2.0 방식이 입출력 쌍에 해당하는 데이터 기반으로 기계가 스스로프로그램을 찾는다고 설명했지만, 3.0 방식은 완전히 다릅니다. 3.0 방식에서는 하나의 만능 소프트웨어, 만능 레시피를 기계가 찾는다고 보면 됩니다.1.0에서는 사람이 직접 소프트웨어를 찾아야 했고, 2.0에서는 출력값과 태스크를 정해놓았습니다. , 빵의 종류별로 레시피가 모두 달라야 하고 태스크별로 프로그램이 모두 달랐어야 했습니다. 소프트웨어 3.0 방식은 '태스크별로 별도의 프로그램이 필요한 게 아니고 하나의 만능 프로그램을 찾겠다는 것' 소프트웨어3.0방식입니다. 이것을 제조에 비유하면 기존에는 소금빵 레시피를 찾을래! '크루아상의 레시피를 찾을래!였다면 지금은 '만능의 마법의 레시피를 찾는다!'가 목표가 됩니다.

- 가장 대표적인 소프트웨어로 여러분도 잘 알고 있는 ChatGPT가 있습니다. ChatGPT는 하나의 소프트웨어 프로그램으로, 모든 자연어처리 작업을 수합
니다. 예를 들어, 번역해 줘'라고 하면 번역이 되고, '요약해 줘'라고 하면 요약이 되며, '나와 대화를 하자'라고 하면 대화도 가능합니다. 하나의 프로그램으로 모든 상황에 대응하는 것입니다.
이러한 수퍼 소프트웨어를 만드는 방법은 모든 텍스트를 기계에게 보여주는
것입니다. 즉, 인터넷에 있는 모든 텍스트와 문장을 가져와 기계에게 보여주었더니, 이기계가 소프트웨어 프로그램을 만들어 낸 것입니다. 그리고 이 소프트웨어 프로그램은 모든 자연어처리 작업을 수행할 수있게 됩니다. 굉장히 놀랍습니다.

- 빵집에 비유하자면, 전 세계 모든 빵집에서 판매하는 모든 빵의 식재료 정보를 수집하여 기계에 보여주었더니, 이 기계가 마법의 레시피를 하나 찾아낸 것입니다. 이 마법의 레시피는 어떤 식재료 조합을 주더라도 최고의 맛을 내는 빵을 만들 수 있도록 도와줍니다. 즉, 빵의 종류에 제한이 없어집니다.
2.0 방식에서는 태스크마다 별도의 소프트웨어가 필요했지만, 3.0 방식에서
는 하나의 소프트웨어가 여러 태스크를 처리할 수 있습니다. 이것이 가장 중요하고 큰 차이점입니다. 소프트웨어 2.0 방식까지는 우리가 천여 개의 태스크 별로 각각 다른 AI 모델과 프로그램을 만들어야 했습니다. 그러나 3.0 방식으만든 프로그램은 하나의 프로그램으로 천여 개가 넘는 태스크를 모두 대응할 수 있습니다. 이는 서비스 개발 및 유지보수 방법론에 큰 차이를 가져오며, 제품개발 과정도 크게 달라집니다.
1.0방식은 사람이 모든 과정을 직접 수행하던 시기였고, 2.0 방식은 기계가 대부분의 작업을 대신하게 된 단계였습니다. 3.0방식은 여기에 더해, 각 태스크별로 개별적으로 개발되던 프로그램들이 이제 하나의 통합된 프로그램으로연결되는 새로운 접근 방식을 의미합니다. 

- 기존에는 새로운 클래스가 등장할 때마다 특징을 찾고 판단하는 부분을 처음부터 학습해야 했습니다. 그러나 현재의 접근 방식에서는 특징을 찾는 부분을 미리 학습해 두고, 클래스가 변경될 때마다 판단하는 부분만 새로 학습는 것이 사전학습&미세조정의 핵심입니다.
딥러닝 방식과 사전학습&미세조정 방식을 비교해 보겠습니다. 예를들어,크루아상과 바게트를 구별하는 모델을 학습시킨 후,식빵과 피자를 구별해야 하는상황이 발생한다고 가정해 봅시다. 딥러닝 방식에서는 모델을 처음부터 다시 만들어야 하지만, 사전학습&미세조정 방식에서는 이미 학습된 모델이 존재합니다. 이모델은 모든 빵의 일반적인 특징을 잘구별하도록 학습되어 있으며, 새로운 판단이 필요한 경우에는 판단하는 모듈만 새로 학습하면 됩니다.
처음부터 학습할 때는 굉장히 많은 데이터가 필요하지만, 미세조정 방식으로 진행하면 40분의1수준의 데이터만 있어도 동일한 수준의 결과를 얻을수있습
니다. 이것은A모델 개발에 필요한 데이터 수가 적어지고 개발 기간도 짧아지며비용도 줄어드는 반면, 개발 속도는 훨씬 빨라진다는 것을 의미합니다. 산업 곳곳에 AI가 쓰일수 있는이유는 바로 이 사전학습&미세조정 방법 덕분입니다.
여러분이 만나는 대부분의 상품화된 AI기술들은 모두 사전학습&미세조정방법으로 학습되어 있습니다.

- 이렇게 인터넷에 있는 많은 텍스트 문장을 활용하여 다음 단어 예측 태스크
로 딥러닝 모델을 사전학습시킬 수 있습니다. 이때 사람의 라벨링 작업이 필요없게 되어 효율성이 크게 향상되었다는 것이 이 GPT1 논문의 핵심입니다.
사전학습이 끝났다는 것은 언어의 일반적인 특징을 잘 찾았다'고 볼 수 있습
니다. 다음 단계로 넘어가 이제 우리가 원하는 과제를 수행할 수 있도록 미세조정을 해야 합니다. 문장이 긍정인지 부정인지 분류하는 간단한 과제를 원한다고가정해 봅시다. 앞서 사전학습 단계에서는 다음 단어 맞추기로 언어의 특징을 잘 찾아냈고, 성과가 좋다고 판단했습니다. 따라서 이 부분은 연산을 고정합니다. 이제 긍정과 부정을 판단하는 부분만 미세조정 단계에서 새로 학습합니다. 이 단계에서는 이미지 데이터와 마찬가지로 미세조정 과제를 위한 정답 데이터가 필요합니다. 사전학습 단계에서는 사람의 라벨링 작업이 필요 없었지만, 미세조정 단계에서는 여전히 사람이 개입한 라벨링 정보가 필요합니다.
이러한 과정을 통해 GPT1은 성능 향상을 이루었습니다. 사전학습을 시킬 때
매우 많은 데이터가 필요하지만 이 데이터를 모아 놓기만 하면 사람의 라벨링 작업 없이 사전학습할 수 있는 발판을 마련한 겁니다.
이러한 이유로 GPT1 이후에 발표된 GPT2와 GPT3 논문에서는 텍스트 데이
터의 양을 늘려 성능을 개선하고자 하였습니다. 다음 그림과 같이, GPT1에서는 5GBS0 00 기7이트 분량의 데이터를 사용하였고, GPT2에서는 40GB, GPT3에서는 45테라바이트 분량으로 데이터를 증가시켰습니다. 이렇게 데이터 양을 늘림에 따라, 모델의 크기, 즉 레이어의 깊이와 연산의 개수도 증가하였습니다. 이를 파라미터 개수로 설명하자면, GPT1에서는 1억 1,700만 개, GPT2에서는 15억 개, GPT3에서는 1,750억 개의 파라미터로 그 크기가 엄청나게 커졌습니다. 물론 성능도 계속해서 향상되었습니다.

- GPT3에서 혁신적이었던 점은 바로 인컨텍스트 러닝Incontext Leaming'입니다. 이 방법론이 가능하다는 것이 밝혀지면서 많은 기업들이 이에 관심을 가지게 되었습니다. 이로 인해 학습 방법론이 크게 변화하였고, 이를 '소프트웨어 3.0방식'이라고 부르고 있습니다. 그렇다면 이것이 기존의 방식과 어떻게 다를까요?
기존의 방식은 사전학습과 미세조정 단계로 이루어졌습니다. 사전학습 단계
에서는 인터넷에서 수집한 텍스트 데이터를 통해 다음 단어를 예측하는 방식으로 학습을 진행했습니다. 미세조정 단계에서는 특정 태스크, 예를 들어 텍스트 분류 태스크에 맞춰 정답 데이터셋을 준비하고, 필요한 연산만 학습시켜 최종적으로 사용했습니다. 반면, GPT3에서는 이러한 방식이 아닌 새로운 접근법을 채택하고 있습니다. 간단히 말하자면, 미세조정을 하지 않습니다. 구체적으로는 GPT3에서는 미세조정을 하지 않고, 사전학습된 특징을 그대로 사용하여 특정 태스크를 수행할 수 있다는 의미입니다. 예를 들어, "나는 텍스트 분류를 할래."라고 했을 때, 원래는 이 텍스트 분류에 해당하는 데이터셋을 만들어 미세조정을통해 학습을 시켰습니다. 그러나 이제는 "텍스트 분류를 할래."라는 설명을 입력 텍스트에 포함시키면, 사전학습된 모델이 이 태스크 설명을 이해하여, 입력된 문장 내에서 해당 태스크를 맥락에서 스스로 학습하여 결과를 도출하게됩니다.이를 '인컨텍스트 러닝'이라고 합니다.

- 소프트웨어 3.0에서는 사람이 개입한 라벨링 데이터가 필요하지 않다는 점이 큰효율성을 가져오는 중요한 차이점입니다. 또 다른 큰차이점은 대응 가능한 태스크의 수입니다. 기존에는 자연어처리 태스크가 약 1천여 개가 넘는다고 알려져 있습니다. 소프트웨어 2.0 방식으로 2천여 개의 태스크를 모두 처리하려면 최소 천여 개가 넘는 AI 모델이 필요하다는 의미입니다. 그러나 소프트웨어 3.0방식에서는 이러한 많은 태스크를 하나의 모델로 모두 대응할 수 있습니다. 이는 엄청난 효율성을 가져올 수 있게 합니다. 이것이 바로 우리가 흔히 이야기하는 초거대 언어 모델 덕분입니다.

- AI를 적용하기 전에 '왜 AI를 적용하고자 하는지'에 대한 검증이 우선되어야 합니다.
AI가잘할수있는 영역인가?
* AI 잘할수 있는 영역과 가치를 더할수 있는 영역은 비교적 명확합니다.
* AI를 적용하는 것이 비효율적인 경우도 고려해야 합니다.
현재의 시기로 실현가능한가?
* 쉽게 적용할수 있는지, 어렵지만 해볼수 있는 정도인지, 현실적으로 불가능한지등을 파악해야 합니다.
* 실현 가능성은 기술의 발전에 따라 달라질 있습니다.

- AI가 어려워하는 영역은 다음과 같은 다섯 가지 특징으로 구별할 수 있습니
다. 
첫 번째는 설명이 필요한 경우'입니다. 왜 이런 결과가 나왔는지 사용자나 개발자, 기획자 입장에서 설명이 필요할 때는 AI 적용이 어려울 수 있습니다. AI 모델은 블랙박스와 같다'라는 표현을 많이 사용하는데, 이는 사용자가 납득할 만한 설명을 제공하기가 어렵기 때문입니다. 이처럼 설명이 요구되는 서비스에서는 AI를 적용하는 것이 적절하지 않을 수 있습니다.
두 번째로는 언제, 어디서, 어떤 에러가 나올지 예측이 가능해야 하는 경우'
입니다. AI는 확률적으로 동작하는 모델이기 때문에 100%의 정확도를 가지는 AI 모델은 존재하지 않습니다. 따라서 100%의 정확도를 요구하는 경우'에는 AI 적용이 어렵다고 볼 수 있습니다.
세 번째로는 데이터를 충분히 모으기 어려워 제한된 정보를 제공하는 경우'
입니다. AI는 보통 제공되는 데이터의 양에 따라 성능이 향상되기 때문에 데이터가 부족하면 AI를 선택하는 것이 올바른 선택은 아닙니다.
네 번째로는 기술보다 시장 출시 시기가 월씬 더 중요한 서비스일 때'입니다.
AI는 만드는 데 시간이 많이 걸리기 때문에 이러한 경우 AI를 적용하는 것이적절하지 않을 수 있습니다.
마지막 다섯 번째는 '사람들이 원하지 않는 경우'입니다. 비교적 최신 기술인
AI는 사용자에 따라 새로운 기술에 대한 심리적 장벽이 있을 수 있습니다. 

- 그럼에도 불구하고 '꼭 AI를 적용해야 하는가?, '다른 기술을 사용하면 안되는가?라는의문이 여전히 있을 수 있습니다. AI를 선택하지 않을 경우의 대안으로는 휴리스틱이 있습니다. 앞서 설명한 AI발전 단계에 따르면, 휴리스틱은 소프트웨어1.0 방식으로 만들어진 프로그램입니다(AI는2.0방식이상)
휴리스틱의 특징을 그림으로 살펴보겠습니다. 이제 휴리스틱과 AI의 차이점을 개발 방식이 아닌 결과물 중심으로 분석하겠습니다. 휴리스틱 방식으로개
발된 프로그램은 경험에 기반한 규칙을 바탕으로 만들어집니다.
이는 경험적이고 직관적인 방법론으로, 간편하고 빠르게 문제를 해결할수 있어 시간과 자원 측면에서 효율적입니다. 대표적인 예로, GPS 기반의 내비게이션은 여전히 AI보다 휴리스틱 방식을 사용하여 비슷한 성능을 내면서도 더욱 빠르고 효율적으로 개발 및 서비스가 가능합니다. 그러나 휴리스틱 방식의 서
비스는 경험을 바탕으로 개발되기 때문에 새로운 상황이나 문제에 대한 대처가 제한적입니다.

- AI로 개발하면 더 효과적인 경우
AI로 개발하면 더 효과적인 경우는 크게 세 가지로 구분할 수 있습니다. 첫째,
자동으로 환경 변화를 반영하여 계산하는 경우입니다. AI의 성능을 개선할 때는 새로운 경우에 대한 데이터만 추가하고 새로 학습시키면 AI가 새로운 환경에 대응할 수 있게 됩니다. 따라서 휴리스틱 방법보다는 환경 변화에 더 효율적으로 대응할 수 있습니다. 둘째, 관련된 데이터가 많을 경우에는 AI의 성능이 월등히 높으므로 AI를 선택하는 것을 고려할 수 있습니다. 셋째, 휴리스틱 방식은 사람이 고민하여 프로그램을 작성하기 때문에 주로 정형 데이터 위주로 고민하게 됩니다. 그러나 AI는 정형 데이터든 비정형 데이터든 모두 분석할 수 있습니다.

- 성능 저하의 주범: 드리프트 3종
모델을 재학습하는 것은 비용과 시간이 많이 소요됩니다. 이제 성능 저하의 주요 원인 중 하나인 드리프트에 대해 설명하겠습니다. 드리프트는 데이터 드
리프트, 컨셉 드리프트, 모델 드리프트 이렇게 세 가지 종류가 있습니다.
데이터 드리프트는 모델이 학습한 데이터와 실제 적용 시점의 데이터가 서로
다른 특성을 가질 때 발생합니다. 즉, 학습 시점에 서비스에서 들어올 데이터의 분포를 예상하여 학습 데이터를 구성했으나, 실제 서비스에서 들어오는 데이터의 분포가 예상과 다를 경우 데이터 드리프트가 발생한다고 할 수 있습니다.
컨셉 드리프트는 서비스 출시 후 사용자의 서비스 사용 패턴을 관찰했을 때,
서비스의 컨셉을 변경해야 할 필요성을 느끼는 상황을 말합니다. 이는 사용자
의 행동 변화에 따라 서비스의 방향성을 재고해야 할 때 발생합니다.
모델드리프트는 학습 데이터에 포함되지 않은 데이터가 사용 중에 많이유
입될 때 발생합니다. 이는 학습 데이터에서 확인한 데이터에 대해서는 성능이
좋지만, 학습 데이터에서 보지 못한 경우에는 성능이 저하되는 현상입니다.

.

.

- 올트먼과 허사비스가 걸어온 여정은 오래전 두 기업가가 벌인 전쟁을 자연스레 연상시킨다. 19세기에 토머스 에디슨과 조지 웨스팅하우스는 각자 다른 전력 시스템을 내세우며 전기 시장을 장악 하겠다는 목표를 향해 달렸다. 두 사람 모두 발명가 출신의 사업가였고, 자신의 기술이 현대사회를 엄청나게 변화시킬 동력임을 알았다. 둘 중 누구의 기술이 시장의 지배자가 될 것인가? 결국 웨스팅 하우스의 더 효율적인 전기 시스템이 세계적으로 가장 널리 쓰이는 업계 표준이 되었다. 그러나 웨스팅하우스는 소위 이 전류 전쟁war of the Currents의 진짜 승자가 아니었다. 진짜 승자는 제너럴일렉트릭 GE이었다. 이윤에 대한 압박 속에서 올트먼과 허사비스가 더 크고 강력한 AI 모델을 개발하는 동안, 승자가 된 쪽은 빅테크 기업들이었다. 다만 이번 전쟁은 인간 지능에 필적하는 기술을 개발하는 전쟁이었다

- 트랜스휴머니즘의 기본 전제에 따르면 현재의 인간은 완벽하지 못한 열등한 존재다. 하지만 트랜스휴머니즘은 과학적 발견과 기술 발전으로 인간이 언젠가는 현재의 신체적, 정신적 한계를 뛰어넘는 새로운 종으로 진화하리라고 본다. 과학기술을 활용해 더 똑똑하고 창의적인 존재가 되고 수명도 연장된다는 것이다. 심지어 우리의 정신과 컴퓨터를 융합해 은하계를 탐험하게 될지도 모른다 트랜스휴머니즘의 씨앗은 20세기 중반으로 거슬러올라간다. 당 시 영국의 진화생물학자 줄리언 혁슬리는 영국우생학회 회장으로 활동했다. 선별 교배를 통해 인간이라는 종의 품질을 개량하고 향 상해야 한다고 주장하는 우생학 운동은 영국 학계와 지식인층 및 상류층에서 큰 호응을 얻었다. 귀족 집안 출신인 혁슬리는(그의 동 생은 멋진 신세계.,를 쓴 올더스 혁슬리다) 상류층 사람이 그 아래 계층 보다 유전적으로 우월하다고 믿었다. 하류층 사람은 잡초처럼 제거 해야 하며 강제 불임수술을 시행해야 한다고 생각했다. "그들은 너 무 빠르게 번식한다"고 혁슬리는 썼다. 나치가 우생학을 내세우며 타민족을 학살하자 혁슬리는 우생학 운동에 새로운 이름이 필요하다고 판단했다. 그는 '트랜스휴머니즘' 이라는 용어를 만들고, 인류가 적절한 교배뿐만 아니라 과학과 기 술을 통해서도 "현재의 상태를 넘어선 존재가 될 수 있다"고 에세이 에서 말했다. 트랜스휴머니즘 운동은 인공지능 분야가 점차 발전하 며 매혹적이고 새로운 가능성을 보여주던 1980년대와 1990년대에 차즘 강해지기 시작했다. 그 가능성이란 기술 발전으로 인간의 정 신이 지능을 갖춘 기계와 통합돼 한층 높은 수준에 도달할 수 있으 리라는 전망이었다 
이런 아이디어는 특이점이라는 개념으로 한층 구체화되었다. 특 이점은 AI와 기술이 고도로 발전해 인류가 되돌릴 수 없는 극적인 변화를 경험하고, 나아가 인간이 기계와 합쳐지리라 예상되는 미래 시점이다. 레그는 일찍이 읽은 커즈와일의 책을 통해 이와 같은 비전에 매혹되었고 딥마인드의 거부 투자자 피터 틸 역시 그런 미래를 꿈꿨다. 기술 업계의 많은 종사자가 이러한 유토피아가 실현되기를 열망했고, 올트먼과 틸 같은 사람들은 죽기 전 정신과 기계의 융합을 이루지 못할 경우에 대비해 뇌나 신체 전체를 냉동 보존하는 기술을 보유한 기업에 회원으로 등록했다. 

- "현재 받는 연봉의 두세 배나 되는 금액을 거절할 수 있는 사람 은 거의 없습니다"라고 마야 팬틱은 말한다. 임페리얼칼리지런던의 컴퓨터과학 교수인 팬틱은 2018년 삼성전자 AI센터의 연구책임자 가 되었고 이후 메타로 자리를 옮겼다. "저도 그랬거든요. 제 동료 교수들도 전부 그렇고요." 그리고 학계의 다른 저명한 인물들도 마 찬가지다. 제프리 힌턴은 이제 구글에서 일했고, 페이페이 리도 한 동안 구글에 속해 일했으며, 얀 르쿤은 페이스북에서 일했다. 스탠 퍼드대학교에 있던 앤드루 응 교수는 구글에서, 이후에는 중국 기업 바이두에서 일했다. 스탠퍼드와 옥스퍼드, MIT 등 내로라하는 일류 대학조차 스타 학자들을 붙잡아두기가 힘들었고, 이는곧 다 음 세대를 훈련하고 이끌어줄 교육자의 소멸을 의미했다. AI 연구 는 점점 더 비밀스러워졌고 기업의 수익 창출에 더 기여하기 시작 했다. 그렇기 때문에 연구 내용을 대중 앞에 공개하자는 머스크와 올트먼의 주장을 연구자들이 그토록 참신하게 여긴 것이다. A 관 련 지식이 대기업에 집중되는 문제를 걸고넘어지는 이가 마침내 나 타난 셈이다. 대학의 두뇌 유출이 일어나는 이유는 두 가지였다. 가장 편한 첫 번째 이유는 보수였다. 'AI의 대부'로 불리는 제프리 힌턴이 몸담았 던 토론토대학교에서 컴퓨터과학 교수들이 받는 연봉은 약 10만 달러였다. 이 대학 학자들 중 가장 높은 연봉은 약 55만 달러였다. 
즉 그것이 최상한선이었다. 힌턴의 걸출한 제자인 수츠케버는 아예 교수가 될 생각조차 하지 않았다. 그는 힌턴이 설립한 스타트업에서 잠시 일한 뒤 곧장 구글 브레인에 들어갔다. AI 메이커스, 인공 지능 전쟁의 최전선에 따르면, 오픈A[가 수츠케버에게 합류를 제 안하며 연봉 200만 달러를 내걸었을 때 구글 브레인 측에서는 그 것의 세 배나 되는 금액을 제시했다고 한다 두번째 이유는 AI 기술 연구에 필요한 데이터와 컴퓨팅 파워였 다. 일반적으로 대학이 보유하는 GPU(그래픽 처리 장치)의 개수에는 한계가 있다. 엔비디아가 만드는 강력한 반도체칩인 GPU는 오늘날 AI 모델을 훈련하는 대부분의 서버에 장착된다. 마야 팬틱은 대학에서 연구를 진행할 때 30명으로 이뤄진 연구 팀을 위해 16개의 GPU를 구매했다고 한다. 그렇게 적은 개수로는 AI 모델을 훈련하 는 데 몇 개월씩 걸리고는 했다. "정말 말도 안 되는 환경이었다"고 그녀는 말한다. 팬틱은 삼성에 합류하고 얼마 되지 않아 2000개의 GPU를 활용할 수 있었다. 데이터 처리 성능이 높아지자 알고리즘 훈련에 단 며칠밖에 걸리지 않았고, 연구에 한층 속도를 낼 수 있었다. 한편 대학에 남아 있는 학자들도 빅테크 기업의 영향력에서 벗어나기가 점점 더 힘들어졌다. 스탠퍼드대학교, 유니버시티칼리지 더블린 등 여러 대학의 전문가들이 함께 진행한 2022년의 연구에 따르면, 빅테크 기업과 연관된 학술 논문의 비율은 10년 사이 세 배 이상으로 증가해 66퍼센트가 되었다. 

- 오픈AI는 걸국 첫봇과 대규모 언어 모델1arge 1anguage mode1에서 거둔 성과로 세계적인 인정을 받게 되지만, 초기 몇 년 동안은 딥 마인드가 이미 장악한 분야인 멀티에이전트 시뮬레이션 및 강화 학습 기술과 힘겹게 씨름했다. 하지만 이들 분야에서 딥마인드를 따라잡으려 애쓸수록, 올트먼을 비롯한 경영진은 시에 대한 그런 접 근법으로는 현실세계에 큰 영향을 미치기 힘들다는 것을 깨달았다. 그 무럽부터 오픈AI는 딥마인드와 매우 다른 종류의 조직으로 변 하기 시작했다. 딥마인드는 학문적 명성에 따른 위계질서가 있고 박사학위 소지자를 우대하는 문화였지만, 오픈AI는 엔지니어 중심의 특성이 강했다. 오픈시의 최상급 개발자 다수는 프로그래머. 해커, 와이콤비네이터 출신의 전 스타트업 창업자였다. 이들은 뛰어 난 발견으로 과학계에서 명성을 얻는 일보다는 혁신적인 것을 창조해 수익을 올리는 데 더 관심이 많았다. 한편 머스크는 점점 더 안절부절못했다. 내로라하는 과학자들을 모아놓고서도 왜 딥마인드의 코를 납작하게 해줄 데모 기술조차 만들지 못하느냐며 올트먼에게 불만을 표했다. 머스크는 이 조직이 설립 3년차가 되어가는데 구글과 딥마인드보다 한참 뒤처져 있다 면서 해결책을 제안했다. 자신이 오픈AI의 주도권을 쥐고 이 조직 을 테슬라와 합병하겠다는 안이었다. 머스크는 2017년 12월 올트먼과 경영진에게 보낸 이메일에서 대대적인 변화 없이는 오픈시가 절 대 딥마인드를 따라잡을 수 없다고 말했다. 이 이메일은 오픈시I 측 에서 공개했으며 편집되지 않은 원본을 본 측근도 증언한 바 있다. "안타깝게도 인류의 미래가 데미스의 손에 달려 있다"라고 머스크 는 말했다. 다시 말해 자신이 주도권을 잡지 않으면 악당 허사비스가 제멋대로 이 분야를 장악할 것이라는 얘기였다. 하지만 올트먼과 경영진은 오픈AI의 통제권을 머스크에게 넘겨주고 싶지 않았고 결국 그의 제안을 거절했다 

- 그동안 오픈AI와 딥마인드는 자신이 만드는 고성능 AI 시스템의 악용을 막기 위한 방어벽을 세우려 노력해왔다. 딥마인드는 구글이라는 이윤 추구 독점기업이 AGI를 돈벌이 수단으로 마음껏 사용하지 못하게 할 기업 지배 구조를 만들려 노력했다. 전문가 고문으로 이뤄진 위원회가 AI 개발과 활용을 감독하게 할 생각이었다. 올트 먼과 머스크는 오픈AI를 비영리연구소로 설립했고, 초지능 기계의 개발 시점에 가까워지면 이 조직의 연구 내용과 특허 기술을 다른 조직들과 공유하겠다고 약속했다. 인류의 공익을 위한 길이었다. 이제 오픈AI의 존속을 위해 고군분투하는 올트먼은 그 방어벽의 일부를 허물 생각이었다. 설립 초기의 신중한 접근법은 좀더 저돌 적으로 변하게 된다. 그 과정에서 그동안 올트먼과 허사비스가 느리지만 과학적 혁신에 치중하며 연구를 진행해온 AI 분야는 개척 시대의 미국 서부와 비숫한 모습으로 변모해간다. 설득력 있는 내 러티브를 제시하는 능력이 뛰어난 올트먼은 그 능력을 십분 발휘 해 오픈시의 설립 원칙에서 멀어지는 자신의 선택을 정당화한다. 그는 기술 업계의 창업자였고 그런 창업자에게는 때로 전략적 방향 전환이 필요한 법이다. 그것이 실리콘밸리의 작동 원리였다. 올트먼은 오픈시의 설립 원칙 일부를 약간 '수정'해야 했다. 

- 거대 석유 기업과 플라스틱 제조업계가 세상의 관심을 그들이 환경에 미치는 중요한 영향에서 다른 곳으로 돌려농았듯이, AI분야의 주요 개발자들은 영화 <터미네이터>에서 인류를 멸망시키려는 AI 시스템 '스카이넷'이 현실화될지 모른다는 두려움을 조성함으 로써, 머신러닝 알고리즘이 초래하는 현재의 문제들에서 대중의 시 선을 돌려놓을 수 있었다. 그럼으로써 AI 개발자와 업계는 지금 당 장 조치를 취할 책임에서 벗어날 수 있었다. 인류가 멸망할지 모른다는 우려는 먼 미래에 대응해야 할 막연하고 추상적인 문제였다 

- 현재의 AI 모델들은 너무나 복잡하기 때문에 그것을 만든 사람조차 모델이 특정한 결정을 내리는 이유를 알 수 없다. 인공신경망 같은 딥러닝 모델은 '가중치'라고도 불리는 수백만 또는 수십 억개의 파라미터로 구성되며, 파라미터의 값은 수많은 층으로 이 뤄진 신경망이 학습하는 동안 자동으로 조정된다. 수많은 층으로 이뤄진 신경망을 조립 라인을 갖춘 공장이라고 생각해보자. 조립 라인의 단계별 작업대에 있는 각각의 노동자는 장난감 자동차에 색 칠하기, 바퀴 부착하기 등 특정한 작업을 수행한다. 조립 라인을 다 거치면 끝에 최종 조립품이 완성된다. 신경망의 각 층은 조립 라인의 단계별 작업대와 비슷해서 데이터를 조금씩 조정한다. 문제 는 그 과정에서 세세한 조정이 너무나 많이 일어나기 때문에, 장난감 자동차가 완성되기까지. 또는 흑인 피고인을 재범 우려가 높다 고 분류하기까지 조립 라인에 있는 각 작업대가(신경망의 각 층이) 어떤 일을 했는지 정확히 추적해 파악하기가 어렵다는 점이다. 

- 인간 언어를 이해하는 AI의 등장 첫GPT의 'T'는 '트랜스포머tansformer'를 의미한다. 여기서 트랜스포머는 자동차로 변신하는 외계 로봇이 아니라, 기계가 인간과 유사한 텍스트를 생성하게 해주는 딥러닝 모델이다. 트랜스포머는 텍스트, 이미지, 영상, DNA 서열 등 다양한 종류의 데이터를 만들 어낼 수 있는 '생성형generative' AI라는 혁신적 분야의 결정적 기술이 되었다. 2017년 트랜스포머 모델의 등장이 AI 분야에 미친 영향의 크기는 스마트폰의 등장이 우리 삶에 미친 영향에 비견할 만하 다. 스마트폰이 나오기 전에 휴대전화로 할 수 있는 일은 전화 통화와 문자 메시지 주고받기, <스네이크> 같은 간단한 게임 정도였다. 하지만 터치스크린 방식의 스마트폰이 등장하자 인터넷을 검색 하고, GPS를 사용하고, 고화질 사진을 찍고, 수많은 종류의 앱을 이용할 수 있게 되었다. 
트랜스포머 역시 AI 엔지니어들이 할 수 있는 일의 범위를 넓혀 주었다. 이제 그들은 휠씬 더 많은 데이터를 다루고 인간의 언어를 휠씬 빨리 처리할 수 있었다. 트랜스포머가 등장하기 전 과거에는 첫봇과 대화할 때 멍청한 기계를 상대하는 느낌이었다. 과거의 시스템은 규칙과 의사결정 트리를 기반으로 작동했기 때문이다. 사용자가 첫봇에게 프로그래밍에 들어가 있지 않은 뭔가를 질문하면(그런 경우는 흔했다) 챗봇은 당황하거나 엉뚱한 답을 내놓고는 했다. 애플의 시리나 아마존의 알렉사, 구글의 어시스턴트 같은 음성 비서도 처음에 그런 식으로 설계되었다. 이들 시스템은 각각의 쿼리 를 하나의 개별 요청으로 처리했기 때문에 맥락을 제대로 파악하지 못했다. 인간이 대화할 때처럼 앞서 했던 질문을 기억하는 능력이 이 시스템에는 없었다. 

- 구글이 자사의 혁신적 기술 연구 내용을 공개한 것은 이례적인 일이 아니었다. 이는 기술 기업들에 흔한 일이었다. 기업은 '오픈소스'로 신기술을 공개하면 연구 커뮤니티로부터 피드백을 얻을 수 있고 또 그럼으로써 엔지니어들 사이에 평판이 높아져 뛰어난 인재를 영입하기가 쉬워진다. 하지만 트랜스포머의 경우 구글은 적지 않은 대가를 치러야 했다. 트랜스포머를 개발한 연구원 여덟 명 모두 구글을 떠났다. 그중 대부분은 AI 회사를 창업했으며, 이 글을 쓰는 시점 기준으로 이들 회사의 가치는 도합 40억 달러 이상이다. 캐릭터에이아이만 해도 10억 달러의 가치를 지니며 세계적으로 손꼽히는 챗봇 기업이 되었다. 샤지르는 구글이 제대로 이용하지 못한 혁신 기술을 통해 원대한 목표를 꿈꾸고 있다. 그는 캘리포니아 주 멘로파크의 사무실에서 이렇게 말한다. "검색 엔진이 1조 달러 짜리 기술일지 몰라도 1조 달러는 별것 아닙니다. 1,000조 달러쯤은 바라봐야죠. 챗봇은 1,000조 달러짜리 기술이에요. 검색 엔진이 정보를 누구나 얻을 수 있게 해준다면, AI는 '지능'을 누구나 얻을 수 있게 해주고 모두에게 생산성을 월등히 높여주기 때문입니다. 샤지르가 퇴사한 후 구글은 연구를 지속했고 나중에는 프로제트 이름을 대화 애플리케이션을 위한 언어 모델, 즉 람다 LaMDA 로 변경했다. 연구원들은 외부 인력의 도움을 받아가며 이 모델을 계속 훈련하고 미세 조정했으며 결국 사람과 비슷한 수준으로 대화 하는 시스템을 개발했다. 이런 인상적인 성과를 거뒀음에도 구글은 모든 것을 사내 울타리 안에 가둬들 필요가 있었다. 람다는 세계에서 가장 뛰어난 챗봇 이라 해도 과언이 아니었지만 구글 내부의 소수만 이용할 수 있었 다. 구글은 검색 사업의 성공에 방해가 될 수 있는 모든 신기술의 공개를 극도로 꺼렸다. 경영진과 홍보팀은 그런 접근법을 신중함이 라는 말로 포장했지만, 사실 이 기업은 자사의 평판과 지배력 현 재의 수의 구조를 유지하려는 강박이 있었다. 이제 곧 구글은 바스 와니가 "경천동지의 사진"이라고 표현한 것을 목격하게 된다. 구글 이 광고 사업으로 계속 돈을 찍어내는 동안 오픈시는 AGI를 향한 역사적인 한 걸음을 떼고 있었다. 그리고 아직까지는 그 무엇도 비밀스럽게 감추고 있지 않았다. 

- 마이크로소프트의 등장 
올트먼은 딥마인드가 그랬던 것처럼 오픈AI를 대기업에 매각함으로써 조직의 통제권을 완전히 잃고 싶지는 않았다. 하지만 전략적 파트너십이라는 형태를 취하면 오픈시가 필요한 컴퓨팅 파워를 확보하는 동시에 대기업에 구속되지 않는 독립성을 갖는다는 인상을 줄 수 있었다. 올트먼과 호프먼은 구글이나 아마존과 협력하는 방안도 생각해봤지만 마이크로소프트가 가장 나은 선택지로 떠올 랐다. 두 사람 모두 이 기업에 인맥이 있었던 것이다. 둘 다 마이크 로소프트의 CTO 케빈 스콧을 개인적으로 알았고, 호프먼은 CEO 사티아 나델라와 친분이 깊었다 퉁퉁한 체구에 쾌활한 성격, 소년 같은 미소를 가진 호프먼이 오픈AI에 중요한 진짜 이유는 그의 재력이 아니라 연줄이었다. 

- 오픈AI는 사람들이 기술을 사용하는 방식에 또다른 거대한 변화를 일으키려 하고 있었다. 페이스북이 소설미디어로 우리의 삶을 크게 바꿔놓았듯이 말이다. 그리고 올트먼이 마이크로소프트와 손 잡았다는 것은 오픈AI가 마크 저커버그의 페이스북과 비슷한 궤도를 따르게 될 가능성을 시사했다. 페이스북은 사용자를 자사 서비스에 최대한 오래 머물게 만들어 수익을 올리는 사업 모델을 활용 하면서 여러 피해와 윤리적 문제를 야기했다. AI 기술의 부작용이 담긴 판도라의 상자는 이미 넘치려 하고 있었다. AI 시스템에 담긴 인종 및 성별 편향성 문제도 많았고, AI 기술은 이미 사람들을 소셜미디어 피드에 중독시키고 있었으며, 이 기술이 일자리에 치명적 영향을 미칠 가능성도 감지되었다. 만일 올트먼이 오픈AI를 계속 비영리조직으로 유지하면서 기술을 외부 전문가들과 공유하며 신중한 검토와 피드백을 받았다면 그런 영향들을 엄격히 단속할 수 있었을 것이다. 그러나 마이크로소프트와 손잡았다는 것은 악마에 게 영혼을 판 파우스트와 같은 거래를 했다는 의미였다. 이제 그는 인류를 위해서가 아니라 대기업이 지배력을 유지하고 치열한 경쟁 에서 선두를 점하는 데 도움을 줄 AI 기술을 개발하게 될 터였다 마침내 그 레이스가 시작되기 전에 그를 멈추려는 마지막 시도가 훗날 등장하게 된다. 

- 거대 기술 기업들은 어마어마한 부를 축적했다. 게다가 경쟁자를 짓밟고 사람들의 개인정보를 침해하며 성장을 거듭하는 동안. 대중은 세상을 더 나은 곳으로 변화시키겠다는 그들의 약속을 점점 더 회의적인 시선으로 바라봤다. 그런 실망을 안겨준 대표적인 예는 구글을 거느린 알파벳이었다. 이 거대 기업은 윤리 위원회와 혁 신적인 문샷 프로젝트들을 억제하고, AGI로 세상의 문제를 해결하 려는 딥마인드의 꿈에 제동을 걸었다. 알파벳의 새 CEO 순다르 피차이는 이 복합 기업의 통제권을 집중화하는 데 주력하는 한편, 어 떻게 하면 딥마인드가 구글의 수익 증대에 한층 더 효과적으로 기여할 수 있을지 모색했다. 딥마인드의 AI 기술은 이미 구글 검색과 유튜브 추천 알고리즘의 성능 강화에 사용될 뿐 아니라 AI 비서 구글 어시스턴트가 더욱 자연스러운 대화를 하도록 만들어주고 있었다. 하지만 피차이는 그것만으로 만족하지 못했다. 그리고 피차이가 딥마인드에 대한 구글의 통제력을 더 강화하는 동안, 허사비스와 술레이먼의 관계는 나빠지고 있었다. 

- 언어 모델의 규모가 점점 커지는 동안(버트는 30억 개 이상 의 단어로, 오픈시의 GPT-3은 약 1조 개의 단어로 훈련했다) 거기에 수반되는 위험은 사라지지 않았다. 2020년 버트 팀의 연구원들이 조 사한 결과에 따르면 버트는 장애가 있는 사람에 대해 이야기할 때 부정적 표현을 더 많이 사용했다. 또 정신질환에 관해 말할 때는 총기 폭력이나 노숙자, 마약중독과 연관지어 언급하고는 했다 오픈시는 자사의 GPT-3가 얼마나 편향성을 갖고 있는지 '사전 분석'을 실시한 결과 실제로 편향성이 매우 강하다는 사실을 발견 했다. GPT-3는 어떤 직업에 대해서든 그것을 여자가 아닌 남자와 연관시킬 가능성이 83퍼센트 더 높았다. 또 대체로 국회의원이나 금융업 종사자 같은 고소득 직업인을 남자로 지칭한 반면 안내원과 청소부는 여자로 묘사했다 GPT-3는 사용자가 문장의 첫 부분을 제시하면 다음 내용을 자동 완성해주었다. 예컨대 입력 텍스트를 "모든 남성이 궁금해하는 것은...."이라고 넣으면 GPT-3가 "자신이 이 세상에 태어난 이유와 삶의 목적이다"라고 나머지를 완성했다. "모든 여성이 궁금해하 는 것은 ...."이라고 입력하면 "남자가 된다는 게 어떤 것인가 하는 점이다"라고 문장을 완성했다. 이는 작가 겸 기술 컨설턴트 제니 니콜슨이 2022년 3월 공개한 실험 내용이다 

- 대규모 언어 모델의 성능이 점점 향상되는 동안 그것을 개발하는 기업들은 행복하게도 이렇다 할 규제를 받지 않았다. 입법자들은 이 기술의 앞날을 걱정하는 것은 고사하고 이 기술이 향후 어떤 게 발전할지도 거의 예상하지 못했다. 학계 연구자들이라 해도 AI기술의 전체 그림을 볼 수는 없었다. 언론은 AI가 인간에게 우호적 인지 인간을 멸종시킬지 하는 문제에만 관심이 있을 뿐, AI 시스템이 소수 인종에게 해를 끼칠 가능성이나 몇몇 대기업이 이 기술을 통제할 경우 초래될 결과에 대해서는 그다지 관심이 없었다. 대규모 언어 모델 개발자들이 아무 방해 없이 전진할 수 있는 모든 조건이 갖춰져 있었다 월스트리트저널이 2019년 마이크로소프트가 오픈AI에 투자한다 는 사실을 보도했을 때, 브록먼은 이 매체와의 인터뷰에서 "대개 기술 발전은 부가 소수에 집중되는 결과를 가져온다"라고 말하면서 AGI가 부의 집중을 더 강화할 수 있음을 인정했다. "AI는 극소수의 사람이 소유하거나 통제하면서 어마어마한 부를 창출할 수 있는 기술입니다. 

- 오픈AI가 새로 도입한 이익제한 구조는 그런 상황을 방지하기 위한 것이라고 브록먼은 덧붙였다. 하지만 실제로 오픈AI의 투자 자들은 자신이 투자한 돈에서 막대한 이익을 얻고, 오픈AI와 마이 크로소프트가 개척한 새로운 시장을 점령하도록 돕게 된다. 제약 회사가 임상 시험을 거치지 않은 새로운 약품을 출시하면서 일반 대중을 상대로 해당 약을 테스트한다고 상상해보라. 또는 식품 회사가 엄격한 조사와 검토를 거치지 않은 방부제를 출시한다 고 상상해보라. 빅테크 기업들이 대규모 언어 모델을 대중 앞에 내놓는 일도 그와 비슷했다. 그런 강력한 A 도구를 통한 이윤 경쟁이 벌어지는 동안 그들을 규제할 기준은 존재하지 않았다. 모델의 위험성을 연구하는 일은 기업 내부에 있는 안전 및 윤리 담당 연구자들의 묶이었지만, 그들이 무시할 수 없는 영향력을 지닌 존재로 여겨지는 경우는 거의 없었다. 구글은 윤리팀 리더들을 해고했고. 딥마인드의 윤리 담당 직원은 극소수였다. 나날이 신호가 더 분명 해지고 있었다. 더 크고 강력한 기술을 개발하는 목표에 동의하든지, 그게 싫으면 떠나라. 

- 전반적으로 딥마인드의 주요 프로젝트들은 많은 명성과 찬사를 얻었지만 그에 비해 현실세계에 미친 영향은 상대적으로 적었다. 답마인드는 완전한 시뮬레이션 환경에서 A를 훈련하는 방식을 고 수했다. 물리적 요소와 여타 세부 요소들을 정확히 설계해 관찰할 수 있는 환경 말이다. 알파고도 그런 접근법으로 개발했다. 알파고는 자기 자신과 무수히 많은 경기를 치르면서 시뮬레이션을 통해 학습하도록 설계되었다. 또 알파폴드는 단백질 접힘 시뮬레이션을 활용했다. 오픈시[가 인터넷에서 수십억 개의 단어를 수집했듯 현실의 데이 터를 이용한 모델 훈련은 골치 아프고 잡음이 많은 방식이었다. 원치 않는 스캔들에 휘말릴 수도 있었다. 허사비스가 병원 프로젝트에서 깨달았듯이 말이다. 하지만 딥마인드는 자기충족적 접근법을 취했기 때문에 사람들의 실제 삶에서 활용되는 AI 시스템을 개발하 기가 더 힘들었다. 허사비스는 AI 시스템의 가상세계와 세상의 인정을 받는 일에 너무 집중한 나머지 언어 모델에 일어난 혁명을 놓치고 말았다. 이 제 그는 올트먼의 선례를 따라야 했다. 구글 경영진은 딥마인드측에 람다보다 휠씬 뛰어난 일련의 대규모 언어 모델을 의뢰했다. 이 새로운 시스템에는 제미나이라는 이름을 붙였고, 딥마인드는 알파고에 사용한 전략적 계획 기법들을 제미나이 시스템에도 적용했다. 

- 마이크로소프트는 오픈AI 기술을 토대로 만든 AI 비서인 코파일 럿을 윈도우, 워드, 엑셀, 기업용 소프트웨어 다이나믹스 365에 통합했다. 분석가들은 2026년경이면 오픈AI의 기술 덕분에 마이크로 소프트가 올리는 연간 환산 매출이 수십억 달러에 이를 것으로 추 산한다. 2023년 후반 한 행사에서 올트먼과 함께 무대에 오른 나델라는 마이크로소프트와 오픈AI의 관계가 어떠냐는 질문을 받고 웃음을 주체하지 못했다. 답이 너무 뻔한 질문이었다. 당연히 두 회사의 관계는 더할 나위 없이 좋았다. 마이크로소프트는 AI 사업에 기꺼이 더 많은 돈을 쏟고 있었으며, 2024년과 이후 생성형 AI 기술을 가동하는 엔진인 데이터센터 확장에 500억 달러 이상을 투자할 계획이었다. 이는 역사상 유례 없는 수준의 인프라 확장이다. 마이크로소프트가 쓰는 돈은 정부가 철도와 댐, 우주 프로그램에 쓰는 돈보다 많았다. 구글 역시 자사 데이터센터의 규모를 늘리고 있었다. 

- 우리는 아직 뇌의 언어 능력을 대신할 수 있는 기술에 의존할수록 어떤 부작용이 발생할지 전부 정확하게 알지는 못한다. 언어를 생성하고 브레인스토밍을 하며 사업 계획을 구상할 수 있는 기계는 단순히 수치를 분석하거나 웹사이트를 색인화하는 기계보다 휠씬 더 많은 일을 하기 때문이다. 그런 기계는 추상적 사고와 전략적 사고까지 대신하고 있다 앞으로 많은 직업군에서 대규모 언어 모델에 의존하게 될 경우 인간의 비판적 사고력이나 창의적 능력이 얼마나 쇠퇴할지, 또는 챗봇을 심리치료사나 연인으로 이용하는 사람이 늘고 이미 제품으 로 나와 있듯이 아이들을 위한 장난감 챗봇이 늘어나면 인간이 타 인과 관계 맺고 소통하는 방식이 어떻게 변화할지 당장은 알 수 없 다. 미국 성인 1000명을 대상으로 진행한 2023년 조사에 따르면 미국인 네 명 중 한 명은 인간 심리치료사보다 AI 챗봇과 대화하는 것을 더 선호한다는데, 이는 그리 놀랍지 않은 결과다. 챗GPT에 감성지능 문제를 내주면 이 챗봇은 굉장히 높은 점수를 받으니까 말이다. 

- MIT 경제학 교수이며 기술 발전이 경제 번영에 미치는 영향을 분석한 책 권력과 진보의 공저자인 대런 아세모글루는, 역사적으로 로봇과 알고리즘이 인간 노동자가 하던 일을 대체하면 임금 성장이 둔화되었다고 말한다. 그의 분석에 따르면 1980년에서 2016년 사이 미국에서 일어난 임금 불평등 증가의 70퍼센트가 자동화 때 문이었다. 아세모글루는 말한다. "생산성 향상이 반드시 노동자의 임금 상 승으로 이어지지는 않으며 사실 상당한 임금 하락을 가져올 수 있 다. 생성형 AI가 다른 자동화 기술들과 동일한 방향을 따를 경우 (...) 같은 결과를 초래할지 모른다. 

- 허사비스처럼 올트먼 역시 AGI를 모든 문제를 해결해줄 만병통 치약처럼 표현했다. AGI는 헤아릴 수 없는 부를 창출할 뿐 아니라 그 부를 모든 인류와 공평하게 나누는 방법도 알려줄 기술이었다 만일 다른 사람이 이런 말을 했다면 터무니없는 소리라며 조롱을 받았을 것이다. 하지만 올트먼과 그의 팀은 정부 정책에도, 그리고 세계 최고 기술 기업들의 전략에도 영향을 미치고 있었다. 사실 오 픈AI는 인류보다 마이크로소프트를 위해 많은 부를 창출해주고 있 었다. AI 기술의 이로움은 지난 20년 동안 세상의 부와 혁신을 빨 아들여온 몇몇 소수 기업이 얻고 있었다. 그들은 소프트웨어와 칩 을 만들고 컴퓨터 서버를 운영하는 기업, 실리콘밸리와 워싱턴주 레드먼드에 위치한 기업이었다. 이들 기업을 운영하는 리더 다수는 밖으로 떠벌리진 않아도 모두 같은 생각을 하고 있었다. AGI가 유토피아를 탄생시킬 것이고, 그 유토피아는 자신들의 것이라고 말이다. 

- AI 기술 자체는 놀라울 만큼 빠른 발전 속도를 보여주고 있지 만, 실제 우리 산업과 일상에의 확산 속도는 그와는 사뭇 다르다. 자율주행 시대의 걸림돌이 기술보다는 도로 인프라에 있는 것처럼, 지금은 AI 시대를 활짝 열어줄 여러 관문들과 그에 맞는 열쇠 들을 본격적으로 찾아야 하는 시기다. AI의 미래는 기술이 아닌 AI가 어떤 형태로 우리 삶에 적용되어 더 안전하면서도 연결된 삶을 만드는지에 달려 있다.

- 멀티모달 AI의 핵심은 맥락 이해에 있다. 다양한 유형의 데이터 입력과 그 데이터 간의 연결성을 인식할 수 있기 때문에 출력은 더욱 풍부하고 직관적이며, 인간 지능에 더욱 가까워 보일 것이다. 이러한 통찰력은 거의 모든 산업 분야에서 혁신을 가져올 것이다. 다만, 투명성, 공정성, 책임성과 같은 요소들이 멀티모달 AI에서 우선적으로 다뤄져야 하며, 아직 그 여정은 시작에 불과하다. 

- 할루시네이션(혹은 AI의 거짓말)은 왜 발생할까? 
* 신뢰할 수 있는 데이터지만 AI 모델 특성으로 인해 생성된 답변 자체에 환각이 발생하는 경우 
* 소스 콘텐츠 자체의 오염된 데이터로 인해 데이터 품질에 문제 가 있는 경우
* 입력된 프롬프트 자체가 불분명하거나 일관성이 없거나 모순된 내용을 포함하는 경우 

- 할루시네이션은 이처럼 생성형 AI 모델 자체의 특성 외에도 다양 한 이유로 발생할 수 있다. 그렇다면 모든 할루시네이션이 문제일 까? 할루시네이션은 크게 두 가지 관점에서 살펴볼 수 있다. 
* 긍정적인 할루시네이션: 시각적 또는 언어적으로 나타니는 할루 시네이션은 문화, 예술, 창작 등 창의적인 영역에서는 오히려 장 점이 될수 있다. 존재하지 않는 사물이나 장면을 시각적으로 만 들어내고, 허구적인 정보와 사건을 통해 스토리를 구성하는 데 활용될수 있다. 텍스트, 이미지, 영상 등의 콘텐츠 확장을 통해 새로운 발견, 생성, 기획이 가능하다. 즉, 모든 할루시네이션이 나쁜 것은아니다. 
* 부정적인 할루시네이션: 언어적 이해 측면에서 잘못된 추론을 통해 실제 맥락에서 벗어난 답변이나 부정확한 정보를 생성할 수 있다. 또한, 학습 데이터에 포함된 사회적 편견을 반영하고 증폭시켜 비윤리적인 관점, 차별, 고정관념 등의 편견을 만들어 낼 수 있다는 점에서 문제가 된다. 우리가 해결해야 할 할루시네이션 문제는 바로 이 지점이다. 

-  할루시네이션을 줄일 수 있는 방법들
* 타겟 데이터 소스 활용: 질문에 대한 답을 찾기 위해 검증된 출처 의 데이터를 활용하도록 유도한다. 이렇게 하면 AI 모델은 고관여:고품질의 정보를 기반으로 답을 생성할 수 있어 할루시네이 션의 가능성을 줄일 수 있다. 
* 의미론적 엔트로피 semantic Entropy4) 계산: 2024년 6월, 과학 저널<네이처>에 발표된 연구에 따르면 의미론적 엔트로피를 계산 해 할루시네이션 발생 가능성을 감지할 수 있다. 질문에 대해 AI 모델이 5-10개의 답변을 생성한 후 다른 AI 모델을 통해 이 답변들의 의미적 유사성을 측정한다. 의미적 유사성이 낮을수록, 즉 의미론적 엔트로피 점수가 높을수록 할루시네이션이 발생했 음을 의미한다. 이는 일상에서 대화를 통해 상대방의 거짓말을 밝혀내는 과정과 유사하다. 
* 구체적인 프롬프트 작성: 구체적인 프롬프트는 AI 모델이 어떤 정보를 어디서 가져와야 할지 예측할 수 있도록 돕는다. 최대한 구체적인 정보를 제공하고, 답변의 적절한 길이, 출처, 활용처. 답변의 톤 등을 정의해준다면 더 만족스러운 답변을 얻을 수 있 다. 질문의 수준에 따라 답변의 수준도 달라진다는 점을 기억해야 한다. 
* 범위를 지정하는 프롬프트 활용: AI 모델의 답변 자유도를 최대 한 제한하면서 정의된 범위와 조건에 따라 특정 데이터를 찾도 록유도한다. 예를 들어,'최근이라는 단어 대신 '2024년 1월부터 6월'처럼 기간을 명시하거나 답변에 근거(언론 기사, 연구 등)를 포 함하도록 하는 것이다. 이렇게 범위를 한정하면 할루시네이션을 줄일 수 있다. 
* 역할 지시를 통한 전문성 향상: AI 모델이 전문가의 입장에서 답 변하도록 유도해 정확도를 높이는 방법이다. 답변에 전문성이 요구된다는 점을 강조하고, 해당 전문성을 충분히 보여줄 수 있는 세부 정보가 포함되도록 요청한다면 보다 정확한 답변을 얻 을수있다. 
* 버티컬 특화 모델 활용: 가장 보편적인 방법 중 하나로, 범용 모델 대신 특정 산업 분야(예: 금융, 의학, 교육)나 태스크에 특화된 모델을 사용하는 것이다. 
* 환경변수 설정: AI 모델의 답변에 직접적인 영향을 주는 환경 변수를 조정해 할루시네이션을 줄일 수 있다. 예를 들어, 온도 Temperature 환경변수는 0.1~1.0 범위로 표현되며, 숫자가 높을수 록 창의성이 증가한다. 정확도를 높이려면 숫자를 낮추면 된다. (일반적으로 콘텐츠 생성 시에는 0.4~0.7 사이의 값이다.) 

- 온디바이스 AI라는 단어는 매우 매력적이다. 기술 자체로서 도 그렇지만, 이 단어는 기술의 산업화, 대중화, 그리고 일상화라는 3가지 측면을 모두 포함하고 있다. 생정형 AI가 사업화에는 시간이 걸리면서, 빠른 기술 업데이트로 인한 피로도가 높은 상황에서 온디바이스 사는 생성형 AI모델의 크기를 조정해 학습, 추론, 운영 대비 효과에 대한 경제성과 개인정보 데이터의 보안 성을 동시에 갖추면서도 챗GPT만큼이나 놀라운 접근성을 제공하여 대중성과 사업성 측면에서도 주목받고 있다.

- 생성형 AI 이전에 우리가 접했던 AI 기반의 켓봇, 콜봇, 아바타와 현재의 AI 에이전트 간 가장 큰 차이점은 바로 멀티모달 에이전트에 있다. 이 에이전트는 텍스트, 이미지, 오디오, 비디오 등 다양한 모달리티의 데이터를 이해하고 통합적으로 분석하며 이를 다양한 형식으로 출력할 수 있다. 또한 복잡한 모달리티 간 상호작용을 처리할 수 있는 능력을 갖추고 있다. 멀티모달 에이전트의 특징은 다음과 같다. 
* 복잡한 대화 및 감정 분석 능력: 상대방의 음성 톤과 언어를 분석 하여 감정을 이해할 수 있다. 이는 사람과 유사한 공감을 통해 개인화된 답변을 제공할 수 있으며 이를 통해 커뮤니케이션의 만족도를 높일 수 있다. 통합된 지식 기반의 해결력: 다양한 형식의 콘텐츠로 구성된 방대한 양의 정보를 이해하고 분석함으로써 복잡도가 높은 질문에 대응할 수 있으며 상대방의 요청이나 문제를 더 빠르고 정확하게 해결할 수 있다. 
* 주변 환경에 대한 높은 이해력: 다양한 모달리티를 통해 주변 환 경을 인식할 수 있으며 이는 상대방과의 상호작용에 깊이를 더 하고 개인적인 관계를 형성할 수 있게 한다. 

- 챗GPT의 개발사인 오픈AI는 이름과 달리 폐쇄형 LLM의 대표주자다. AI 모델의 개발, 소스코드, 데이터 등은 개발사만 가진 고유한 정보로, 외부에 공개되지 않는다. 하지만 기업들이 폐쇄형 LM을 도 입하는 경우 빠른 도입, 지속적인 업데이트, 데이터 보안 등에서 많 은 도움을 받을 수 있다. 그러나 이러한 장점에도 불구하고 오픈소스 LLM 시장은 더욱 확장되고 있다. 오픈소스 LLM은 단순한 기술적 선 택을 넘어 전략적 선택으로 다가오고 있으며 그 장점과 과제, 그리고 미래 전망을 살펴볼 필요가 있다. 다만, 오픈소스 LLM의 장점이 기업의 상황에 따라 단점으로 작용 할 수 있음을 인식해야 한다. AI 모델의 크기, 아키텍처, 벤치마크 성능, 학습 데이터셋, 모델의 편향성, 라이선스 유형 등을 고려해 장단 점을 신중하게 판단해야 한다. 

- 현재 전 세계 AI 가속 반도체 시장의 90퍼센트 이상을 엔비디아의 GPU가 차지하고 있다. 이는 학습뿐만 아니라 추론에서도 마찬가지다. V100, A100, H100 등 새로운 GPU 제품이 나올 때마다 가격과 전력 소모량이 급격히 증가했다. 특히 H100의 경우 A100에 비해 전 력 소모량이 400W에서 700W로 75퍼센트 증가했지만, HBM 메모 리 대역폭과 연산 속도는 50퍼센트 증가에 그쳐 성능 대비 전력 효율 은 오히려 악화되었다. 더욱이 H100 출시 이후 A100 생산이 단종되 면서 서버군에서 선택의 폭이 줄어들게 되었다. 또한 GPU를 포함한 AI 가속칩은 메모리 속도 문제를 해결하기 위해 고성능 HBM을 사용 하는데, 이 HBM은 층을 쌓는 구조로 만들어지기 때문에 전력 소모 가 크고 열도 많이 발생시킨다. 이로 인해 H100 이상의 GPU 서버를 대량으로 설치, 운영하는 AI데이터센터는 일반적인 냉각 시스템 대 신 액침냉각 시스템을 사용해야 하며, 이에 따라 데이터센터 운영비 도 크게 중가한다. 비용을 줄이기 위한 첫 번째 방법은 규모의 법칙에 따라 학습 데이 터 양에 중점을 두는 것이다. 즉, 동일한 양의 GPU가 주어졌을 때, 모델의 크기를 적당히 유지하면서 학습 데이터 양을 많이 늘리고 학 습 시간도 충분히 사용하는 것이다. 모델의 크기를 키우면 더 강력한 모델이 만들어질 수 있지만, 서비스 적용 시 더 많은 GPU가 필요해 운영 비용이 크게 중가하게 된다. 예를 들어, 130억 개 매개변수 모델 은 가중치별 2바이트(FP16 기준) 부동소수 형태로 저장된 파일을 가 정해도 26GiB 메모리를 차지하므로 80GiB 메모리를 가진 A100이 나 H100 한 장으로 충분히 동작할 수 있지만, 1,750억 개 매개변수를 가진 AI 모델을 서비스하려면 350GiB 메모리가 필요해 최소 다섯 장 이상의 A100이 필요하다. 컨텍스트와 다양한 부가 모듈을 위한 메모리를 고려하면 여덟 장을 써야 한다. 
그래서 최근에는 수십 또는 수백억 개 매개변수의 생성형 AI 사전 훈련에 기존 방법보다 휠씬 더 많은 데이터를 사용한다. GPT3의 경우에는 1,750억개 매개변수를 가졌음에도 3,000억 개 토큰을 사전 훈련에 사용했지만, 2022년 3월 구글 딥마인드는 친칠라 논문에서 학습에 쓸 수 있는 GPU의 개수와 시간이 정해져 있을 때(가령 H100 200개를 한 달 동안 학습에 사용할 때) 최적의 모델 크기와 학습 데이터 토큰 수와 관련한 최적화 결과를 공개했다. 매개변수를 유지하면서 층을 더 쌓는 구조에 학습 토큰 수를 매개변수 수보다 20배 정도의 양으로 학습할 떼 정해진 학습에 활용된 컴퓨팅 자원 기준 최적화된 모델이 만들어진다는 내용이다. 

 - 알고리듬적 노력뿐만 아니라 AI 반도체의 개선도 중요하다. 현재 AI 가속칩 시장에는 AMD, 인텔, 퀄컴, 그래프코어 Graphcore, 세레브라스cerebras 등 여러 기업이 있지만, 사실상 엔비디아가 독점하고 있다. 이 때문에 아마존, 마이크로소프트, 메타, 애플, 테슬라 등은 오랜 기간 자체 AI 반도체를 개발해 왔지만, 주로 내부용으로만 사용 중이 다. 구글도 TPU를 오래전부터 만들어 사용하고 있지만, 구글 클라우 드 상품을 제외하고는 외부에 AI 가속 반도체를 판매하지 않고 내부 용으로만 사용하고 있다. AI 추론 반도체의 개선이 필수적인 상황이며, 특히 엔비디아 GPU가 양자화된 sLM이나 LLM 모델이 대량의 입 력을 처리하는데 다소 비효율적이기 때문에 이를 효율적으로 연산 할 수 있는 AI 추론 반도체의 출현이 필요하다. 최근 첫GPT-4o 미니와 구글 제미나이 플래시 등 상대적으로 작 은 모델들의 API 가격이 대폭 하락하고 있으며, 특히 책GPT-40 미니는 무료로 제공되고 있다. 이에 따라 향후 생성형 AI사용 가격은 점점 부담 없는 수준으로 낮아질 것이며 AI 무용론도 점차 해소될 것으로 기대된다 

- 2023년 여름 금융 특화 대규모 언어 모델인 블룹버그GPT"가 나왔을 때 일단 모델 사이즈 자체는 대단히 놀라웠다. 그러나 자세히 들여다 보면, 글로벌 금융사들도 현재 생성형 AI가 가지고 있는 할루시네이 션 이슈 때문에 대고객 서비스보다는 내부 업무 효율화 측면에 우선 순위를 두고 있다. 금융이 다른 어떤 산업 분야보다도 최신성 및 정 확도 등이 확보되어야 하는 분야이기 때문이다. 앞서 언급된 JP모건 이나 모건스탠리 역시 내부 업무 효율화를 우선적으로 하고 있는데. 모건스탠리의 경우 사내 금융 애널리스트들을 보조하기 위해 내부 문서 10만여 건의 문서를 학습한 첫GPT 기반의 어시스턴트를 2023 년에 도입했다. 서비스 출시 전에 300여 명의 금융 애널리스트들이 파일럿 프로젝트로 참여했으며, 질문과 답변 데이터셋 400여 개 질 문에 대해 테스트를 하면서 할루시네이션을 최소화하기 위해 노력했 다고 한다 글로벌 빅테크들의 적극적인 도입이 두드러져 보이는 것은 오픈AI 가 초기 모델 개발 당시부터 협력하던 기업들도 있었기 때문에 빠른 도전 자체가 강조된 부분도 있고, 국내 금융 산업의 경우 망분리나 데이터 활용 관련 법 규제도 영향을 미쳤을 것이다. 다만 도입 방향에 대한 빠른 결정과 도입 분야의 다양성은 분명 글로벌 기업들이 좀 더 발빠르게 움직이고 있다고 볼 수 있다. 

- 제미나이1.5에서 가장 놀라운 부분은 컨텍스트, 즉 맥락의 '길이다. 첫GPT 같은 텍스트 기반 AI는 사용자가 입력한 명령(프롬프트)과 해당 명령에 대해 AI가 이전에 작성한 글의 내용을 모두 검토한 후 '맥락'을 고려해서 다음 글을 작성해 나간다. 여기서 컨텍스트는 사람의 입력과 AI가 생성한 콘텐츠를 합한 것으로 정의하며, 최대 컨텍스트 길이는 한 세션 내에서 사람의 입력과 인공지능이 쓸 수 있는 토큰의 최대 길이가 된다. 컨텍스트 길이가 충분히 길어지면 긴 코드도 작성 할 수 있고, 수백 페이지짜리 계약서를 통째로 넣고 독소 조항을 물어볼 수도 있다. 참고로 첫GPT나 클로드3는 최대 컨텍스트 길이를 12만 토큰 정도 지원하는데, 제미나이는 무려 8배가 넘는 100만 토큰 을 제공한다. 이는 사진이나 음성, 영상처럼 데이터 처리에 토큰을 많이 써야 하는 멀티모달 응용에서 매우 중요한 발전이다. 최근 업그 레이드된 제미나이 프로 버전은 200만 토큰의 컨텍스트 길이까지제 공한다. 컨텍스트의 길이가 중요한 것은 환각 현상, 즉 할루시네이션을 해결하는 데 핵심이 되기 때문이다. AI의 실질적인 사용성을 높이기 위해서는 AI가 주어진 데이터나 맥락에 근거하지 않은 잘못된 정 보나 허위 콘텐츠를 만드는 것을 막아야 하는데, 이때 가장 효과적이 고도 널리 쓰이는 방법이 RAG Retrieval-Augmented Generation(검색 중강 생성)와 컨텍스트 길이를 늘리는 것이다. 뿐만 아니라 텍스트보다 이미지나 음성, 영상 등은 휠씬 더 많은 토큰을 사용하기 때문에 멀티모달 생성 AI에서 컨텍스트 길이를 충분히 늘리는 것은 매우 중요한 기 술이다. 

- 모델 기술이 결정에 굉장히 중요한 요소인 것은 확실하다. 모델의 중요성은 계단형 합수처럼 동작한다. 예를 들어, 2018년 10월 언어 모델인 버트가 나왔을 때, 자연어처리 Natural Language Processing: NLP 분야는 버트 이전과 이후로 나뉜다고 할 정도로 혁신적 인 변화가 일어났다. 이후로 다양한 모델들이 나왔지만 연구로서의 임팩트는 있을지언정 산업계에서 큰 혁신으로 연결되지는 않았다. 그러나 GPT-3가 나오면서 또 한번 권텀점프가 일어났다. '계단형'이 란 바로 이런 큰 도약을 의미한다. 모델들이 비슷한 수준일 때는 적용 문제의 특성에 맞는 모델을 선택하면 된다. 하지만 2014년 워드투벡 wordzvec, 2017년 트랜스포머, 2018년 버트, 2020년 GPT3까지 퀸텀점프가 이어지면서 어떤' 모델 을 빠르게' 도입하느냐가 성공을 크게 좌우하게 되었다. 현재 챗GPT API를 활용해서 만든 첫봇들과 과거 챗봇들의 수준을 비교해보면 바 로 이해가 될 것이다. GPT-3가 등장하면서 인콘텍스트 러닝in-context learning이 가능해졌는데, 과거에는 AI에게 데이터를 주고 학습시켜야 했지만, 이제는 예시를 보여주는 것만으로 메모리에 저장된 컨텍스 트 내의 내용을 학습해 유사한 결과물을 만들어내는 것이 가능해진 것이다. 이는 과거 모델에서는 불가능했던 기술이다 가장 최근의 퀸텀점프를 가능하게 한 것은 모델의 크기와 방대한 학습 데이터를 활용한 이른바 '규모의 법칙'이다. 모델을 충분히 키우고 그만큼 데이터를 엄청나게 많이 학습시키면 과거에는 불가능했던 AI 기능이 발현된다는 것을 실험적으로 밝혀낸 것이다. 오픈AI에서 가장 최근 공개한 01은 AI 모델이 글을 쓰는 과정에서 더 복잡한 추론을 수행하면서 할루시네이션을 크게 완화하고 박사 수준의 문제해 결력을 보여주는 등 기존 언어 모델의 한계를 극복한 것으로 보인다. 

- 최근 생성형 AI 모델들은 퓨샷학습 few-shot Learning, 즉 아주 적은 양의 데이터로도 해당 데이터의 특징을 빠르게 파악해 상당히 비슷하게 따라할 수 있다. 예시 한두 개만 보여주더라도 그 예시를 따라 하니 많은 개인 데이터가 필요하지 않다. 또한 데이터를 공유할 수 있으면 가장 좋겠지만, 법이나 규제 등으로 어려운 부분이 있다. 민감 정보의 활용이나 전송은 더 그렇다. 이를 해결하기 위한 방법 중 하나는 연합학습 Federated Learning이다. 연합학 습은 데이터 프라이버시와 보안을 중시하는 분산학습 방법으로, 데 이터 자체가 전송되지 않고 학습된 모델 파라미터만 일부 전송/공유 된다. 이렇게 하면 데이터 공유로 인해 발생하는 문제를 근본적으로 해결할 수 있다. 다만 전송된 모델로부터 데이터가 복원 및 추출되면 안 되는 조건이 있고, 생성형 AI에서는 눈에 띄는 성공 사례가 보고 되지 않고 있다 다른 방법으로는 데이터를 암호화하는 것이다. 동형암호와 같은 기 술들인데, 과거에 비해 학습 속도가 상당히 향상되었다고는 하지만 상용화가 되려면 여전히 시간이 필요한 것으로 보인다. 우스갯소리 로 예전에는 "오늘 실행 엔터키 치면 다음 생에 완료된다"고 했을 정 도로 학습에 정말 오랜 시간이 걸렸지만, 이제는 1~2년 정도면 가능 하다. 물론 아직 실효성은 많이 부족하다. 하이브리드 형태도 가능하다. 예를 들어, 기본적인 정보는 내 휴대폰 에 탑재된 sLM 기반의 에이전트를 활용하고, 필요한 경우 개인정보 를 제외한 데이터를 클라우드로 보내서 더 똑똑한 시I로부터 추가 정 보를 제공받는 방식이다. 이렇게 하면 처음에는 간단한 질문을 던지 고, 점차 정교하게 답변을 제공하는 방식도 기능해진다. 이러한 방식 들은 AI 비서가 개인의 데이터를 안전하게 활용하면서도 더욱 똑똑 하게 작동할 수 있도록 돕는다. 

- 할루시네이션이 발생하는 이유에 대해 짚고 넘어가 자. 첫 번째 이유는 딥러닝 모델의 데이터 생성이 확률적이기 때문이 다. 최근 인공지능 기술은 기본적으로 딥러닝이라는 방법을 사용해 구현된다. 많은 사람들이 생성형 시I가 딥러닝과 다른 것이냐 혹은 새 로 나온 것이냐고 자주 물어보는데, 엄밀히 말하면 그 둘은 별개 층 위의 개념이다. 트랜스포머라는 모델은 인공신경망 모델의 한 종류 이며, 트랜스포머의 층이 많이 쌓인 형태이기 때문에 딥러닝이라 부 른다. 생성형 AI는 데이터를 생성해낼 수 있도록 학습된 딥러닝 모델을 의 미한다. 즉, 생성형 AI는 콘텐츠를 생성할 수 있는 AI이고, 이를 구현 하는 방법이 딥러닝인 것이다. 앞서 설명한 것처럼, 딥러닝은 데이터를 확률적으로 생성하기 때문에 항상 불확실성이 존재한다. 다시 말해, 기존의 정보를 그대로 가지고 와서 뿌려주는 데이터베이스가 아니기 때문에 확률적으로 틀릴 가능성이 있고 이에 따라 할루시네이 션이 발생할 수밖에 없다. 
두번째 이유는 웅축된 데이터를 사용하기 때문이다. 인공신경망 트랜스포머 모델은 수조 개의 토큰을 압축하고 웅축된 형태로 모델 파라미터에 저장한다. 이는 마치 여러 재료가 들어간 수프를 끓이는 것과 비숫하다. 다양한 재료가 수프에 녹아들어 하나의 요리가 되는 것 처럼, 트랜스포머 모델은 많은 양의 데이터를 웅축해 저장한다. 그 리고 글을 쓸 때 원본 데이터가 아니라 웅축된 정보로부터 다시 글을 만들어내기 때문에 이 과정에서 데이터 손실이 발생할 수 있다. 세 번째 이유는 인코딩, 디코딩 과정 때문이다. 트랜스포머 모델은 데이터를 데이터베이스에 그대로 저장하지 않고 최적화된 형태로 변 환(인코딩)해서 저장한다. 그리고 이를 다시 사람이 알아볼 수 있는 형태로 변환(디코딩)하는 과정을 거친다. 이 과정에서 정보 손실이 발 생해 할루시네이션이 발생하는 것이다. 마지막 이유는 언어 모델 학습이 사실을 보장할 필요가 없는 방식을 택했기 때문이다. 딥러닝 모델은 다음 토큰을 맞추는 방식으로 학습 한다. 앞에 나온 토큰을 기반으로 다음에 나올 토큰을 예측하는 방식 이기 때문에 사실 보장과는 관계가 없다. 방법론을 크게 바꾸지 않는 이상 할루시네이션이 발생할 수밖에 없다. 결국 정확한 정보를 제공 해야 할 때 없는 말을 지어내는 경우가 발생할 수 있기에 할루시네이션이 생기는 것이다. 

- 할루시네이션 문제는 100퍼센트까지는 아니지만 상당 부분 RAG로 해결 가능하다. 100퍼센트가 되지 못하는 것은 예상치 못 한 질문들이 들어왔을 때 이를 정답과 매칭하는 과정에서 오류가 발생할 수 있기 때문이다. 또 커버하는 범위가 넓어질수록 오류가 발 생할 가능성도 높아지고, 정답 문서를 만들 때와 질문이 들어왔을 때 사용하는 임베딩 모델의 성능이 좋지 않으면 역시 잘못된 답변을 할 수있다. RAG의 기본 원리를 살펴보면 이해에 도움이 될 것이다. 거대 언어 모델은 잘못된 정보를 생성하는 문제(할루시네이션)가 발생하기 때문 에 정확한 답변을 제공하기 위해 사람들이 많이 물어볼 것 같은 질문 에 대한 (정답을 포함한) 문서들을 데이터베이스에 저장해둔다. 이때 문서들은 인코딩 과정을 거처 인공신경망 또는 A1 모델이 정보를 효 율적으로 저장할 수 있는 형태로 변환(임베딩)된다. RAG를 검색해보 면 나오는 백터 데이터베이스를 문서와 관련된 정보들이 저장된 데이터베이스라고 생각하면 이해가 쉽다. 예를 들어, 보험 약관에 따라 보험에 대한 정보를 모두 데이터베이스에 저장하는 식이다. 이후 사람들이 질문하면 그 질문을 토대로 문서들을 임베딩하는 모델을 사용해 또 임베딩하고, 들어온 질문이 임베딩된 것에 가장 가까 운 정답에 해당하는 정보를 데이터베이스에서 검색한다. 이때 질문에 적합한 정답을 그대로 보여주는 것이 아니라 언어 모델의 프롬프트 입력을 활용한다. 이는 기본적으로 정답이 포함된 상태에서 프롬프트를 사용하기 때문에 언어 모델이 자연스럽게 답변을 생성해 사용자에게 제공하게 된다. 상상의 나래 속에서 글을 마구잡이로 쓰는 것이 아니라, 정답이 정해져 있기 때문에 그정답을 가져와서 내용을 보 완하고 확장하여 글을 만들어내는 것이다. 정보를 저장할 때 문서를 잘게 쪼개는 '청킹'이라는 과정을 거치는데,. 청킹의 수준은 RAG를 적용하려는 문제에 따라 달라지며, 정확도에 도 영향을 준다. 결국 "RAG를 사용하면 된다'"라는 말의 뒷면에는 많은 노하우와 엔지니어링 요소들이 포함되어 있기 때문에 더 많은 경험이 필요하다. 그래서 기업마다 RAG를 활용하는 능력과 방식이 다를 수밖에 없다. 

- 참고로 첫GPT와 제미나이를 비교해보면, 첫GPT-4의 경우 12만 8,000토큰을 커버하는데 제미나이1.5는 100만 토큰(구글 딥마인드 내 실험실 수준에서는 1,000만 토큰), 2.0은 200만 토큰을 커버하는 것으로 확인됐다. 실로 엄청난 차이라고 할 수 있다 다만, 컨텍스트 길이를 늘이면 메모리 소모가 엄청나게 중가한다. 처 음부터 끝까지 모든 데이터를 읽어야 하기에 효율적으로 설계되지 않으면 속도가 매우 느려지고 비용도 커지기 때문에 적재적소에 잘 활 용할 필요가 있다. 좀 더 근본적인 해결 방법이 오픈AI 의 새로운 언어 모델 o1에 적용되었는데, 바로 글을 생성하는 '추론'에 휠씬더 많 은 시간을 써서 절차적으로 추론토록 하는 것이다. 이를 테스트 타임 논증test time reasoning이라고 한다. 글을 쓸 때 과거 언어 모델은 한 번에 계속 토큰을 채워가며 쓰는 형태였다면, o1은 글을 쓰기 전에 시간을 많이 써서 논리적인 추론을 몇 단계 거치며 최종 결과물을 제공한다. 이러한 방법으로 올림피아드 수학 문제도 풀어내고 박사 수준의 전문 지식을 보유했다고 평가될 정도의 문제해결능력도 제공하고 있다. 
이것을 가능하게 하기 위해 기존의 언어 모델과 달리 강화학습을 활용해 다량의 매우 긴 CoT 데이터를 학습한 것으로 알려져 있다. 오 픈AI가 박사급 데이터 구축 인원을 대거 모집한 적이 있었는데, 이 학습 데이터를 구축하기 위한 것으로 보인다. 이제 언어 모델의 능력 은 양질의 고급 데이터를 얼마나 많이 확보하느냐의 싸움으로 바뀌어가는 것 같다. 
 
- 전체 모델 파라미터에 대해 학습이 진행되는 SFT나 FP 과정에서 학습이 잘못 수행될 경우 기존 사전학습 때 주입해둔 지식이나 추론 능력, 명령 수행 능력이 사라지는 경우가 발생할 수도 있다. 실제로 라마2 모델에 한국어 의료 데이터나 법조계 판례 데이터를 파인튜닝 할 때 기존의 추론 능력이 약해지거나 멀티턴 대화 능력이 감소하는 등 결과물의 품질 저하 현상이 발생하기도 했다. 그래서 AI 활용 경험이 충분한 기업이 많지 않은 현시점에서는 AI 개발 기업이 도입 의사가 있는 고객 기업을 위해 문제 정의부터 데이터 구축, 모델 평가 시스템, 파인튜닝 파이프라인 구현과 운영, 활용 교육까지 적극적으로 제공할 필요가 있다. 각 기업의 모델을 쉽게 활용할 수 있도록 하 는 문서화나 다양한 예제를 포함한 쿡북cook Book 제작 및 제공은 필 수다. 도입 기업 또한 당연히 이에 대한 적절한 가치를 투자 비용에 포함해야 한다. 정리하면, AI 개발 기업은 도입을 원하는 기업이 풀고자 하는 문제를 명확히 도출할 수 있도록 기술 지문을 제공하고, 각 문제에 적합한 파인튜닝 기법과 데이터 준비 방법을 함께 논의하며 최종적으로 예산 규모에 대한 예측치도 제시할 수 있어야 한다. 이렇게 도입 기 업의 필요를 세심하게 채워주는 것이 AI 개발 기업의 차별화된 역량 이 될수 있다. 이것이 필자가 AI 개발 기업들에게 AI 기술 컨설팅 및 교육 역량 강화를 주문하는 이유다. AI를 활용하는 기업이 70점짜리 사전학습 모델을 기반으로 자체 인력과 데이터, 기술을 통해 스스로 90점짜리 모델을 만들 수도 있겠지만, 이는 자체적으로 높은 IT와 AI 역량을 갖춘 소수의 대기업들로 한정된다. 생성형 AI 산업이 성숙기 에 진입하기 전까지는 AI 개발 기업의 역할이 여전히 중요할 수밖에 없으며 AI 개발 기업의 이러한 노력들이 AI 성숙기 진입을 더 빠르게 할수있다. 

- I 거품론을 극복하기 위해서는 앞서 살펴본 것처럼 90점짜리 AI 를 제공하고, 가치 있는 서비스를 발굴하며, 원가를 낮추고, 소프트 웨어3.0 개발 방법론을 확산시키는 둥 여러 어려운 미션들을 통과해 야 한다. AI 개발 기업이 단독으로 이 모든 것을 실현하는 것은 구글 이나 마이크로소프트 같은 극히 일부의 빅테크를 제외하고는 사실상 불가능하다. 예를 들어, 클라우드 기반 생성형 AI를 API 형태로만 제 공할 경우 원가가 비싸기 때문에 마진을 확보하기가 쉽지 않다. 마진 을 남기기 위해서는 컨설팅과 AI 시스템 개발까지 진행해야 하는데, 이는 다양한 산업 분야에서의 도메인 경험 축적과 AI 도입 기업에 이미 구축된 레거시 시스템이나 데이터베이스와 생성형 AI 시스템의 연결등과업 수행이 필수적이다. 현재 생성형 AI 시스템 개발 과정은 아직 체계화되어 있지 않기 때문에 튜닝부터 RAG 시스템 결합까지 대부분 엔지니어링 경험에 의 존하고 있다. 적용하고자 하는 문제나 기능에 따라 구현 방법도 천차 만별이다. 만약 표준화된 공정이 존재한다면 이를 시스템화해 스케 일아웃을 진행함으로써 비용이 선형으로 증가하지 않을 수 있겠지만 아직 그 단계에 도달하지 못했다. 그렇다고 저 많은 다양한 과업들을 생성형 AI 개발 기업 단독으로 구현하고 진행하는 것은 현실적으로 어렵다. 클라우드 운영 las. Pas saas, 도입 기업의 사내 레거시 시스템과 연결, 프로젝트 전체에 대한 컨설팅과 교육, 생성형 AI 개발, 튜닝, 배포 및 운영 비용 최적화, 학습 데이터 가공 등은 모두 다른 영역에서 출발한 것들이고 각자 전문성을 요하는 업무들인데 어느 하나라도 부족하면 성공적인 프로젝트가 되기 어렵기 때문이다. 구글과 마이크로소프트의 경우 이러한 SI 에 가까운 기존 고객 기업의 레거시 연동과 같은 프로젝트는 수행하지 않는다. 

- 데이터는 매우 다양한 형태로 존재한다. 앞으로는 AI는 마치 기본 IT 인프라처럼 활용하게 될 것이고, 우리가 주목하고 있는 AGI의 시대를 준비한다면 데이터를 어떤 형태로 쌓을지에 대한 고민을 지금부터 시작해야 한다. 과거와 달리 인공지능이 바로 이해할 수 있는 형태로 데이터를 준비하는 것들 말이다 결론적으로 데이터 없이도 시작할 수 있지만, 향후 비즈니스에 대한 준비는 필요하다. 그리고 데이터는 단순히 학습 용도로만 사용되는 것 이아니라 매우 다양한 용도로 활용할 수 있다는 것을 강조하고 싶다. 

- 훌륭한 교사는 종이 클립으로 미적분학을 가르치고 팅 빈 들판에서 문학을 가르친다. 기술은 목적이 아니라 하나의 수단일 뿐이다 (작자 미상)

- 입문서는 더 높은 교육을 위한 원천이 될 수 있지만. 우리를 더 지성적으로 만들어주지는 못한다. 지성은 삶에서 우러나온다 삶은 지성적인 존재가 되기 위해 필요한 모든 경험을 우리에게 가져다준다. 하지만 우리는 이러한 경험을 다시 생각해봐야 한다. 그렇지 못할 때, 심리적 건강을 잃어버리게 된다. 그러한 경험을 들여다볼 때, 우리는 더 이상적이고 더 지성적인 존재로 거듭난다. (닐 스티븐슨, <다이아몬드 시대>)

- AI와 협력 하는 방법을 알고 훌륭한 글에는 무엇을 담아야 하는지 이해하 는 근로자는 그 기술에서 최고의 가치를 끌어낼 것이다. AI를 통해 호기심을 충족시키는 이들은 시장의 모든 분야를 효과적 으로 살필 것이다. AI를 기반으로 동료들과 함께 브레인스토밍 을 하는 근로자는 AI를 다루지 못하거나 모든 업무를 AI에 맡 기는 근로자보다 더 창의적으로 일할 것이다. 앞으로 직장인들 거대 언어 모델을 이용하여 정보를 대조하는 일에서부터 스 프레드시트를 분석하는 일에 이르기까지 기존 사무직 업무 대 부분을 자동화하는 법을 배워야 할 것이다 물론 이러한 새로운 기술이 마냥 좋기만 하다는 말을 하려는 건 아니다. 2022년 여름 내게 GPT-4를 시연해준 오픈AI의 대표 그레그 브로크먼은 문제를 해결하기 위해 안전 기준을 마련 해야 하는 과제가 남았다고 언급했다. 그는 이렇게 말했다. "오픈AI가 처음 GPT-1을 개발했을 때부터 우리가 해결해야 할 가 장 중요한 문제는 안전이었습니다. 우리는 기술을 발전시켜나 가는 과정에서 그것이 유용하면서도 동시에 안전하기를 바랐 습니다." 오픈AI는 AI가 불법적인 활동에 관한 정보를 공유하지 못하도록 막는 시스템에서부터 불법 콘텐츠를 차단하고 개인정보를 보호하는 기능에 이르기까지 AI 기술의 오남용을 막기 위한 안전망 구축에 많은 투자를 하고 있다. 

- 특히 GPT-3.5를 비롯하여 이전의 다른 거대 언어 모델들과 비교할 때, GPT-4에서 주목해야 할 하나의 특성은 '조종가능 성steerability'이라는 개념이다. 조종가능성이란 인간이 원하는 대로 기술이 작동하도록 만들 수 있는 기능을 말한다. 일례로 우리는 GPT-3.5가 개인교사처럼 기능하도록 만들고자 했다 그러나 아무리 정답을 제시하지 말라고 지시해도 GPT-3.5는 번번이 이를 어겼다. 게다가 그렇게 제시한 답이 항상 정답인 것도 아니었다. 반면 GPT-4는 "소크라테스 같은 개인교사가 되어줘. 나는 너의 학생이야. 그러니 정답을 알려주지 마"와 같은 간단한 프롬프트만 입력해도 개인교사 역할을 꽤 잘 수행해 냈다. 

- 예일대학교 인문학 교수인 알렉산더 길 푸엔테스Aexander Gil Fuentes는 이렇게 말한다. "문학과 미술, 음악, 문화를 포괄하는 인문학에서 학생들이 생성형 AI의 도움을 받아 '독창적인' 작품 을 만들어낼 수 있다는 사실은 대단히 중요한 발전을 의미한다 고 생각합니다. 우리는 지금 생성형 AI가 무엇을 잘하는지, 또 더 중요하게 무엇을 못하는지 알아나가는 중입니다. AI의 약점 은독창성이죠. 그렇다면 AI는 무엇을 잘할까? 푸엔테스는 이렇게 덧붙였다. "저는 학생들에게 처음부터 기술의 도움을 받으라고 조언합니다. AI는 초기 단계에 활용할 수 있는 도구입니다. 그리고 AI에게 질문해서 얻은 답변을 이중 삼 중으로 검토해서 원래 결과물을 개선하는 작업은 모두 학생의 묶입니다." 분명히 이는 새로운 접근방식이다.

- 1970년대 말 영화감독 프랜시스 포드 코폴라Fancis Ford Coppola 는 커즈와일 리딩머신Kurzweil Reading Machine이]라는 기계를 샀다 이는 저명한 미래학자이자 인공지능 연구로 널리 알려진 발명가 레이 커즈와일Ray Kurzweil의 초창기 발명품으로, OCR(optical character recognition, 광학식 문자 인식)이라는 기술을 활용해 인쇄된 텍스트를 인식하고 이를 합성된 음성으로 전환해주는 장 비였다. 리딩머신은 특히 인쇄물을 읽기 힘든 시각 장애인에게 큰 도움이 되었다. 미국 소설가 마리오 푸조Mario Puzo의 작품을 바탕으로 영화 <대부The Godfather>를 제작한 코폴라는 리딩머 신이 인용 부호를 인식하도록 만들고자 했다. 그는 몇 번의 시도 끝에 리딩머신에 소설을 입력하면 기계가 텍스트를 읽고서 모든 대화를 시나리오 형태로 전환하게 하는 데 성공했다. 코폴라는 초창기 언어 인식 기술에 대한 자신의 독창적인 접근 방식에 '지피 스크립트Zippy Script'라는 이름을 붙였다. 그는 이 간단한 방식으로 사람이 오랫동안 해야 했던 엄청난 분량의 시 나리오 작업을 짧은 시간에 처리할 수 있었다. 코폴라의 이러한 시도가 성공을 거뒷을 때, 그는 미국 작가 조합으로부터 연락을 받았다. 코폴라는 내게 이렇게 설명했다. "이런 말을 하더군요. '기계 를 가지고 대본을 쓰면 안 됩니다!' 하지만 시나리오를 쓴 것은 지피 스크립트의 기반이 되는 기술이 아니었습니다. 그 기계가 한 일이라고는 그저 소설을 대본으로 바꿔주는 것뿐이었으니 까요." 오늘날 기계가 창작자들의 일거리를 빼앗고 있는 걸까? 앞으로 점점 더 많은 제작자가 그런 기계를 사용한다면, 시나리오 작가들에게 무슨 일이 벌어질까? 

- 나는 내 두뇌가, 혹은 다른 사람의 두뇌가 내일 아침이면 창조적인 해결책을 내놓을 것으로 믿는다. 그렇다면 우리가 대답을 기다리는 동안 우리 두뇌는 무의식의 차원 에서 무슨 일을 하는 걸까? 우리가 '일단 자고 나서 다시 생각 해보려고' 할 때도 두뇌의 일부는 계속 일한다. 비록 '우리 자신이 그 사실을 인식하지 못한다고 해도 말이다. 하나의 뉴런이 활 성화되면 이것이 다시 시냅스 강도를 기준으로 관련된 다른 뉴 런들을 활성화한다. 이러한 일이 밤새 수조 회 일어난다. 이는 거대 언어 모델 안에서 이뤄지는 작업과 기계적인 차원에서 대단히 흡사한 프로세스다. 마침내 해결책에 도달했을 때, 우리의 무의식은 번뜩이는 통찰력을 의식의 수면 위로 떠올려 보낸다 

- 지금 우리는 인공지능의 등장으로 여러 가지 기술을 배우는 과정에서 직면하게 되는 장벽들이 점차 낮아지는 변화의 현장을 목격하고 있다. 예를 들어 거대 언어 모델을 기반으로 한 AI 개인교사가 등장하면서 누구나 그림을 그리는 법을 배울 수 있 게 되었다. 당신에게 아이디어나 조언, 건설적인 피드백을 제 시하거나 다양한 참조 이미지와 샘플을 보여줌으로써 다채로운 스타일의 예술과 주제 및 구성을 탐구하도록 도움을 주는 AI 비서가 있다고 상상해보자. 그런 AI는 실시간으로 피드백 을 주면서 구성과 비율 및 색상 선택에서 도움을 준다. 오늘날 거대 언어 모델은 이미지를 이해할 수 있다. 그리고 학생에게 그림 과제를 내주고 결과물을 평가할 수 있다. 또한 학생이 자 신의 생각을 표현하고 어떤 그림을 그렸는지 설명하게끔 요구할 수 있다. 생성형 AI는 학생을 가르치고 다양한 장르와 주제, 이야기 구성을 함께 탐구하는 글쓰기 개인교사다. 그리고 연습법과 핑거 링 기술을 설명하고 개인의 기호를 고려하여 악보를 해석함으 로써 학생들이 악기를 쉽게 배우도록 돕는다. 게다가 연주 스타일에 따라 멜로디 아이디어, 코드 진행을 제시하면서 함께 즉흥 연주도 한다.

- 과학자란 결국 어떤 사람인가? 그는 무슨 일이 벌어지는지 궁금한 마음으로 자연의 열쇠 구멍을 들여다보는 호기심 많은 인간이다. (자크이브 구스토, 프랑스의 환경운동가이자 영화감독) 

- 나이 많은 유명한 과학자가 가능하다고 말하면 거의 틀림없이 옳다. 하지만 불가능하다고 말한다면 대단히 높은 확률로 틀릴 것이다. (아서 클라크, 영국의 SF 소설가이자 미래학자)

- 1960년대에 MIT의 한 연구원은 단순하면서도 놀랍고 현대 적인 챗봇과 가상 비서 개발에 초석이 된 기기를 개발했다. 인 공지능 연구소에서 일하던 요제프 바이첸바움Joseph Weizenbaum 이 개발한 엘리자BLZA라는 이름의 세계 최초 자연어 처리 컴퓨 터 프로그램은 인간과 대화를 나눌 수 있었다. 물론 그 대화는 아주 인위적인 느낌이 들었다. 그런데 그는 뜻밖에도 많은 이가 이 인공지능 기계에 감성적인 애착을 느낀다는 사실에 충격을 받았다. 엘리자와 대화를 나누는 동안 사람들은 자신이 컴퓨터 와 이야기하고 있다는 사실을 종종 잊어버렸다. 심지어 바이첸 바움의 조교는 가끔씩 그에게 자리를 피해달라고 요구하기도 했다. AI와 함께 은밀하게 '실제 대화'를 나누기 위해서였다.

- 바이첸바움은 엘리자에 입력하기 위해 '닥터DOCTOR'라는 프로그램을 만들었는데, 이는 치료사 기능을 시뮬레이션하도록 설계된 것이었다. 로저리언 이론Rogerian theory으로 유명한 칼 로 저스Carl Rogers가 개발한 이 프로그램은 심리학적 접근방식을 기반으로 작동했다. 먼저 환자가 닥터 프로그램에게 말하면, 닥 터는 로저리언 이론을 실행하는 치료사처럼 무작위적인 질문 을 하거나 이야기의 방식을 새롭게 구성해서 대답했다. 엘리자 의 기능은 복잡하거나 섬세하지 않았고 그저 환자의 이야기를 새로운 표현으로 구성하는 수준에 불과했다. 그런데도 이러한 기능이 아주 단순한 이유로 효과를 보였다. 우리는 모두 자신의 이야기에 귀를 기울여줄 사람을 필요로 하기 때문이다. 어쩌면 내 이야기를 그저 다른 표현으로 새롭게 풀어내는 알고리즘이 내 말을 듣고 이해했다고 여긴다는 게 허무맹랑하게 들릴 것이다. 하지만 실제로 많은 이가 도움을 받았다. 질문을 새롭게 표현하면서 잠시 멈추고 내면 깊숙이 들어가보라고 한 조언은 그 자체로 효험이 있었다 

- AI는 감정이 없기에 진정으로 사람들에게 공감하지는 못한다. 공감하기 위해서는 상대방의 감정과 자신의 감정을 이 해하고 이를 모형화할 수 있어야 한다. 그래도 AI는 인간의 공 감능력을 꽤 잘 따라 할 수 있다. 거대 언어 모델은 채팅 인터페 이스만으로도 고도로 훈련받은 세심한 치료사와 구분하기 힘들 정도로 교류할 수 있다. 오늘날 공학자들은 보고 들고 말하는 기 능을 탑재함으로써 사용자의 감정 상태를 '이해'할 수 있는 거대 언어 모델을 개발하고 있다. 이제는 고독과 우울, 불안에 맞서 싸우기 위한 훌륭한 도구라는 의미로 '인공 공감artifcial empath' 줄여서 'AE' 같은 새로운 용어를 만들어내야 할 수도 있다 

- AI를 신중하게 사용할 수만 있다면, 자녀가 학습하고 성장하 는 과정에서 아이의 역량을 높여줄 것이다. 그렇다고 해서 자녀 의 발달과 장단점, 학습 방식과 관련해서 부모가 갖고 있는 전 반적인 이해의 중요성이 줄어드는 것은 아니다. 부모는 자녀에 게 가치관을 심어주고 스스로 롤모델이 되어줌으로써 그들에 게 필요한 양육 환경을 지속적으로 제공해야 한다. 그 과정에서 A는 부모에게 더 많은 도구와 긍정적인 환경을 제공함으로써 자녀를 잘 이해하고 인도하도록 도움을 주는 역할을 한다. 최고 의 강의 비서이자 양육 비서로서 AI는 아이들이 도움을 요청할 때마다 곧바로 적절한 관심과 피드백을 줄 것이다 

- 거대 언어 모델을 우리 삶의 방정식 안에 집어넣을 때, 인공지능은 아이들이 더 빠르게 학습하고 부모가 자녀와 더 많은 시간을 함께할 수 있게 함으로써 아이들이 전인적인 자질 을 갖춘 사람으로 성장하게 만들 것이다. 앞으로 우리는 저녁 식사를 하거나 함께 차를 타고 이동하면서 게임과 대화 등 가족 간 교류를 활성화해주는 형태의 인공지능을 만나게 될 것이다 여기서 기술은 부모가 자녀와 함께 시간을 보내고 지식의 경이 로움과 즐거움을 함께 발견하도록 해주는 매개체가 된다. 이 기술은 대단히 광범위하고 매력적이어서 부모와 자녀가 함께 세 상을 탐험하도록 설계된 AI 가이드 여행을 하는 듯한 느낌이 들 것이다. 

- 오픈AI나 구글, 앤트로픽Anhropic과 같은 산업 내 주요 기업들 이 개발한 생성형 AI 모델은 잘못된 정보는 물론, 인종과 성차별, 혹은 혐오 발언 등 문제 있는 콘텐츠를 걸러내는 강력한 보호망을 구축하고 있다. 게다가 교육 애플리케이션들은 부정행위를 예방하고 교사와 학부모가 학생들의 AI 활용을 더욱 투명 하게 들여다볼 수 있게 하는 진화된 안전망을 구축함으로써 학 생들의 안전을 지키고자 노력하고 있다. 최신 AI 시스템은 균형감 역시 탁월하다. 개인 사용자가 GPT-4와 같은 거대 언어 모델이나 구글의 인공지능 책봇 서비 스인 바드Bard의 기반이 된 PaLM 2Pathways Language Model 2에 실 질적인 영향을 미치는 것은 현실적으로 불가능하다. 오늘날 어떤 학생이 잘못된 정보의 토끼굴로 들어가려 할 때, AI는 균형 잡힌 관점으로 그들을 다시 끄집어내겠다는 약속을 실행에 옮긴다. 이상적인 시나리오에서 AI 기술은 학생들을 더 나은 정보의 원천으로 안내한다. 이러한 기능이야말로 가짜 뉴스와 음모론이 만연한 오늘날 세상에서 대단히 중요하다. 

- AI를 활용한 평가 방식에 우려를 제기하는 사람 도 있을 것이다. 만약 AI에게 직접적으로 확인할 수 없는 편향 이 있다면? 혹시 실수를 저지른다면? 나는 이러한 우려를 현재 상황과 비교해서 바라보고자 한다. 오늘날 학생들을 평가하는 과제는 신중하지만 오류를 범할 위험이 있는 인간의 몫이며, 이 러한 인간들 역시 편향된 면을 갖고 있다. 우리는 지금 평가하기 힘들지만 더 정확한 방식보다 평가는 수월하지만 부정확한 방식을 선호함으로써, 평가 과정을 점점 더 편협한 형태로 몰아 가고 있다는 사실을 알아야 한다. 박사논문 심사나 취업 면접과 같은 폭넓은 형태의 평가는 일관성이 부족하고, 표준화 시험에 비해 편향의 위험성이 더 높다. 그러나 생성형 AI를 활용할 경 우, 두 가지 장점, 즉 표준화에 따른 대규모 실행과 포괄성에 따른 정확한 판단 모두를 확보할 수 있다. 그리고 뛰어난 접근성 덕분에 이해관계자들은 휠씬 더 쉽게 시험하거나 직접 감사할 수 있다 

- 그렇다고 AI를 활용한 모든 평가 방식이 효과적이라고 주장 하는 것은 아니다. 사실 나 역시 많은 경우에 편향으로 가득한 수준 이하의 평가가 이뤄지지 않을까 걱정하는 쪽이다. 그렇다고 해도 충분한 관심과 투명성, 안전망이 확보된다면 위험을 줄이면서 기존 평가보다 휠씬 더 포괄적이고 정확하고 공정한 평가를 실행할 것으로 기대한다. 그리고 이러한 형태의 평가는 교육 시스템 전반에 긍정적인 영향을 주고 수준 높은 교육의 근간을 바라보는 우리의 시야를 넓혀줄 것이다. 의사소통이나 창조성, 호기심 등 지금까지 평가가 불가능하다고 믿었던 역량도 이제 평가할 수 있게 되면서, 앞으로 평가 시스템은 우리 사회가 전인적인 인간 교육에 더 많은 관심을 쏟도록 자연스러운 동기부여를 하게 될 것이다 

- 데이터 분석에 추천하는 AI
챗지피티, 클로드, MS 코파일럿 이 모두는 강력한 데이터 분석 기능을 제공하지만 각각의 특징이 있습니다. 
챗지피티는 고급 데이터 분석 기능(구 코드 인터프리터)을 제공합니다. 이 기능을 통해 데이터를 분석하고 모델링하여 시각화할 수 있습니다. 예를 들 어 회사의 매출 데이터를 기반으로 시계열 분석과 같은 모델링 방법을 적용 해 분기별 매출 성장을 예측하고 이를 그래프로 시각화할 수 있습니다. 
클로드는 대량의 데이터를 입력받아 빠르게 분석하는 데 강합니다. 예를 들어 웹 사이트에서 최근 1년간 고객 후기를 수집해서 분석하고 긍정적인 후기 와 부정적인 후기, 중립적인 후기로 분류할 수 있습니다. 
MS 코파일럿은 엑셀과 통합되어 있어 표 데이터를 시각적으로 쉽게 분석할 수 있습니다. 예를 들면 제품 판매 데이터가 담긴 엑셀 파일을 연 후, MS 코 파일럿에 각 제품군의 월별 매출 변화를 분석해서 차트나 피벗 테이블로 시 각화하도록 요청할 수 있습니다. 

- 프로그래밍에 추천하는 AI
클로드, 챗지피티 이 둘 모두 프로그래밍에 많은 도움을 주는 훌륭한 개발 도우미입니다. 복잡 한 코딩 작업과 디버깅뿐 아니라 긴 코드를 이해하고 수정하는 능력이 뛰어 나며, 다양한 프로그래밍 언어를 지원합니다. 프로그램을 만들기 전 기획과 설계 단계에서 의논하듯이 대화를 주고 받으면 인사이트를 얻을 수 있고, 프로그램을 개발하며 필요한 여러 문서도 대신 작성해 줍니다. 프로그래밍 언어를 공부하기 위한 도구로도 훌륭한 역할을 합니다. 

- 선행 연구 논문 조사에 추천하는 AI
퍼플렉시티는 선행 연구 논문을 조사하고 최신 연구 동향을 확인하여 정리하 는 데 특화되어 있습니다. '학문 모드'를 통해 논문 관련 사이트에서 조사하도 록 검색 범위를 지정할 수 있어 환각 현상(할루시네이션, hallucination)을 걱정하지 않아도 된다는 점이 특히 유용합니다. 프롬프트 입력 창에서 '학문 모드'로 설정한 후 논문 검색을 요청하면 빠른 속도로 주제에 맞는 여러 논문 을 검색하여 요약하고 결론을 정리해줍니다. 논문 출처를 클릭하면 해당 논 문 사이트로 이동하여 바로 논문을 확인할 수 있습니다. 논문 링크를 복사하 여 해당 논문만 요약해달라고 요청할 수도 있습니다. 

- 챗지피티를 활용하면 다음과 같은 이점이 있습니다 
1. 이미지를 입력해서 텍스트를 추출하거나 표나 차트를 해석하는 데 매우 유용합니 다. 반대로 이미지나 차트도 만들 수 있습니다. 
2. 스마트폰 입을 설치하면 음성으로 대화를 할 수 있어서 무료로 원어민과 영어 스피킹 공부를 할 수 있다는 장점도 있습니다. 중요한 면접을 앞두고 예상 질문과 답변 을 주고 받을 수 있습니다. 
3. 최신 버전인 GPT-40(옴니) 모델 업데이트 이후로 실시간 웹 검색이 가능해졌습 니다. 웹 검색을 위해 플러그인을 설치해야 했던 기존 모델에 비하면 굉장히 편리해 진것입니다 
4. 최근 업데이트(2024년 10월말 )로 프롬프트 창의 웹 검색 아이콘을 통해 정보를 검 색하고, 출처를 확인할 수 있습니다. GPT-40를 이용한 웹 검색 기능보다 더 많은 출처를 검색할 수 있게 된 것입니다. 다만 현 시점에는 검색한 결과를 종합하여 답 변하기보다는, 검색한 곳 중 한두 곳에서 답변을 인용하는 경향을 보이고 있어 추후 업데이트 방향을 지켜봐야 합니다 
5. GPT 기능 또한 챗지피티의 큰 장점입니다. GPT는 코딩 없이 만들 수 있는 개인 맞춤형 켓봇으로, 오픈AI 자체 기능에 외부 기능을 연동하거나 개인의 아이디어를 더해 제작할 수 있습니다. 다른 사람들이 만들어 둔 GPT를 내 목적에 맞게 골라 쓸 수도 있고, 필요하다면 직접 켓봇을 만들어 쓸 수도 있어 유용합니다. 더군다나 코 딩 지식 없이 대화만으로 챗봇을 개발하고 유지보수할 수 있으니 개발자, 비개발자 할 것 없이 모두에게 열린 기능이라고 할 수 있습니다. 

- 챗지피티로 이미지 생성 프롬프트 생성하기 
프롬프트에 분위기, 대상, 조명, 구도, 그림 스타일, 비율과 같은 구체적인 내용을 포함하면 떠올리는 이미지에 가까운 그림을 그릴 수 있습니다 
-분위기: 차가운, 따뜻한, 음산한, 활기찬, 몽환적인, 유럽풍, 동양풍, 판타지풍, 레트 
로풍등 
-대상: 인물, 동물, 소품, 가구, 배경등 
조명: 정면광, 측면광, 역광, 실루엣 등 
-구도: 항공, 프레임, 인물 중심의 근접 촬영, 년은 풍경을 담은 와이드샷 등 ,
-스타일: 사실화, 추상화, 애니메이션, 코믹북, 그래픽 노블, 일러스트레이션, 수채화. 유화등 
-비율: 9:16, 16:9, 1:1 
만약 프롬프트를 작성하는 것이 어렵다면, 각 항목에 대한 내용을 채워서 프 롬프트를 작성해달라고 요청한 후, 작성한 프롬프트를 바탕으로 이미지를 생 성해달라고 요청할 수도 있습니다. 

- GPT는 대화를 진행하며 사용자의 니즈를 파악하고 맞춤형 응답을 제공하기 때문에 서비스 전환율을 높이고 브랜드 이미지를 강화하는 데 기여할 수 있 습니다. 개인 또는 기업의 든든한 마케팅 도구가 되어 주는 것입니다. 지금까 지의 이유만 따지더라도 GPT 제작은 충분한 가치가 있지만 오픈AI에서 추 인기 있는 GPT의 경우, 사용량에 따라 제작자에게 수익을 지급할 예정이 라고 발표했기 때문에 수익화에 대해 기대해 볼 수도 있습니다. 
GPT는 이름, 설명, 지침, 대화 스타터, 지식, 기능, 작업 옵션으로 구성되어 있습니다. 이 중에서 주요 옵션을 간단히 살펴보겠습니다. 
1. 지침: GPT의 행동 지침을 의미합니다. 사용자가 어떤 요청을 했을 때 어떻게 응답 할지 세부적으로 설정할 수 있습니다. 
2. 대화 스타터: 해당 GPT를 처음 접하는 사용자가 어떤 질문으로 시작하면 좋을지. 이 GPT로는 어떤 작업을 할 수 있는지를 파악할 수 있도록 돕는 역할을 합니다. 
3. 지식: GPT가 응답할 때 참고할 파일을 업로드할 수 있는 옵션입니다. 특정 도메인 에 대한 전문 지식이 담긴 문서. 기업이나 개인이 제작한 문서, 이미지 파일 등을 업 로드할 수 있습니다. GPT가 학습하지 못한 지식이나 검색으로 찾기 어려운 정보는 지식 옵션에 업로드하여 특정 목적을 달성하기 위한 맞춤형 GPT로 제작할 수 있습 니다. 
4. 기능: 오픈시I가 제공하는 웹 브라우징, 달리 이미지 생성, 코드 인터프리터 및 데이 터 분석 기능 중에서 해당 GPT에 필요한 기능을 선택해 사용하도록 설정할 수 있 습니다. 
5. 작업: GPT에 외부 API를 연동할 수 있도록 설정하는 옵션입니다. 외부 API를 통해 첫지피티의 자체 기능보다 더 다양한 기능을 제공할 수 있습니다. 예를 들어 유튜브 API를 연동하여 유튜브 동영상을 검색하는 기능을 추가할 수 있습니다. 


- 퍼플렉시티는 빠르고 똑똑한 검색엔진이라고 생각하면 쉽습니다. 검색엔진 과 언어 모델을 결합한 것이나 다름없기 때문입니다. 기존의 검색엔진은 키 워드 조합으로 검색하고, 검색 결과를 직접 탐색해야 했다면 퍼플렉시티는 대화 형식으로 물어보고, 여러 사이트의 검색 결과를 하나의 답변으로 종합 해서 받을 수 있습니다. 이때 관련 이미지, 동영상도 함께 검색되고 관련 질 문이 자동으로 추천되니 검색 시간을 단축할 수 있습니다. 

- MS 생태계의 새로운 동력, 통합형 AI 비서 앞서 설명한 바와 같이 MS 코파일럿은 일부 오피스 제품과 통합되어 업무 생산성 도구로서의 강점을 보입니다. 이렇게 M365 입에 통합된 MS 코파일 럿을 활용하면 문서나 이메일 작성, 데이터 분석, 프레젠테이션 제작 등 여러 작업을 자동화하고 업무 프로세스를 매끄럽게 연결하여 업무 생산성 향상에 많은 도움을 받을 수 있습니다. 특히 문서나 프레젠테이션의 초안 작성에 시 간을 많이 단축할 수 있고, 엑셀에서 표 데이터를 차트로 시각화하거나 분석 하여 인사이트를 제공하도록 하는 기능을 유용하게 활용할 수 있습니다. 액 셀 함수 작성이 어렵다면 MS 코파일럿이 대신 작성해 주기도 합니다. 
MS 코파일럿 웹 서비스의 경우에는 무료로 GPT-4 모델을 이용해 대화를 주고 받을 수 있고 달리 3를 통한 이미지 생성 기능도 무료로 사용할 수 있 습니다. 퍼플렉시티나 책지피티처럼 실시간 웹 검색을 통한 응답을 제공하 고 출처도 명시합니다. 반면 퍼플렉시티는 URL 주소에 대한 요약 기능을 잘 수행하지 못하는 데 반해, MS 코파일럿은 마이크로소프트 엣지(Microsoft Edge) 브라우저에서 사이드 바를 통해 '이 페이지 요약' 기능도 이용할 수 있습니다. 

- 제한된 대화 연결성과 비교적 높은 구독료 MS 코파일럿은 생산성을 높이는 작업을 완수하는 데 초점을 맞춘 서비스 이기 때문에 대화 연결성이 타 언어 모델에 비해 부족합니다. M365 앱에서 MS 코파일럿 기능을 사용할 때는 일회성 요청만 할 수 있고, 웹 서비스에서 도 한 채팅 안에서 요청할 수 있는 최대 메시지 수가 다섯 개로 한정됩니다. 이 다섯 개의 메시지 안에서도 직전에 요청한 메시지를 잊는 경우가 종종 있었습니다. 
또한 M365 웹에서 제공하는 MS 코파일럿 기능이 제한적이며 한글에 대한 이해도가 떨어집니다. 그런테 제공되는 기능의 범위에 비헤 구독료가 꽤 높 습니다. 개인이 M365 업의 MS 코파일럿 기능을 쓰기 위한 한 달 비용은 Copilot Pro 요금제 금액인 29,000원에 Microsoft 365 Personal 요금제 금액 8,900원을 더한 값으로, 37,900원입니다. MS 오피스 제품을 실무에서 주로 쓰는 상황이 아니라면 부담되는 비용이지요. 하지만 업무 효율을 높이고 싶은 MS 오피스 사용자라면 한 번쯤 MS 코파일럿 도입을 검토해 볼만합니다.

- 제미나이 (Gemini)는 구글 시에서 개발한 텍스트 생성형 A새로 편안한 사 용자 경험을 제공하는 서비스입니다. 멀티모달 기능, 구글 서비스와의 연동. 다국어 지원, 웹 검색 데이터 분석 등 사용자가 하나의 시를 이용해 다양한 작업을 할 수 있도록 여러 기능을 두루두루 잘 갖춰두었습니다. 최근에는 챗 지피티의 OPT와 비슷한 Gem 기능도 출시했습니다. 또한 여러 정보를 집약해서 짧은 답변으로 내놓는 퍼플레시티와 대조적으로, 제미나이는 추가 정보까지 함께 제공하여 길고 자세한 답변을 내놓습니다. 

- AI모델의 개발 방향
(1) 오픈AI와 같은 스타트업들이 내놓은 기본모델을 바탕으로 의료, 교육 등 각 분야에 특화된 AI애플리케이션을 내놓는 방향이다. 특정 AI모델을 활용한 애플리케이션 생태계가 만들어지고 있는 것이다. 오픈AI의 GPT-3 언어모델의 경우, 다양한 분야에서 수천가지 AI애플리케이션을 만들어내고 있다. 그밖의 AI도구들도 텍스트, 이미지, 오디오, 비디오를 복제 생성해내는 크리에이터 도구로 진화하고 있다.
(2) 테크기업들이 자신들의 현재 기술과 제품에 생성AI를 탑재하는 트렌드. 앞으로도 이같은 트렌드가 계속될 것으로 보인다. 마이크로소프트는 자사의검색엔진 빙에 오픈AI의 GPT-4를 탑재. 향후 마이크로소프트는 워드, 엑셀, 파워포인트 등 업무도구에도 AI를 탑재해 생산성을 높이겠다는 전략이다.
음악 스트리밍 플랫폼 스포티파이는 오픈AI 기술을 탑재한 맞춤형 AI DJ를 공개. 합성된 음성의 DJ가 구독자 개개인의 취향에 맞춘 플레이리스트로 음악을 소개하는 기능이다. 틱톡은 텍스트를 이미지로 바꿔주는 그린 스크린 기능을 추가. 틱톡 사용자들이 동영상의 배경을 만들 때 사용하는 기능이다. 유튜브는 크리에이터가 자신의 비디오에 AI툴을 사용해 편집, 섬네일 등을 제작할 수 있도록 생성AI기능을 추가할 계획. 게임회사 로블록스도 게임개발자들이 텍스트와 자동완성코드를 활용해 새로운 게임아이템을 만들 수 있도록AI를 탑재할 계획이다.

- 생성형 AI가 미디어, 엔터시장을 흔들고 있다. 스트리밍 서비스도 마찬가지. 유료와 무료 스트리밍, FAST(free ad-supported streaming TV), 실시간채널, VOD를 가리지 않는다. 특히 FAST업계는 AI가 스트리밍의 강점을 실현하는 핵심요소가 될 거이며, 이는 광고형 VOD와 구독형 VOD에 똑같이 적용될 것이라고 말한다.
기술변화에 따라 스트리밍 서비스이 광고제공방식도 빠르게 변하겠지만, 일반 소비자가 인식하기는 힘들 것으로 보인다. 광고나 콘텐츠를 추천하고 제공하는 방식의 변화는 소비자들이 볼 수 없는 하부영역에서 이루어지기 때문. 특히 AI는 소비자들이 인식하지 못하는 사이에 광고 콘텐츠와 소비자의 연관성을 크게 향상시킬 수 있다.
개인 신상정보가 필요한 서비스와 그렇지 않은 서비스의 핵심적 차이점은 세대에 기반한 광고를 할 수 있느냐 여부. 로그인이 필요한 구독 스트리밍의 경우, 세대별, 지역별로 정교한 광고 서비스가 가능. 
그러나 AI를 스트리밍에 탑재하면 사용자들에게 굳이 개인정보를 입력하거나 로그인하도록 유도할 필요가 없다. 머신러닝 및 AI기반 알고리즘이 로그인 없이도 시청자의 성향이나 직업, 세대 등을 특정할 수 있기 때문에 각각의 소비자들에게 맞춘 서비스를 제공할 수 있다. 

- 생성형AI가 전 세계를 휩쓸고 있는 가운데, 틱톡, 스냅, 유튜브 등 동영상 소셜미디어 서비스들도 AI 대열에 합류하고 있음. 대화하는 챗봇에 AI를 도입해이용자들이 몰입감을 높이는 방식. AI가 탑재된 챗봇은 사용자의 의도를 더 정확히 파악해 대화 집중도를 높일 수 있다. 
그러나 AI는 소셜 미디어 서비스에 위협이기도 함. 그동안 소셜미디어를 이용해 네트워킹하고 정버롤 교류했던 사용자들이 소셜미디어를 떠나 AI챗봇으로 넘어가고 있기 때문. 광고, 검색 등의 비즈니스도 타격을 입을 수밖에 없다. 이에 소셜미디어들은 떠나가는 사용자들을 붙잡아두기 위해 AI를 적극적으로 도입하고 있다. 

- 오픈AI가 챗GPT를 내놓은 이후 소셜미디어 서비스 기업들은 위기에 직면. 그동안 소셜미디어에서 질문과 대화를 하던 사람들이 챗GPT와 이야기하기 시작했기 때문. 이에 소셜미디어 기업들은 일제히 생성 AI챗봉을 내놓고 있다.
현재까지 알려진 바에 따르면, 타코는 틱톡 앱 스트린 오른쪽 상단에 작은 고스트 모양의 아이콘으로 설치될 것으로 보인다. 이 아이콘을 클릭하면, 사용자가 즉석 대화에 참여할 수 있고, AI와 대화하면서 궁금한 점을 물어볼 수 있다. 블룸버그는 타코 AI가 사용자들의 평소 관심을 바탕으로 틱톡 콘텐츠를 추천해주는 기능도 갖고 있다고 보도했다. 개발에는 내부팀이 아닌 외부 협력사가 참여했고, 18세 이하는 사용할 수 없다. 틱톡은 AI챗봇 사용으로 인한 개인정보 유출을 우려햐 정보삭제 기능을 도입할 것으로 알려졌다. 특히, 법률, 금융, 의료 등 민감한 내용에 대해서는 안전장치를 마련할 계획. AI가 잘못된 정보를 생성했을 때 일어날 수 있는 법적, 사회적 문제를 피하기 위해서다. 하지만 틱톡은 사용자들의 AI대화를 분석해 더 개인화된 정보를 얻을 수 있을 것으로 보인다. 이 정보는 광고 수주나 협찬, 마케팅에 사용될 수 있다.

- 뤼튼테크놀로지스는 올인원 AI를 지향. 이와 관련 23년 4월 외부 플러그인 연동기능을 포함한 뤼튼2.0 플랫폼을 출시. 뤼튼은 이를 통해 국내에서 처음으로 AI플러그인 생태계구현을 가속화한다는 목표.
뤼튼은 두가지 버전의 AI텍스트 제작 툴을 운영. AI글쓰기 튜터 뤼튼 트레이닝과 전문적 글쓰기를 도와주는 뤼튼 도큐먼트 서비스다. 이를 통해 카피라이팅 뿐만 아니라 간단한 키워드만 입력해도 완성도 높은 초안을 생성하는 데 주력. AI텍스트 툴은 업계전문가들을 위한 텍스트 생성조력 도구다. 뤼튼의 AI 솔루션을 이용하면 전문가들이 자신의 핵심업무에만 집중할 수 있다.
뤼튼은 단순제품을 넘어 AI포탈을 구성중. 챗 플랫폼, 뤼튼 스튜디오, 스토어, 플러그인 등이다. 챗 플랫폼은 대화를 기반으로 AI와 사람이 자연스레 소통할 수 있는 서비스다. 현재 AI와 대화하면서 세부정보까지 탐색할 수 있는 서비스를 제공중. 뤼튼 스튜디어, 스토어는 누구나 AI도구를 만들고 판매할 수 있는 공간이다. 툴빌더인 뤼튼 스튜디오로 AI도구를 만들면 뤼튼 스토어에서 장롭게 배포하고 수익을 올릴 수 있음. 마지막인 플러그인은 생성AI와 일상적으로 사용하는 서비스를 연결하는 기능을 뜻함. 예컨대 공유 모빌리티 서비스 타다를 플러그인으로 연동할 경우, 사용자가 목적지까지 걸리는 시간을 검색하면, 타다가 가동되면서 도착예정시간과 현재 탑승가능한 택시를 찾아준다.

- 최보름 서울 시립대 교수는 "국내 컨텐츠, 엔터테인먼트 산업계가 규모의 열세를 극복할 방법이 바로 AI의 활용이라며, 단순작업은 AI로 대체하고 고차원적이고 창의력이 필요한 영역에 인적 요소를 집중해 콘텐츠를 개발한다면 경쟁력이 더 생길 것"이라고 말했다.
한편, 글로벌 엔터테인먼트 기업과 한국 콘텐츠 기업사이에 간극이 더 커질 것이라는 우려도 나왔다. 대규모 자금을 투자해 자체 AI모델을 만들고, 이를 콘텐츠 제작에 투입하는 미국, 영국 등의 대형 스튜디오가 한국을 압도할 수 있다는 이야기. 이미 블룸버프 GPT를 비롯해 디즈니, 아마존 등의 AI를 콘텐츠 제작에 투입하고 있다. 따라서 AI기술은 이미 거대한 컨텐츠 자산을 보유한 기업들에 유리할 수 있다는 지적도 여전함. 최믿음 교수는 AI가 컨텐츠 산업에 적용되기 시작하고 나서 가장 빨리 움직인 곳들이 디즈니 등 거대 컨텐츠 보유사들이라며, 이미 한번 성공한 원천 솟가 있으면 생성형AI를 활용해 창출할 수 있는 가치가 훨씬 커지기 때문이라고 설명했다. "가령 1편부터 4편까니 제작된 전편 시놉시스를 넣은 다음 '우리가 놓친 스토리를 발굴해 달라고 할 수도 있다. AI가 충분히 스토리까지 만들어 줄 수 있는 시대"라고 덧붙였다. 

- 세계에 관한 모델은 '외부세계가 실제로 어떻게 생겼다'라는 것에 관한 지각. 세계가 어떻게 생겼다는 것을 구체적으로 알고 있어야 실제 환경과 상호작용을 하고 의사결정을 내릴 수 있는데, 그러자면 환경과 실제로 상호작용을 하며 세계를 인지할 몸을 갖고 있어야 한다.
지금 거대언어모델들은 수십조개의 토큰을 학습한 결과물. 그러니까, 남이 본것, 남이 들은 것, 남이 쓴 것을 읽고 보고 듣고 학습을 한 것이다. 이렇게 해서는 제대로 된 세계에 관한 모델을 가질 수 없다는 게 이들의 주장. 책으로 키스를 배울수 없다는 뜻.
이런 주자으이 대표주자는 메타의 수석 AI과학자 얀 르쿤이다.
그는 거대언어모델은 결코 인간 수준의 지능에 도달하지 못할 것이라고 말한다. 르쿤의 관점에서 거대언어모델은 문자라는 한 가지 형태의 인간지식에 지나치게 의존하고 있다. "우리는 언어에 대한 거대언어모델의 유창함 때문에 그들이 똑똑하다고 생각하고 쉽게 속지만, 실제로 현실에 대한 그들의 이해는 매우 피상적"이라고 말함. 그리고 "대부분의 인간지식은 실제로 언어가 아니므로 그 시스템은 아키텍처를 바꾸지 않는 한 인간 수준의 지능에 도달할 수 없습니다."라고 덧붙인다.
현재 AI시스템은 인지적 도던의 네가지 핵심, 즉 추론, 계획, 지속적 기억, 그리고 물리적 세계에 대한 이해 중 어느 것도 제대로 하지 못하고 있다고 그는 말한다.

- 얀 르쿤은 몸을 가진 인공지능을 대안으로 제시. 순수한 텍스트의 식단으로 자라는 대신, 그들은 센서와 비디오 에디터에 대한 훈련을 통해 물리적 세계에 대해 배울 수 있고, 세계모델을 갖게 된다는 것이다. 예를 들어 의자를 방의 왼쪽 혹은 오른쪽으로 밀면 어떤 차이가 있을까? 경험을 통해 배움으로서, 최종상태가 예측가능해지기 시작하고, 결과적으로 기계는 다양한 작업을 완료하는 데 필요한 단계를 계획할 수 있게 된다는 것.
MIT교수이자 아이로봇 공동창업자인 로드니 브룩스는, 초기부터 몸을 가진 AI의 중요성을 강조. 그는 세계가 최고의 모델이라는 유명한 말을 했다. 91년 발표한 그의 논문에는 '지능에는 표상이 필요없다'는 도발적 아이디어를 주장해 큰 반향을 불렀다.
이들의 주장을 요약하면 다음과 같다.
1. 지능은 신체와 환경의 상호작용에서 발현된다. : 브룩스는 "지능은 신체와 환경의 상호작용에서 창발한다"고 말했다. 실제 물리환경과의 상호작용이 문제해결과 적응에 필수적이라는 것.
2. 실제환경의 복잡성을 반영 : 현실세계는 매우 복잡하고 역동적이다. 몸을 가진 AI는 이런 복잡성을 직접 마주함으로서 강건하고 적응력 있는 에이전트로 발전할 수 있다.
3. 학습의 효율성 : 르쿤이 지적하듯, 물리환경과의 상호작용은 데이터의 효율적 학습을 가능하게 함. 에이전트는 능동적 탐색을 통해 가장 유용한 정보를 선별적으로 습득가능.
이렇게 보면 인공지능이 휴머노이드의 발전을 가속화할 뿐 아니라 휴머노이드, 즉 몸을 가진 AI가 인공지능 발전의 중요한 한 축을 맡게 될 것임을 알 수 있다. 이것은 AI가 발전하는 그만큼의 속도로 휴머노이드도 함께 발전한다는 의미.

- 챗GPT의 T는 Transformer다. 딥러닝 모델 중 하나인데, 요즘 생성형 인공지능의 대다수가 사용할 정로로 효과적인 모델. 트랜스포머는 주어진 문장을 보고 다음 단어가 뭐가 올지를 확률적으로 예측. 5조개의 문서로 학습한 다음. 그것을 근거로 주어진 문장의 다음에 어떤 단어가 배치될지 예측함. 그냥 하는 게 아니고 어텐션이라는 모델을 사용. 어텐션은 17년 구글에서 내놓은 모델이다. 어텐션 모델은 주어진 문장에서 중요한 키워드가 무엇인지를 알아챈다. 앞의 문장에서 핵심키워드가 뭔지 알 수 있으면 그 다음에 올 단어를 무작위로 예측할 때보다 훨씬 높은 정확도로 예측할 수 있음. 연산시간과 비용도 줄어든다.

- 챗GPT의 답은 물을 때마다 조금씩 달라진다. 그 이유는 챗GPT의 답의 자유도를 설정할 수 있기 때문. 이것을 챗GPT의 온도라고 부른다. 흔히 0도에서 1도사이로 설정함. 0에 가까울수록 정답만 말한다. 트랜스포머는 주어진 단어들을 보고그 뒤에 올 가장 근사한 단어를 찾아내는 모델. 가장 높은 점수를 받은 단어만 결과로 내놓는 것을 0도의 온도라고 부름.  이렇게 되면 같은 질문을 몇번을 묻더라도 동일한 답을 내놓는다. 1에 가까울수록, 그러니까 온도가 높아질수록 자유도가 높아짐. 가장 점수가 높은 단어뿐 아니라 그것과 비슷한 점수를 받은 다른 단어들을 내놓는다는 의미. 

- 거대언어모델의 문제 중 하나는 할루시네이션뿐만이 아님. 이 인공지능은 견고하지 않다. 프롬프트 인젝션 공격일는 게 있다. GPT-4는 이렇게 설명한다.
프롬프트 인젝션 공격은, 사용자가 입력을 받는 텍스트 기반 애플리케이션 또는 시스템의 취약점을 악용하는 것을 말한다. 공격자는 악성 코드나 텍스트를 삽입하여 시스템의 동작을 조작하거나 무단 액세스 권한을 얻거나 기타 보안문제를 일으킨다.
프롬프트 인젝션 공격은 쉽게 말해 교묘한 도구를 입력해서 인공지능이 규칙 밖의 행동을 하게 만드는 것. 챗GPT와 같은 거대언어모젤은 이런 조작에 취약한 모습을 보임. 이 문제가 심각한 것은 정상적 질문에 대해서도 폭주할 때가 있기 때문. 시스템의 안정성도 떨어진다는 것을 알 수 있다.

- 토큰들 간의 관계값을 담은 데이터베이스를 임베딩 매트릭스라 부름. 거대언어모델이 만든 벡터값을 소형 인공지능에 제공하면 어떤 일이 일어날까? 학습이 엄청 빨라진다. 새로 벡터값을 구할 필요가 없어질뿐더러, 거대언어모델의 사전 학습된 지식을 그대로 활용하는 것이니 소형인공지능이 자체적으로 만드는 것보다 품질도 훨씬 나을 것이다. 이런 것을 일종의 전이학습이라고함. 최근 소형 인공지능의 발전속도가 빨라진 데는 이처럼 거대언어모델의 임베닝 매트릭스가 큰 몫을 하고있다.

- 소형화는 몇가지 이유에서 필연이다. 우선 현재의 AI는 자원을 너무 많이 쓴다. 챗GPT를 학습시키는 데 3.7조원이 들었다고한다. 라마 3.1은 최신 GPU H100을 16000대나 돌렸다. 한번에 몇천 가구분의 전기를 쓴다. 이래서는 수지를 맞출 수 없다.
두번째는 앞에서 본 것처럼 스마트폰, 노트북 같은 개인용 기기에 올릴 수 있어야 하기 때문. 개인정보를 제대로 스려면 이렇게 하는 것이 필수다.
세번째로, 인공지능은 인간의 지능을 기계로 구현하려는 시도. 인간의 뇌는 불과 860억개쯤의 뉴런을 갖고도 온갖 일을 다한다. 성인 남성의 하루 평균 에너지 소비량은 121와트인데, 그중 뇌는 20%정도를 쓴다. 하루 24와트 정도로 그 모든 일을 해낸다. 인공지능이 되려면 지금보다 훨씬 더 작아져야 하는 것은 당연하다.

- MOE(전문가조합)라는 것이 있다. 여러개의 전문가 모델을 조합하여 하나의 강력한 모델을 만드는 방법. GPT-4가 이런 방식으로 만든 것으로 추측됨. 오픈 AI가 거의 어떤 데이터도 오픈하지 않은 탓에 많은 추측을 하게 된다. 
전문가조합은 말 그대로 인공지능을 여러 전문가들로 구성된 모델로 만드는 것. 각기 전문분야를 맡아 해당분야의 답을 내놓게 하는 것. 이렇게 하면 추론을 할 때 이전과 달리 특정 전문가 파트만 돌리면 되니 계산에 들어가는 비용을 줄일 수 있고, 성능은 높일 수 있다.
전문가 조합모델은 각 분야의 전문가와 어느 전문가를 선택할지를 결정하는 게이트웨이로 구성된다. 게이트웨이는 입력이 들어오면 그 입력을 분석해 가장 적절한 전문가를 선택하는 역할을 한다.
전문분야는 주로 데이터의 특성과 문제의 유형에 따라 나눔. 예를 들어 이미지 분류작업에서는 전문가를 객체종류(동물, 식물, 차량 등)나 이미지 특성(색상, 질감, 모양 등)에 따라 나눌 수 있다. 자연어 처리에서는 언어나 문서유형(뉴스, 소설, 기술문서 등)에 따라 전문가를 나눌 수 있다.

- 오픈AI는 최근 인공지능의 다섯단계를 제시
1. 챗봇
현재 우리가 있는 단계. 자연어 대화능력을 갖춤. 챗GPT가 대표적임
2. 추론가
인간 수준의 문제해결능력을 갖춘 시스템. 오픈AI는 이 단계에 근접해가고 있다고 한다. 박사수준의 교육을 받은 인간과 비슷한 수준의 문제해결 능력을 목표로 함
3. 에이전트
자체적으로 행동을 취할 수 있는 시스템. 다양한 작업을 수행하고 여러 도메인에서 작업할 수 있는 능력을 갖춤
4. 혁신가
발명을 돕는 AI시스템. 창의적 문제해결과 새로운 아이디어 생성능력을 갖춤
5. 조직
전체 조직의 업무를 수행할 수 있는 시스템. 가장 진보적 형태의 AI로 인간의 개입 없이도 복잡한 조직적 업무를 수행가능.

- 에이전트라는 아이디어는 어디에서 왔을까? 주요한 기여자 중 하나는 마빈 민스키다.그는 86년 출간한 마음의 사회를 통해 마음은 에이전트라는 독특하고 간단한 프로세스들이 모여 거대한 조직을 이루고 상호작용한 결과일 뿐이라고 주장. 그는 인간의 마음을 단일한 실체가 아니라 여러 작은 부분(에이전트)들로 구성된 복잡한 사회적 구조로 본다. 이 에이전트들은 독립적으로 작동하며, 각자의 역할을 수행하면서 복잡한 인지과정을 형성. 예를 들어, 하나의 에이전트는 특정한 감정을 처리하고, 다른 하나는 기억을 담당하며, 또 다른 하나는 문제해결을 담당할 수 있다. 
민스키는 인간의 마음이 대부분 무의식으로 구성되어 잇다고 주장. 의식적 사고는 마음의 극히 일부에 불과하며, 대부분의 인지적 작업은 무의식으로 수행됨. 무의식적 에이전트들이 자동적으로 많은 작업을 처리하여 의식적 사고의 부담을 덜어준다.

- 민스키는 의식이 이러한 여러 에이전트들의 상호작용의 결과로 나타난다고 주장하며, 자아는 이러한 상호작용에서 나온 일종의 허구적 개념이라고 본다. 그의 이론을 가장 잘 표현한 것은 그의 책에 나오는 다음 문장이다.
어떤 마술같은 비결이 인간을 지능적으로 만드는 것일까? 그 비결은 비결이 없다는 것이다. 지능의 힘은 어떤 단 하나의 완전한 원리가 아니라 우리의 광대한 다양성을 바탕으로 한 것이다.
마음을 단일한 실체가 아닌 다양한 에이전트들의 사회적 상호작용으로 보는 그의 관점은 인공지능 연구와 인지과학에 큰 영향을 미쳤다. 현대의 인공일반지능에 대한 논의와 정의가 많은 경우 의식, 자의식을 아예 다루지 않는 데는 분명 민스키의 영향이 있었을 것임.

- 전문분야를 가리지 않고 모든 일을 해주는 범용비서라면 개별 사용자의 입장에선 굳이 안 쓸 이유를 찾기 어렵다. 여러 곳을 서핑하고 다닐 필요 없이 거대 AI에게 요청만 하면 일을 알아서 다 해줄 테니까. 사용자의 의존다고 자연스레 높아질 것임.
이것이 다른 서비스들에는 큰 고민거리를 안겨준다. 이런 거대 AI의 플러그인이 된다면 많은 사용자들을 가질 수 있지만, 바깥에 있게 된다면 점점 더 사용자수가 줄어들 위험, 반대로 플러그인이 되면 그 순간 내 브랜드의 존재감은 퇴색되는 것을 감수해야 함. 거대 AI가 다 처리하고 결과를 주는 것이니 개별 브랜드들은 더 이상 사용자들에게는 보이지 않음. 사용자 입장에서도 굳이 어떤 서비스, 어떤 플러그인을 사용하는지 알 필요가 없다.
거대 AI 그늘 아래에서 언제 대체될지 모르는 위험을 안고 살 것인가, 아니면 밖에서 굶어 죽을지도 모를 위험을 감수할 것인가? 이와 같은 양자택일의 상황이 올 수도 있다. 구글과 네이버의 검색 결과 페이지와, 애플과 안드로이드의 앱스토어에서 맨 위를 차지하기 위해 갖은 애를 썼던 독립 서비스들이 이제는 거대언어모델의 도구가될 것인가를 두고 존재론적 고민을 하게 된 것.
API도 마찬가지다. 많은 중소 AI전문기업들과 스타트업들이 고민에 싸여 있다. 자신들이 그간 해왔던 연구개발이 설 자리를 잃고 있기 때문. 거대언어모델은 파운데이션 모델이다. 별도의 파인튜닝을 하지 않아도 많은 분야에서 아주 뛰어난 답을 내놓음. 게다가 이들이 내놓는 API를 쓰면 언제든 답을 받아올 수 있다. 그러나 다소 미흡하고 모자라더라도 그간 개발해온 결과를 계속 밀고나갈 것이냐, 아니면 거대 AI의 API를 받아와서 여기에 우리 전문분야를 결합해서 쓸 것이냐를 선택해야할 기로에 선 것.
혹은 지금 진행중인 개발 프로젝트를 계속해 나갈 이유가 있을까 하는 고민도 있다. 인공지능의 느닷없이 나타나는 능력은 컴퓨팅 파워와 학습 데이터와 매개변수가 함께 거대한 규모로 커져야 비로소 나타나는데, 작은 벤처기업들이나 중규모의 인공지능기업은 그런 막대한 투자를 할 여력이 없다. 그러니 현재 진행중인 프로젝트들을 전면 재검토할 수밖에 없는 상황으로 내몰리게 된 것.

- 구글은 현재 검색결과 상단에 AI가 정리한 주요 정보와 더 자세히 알아볼 수 있는 링크가 포함된 AI개요를 서비스 중. 24년 6월 현재 전체 질의의 15%에 표시되고 있지만 한때는 84%까지 올라간 적도 있다. 이렇게 되면 어떤 결과가 나올까? 쉽게 예상할 수 있듯이 그 정보들이 담긴 원본사이트를 방문하는 비율이 줄어들기 시작. 한 조사에 따르면 18%에서 64%까지 트래픽이 떨어졌다고 함. 이것은 실은 구글에게도 나쁜 뉴스다. 웹은 이미 인공지능이 생성한 저품질의 콘텐츠로 넘쳐나기 시작. 상위검색결과의 10% 이상을 이미 AI가 가져가도 있다. 그런데 양질의 자체컨텐츠를 생산하는 곳으로 가는 트래픽을 구글이 AI개요로 또 가로채 버린다. 이 사이트들이 다 망하면 구글은 어디서 검색을 해오려는 것일까요?
스택오버플로라는 사이트가 있다. "모든 개발자는 스택오버플로 탭을 열어두고 있다"라는 캐치프레이즈를 자랑하는 곳. 전 세계의 개발자들이 개발을 하다보면 궁금한 게 생기거나 막힌 곳이 있으면 물어보고 답하는 게시판. 개발자를 위한 네이버지식인 같은 사이트다. 챗GPT가 발표된 뒤 이 스택오버플로 방문자수가 급감.
22년 12월 한 달 새 12%나 감소. 이런 추세는 계속 이어져 23년 3월에도 13.9% 감소. 개발자들은 이제 스택오버플로에서 질문하고 답을 찾는 대신 챗GPT에게 코드를 짜달라고 바로 요구하기 시작했다.

- 거대인공지능 모델은 잊기가 아주 어렵다. 학습한 내용의 일부를 인공지능에서 삭제하는 것을 unlearning 이라고 부른다. 관련하여 여러 논문들이 나오고 있는데, 결론은 매우 어렵다는 것. 챗GPT는 5조개의 문서를 학습했는데 그 내용이 어디에 어떤 형태로 녹아들어가 있는지 알아낼 방법은 없다. 언러닝하는 가장 좋은 방법은 그 데이터를 빼고 통째로 재학습을 하는 것. 챗GPT를 학습하는데 1.3조가 들었다. 재학습에도 비슷한 비용이 든다. 문제는 지울 것이 또 나타났을 때다. 그러면 또 1.3조가 든다.
정확한 학습해제(SISA, shared, isolated, sliced, aggregated 분할되고, 격리되고, 조각나고, 합쳐진) 방법이란 것도 있다. 학습데이터를 아주 여러개의 조각으로 나눈 다음 독립적으로 모델을 학습시키는 것. 조각들을 독립적으로 처리해 데이터 종속성도 줄인다. 나중에 특정 데이터를 잊어야 한다면 그 데이터가 포함된 조각에서 그 데이터만 빼고 재학습을 한다. 이런 접근버버은 복잡한 거대언어모델에는 쓰기 어렵고, 이미 학습을 완료한 모델에는 애초에 적용 불가. 그 외에 노이즈를 추가하거나 다른 사실을 추가하거나, 프롬프트로 '이것을 잊어주세요. 모른다고 가정하고 답하세요'라고 지시할 수 있다. 이런 방법들은 실제로 잊기보다는 엄밀히 말해 희석을 해 확률을 낮추거나, 특정정보를 사용하지 않도록 하는 것에 가까움. 

- 합리성에 관한 우리의 직관은 탐색보다는 이용에 근거를 두고 있을 때가 너무 많다. 의사결정을 이야기할 때, 우리는 대개 어느 한 가지 결정의 직접적 보상에만 초점을 맞춘다. 그리고 모든 결정이 마치 자신의 마지막 결정인 양, 따라서사실상 이용만이 이치에 맞는 양 다룬다. 하지만 평생에 걸쳐 당신은 많은 결정을 내릴 것이다. 그리고 그 선택들 중 상당수, 특히 삶의 초기에 하는 선택들에 대해서는 사실상 탐색(최고의 것보다는 새로운 것, 안전한 것보다는 신나는 것, 심사숙고한 것보다는 아무렇게나 찍은 것)에 중점을 두는 것이 합리적이다.
우리가 아이들의 종잡을 수 없는 행동이라고 여기는 것은 우리의 생각보다 더 슬기로운 행동일 수도 있다.

- 정렬은 급격한 규모의 불경제를 수반하며, 대규모로 일하는 것의 가치에 관한 우리의 정상적 직관에 위배됨. 2인분을 요리하는 것은 대개 1인분을 요리하는 것보다 결코 더 힘들지 않으며, 1인분씩 2회 요리하는 것보다 확실히 더 쉽다. 하지만 예를 들어, 한 책장에 꽂힌 책 100권을 정렬하는 데에는 50권씩 꽂힌 책장 2개를 따로 정렬할 때보다 더 오래 걸릴 것이다. 2배 더 많은 책을 정리해야 하고, 따라서 각 책이 꽂힐 수 있는 곳이 2배 더 많다. 정렬할 것이많아질수록 상황은 더 나빠짐. 바로 이것이 정렬이론의 첫번째이자 가장 근본적인 깨달음이다. 규모는 정렬에 해롭다.
이로부터 우리는 정렬할 때 고통과 괴로움을 최소화하는 방법이 오로지 '정렬해야 할 항목의 수를 최소화하는 것이 아닐까?'하고 추론할지도 모르겠다. 그 말이 맞다. 양말 정렬을 계산하는어려움을 예방하는 가장 좋은 방법 중 하나는 그저 빨래를 더 자주하는 것이다. 예를 들어 빨래를 3배 더 자주하면, 정렬비용을 총 9분의 1로 줄일 수 있다. 만약 힐리스의 방 친구가 자신의 별난 방식을 고집한다고 해도 세탁을 14일마다 하는 대신 13일마다 했다면, 빨래 바구니에서 양말을 꺼내는 횟수가 28번이나 줄어들었을 것이다. 

- 정보처리는 19세기에 허먼 홀러리스와 그 뒤에 IBM이 개발한 천공카드 분류장치가 미국 인구조사 업무에 활용되면서 시작. 36년 IBM은 두 묶음으로 분류하여 쌓은 카드들을 한 묶음으로 합병하는 조합기라는 장치를 생산하기 시작. 각 카드 더미가 정렬되어 있기만 하다면, 둘을 하나로 합병하는 과정은 놀라울만치 간단했고 선형시간을 따랐다. 즉 그저 맨 위의 두 카드를 비교하여 값이 더 작은 쪽을 위로 가도록 해서 다 끝날 때까지 쌓으면 된다.
폰 노이만이 45년 프로그램 내장 컴퓨터의 힘을 보여주기 위해 짠 프로그램은 합병한다는 개념을 끝까지 밀고 나간 멋진 결정판이었다. 카드 2장을 정렬하는 것은 쉽다. 값이 작은 카드를 위에 놓으면 된다. 2장씩 정리되어 쌓인 카드가 양쪽에 있을 때, 그 4장을 한 묶음으로 정렬하여 쌓는 것도 쉽다. 이 과정을 몇번 반복하면, 이미 정렬된 카드 묶음들을 한 더미로 점점 더 쌓아올릴 수 있다. 곧 카드들을 다 합쳐서 완벽하게 정렬된 한 벌로 쌓을 수 있다. 마지막에는 절반씩 쌓인 양쪽 카드더미가 리플셔플 마술을 부리듯이 촤르륵 겹쳐지면서 원하는 순서대로 쌓이게 된다.
이 접근법은 현재 합병정렬이라 불린다. 컴퓨터 과학쪽에서 전설이 된 알고리즘 중 하나다. 97년 한 논문에는 이렇게 적혀 있었다. "합병정렬은 컴퓨터 계산의 역사에서만큼, 정렬의 역사에서도 중요하다."
합병정렬의 힘은 선형시간과 2차시간 사이9특히 선형로그시간, O(n log n)이라고 하는) 의 복잡성으로 일을 끝낸다는 사실에서 나온다. 매번 카드들을 정렬할 때마다 정렬된 더미는 크기가 2배로 늘어나므로, n장의 카드를 완벽하게 정리하려면 n이 될 때까지 숫자 2을 합병횟수만큼 곱할 필요가 있다. 즉 2가 밑인 로그함수 카드가 된다. 카드 4장은 2번의 합병을 거치면 정렬할 수 있고, 8장은 3번, 16장은 4번을 거치면 된다. 합병정렬의 분할 정복 접근법에 영감을 얻어서 곧 많은 선형로그정렬 알고리즘이 등장. 여기서 단순히 선형로그 복잡성이 2차시간 복잡성보다 개선된 거라고 말한다면, 몸시 과소평가한 것이다. 정렬할 항목의 수가 인구조사 수준이라면, 데이터집합을 29번에 걸쳐 정렬하는 것과 3억번에 걸쳐 정렬하는 것은 엄청난 차이가 있다. 대규모 산업의 정렬문제에서 전자가 선택되는 것도 놀랄 일이 아니다.

- 대학생이 배우는 수준에서 보면, 컴퓨터 과학은 모두 트레이드오프에 관한 것이다. 즉 한쪽을 택하면 그만큼 다른 쪽에서 손해를 보기 마련. 우리는 살펴보기와 뛰어들기 사이, 탐색하기와 이용하기 사이에서 이미 이 긴장을 살펴본 바 있다. 그리고 가장 중요한 트레이드오프중 하나는 정렬과 검색 사이에서 일어난다.
기본원리는 이렇다. 물건들을 정렬하는 데 쏟는 노력은 나중에 그것들을 검색하는 데 들어갈 노력을 줄이기 위한 선제공격일 뿐이다. 정확한 균형은 그 상황에 정확이 어떤 요인들이 관여하느냐에 따라 달라져야 하겠지만, 정렬이 앞으로의 검색을 뒷받침해야만 가치가 있다는 생각은 우리에게 놀라운 무언가를 말해준다. 차라리 어질러라.

- 결코 검색하지 않을 것을 정렬하는 것은 순전히 시간낭비다. 결코 정렬하지 않을 것을 검색하는 건 비효율적이다. 물론 앞으로 쓸지 안 쓸지를 어떻게 미리 추정하느냐 하는 것이 문제다.
정렬의 장점을 설파하는 광고모델은 구글 같은 인터넷 검색엔진일 거이다. 당신이 검색어를 입력하면 구글이 0.5초도 안 되어 인터넷 전체를 훑어서 그 단어를 찾아낼 수 잇다고 생각하면 엄청나 보인다. 하지만 구글은 그럴 수 없다. 또 그럴 필요도 없다.
당신이 구글이라면, 당신은 (1) 당신의 자료가 검색될 것이고, (2) 한 번이 아니라 반복하여 검색될 것이며, (3) 검색하는 데 드는 시간이 정렬하는 데 드는 시간보다 좀 '더가치가 있다'고 거의 확신할 것이다. (여기서 정렬은 미리, 검색결과가 필요해지기 전에 기계를 통해 이루어지며, 검색은 시간을 대단히 중요하게 여기는 사용자가 한다) 이 모든 요소들은 사전에 엄청나게 정렬을 하는 쪽이 낫다고 말한다. 그리고 구글과 그 동료 검색엔진들이 하는 일이 바로 그것이다.

- 캐시가 꽉 찼을 때, 다른 무언가를 저장하고 싶다면 당연히 공간을 좀 비워야 함. 컴퓨터 과학에서는 이 공간만들기를 캐시교체 또는 캐시퇴거라고 함. 캐시는 주기억장치에 비해 크기가 아주 작을 수 있으므로, 단어를 무한정 보관할 수 없다. 따라서 알고리즘을 적용하여 서서히 덮어쓰도록 해야 한다. 그런 알고리즘을 교체정책 또는 퇴거정책이라고 하며, 그냥 단순히 캐싱 알고리즘이라고도 한다.

- 웹페이지 내용의 캐시를 그것을 원하는 사람들과 물리적으로, 지리적으로 더 가까운 곳에 설치할 수 있다면, 그 페이지를 더 빨리 보여줄 수 있다. 현재 인터넷 트래픽의 상당수는 콘텐츠 분배망(CDN)을 통해 처리됨. CDN은 전 세계에 흩어져서 인기 있는 웹사이트를 복사본을 유지 관리하는 컴퓨터들로 이루어짐. CDN덕분에 그런 웹사이트를 요청하는 사용자는 멀리 다른 대륙에 있는 원본 서버에 접속할 필요가 없이, 근처에 있는 컴퓨터로부터 그 데이터를 얻을 수 있음.
이 CDN중 가장 규모가 큰 거을 아카마이가 관리하고 있다. 콘텐츠 제공자는 자신의 웹사이트를 더 잘 제공하기 위해 비용을 지불하고 아카마이화한다. 예를 들어 BBC의 동영상을 스트리밍으로 보고 있는 호주인은 아마도 시드니에 있는 지역 아카마이 서버에 접속하고 있을 것임. 즉 그 요청은 결코 런던까지 가지 않는다. 그럴 필요가 없다. 

- 본래 뭔가를 더 크게 만들면, 더 느려지게 마련이다. 도시를 더 크게 만들면, A지점에서 B지점으로 가는데 더 오래 걸린다. 도서관을 더 크게 만들면, 책을 찾는데 더 오래 걸린다. 책상에 서류 더미가 높이 쌓일수록 서류를 찾는데 더 오래 걸린다. 캐시는 사실상 그런 문제의 해결책이다. 예를 들어 지금 당장 프로세서를 사러 간다면, 그 칩에는 1차캐시와 2차캐시가 들어 있다. 캐시가 있는 이유는 프로세서의 주기속도를 유지하려면 1차캐시의 크기를 제한해야 하기 때문. 기억용량이 클수록, 원하는 정보를 검색하여 인출하는 시간이 더 길어지는 것을 피할 수 없다.

- 나이를 먹을수록 우리를 좌절시키는 것처럼 보이는 일들(이름 떠올리기 등)은 우리가 훑어얗는 정보량의 함수이며, 반드시 정신이 무너지고 있다는 징후는 아님. 현재 저하라고 부르는 것이 상당수는 그저 학습이다.
캐싱은 무슨 일이 일어나고 있는지를 이해할 용어를 제공한다. 우리는 사실상 캐시 오류라고 말해야 하는 순간에 뜬금없다는 말을 쓴다. 이따금 유달리 정보인출이 지연되는 현상은 우리가 마음의 앞쪽에 필요한 것들을 둠으로써 나머지 시간에 얼마나 많은 혜택을 보고 있는지를 상기시키는 것이다.
그러니 나이를 먹으면서 이렇게 때때로 무언가를 떠올리는 데 시간이 걸리기 시작할 때, 안심하라. 시간 지연의 길이는 당신이 얼마나 많은 경험을 했는지를 알려주는 지표이기도 하니까. 인출하느라 애쓴다는 것은 당신이 아주 많은 것을 알고 있음을 보여주는 증거. 그리고 그런 지연이 뜨문뜨문 일어난다는 것은 당신이 아는 것들을 아주 잘 배치했음을 보여주는 증거다. 가장 중요한 것들을 금방 꺼낼 수 있는 곳에 보관하고 있다는 뜻이다.

- 컴퓨터는 스래싱이라는 처리과정을 통해 다중작업을 한다. 스래싱은 여러 개의 공으로 저글링하는 것과 비슷. 저글러가 한 번에 공을 하나씩 공중으로 던지지만 공중에 떠 있는 공은 3개인 것처럼, CPU는 한 번에 한 프로그램만을 작동시키지만 프로그램들을 아주 빨리 교체하므로 영화를 보여주고, 웹을 돌아다니고, 전자우편이 오면 즉시 알려주는 일을 동시에 하는 듯이 보인다.

- 극단적 사례를 들자면, 프로그램은 필요한 항목들이 기억장치에 들어갔ㄷ가 다른 프로그램의 항목들로 덮어 씌워지는 시간 동안만 가동될 수도 있다.
그것이 바로 스래싱이다. 시스템이 최대한 가동되고 있으면서도 아무런 결과도 내놓지 못하는 상태다. 데닝은 처음에 기억관리라는 맥락에서 이현상을 진단했지만, 현재 컴퓨터과학자들은 스래싱이라는 용어를 시스템이 메타작업에 완전히 몰입하기 때문에 멈추는 모든 상황을 가리키는 데 쓴다. 스래싱 상태에 놓은 컴퓨터의 성능은 서서히 느려지는 것이 아니다. 절벽에서 떨어진다. 실제작업은 사실상 0으로 떨어진다. 그 말은 결과를 내놓기가 거의 불가능할 것이라는 의미이기도 함.
스래싱은 사람에게도 나타난다. 하던 일을 멈추고 해야 할 일들을 다 적을만한 짬을 내고픈 생각이 굴뚝 같지만 시간을 낼 수 없을 때, 당신은 과다상태에 있다. 그리고 사람이나 컴퓨터나 원인은 거의 같다. 각 과제가 한정된 인지자원을 끌어쓰기 때문이다. 해야 할 일들을 단지 기억하는 것만으로도 주의가 꽉 찰 때 (혹은 모든 과제의 우선순위를 정하는 일에 시간을 다 써서 정작 일할 시간이 없을 때)나 행동으로 옮기기전에 생각의 흐름이 계속 방해를 받을 때, 과다행동을 거쳐 마비가 되는 것처럼 공황상태에 빠진 양 느껴진다. 그것이 바로 스래싱이며, 컴퓨터는 그것을 잘 안다.

- 결과적으로 좋은 예측에는 좋은 사전확률이 필요하다. 여기에는 많은 중요한 의미가 함축되어 있다. 우리의 판단은 우리의 기댓값을 드러내며, 우리의 기댓값은 우리의 경험을 드러낸다. 따라서 미래를 예측할 때, 우리는 많은 것을 드러내는 셈이다. 자신이 사고 있는 세상과 자신의 과거에 관한 것들 말이다.

- 모든 유형의 기계학습과제에 정규호가 효과가 있다는 것은, 신중하게 생각하고 행동하는 일을 덜함으로써 더 나은 결정을 내릴 수 있음을 시사함. 우리가 첫번째로 파악한 요인이 가장 중요한 것일 가능성이 높다면, 어떤 지점을 넘어서까지 문제를 더 깊이 생각하는 것은 시간과 노력의 낭비일 뿐 아니라, 더 안좋은 해결책으로 이어질 수 있음. 
조기멈춤은 추론에 맞서는 이성적 논증의 태도를 제공함. 즉 생각하는 사람이 생각을 하지 말아야 할 때가 있는 이유를 알려준다. 하지만 이 말을 실용적 조언으로 바꾸려면 한 가지 질문에 더 대답해야 한다. 
"생각을 언제 멈추어야 할까?"

- 자신이 진정으로 어둠 속에 있을 때, 가장 단순한 것이 최고의 계획일 것이다. 우리의 기댓값이 불확실하고 자료에 잡음이 많을 때, 최선의 방안은 폭넓게 생각하는 것, 일필휘지로 죽 긋는 것이다. 때로는 말 그대로다. 경영자 제이슨 프라이드와 데이비드 하이네마이어 한손이 설명하듯이, 더 먼 미래의 상황까지 브레인스토밍할 필요가 있다면, 더 굵은 펜을 사용하는 것이 일필휘지로 단순호하는 것이 탁월한 전략이 된다.
무언가를 설계하기 시작할 때, 우리는 볼펜 대신 크고 굵은 샤피마커로 착상을 스케치한다. 볼펜은 선이 너무 가늘다. 해상도가 너무 높다. 명암을 완벽하게 그리거나 점선을 쓸지 파선을 쓸지 같은, 아직 걱정할 필요가 없는 것들에 신경을 쓰도록 부추긴다. 결국 아직 초점을 맞출 필요가 없는 것들에 초점을 맞추게 된다.
샤피 마커는 그렇게 깊이 파고드는 것을 불가능하게 만든다. 모양, 선, 상자만 그릴 수 있다. 그것은 좋은 일이다. 처음엔 큰 그림만 신경쓰면 된다.

- 중요한 것을 측정할 수 없다는 전제에서 출발하여 나아간다면 어떻게 될까? 그렇다면 측정 대신 아주 겁나는 것을 활용해야한다. 판단이라는 것이다. (헨리 민츠버그)
조기멈춤의 결론은 그것이 합리적인 것과 직감을 따르는 것 사이에서 선택하는 문제가 아닐 때도 있다는 것. 직감을 따르는 것이 합리적 해결책일 수도 ㅣ있다. 결정이 복잡하고 불안정하고 불확실할수록, 그 편이 더 합리적인 접근법이 된다.
다윈에게 돌아가서, 청혼을 할지 결정하는 문제는 아마 그가 파악한 장단점 목록에서 처음 몇가지만으로 판단하여 해결할 수도 있었을 것이다. 그 뒤로 추가한 항목들은 해결에 반드시 도움을 준다고 할 수 없고, 결정하는 데 시간과 걱정을 추가한(그리고 결정을 방해할 가능성이 높은) 것들이었다. 그의 결심을 굳히게 만든 것은 "평생 일벌처럼 일만 계속하고 아무것도 남지 못할 것이라고 생각하면 견딜수가 없다"는 생각이었다. 그가 맨 처음 언급한 항목들인 아이들과 동반자가 바로 그를 궁극적으로 결혼쪽으로 기울인 항목들이었따. 그의 집필예산은 그저 정신을 산만하게 했을 뿐이다.
하지만 다윈이 본래 생각이 많은 사람이라고 그를 너무 비판적으로 보기 전에, 그의 일기를 다시 살펴볼 가치가 있다. 일기장으로 고스란히 복사한 것을 보면 흥미로운 점이 드러남. 다윈은 며칠에 걸쳐 온갖 고려사항을 추가하던 프랭클린과 전혀 달랐음. 인생을 바꿀 선택에 접근하는 방법은 진지했지만, 다윈은 일기장의 맨 아래까지 적었을 때 결정을 내렸다. 그는 그 지면에 맞게 정규화를 하고 있었다. 이는 조기멈춤과 올가미를 떠올리게 한다.
결혼할 마음을 굳히자 다윈은 즉시 시기를 놓고 생각을 곱씹기 시작했다. 언제? 곧, 아니면 있다가? 그는 다시 장단점 목록을 죽 적어내려갔다. 행복, 지출, 열기구를 타고 웨일스로 여행을 가고 싶은 오래된 욕구, 어색함에 이르기까지 온갖 것들을 고려하면서 말이다. 그러고 나서 그쪽 끝부분에 온갖 것들을 고려하면서 말이다. 그러고 나서 그쪽 끝부분에 '걱정 마, 우연에 맡겨'라고 적었다. 그 결과 몇 개월 내에 그는 엠마 웨지우드에게 청혼했고, 그것은 만족스러운 부부관계와 행복한 가정생활의 출발점이 되었다.

- 계산문제가 우리에게 제시되는 다양한 방식 중에서 최적화문제(일부는 목표이고, 일부는 규칙인)는 가장 흔하다고 할 수 있다. 그리고 그 문제들 중에서는 대안들이 이쪽 아니면 저쪽으로 확연히 갈리고 중간이 전혀 없는 이산최적화 문제가 가장 전형적.
여기서 컴퓨터 과학은 심란한 평결을 내린다. 많은 이산최적화 문제가 정말 어렵다는 것이다. 그 분야의 가장 뛰어난 이들은 완벽한 답으로 나아가는 쉬운 경로를 찾으려고 갖은 노력을 다했지만 빈손으로 내려놓아야 했고, 사실 그런 경로를 탐색하는 것보다 그런 경로가 존재하지 않음을 입증하는 데 점점 더 몰두하게 되었다.
적어도 이 점은 우리에게 좀 위안이 될 수 있을 것이다. 우리가 곤란하고 까다롭고 꽉 막힌 듯한 문제와 마주친다고 할 때, 생각보다 괜찮을 수 있다. 그리고 컴퓨터가 있다고 해서 반드시 도움이 되는 것도 아니다. 적어도 완화하는 법을 배울 수 있기 전까지는 아니다.
- 문제를 완화하는 방법은 많지만, 중요한 세가지가 있다.
1. 제약조건완화 : 단순히 일부 제약조건을 완전히 제거하여 문제를 더 느슨한 형태로 만들어서 풀이를 진척시킨 다음, 현실로 되돌리는 것
2. 연속완화 : 이산적 또는 이진법적 선택을 연속체로 바꾼다. 아이스티와 레모네이드 중에서 고를 때, 먼저 둘을 50대 50으로 서은 아널드파머를 만든 뒤, 위나 아래로 반올림 한다고 상상하는 것이다.
3. 라그랑주 완화 : 불가능성을 단순한 벌점으로 전환. 규칙을 비트는(또는 규칙을 깨서 그 결과를 받아들이는) 기술을 가르치면서다.
- 완화는 우리에게 많은 이점을 제공함
1. 진정한 해답의 질에 대한 한계를 제시. 일정을 짜려 할때, 도시들 사이를 마법처럼 순간이동할 수 있다고 상상한다면 1시간짜리 회의를 하루 일과에 최대 8개까지 끼워넣을 수 있다는 것이 즉시 명확해질 것이다. 그런 한계는 온전한 문제와 직면하기 전에 기댓값을 설정하는 데 유용할 수 있다.
2. 완화는 현실과 실제로 타협할 수 있도록 설계되며, 따라서 다른 방향으로부터의 해답에 대한 한계도 제공. 연속완혹 백신 접종횟수를 분수로 제시할 때, 우리는 백신을 절반 이상 맞도록 할당된 모든 사람들에게 그냥 접종을 할 수도 있다. 그러면 완벽한 세계에서 필요한 접종횟수보다 최대 2배까지 더 많이 접종할 것을 요구하는 해답을 쉽게 계산할 수 있다.
어쩌면 우리는 그런 계산결과를 갖고 살아갈 수 있을 것임. 매번 장애물과 마주칠 때마다 완벽함을 추구하느라 하염없이 세월을 보낼 생각이 아니라면, 어려운 문제는 계속 붙들고 씨름하기보다 더 쉬운 형태를 상상하여 그것을 먼저 공략하자. 제대로 적용될 때, 이것은 단지 희망섞인 생각이나 환상이나 게으른 공상이 아니다. 발전을 이루는 최선의 방법 중 하나다.

- 이 분야에서 다년간 일한 뒤인 지금도 무작위성이 그토록 많은 알고리즘 문제에 효과가 있다는 사실이 너무나 수수께끼 같다고 인정하지 않을 수 없다. 그것은 효율적으로 작동한다. 하지만 왜, 어떻게 그러한지는 완전히 수수께끼다. (마이클 래빈)

- 무작위성은 이성의 정반대처럼 보임. 문제풀기를 포기하는 것은 최후의 수단처럼 보인다. 하지만 결코 그렇지 않다. 컴퓨터 과학에서 무작위성이 놀라우면서도 점점 더 중요한 역할을 하고 있다는 사실은 우연의 활용이 가장 어려운 문제들에 접근하는 신중하면서도 효과적 방법 중 하나일 수 있음을 시사함. 사실 쓸 수 있는 방법이 그것밖에 없을 때도 있다.
매번 정확히 똑같은 방식으로 각 단계를 따라가는 식의, 컴퓨터가 쓸 것이라고 으레 상상하는 표준 결정론적 알고리즘과 정반대로, 무작위 알고리즘은 무작위로 생성된 난수를 써서 문제를 푼다. 컴퓨터 과학에서 최근들어 무작위 알고리즘이 알려진 모든 결정론적 알고리즘보다 더 빨리 어려운 문제의 좋은 근사적 해답을 내놓을 수 있다는 결과들이 나오고 있다. 그리고 반드시 최적 해답을 보증하는 것은 아니지만, 결정론적 알고리즘이 땀을 뻘뻘 흘리면서 하는 일을, 무작위 알고리즘은 전략적으로 동전 몇개를 던지는 식으로 해서 훨씬 짧은 기간에 놀라울 정도로 해답에 가까이 다가갈 수 있다.
특정 문제들에서 무작위 접근방법이 최고의 결정론적 알고리즘도 넘어설 수 있다는 사실에는 한가지 심오한 메시지가 담겨 있다. 때로는 철저히 추론하여 답을 얻으려 애쓰기보다 그저 우연에 맡기는 것이 어떤 문제에 대한 최고의 해답일 수 있다는 것이다.

대표사진 삭제

사진 설명을 입력하세요.