박태웅의 AI강의

- 챗GPT의 답은 물을 때마다 조금씩 달라집니다. 그 이유는 챗 GPT의 답의 자유도를 설정할 수 있기 때문입니다. 이것을 챗 GPT의 온도temperature라고 부릅니다. 흔히 0도에서 1도 사이 로 설정합니다. 0에 가까울수록 정답만 말합니다. 트랜스포머 는 주어진 단어들을 보고 그 뒤에 올 가장 근사한 단어를 찾아 내는 모델이라고 했지요? 가장 높은 점수를 받은 단어만 결과 로 내놓는 것을 0도의 온도라고 부릅니다. 이렇게 되면 같은 질 문을 몇 번을 묻더라도 동일한 답을 내놓을 겁니다. 1에 가까울수록, 그러니까 온도가 높아질수록 자유도가 높아집니다. 가장 점수가 높은 단어뿐 아니라 그것과 비슷한 점수를 받은 다른 단어들을 내놓는다는 뜻입니다. 문장은 여러 개의 단어로 이뤄 지므로 첫 번째 단어로 다른 것을 내놓으면 그다음에 올 단어 들도 모두 달라질 가능성이 높습니다. 챗GPT의 온도는 0도로 설정되어 있지 않으므로, 물을 때마다 조금씩 다른 답이 나오 게 되는 것입니다.
- 인공지능은 '잠재된 패턴'이 있는 곳에서는 어디서나 위력을 발휘할 수 있습니다.
컴퓨터 프로그래밍은 인간이 만든 언어를 가지고 하는 일입니 다. 그러니까 굉장히 규칙적이고 닫힌 세계에 있지요. 이런 곳 에서는 GPT가 굉장히 잘 쓰일 수 있습니다. 이미 여러 소프 트웨어 회사들이 챗GPT를 쓰고 있는데, 경험자들은 똘똘한 3 년 차 개발자 서너 명이 옆에 붙어 있는 것과 비슷한 것 같다고 말합니다. 법률사무직도 인간이 만든 엄격한 형식에 따라 움직이는 곳이니 당연히 인공지능이 잘할 수 있습니다. 언론 보도도 마찬가지입니다. 비슷한 형식을 갖춘 기사들이 있지요. 가령 일 기예보라든가 스포츠 경기의 결과 보도가 그렇고, 주식시장의 움직임도 그렇습니다. 숫자에 따라 대개 비슷한 패턴을 보이지 요. 지표에 따라 투자하는 주식 거래도 마찬가지고요. 그래픽 디자인 쪽도 생성형 인공지능의 발전이 하루가 다릅니다. 디 자이너가챗GPT를 잘 쓰는 사람일 경우에는 짧은 시간에 굉장 히 많은 일을 할 수 있기도 합니다. 사람들이 챗GPT에 열광하 는 데는 분명한 이유가 있습니다.
- 말하자면 지금의 인공지능은 '어려운 일은 쉽게 하고 쉬운 일은 어렵게'합니다. 잠재된 패턴이 없는 곳, 그러니까 확률이 필요하지 않은 분야에서는 어처구니없이 약합니다. 챗GPT는 인터넷에 올라와 있는 거의 모든 문서를 학습했다고 해도 과언 이 아닐 텐데요, 이 말은 웹에 없는 정보에는 취약하다는 것을 의미합니다. 가령 다섯 자리 이상의 더하기, 빼기의 모든 셈 결 과가 웹에 다 있는 것은 아니겠지요. 123,456,789+56,789 와 같은 셈의 결과들이 모조리 인터넷에 올라와 있을 리는 없으 니, 챗GPT는 이런 셈을 잘하지 못합니다.
- 모차르트의 첼로 협주곡에 대해 물으면 쾨헬 넘버(모차르트의 곡에다 연대기 순으로 번호를 붙인 것)까지 붙여서 다섯 곡을 내놓기도 합니다. 모차르트의 첼로 협주곡은 실제로 남아 있는 게 없지 만챗GPT는 쾨헬 넘버까지 붙여서 답을 합니다. 그래야 그럴듯 하기 때문입니다. 뭔가 허언증환자와 비슷한 느낌입니다.
미국의 인공지능 스타트업인 갓 잇 AIGot it Al에서 조사한 결과 챗GPT가 한 답변의 15~20퍼센트 정도에서 할루시네이션 오류가 보이는 것으로 나왔습니다. 그래서 노엄 촘스키 같은 세계 최고의 언어학자는 "GPT는 천문학적인 양의 데이터 에 접근해 규칙성, 문자열 등에 기반해 문장을 만드는 첨단 기 술 표절 시스템이다"라고 말하기도 했습니다. 이런 입장은 챗 GPT가 인간의 언어모델과 인간 사고방식의 일부를 들여다보 았을지도 모르겠다고 하는 해석과는 정반대 편에 서 있습니다. 얀 르쿤Yann LeCun 이라는 세계적인 AI 학자는 "거대언어모델은 인간 수준의 인공지능으로 향하는 고속도로에서 옆길로 새버 린 것"이라고 말했습니다. 인공지능이 인간의 지능을 넘어서 는 지점을 특이점singularity 이라고 하는데, 거대언어모델로는 절 대로 가지 못한다는 것입니다.
- 사람들은 GPT-3와 같은 거대언어모델이 무엇을 할 수 있는지에 대해 아주 비현실적 기대를 갖고 있다. GPT-3는 세계가 어떻게 돌아가는지 전혀 알지 못한다. ............... 다시 말하는데, 사람들과 교류하기 위해서는 명료하게 훈련된 다른 접근법이 더 낫다. 언어모델을 확장해서 지능적 기계를 만들려는 것은 고공비행기로 달에 가려 하는 것과 같다. 고공비행기로 고도비 행 기록을 깰 수는 있으나 달에 가는 것은 완전히 다른 접근법을 필요로 한다.
- 세계적인 SF 소설가 테드 창Ted Chiang은 <뉴요커>에 실은 글에서 "GPT는 웹의 흐릿한 JPEG다"라고 말했습니다. 그의 글은 아주 흥미롭습니다. 원문을 읽어볼 것을 권합니다. 글의 일부를 소개합니다.
챗GPT는 웹에 있는 모든 텍스트를 흐릿하게 처리한 JPEG 이라 고 생각하면 됩니다. JPEG가 고해상도 이미지에 관한 많은 정 보를 가지고 있듯이 챗GPT는 웹상의 많은 정보를 보유합니다. 그러나 비트의 정확한 순서 (sequence)를 찾으려 한다면 결코 찾을 수 없습니다. 당신이 얻을 수 있는 모든 것은 근사치일 뿐입니다. 이 근사치는 문법에 맞는 텍스트의 형태로 제공됩니다. 챗 GPT는 이를 생성하는 데 탁월하기 때문에, 전반적으로 읽을 만 합니다. 당신은 여전히 흐릿한 JPEG를 보고 있지만, 흐릿한 부 분이 사진 전체의 선명도를 떨어뜨리지는 않습니다.
손실 압축에 대한 이러한 비유는 웹에서 찾은 정보를 다른 단어 를 사용해 재포장해내는 챗GPT의 특성을 이해하는 방법에만 적용되는 게 아닙니다. 이 비유는 챗GPT와 같은 거대언어모델 에서 발생하기 쉬운 '환각(Hallucination)'이나, 혹은 사실에 근거한 질문에 터무니없는 답변을 내놓는 것을 이해하는 방법이기도 합니다. 이러한 환각은 제록스 복사기에서 잘못 생성된 레이 블과 마찬가지로 압축 풍화로 발생한 것입니다. 그러나 환각은 원본과 비교해서 확인해야 알 수 있을 만큼 그럴듯하게 보입니 다. 웹상의 실제 정보나 세상에 대한 우리의 고유한 지식과 비교 해야만 진위를 확인할 수 있습니다. 사실이 이렇다면 환각은 결 코 놀라운 것이 아닙니다. 원본의 99퍼센트가 폐기된 후 텍스트 를 재구성하도록 설계된 압축 알고리듬이라면, 생성된 텍스트의 상당 부분이 완전히 조작될 것으로 예상해야 합니다.

- 늘 잘 먹히는 대표적인 프롬프트들은 다음과 같습니다.
"차근차근 생각해보자"처럼 단계적 추론을 유도하는 말을 덧붙이거나,
"네가 ᄋᄋᄋ (예: 생물학자, 변호사, 마케터・・・・・・ 라고 가정하자처럼 역할을 부여하거나,
"ᄆᄆᄆ를 표로 만들어줘"처럼 포맷을 지정하거나,
"△△△를 요약하고 가장 중요한 것 여섯 가지를 나열해줘"처럼 구체적으로 일을 지정할 때 좋은 결과가 나옵니다.

- 말하기와 생각하기는 다르다
MIT의 인지과학자 안나 이바노바와 카일 마호월드 등은 말하 기와 생각하기가 다르다는 점에서 거대언어모델의 한계를 지 적합니다. 13 '언어'와 '사고'는 분리돼 있어서, 언어를 통한 의 사소통과 사고 행위는 서로 다른 일이라는 것입니다. 이들이 제시하는 증거는 이렇습니다.
수십 개의 언어를 사용하는 사람들의 뇌를 스캔한 결과, 언어 (나비어나 도트라키어 같은 발명된 언어 포함)의 종류와 무관하게 작 동하는 특정 뉴런 네트워크가 발견되었습니다. 이 뉴런 네트워크는 수학, 음악, 코딩과 같은 사고 활동에는 관여하지 않았습 니다. 또한 뇌 손상으로 인해 언어를 이해하거나 산출하는 능 력이 상실된 실어증 환자 중 상당수는 여전히 산술 및 기타 비 언어적 정신 작업에는 능숙합니다. 이 두 가지 증거를 종합하 면 언어만으로는 사고의 매개체가 아니며, 언어가 오히려 메신 저에 가깝다는 것을 알 수 있습니다. 실제로 우리는 생각을 말 로 표현할 수 없는 경험을 종종 합니다.
이들은 언어의 형식적 역량과 기능적 역량을 구분합니다. 주어진 언어의 규칙과 패턴에 대한 지식을 포함하는 것이 '형식 적 언어 능력'이라면, 실제 세계에서 언어를 이해하고 사용하 는 데 필요한 여러 가지 인지 능력을 '기능적 언어 능력'이라고 부릅니다. 이들은 인간의 형식적 역량은 특수한 언어 처리 메 커니즘에 의존하는 반면, 기능적 역량은 형식적 추론, 세계 지 식, 상황 모델링, 사회적 인지 등 인간의 사고를 구성하는 여러 언어 외적 역량을 활용한다는 사실을 인지 신경과학의 증거를 바탕으로 보여줍니다. 요컨대 거대언어모델은 언어에 대한 좋 은 모델이지만, 인간 사고에 대해서는 불완전한 모델이라는 것 입니다.
- 이런 차이 때문에 '형식적 언어 능력'이 필요한 과제에서는 거 대언어모델이 인상적인 성과를 보이지만, '기능적 능력'이 필 요한 많은 테스트에서는 실패한다는 것입니다. 이들은 
(1) 현재의 거대언어모델은 형식적 언어 능력의 모델로서 진지하게 받아들여야 하며, 
(2) 실제 언어 사용을 마스터하는 모델은 핵심 언어 모듈뿐만 아니라 사고 모델링에 필요한 여러 비언어적 인지 능력을 통합하거나 추가 개발할 필요가 있다고 주장 합니다
- 우리가 챗GPT에 열광하게 된 또 다른 이유는 이것이 사상 최초로 사람이 평소에 쓰는 말(자연어 Natural Language)로 기계와 대 화할 수 있게 만들어주었기 때문입니다. 즉, 처음으로 나타난 자연어 인터페이스라는 것입니다. 이전까지 우리는 컴퓨터와 대화하려면 C++, 자바, 파이썬과 같은 컴퓨터 랭귀지(기계어 Machine Language)를 따로 배워야 했습니다. 그런데 드디어 사람 에게 하듯이 자연어로 컴퓨터에게 일을 시킬 수가 있게 된 것 입니다.
- 앞서 챗GPT는 잠재된 패턴이 있는 일을 잘한다고 했지요? 거대언어모델의 경우 어마어마한 양의 정제한 데이터를 가지고 100일 안팎의 학습을 해야 합니다. 그 러니 학습이 시작된 이후의 최신 정보들에 대해서는 지식이 없 습니다. 배우지 못한 것이지요. 그래서 최신 뉴스에 대한 답변 을 잘하지 못합니다. 숫자 계산에도 약하고요. 그런데 챗GPT 가 계산기를 쓰고, 검색엔진을 쓸 수 있게 된다면 어떨까요? 즉, 도구를 쓰게 된다면 어떻게 될까요?
실제로 그런 일이 일어났습니다. 오픈AI가 내놓은 플러그인 Plug-ins이 바로 챗GPT가 도구를 쓸 수 있도록 해준 것이죠. 우 리가 챗GPT에게 일을 시키면, 챗GPT가 플러그인된 프로그 램들을 불러다 일을 시킨 후 그 결과를 다시 사람에게 전달합 니다.
거대언어모델 인공지능이 사람으로부터 할 일을 받으면, 그 일 을 몇 개의 서로 다른 작은 일로 나눌 수 있을 겁니다. 그러고 는 각각에 맞는 도구, 즉 소프트웨어나 서비스를 찾아서 그 일 을 수행합니다. 결과가 나오면 그 결과를 모아서 다시 일을 시킨 사람에게 보고하게 됩니다. 그러니까 사람으로부터 일을 받는 에이전트, 그 일을 여러 개의 하위 일로 나누는 에이전트, 각각의 일에 가장 적합한 소프트웨어나 서비스를 찾는 에이전 트, 이런 도구를 써서 일을 수행하는 에이전트, 결과들을 다 모으는 에이전트, 정리해서 사람에게 보고하는 에이전트 등 등 이렇게 스스로 역할을 여러 개로 나누어 수행하면 되는 것 이지요.
- 챗GPT와 GPT-4도 API를 공개했습니다. 세상의 모든 소프트웨어 회사들이 이것을 통해 GPT와 GPT-4를 쓸 수 있게 된 것이지요. 물론 돈은 내야 합니다.
챗GPT가 바깥의 도구를 가져다 쓰는 게 플러그인이라면, API 는 바깥의 프로그램과 서비스들이 GPT 혹은 GPT-4를 가져 다 쓸 수 있는 것이지요. 이것으로 어떤 일을 할 수 있을까요? 마이크로소프트가 자신들의 오피스 프로그램에 GPT-4의 API를 연결했습니다. 이렇게 함으로써 사용자들은 워드를 쓰다가 자신의 문서를 떠나지 않고도 챗GPT에게 자신이 쓸 주제에 맞 게 목차를 만들어달라는 요청을 할 수 있게 됩니다. 목차가 나 오면 의도에 맞게 고친 다음, 목차대로 내용을 채워달라고 요 구할 수도 있습니다. 엑셀을 쓰는 중이라면 엑셀을 떠나지 않 고도, 엑셀에서 챗GPT에게 입력한 표를 읽고 5개년의 영업이 익률 그래프를 그려달라고 요청할 수 있습니다. 그러니까 브라 우저를 열고 키워드를 입력하고, 그래서 나온 값을 복사해서 워드나 엑셀에 옮겨 담고 하는 작업들이 한번에 사라진 것입니 다! 엄청 편해진 것이지요.

- 게리 마커스의 다섯 가지 걱정
제프리 힌턴, 스튜어트 러셀 등 많은 인공지능 과학자들이 드 디어 공개적으로 경고하기 시작했습니다. 신경과학자인 게리 마커스Gary Marcus는 이런 상황과 관련해 다음과 같은 다섯 가지 우려를 밝혔습니다.
1. 극단주의자들이 어마어마한 허위 정보를 생성해 민주주의와 공론을 쓸어버릴 것이다.
2. 환각은 잘못된 의료 정보를 생성할 것이다.
3. 콘텐츠 팜(content farm)들이 광고 클릭을 위해 사실과 상관
없는 자극적인 내용을 생성할 것이다.
4. 챗봇은 일부 사용자들에게 감정적인 고통을 유발할 수 있다.
5. 남용으로 인해 웹 포럼과 피어리뷰 (peer review) 사이트를 붕 괴시킬 것이다.

- 스택오버플로(stackoverflow.com)라는 사이트가 있습니다. "모든 개발자는 스택오버플로 탭을 열어두고 있습니다"라는 캐치프 레이즈를 자랑하는 곳입니다. 전 세계의 개발자들이 개발을 하 다 궁금한 게 생기거나 막힌 곳이 있으면 물어보고 답하는 게 시판입니다. 개발자를 위한 네이버 지식인과 같은 곳이지요. 챗GPT가 발표된 뒤 이 스택오버플로의 방문자 수가 급감하기 시작했습니다.
2022년 12월 한 달 새 12퍼센트나 떨어져 버린 것입니다. 이런 추세는 계속 이어져 2023년 3월에도 13.9퍼센트가 떨어졌습니다.  개발자들은 이제 스택오버플로에서 질문하고 답을 찾는 대신 챗GPT에게 코드를 짜달라고 바로 요구하기 시작했습니다.
커뮤니티 구성원들이 주어진 코딩 질문에 대해 다양한 답변을 게시하고, 장점과 단점에 대해 토론하고, 투표를 통해 최고의 솔루션을 선정하는 것이 스택오버플로의 전통이었습니다. 훌 륭한 공동체였지요. 거의 모든 개발자들이 한두 번쯤은 스택오 버플로에 올라온 코드를 그대로 복사해 사용한 적이 있었을 겁 니다. 그런 공동체가 무너지고 있습니다.
문제는 챗GPT가 프로그래밍을 학습한 대상이 바로 이 스택오 버플로였다는 겁니다. 온라인 코드 저장소인 깃허브GitHub와 스 택오버플로는 인공지능이 개발 공부를 하기 가장 좋은 두 개의 사이트였습니다. 그렇게 공부한 챗GPT가 스택오버플로의 트 래픽을 빼앗아가고 있는 것입니다. 우리는 인공지능이 또 하나 의 오리지널을 무너뜨리는 장면을 보고 있습니다.

- 미디어는 메시지입니다. 새로운 미디어는 돌이킬 수 없이 분명 하고 근본적인 변화를 지시합니다. 인류는 소셜미디어의 출현 에 제대로 대응하지 못했습니다. 페이스북이 알고리듬을 바꾸 자전 세계의 정치가 출렁였습니다. 곳곳에서 포퓰리즘이 기승 을 떨칩니다. 미국에선 소녀들의 자살률이 두 배로 뛰어올랐습 니다. 지금도 미국 10대들의 자살률은 계속해서 오르고 있습니다.  한국에선 독점적인 포털사의 광고 수익을 배분하는 알고 리듬 하나가 언론사 보도를 통째로 망치고 있습니다. 이 사실 을 모두가 알고 있지만 누구도 해결책을 내놓지 못하고 있습니 다. 인스타그램은 여전히 에코 챔버(반향실, 자신이 원하는 정보만 보게 됨으로써 인지편향이 확대 강화되는 현상)와 필터 버블(필터는 추천 알고리듬을 뜻합니다. 사용자가 시스템이 보여주는 정보만 보게 되는 게 마 치 추천 알고리듬의 거품에 갇힌 모양과 같다고 해서 붙은 이름)의 본향이고, 한국 신문들은 변함없이 해외 황색지를 베껴 올립니다.
인공지능은 소셜미디어에 비할 바 없이 위력적입니다. 발전 속 도도 인류 역사상 이런 기술이 있었을까 싶을 정도로 빠릅니 다. 오죽하면 생물종이 폭발적으로 나타났던 캄브리아기에 빗 대어 요즘을 인공지능의 캄브리아기라고 부르기도 합니다. 이 치명적인 미디어 앞에서 인류는 또 한 번의 실패를 경험해야 하는 것일까요?