AI 지도책

- 인공지능을 정의하는 각각의 방식은 인공지능을 어떻게 이해하고 측정하고 평가하고 통제할 것인가에 대한 얼개를 짜는 것과 같 다. AI를 기업 인프라에 대한 소비재 브랜드로 정의한다면 그 지평 은 마케팅과 광고에 의해 결정된다. AI 시스템을 어느 인간 전문가 보다 신뢰할 만하거나 합리적이고 가능한 최선의 행동'을 취할 수 있는 행위자로 간주한다면 그것은 보건, 교육, 형사 같은 중대 사안 에 대해 결정권을 부여해야 한다는 뜻이다. 구체적 알고리즘 기법이 유일한 관심사라면 그것은 기술의 지속적 발전만이 중요하며 이 접 근법들의 연산 비용과 위기의 지구에 미치는 장기적 영향은 전혀 고 려하지 않는다는 의미다.
이에 반해 이 책에서는 AI가 '인공적이지도 않고 '지능'도 아니라고 주장한다. 오히려 인공지능은 체화되고 물질적인 지능이며 천연자원, 연료, 인간 노동, 하부 구조, 물류, 역사, 분류를 통해 만들어 진다. AI 시스템은 자율적이지도 합리적이지도 않으며 대규모 데이 터 집합이나 기존의 규칙 및 보상을 동원한 방대하고 (연산의 측면 에서) 집약적인 훈련 없이는 아무것도 분간하지 못한다. 사실 우리 가 아는 형태의 인공지능은 훨씬 폭넓은 정치적·사회적 구조에 전 적으로 의존한다. 또한 AI를 대규모로 구축할 자본과 AI를 최적화할 방법이 필요한 탓에 AI 시스템은 궁극적으로 기득권에 유리하게 설계된다. 이런 의미에서 인공지능은 권력의 등기부인 셈이다
- '인공지능'이라는 용어가 전산학계에서 거부감을 일으킬 수 있다는 사실은 언급해둘 만하다. 이 문구는 수십 년에 걸쳐 부침을 겪 었으며 연구보다는 마케팅에서 더 많이 쓰인다(전문적 논의에서는 '기계 학습'이 더 흔히 쓰인다). 하지만 자금 지원을 신청하는 기간이나 벤처 투 자가들이 수표장을 들고 찾아올 때, 연구자들이 새 연구 결과에 대 해 언론의 주목을 끌고 싶을 때는 AI라는 용어가 곧잘 동원된다. 이 때문에 AI라는 용어는 채택되기도 하고 거부되기도 하면서 의미가 끊임없이 달라진다. 이 책에서는 AI를 '정치, 노동, 문화, 자본을 아 우르는 대규모의 산업적 구성물'이라는 의미로 쓴다. 반면에 기계 학습을 언급할 때는 기술적 접근법(자주 언급되지는 않지만 이것은 사실 사회 적·토대적 접근법이기도 하다)에 대해 이야기하는 것이다.
하지만 인공지능 분야가 알고리즘적 혁신, 점진적 제품 개량, 편 의성 향상 같은 기술적 측면에 왜 그토록 집중해왔는지에는 중요한 '이유'가 있다. 이런 지엽적이고 추상적인 분석은 기술, 자본, 통치의 접점에 놓인 권력 구조에 훌륭히 이바지한다. AI가 어떻게 해서 기본적으로 정치적인지 이해하려면 신경망과 통계적 패턴 인식을 넘어서서 '무엇이 누구를 위해' 최적화되고 '누구에게' 결정권이 있는지 물어야 한다. 그런 뒤에야 우리는 그 선택들의 의미를 추적할 수 있다.
- 클레이턴 밸리와 실리콘밸리의 관계가 궁금하다면 19세기 금전金田(금광 지대)과 초창기 샌프란시스코의 관계를 떠올려보라. 채굴 의 역사는 그 뒤에 남는 폐허가 그렇듯 기술 발전의 이야기에 으레 동반되는 고의적 기억상실증에 의해 곧잘 간과된다. 역사지리학자 그레이 브레킨이 지적하듯 샌프란시스코는 1800년대 캘리포니아 와 네바다의 땅에서 금과 은을 캐내 얻은 수익으로 건설되었다.' 이 도시의 재료는 채굴이다. 캘리포니아와 네바다는 멕시코-아메리카 전쟁이 끝난 1848년 과달루페 이달고 조약에 따라 멕시코에서 미국 에 양도되었다. 이곳이 매우 귀중한 금전이 될 것임은 당시에 이미 정착민들에게 알려져 있었다. 브레킨의 말마따나 이 사건은 '무역 은 깃발을 따라가지만 깃발은 곡괭이를 따라간다" (상거래의 토대는 군 대이고 군대의 토대는 광업이라는 뜻이다-옮긴이)라는 옛 격언의 교과서적 사례였다. 미국 영토가 쑥쑥 늘어나는 동안 수천 명이 보금자리에서 내몰렸다. 미국의 제국주의적 침략에 뒤이어 광산업자가 몰려들었 다. 땅을 파헤친 탓에 물길이 오염되고 인근 숲이 파괴되었다.
예로부터 광업에서 이윤이 날 수 있었던 것은 환경 피해, 광부 들의 질병과 사망, 지역사회 해체 같은 진짜 비용을 감당하지 않아 도 되었기 때문이다. 광물학의 아버지로 불리는 게오르기우스 아그 리콜라는 1555년에 이렇게 말했다. '광업으로 인한 손실이 광업에 서 생산되는 금속의 가치보다 크다는 것은 누구나 아는 사실이다." 말하자면 광업에서 이익이 남는 것은 오로지 비용을 남들에게, 지금 살아 있는 사람들과 아직 태어나지 않은 사람들에게 떠넘기기 때문 이다. 
- 심층 시간의 관점에서 보자면 우리는 아마존 에코와 아이폰 같은 고작 몇 년 쓰고 버리는 기기를 만들어 현대 기술 시대라는 찰나 를 떠받치려고 지구의 지질학적 역사를 뽑아내고 있는 셈이다. 미국 소비자기술협회의 발표에 따르면 스마트폰의 평균 수명은 4.7년에 불과하다." 이 노후화 주기는 더 많은 기기의 구매를 유도하고 이윤 을 끌어올리고 지속 불가능한 추출 관행을 부추긴다. 광물, 성분, 원 료들의 개발 과정은 느릿느릿 진행되지만 그러한 과정만 끝나면 채굴, 처리, 혼합, 제련, (가공 과정에서 수천 킬로미터를 오가는) 물류 운송은 일사천리로 진행된다. 땅속에서 캐내 폐기물과 광미를 버리고 남은 원광석은 기기로 만들어져 이용되다가 폐기된다. 그리고 결국 가나와 파키스탄 같은 나라의 전자 폐기물 하치장에 매립되고 만다. 탄생에서 사멸에 이르는 AI 시스템의 일생에는 인간 노동과 천연자원의 착취, 기업 권력과 지정학적 권력의 거대 집중 등 여러 프랙털적 공급사슬이 존재한다. 그리고 처음부터 끝까지 지속적인 대규모의 에너지 소비가 이 사슬을 굴러가게 한다.
샌프란시스코의 토대가 된 채굴 방식은 오늘날 그곳에 기반을 둔 기술부문의 관행에서 그대로 반복된다." AI의 대규모 생태계는 우리 의 일상적 활동과 표정에서 데이터를 수집하는 활동부터 천연자원을 
고갈시키는 활동, 이 거대한 지구적 네트워크를 구축하고 유지하기 위해 전 세계에서 노동을 착취하는 활동까지 여러 종류의 추출에 의 존한다. AI는 널리 알려진 것보다 훨씬 많은 것을 우리와 지구로부터 뽑아낸다. 
- 내몽골 최대 도시 바오터우에는 유독한 검은색 진흙으로 메워진 인공 호수가 있다. 유황 냄새를 풍기는 그 호수는 끝이 보이지 않 는다. 지름은 9킬로미터를 넘는다. 그 검은 호수에는 원광석 가공과 정에서 발생한 부산물 가루가 1억 8,000만 톤 이상 쌓여 있다." 폐 기물은 인근의 바이윈 광산에서 유출되었는데, 이곳의 희토류는 전 세계 매장량의 70퍼센트에 이르는 것으로 추정된다. 바이윈 광산은 세계 최대의 희토류 매장지다.
중국은 전 세계 희토류의 95퍼센트를 공급한다. 저술가 팀 모 건의 말에 따르면 중국의 시장 지배는 지질학적 이점 때문이라기보다는 채굴의 환경 비용을 감내하려는 국가적 결의 때문이다. 네오디뮴과 세륨 같은 희토류는 비교적 흔하지만, 이것들을 쓸 만하게 만들려면 대량의 황산과 질산에 녹이는 위험한 공정을 거쳐야 한다. 이 산성 용액은 엄청난 양의 독성 폐기물이 되어 죽음의 호수 바오 터우를 메운다. 환경 연구자 마이라 허드가 우리가 잊고 싶어 하는 폐기물'이라고 부르는 것으로 가득한 장소는 이곳만이 아니다.
오늘날까지 희토류의 전자, 광학, 자력 측면에서의 쓰임새는 어 느 금속도 넘볼 수 없지만, 유용 광물 대비 폐기물 독소의 비율은 상 상을 초월한다. 천연자원 전략가 데이비드 에이브러햄은 중국 장시 의 디스프로슘과 터븀 채굴을 이렇게 묘사한다(두 광물은 각종 첨단 기기에 쓰인다. '채취된 점토의 희토류 함유량은 단지 0.2퍼센트에 불 과하다. 이것의 의미는 99.8퍼센트는 광미라고 불리는 찌꺼기 또는 폐기물이라는 것이다. 이 광미는 언덕이나 냇가에 버려진다." 이렇게 버려진 폐기물은 암모늄 같은 새로운 오염물질을 만들어낸다. '중국 희토류협회의 추정치에 의하면 이 같은 희토류 1톤을 정제해내기 위해서는 그 과정에서 7만 5,000리터의 산성 폐기물과 방사성 폐기물 1톤이 산출된다고 한다.'
바오터우 남쪽으로 약 4,800킬로미터 떨어진 곳에는 인도네 시아의 소도小 방카 섬과 벨리퉁 섬이 수마트라 연안에 자리 잡고 있다. 두 섬에서는 반도체에 쓰이는 주석이 생산되는데, 생산량이 인도네시아 전체의 90퍼센트에 이른다. 인도네시아는 중국에 이어 세계 2위의 주석 생산국이다. 인도네시아의 국영 주석 회사 PT 띠 마는 삼성 같은 기업에 주석을 직접 공급하기도 하고 청난이나 마 오 같은 땜납 제조사에 공급하기도 하는데, 이 제조사들은 소니, LG, 폭스콘에 원료를 공급하고 이 회사들은 다시 애플, 테슬라, 아마존에 부품을 공급한다."
- 지구적 연산의 과거 역사에는 어두운 역설이 있다. 현재의 대규모 AI 시스템은 환경적 · 데이터적 · 인간적 형태의 추출을 몰아붙이 고 있지만, 알고리즘적 연산은 빅토리아 시대 이후로 전쟁, 인구, 기 후변화를 관리하고 통제하려는 오랜 욕망에서 생겨났다. 역사가 시어도러 드라이어에 따르면 수리통계학의 창시자인 영국의 과학자 칼피어슨은 계획과 관리의 불확실성을 해소하기 위해 표준 편차와 상관 및 회귀 기법을 비롯한 새로운 자료 구성 수단을 개발하고자 했다. 한편 그의 방법은 인종학과 깊이 얽혀 있었는데, 피어슨은 통 계학자이자 우생학의 창시자인 자신의 멘토 프랜시스 골턴 경과 더 불어 통계학이 '인종의 모든 특징에 대해 선택 과정으로 어떤 효과 를 얻을 수 있는지 탐구하는 첫 단계'가 될 수 있으리라 믿었다.”
드라이어가 말한다. 1930년대 말이 되자 회귀 기법, 표준편차, 상관관계 같은 자료 구성법은 세계 무대에서 사회적 · 국가적 정보 를 해석하는 지배적 도구가 되었다. 세계 무역의 접점과 경로를 추 적함으로써 양차 대전 사이의 수리통계학 운동은 거대 제국이 되었다. 이 기획은 제2차 세계대전 이후 계속 확장되었으며, 대규모 산 업적 영농의 생산성을 끌어올리기 위한 갈수기 일기예보 등의 영역 에 새 연산 시스템이 도입되었다. 이 관점에서 보자면 알고리즘 연 산, 전산통계학, 인공지능은 20세기에 사회적·환경적 과제를 해결 하기 위해 개발되었지만 이후에는 산업적 추출과 착취를 배가하여 환경 자원을 더욱 고갈시키고 말았다.
- 후텅후이는 『클라우드의 과거 역사 A Prehistory of the Cloud』에서 이렇게 썼다. '클라우드는 자원 집약적인 추출식 기술로, 물과 전기를 연산 능력으로 전환하며 상당한 규모의 환경 피해를 일으키지만 이 것을 눈에 보이지 않도록 치운다." 이 에너지 집약적 인프라의 문 제를 해결하는 것은 중대 관심사가 되었다. AI 업계가 데이터 센터 의 에너지 효율을 높이고 재생에너지 비중을 늘리려고 나름 노력한 것은 사실이다. 하지만 전 세계 연산인프라의 탄소 발자국은 이미 항공업계의 최고치에 도달했으며 더욱 빠르게 증가하고 있다." 수 치에 편차가 있긴 하지만, 로트피 벨히르와 아메드 엘멜리기 같은 연구자들은 2040년이 되면 기술 부문이 전 세계 온실가스 배출량의 14퍼센트를 차지할 것이라고 추정하며 스웨덴 연구진은 2030년이 되면 데이터 센터의 전기 수요만도 약 열다섯 배 증가할 것이라고 예측한다.
- AI 모형을 제작하는 데 필요한 연산 능력을 면밀히 들여다보면 속도와 정확성 면에서 기하급수적 성장을 이루려는 욕구 때문에 지 구가 막대한 비용을 치르고 있음을 알 수 있다. AI 모형을 훈련하기 위한 연산 처리 수요와 이에 따르는 에너지 소비는 아직도 새로운 탐 구 분야다. 이 분야의 초창기 문헌 중 하나는 매사추세츠 대학교 애 머스트 캠퍼스의 AI 연구자 에마 스트루벨 연구진이 2019년에 발표 한 논문이다. 연구진은 자연어 처리NLP 모형의 탄소 발자국을 이해하 는 데 중점을 두고서 수십만 연산 시간 동안 AI 모형을 가동하여 잠재적 추정치를 파악하기 시작했다. 최초의 수치는 충격적이었다.
- 스트루벨 연구진은 NLP 모형을 하나만 가동했는데도 30만 킬로그 램의 이산화탄소가 배출된다는 사실을 발견했다. 이것은 휘발유 자 동차 다섯 대를 (제조 과정을 포함하여) 수명이 다할 때까지 몰거나 뉴욕에서 베이징까지 비행기로 125차례 왕복하는 것과 맞먹는다." 설상가상으로 연구자들은 이 모형이 최소한의 낙관적 추정치 라고 언급했다. 여기에는 애플과 아마존 같은 회사들이 시리와 알렉 사 같은 AI 시스템을 더 사람처럼 들리게 하려고 인터넷 전체에서 데이터 집합을 긁어모아 자사의 NLP 모형을 훈련시키는 실제 상업 적 규모가 반영되어 있지 않다. 기술 부문의 AI 모형에서 소비하는 정확한 에너지양은 알려져 있지 않다. 이 정보는 기업 비밀로서 철 통같이 보호받는다. 여기서도 데이터 경제는 환경을 계속해서 외면 하는 바탕 위에 존재하고 있음을 알 수 있다.
- 미셸 푸코의 감시와 처벌 이후로 교도소를 오늘날 감시 사회의 원점으로 제러미 벤담을 그 이념적 선구자로 간주하는 태도가 보편화되었다. 하지만 판옵티콘의 실제 원조는 초기 제조 시설이라 는 맥락에서 새뮤얼 벤담이 구현한 설계였다." 판옵티콘은 교도소 를 위한 개념으로 구상되기 오래전 작업장 메커니즘에서 출발했다. 새뮤얼 펜담의 감시 구조물 설계는 우리의 집단적 기억에서 거 의사라졌지만 그 뒤의 이야기는 우리가 공유하는 어휘의 일부로 남아 있다. 감시 구조물은 벤담의 고용주 포템킨 공이 추진한 전략의 일환이었다. 그는 농촌 국가 러시아를 근대화하고 농민을 근대식 제 조업 노동력으로 탈바꿈시킬 잠재력을 과시하여 예카테리나 2세 궁 정의 총애를 사고자 했다. 감시 구조물은 그곳을 방문하는 고위 관 리와 금융업자들을 위한 볼거리로 건설되었는데, 이른바 포템킨 마 을도 마찬가지였다. 포템킨 마을은 가난한 농촌 풍경을 시야에서 가 려 관찰자를 현혹하기 위해 설계된 장식용 허울에 불과했다.
계보는 여기에서 그치지 않는다. 그 밖에도 많은 노동의 역사가 감시와 통제의 관행을 빚어냈다. 아메리카 대륙의 식민지 대농장은 강제 노동을 동원하여 사탕수수 같은 환금작물을 재배했으며 노예 주들은 상시 감시 체제에 의존했다. 니컬러스 머조프가 『볼 권리The Right to Look』에서 묘사하듯 대농장 경제에서 핵심적 역할을 맡은 것은 감독관이었다. 그들은 식민지 노예 대농장에서 생산 과정을 감시했으며 그들의 감독은 극심한 폭력 체제 내에서 노예노동의 질서를 세우는 것을 의미했다. 1814년 한 농장주는 이렇게 말했다. '감독관 의 역할은 노예가 한순간도 가만히 있도록 내버려두지 않는 것이다.
그는 설탕 제조 과정을 늘 감시하며 한순간도 제당소를 벗어나지 않는다." 농장주들은 이 감시 체제를 지탱하기 위해 일부 노예들을 식량과 의복으로 매수하여 감시망을 확장함으로써 감독관이 다른 일에 정신이 팔렸을 때에도 규율과 작업 속도가 유지되도록 했다. 지금의 현대 작업장에서는 감시의 역할을 감시 기술이 주로 대 행하고 있다. 관리 직급은 앱으로 직원의 동선을 추적하고, 소셜 미 디어 게시물을 분석하고, 이메일 답장과 회의 일정 예약의 패턴을 비교하고, 직원들이 더 신속하고 효과적으로 일하도록 유도하는 등 다양한 기술을 동원하여 직원들을 감시한다. 직원 데이터는 (정량 화할 수 있는 소수의 매개변수에 따라) 누가 성공 가능성이 가장 높 은지, 누가 기업 목표에서 이탈할 것인지, 누가 다른 노동자를 조직 화할 것인지 예측하는 데 이용된다. 이를 위해 기계학습 기법을 이 용하기도 하고 더 단순한 알고리즘 시스템을 이용하기도 한다. 작업 장 AI가 널리 보급되면서 기본적인 감시·추적 시스템의 상당수가 확장되어 새로운 예측 능력을 갖추고 있으며 점점 더 개입적인 노동자관리, 자산관리, 가치 추출 메커니즘으로 바뀌고 있다.
- 저술가 애스트라 테일러는 실제로는 자동화되지 않은 첨단 시스템을 과대 포장하는 행위를 '포토메이션 fauxtomation'('가짜'를 뜻하는 'faux'와 '자동화'를 뜻하는 'automation'의 합성어 - 옮긴이)이라고 부른다." 자 동화된 시스템은 예전에 인간이 수행하던 작업을 똑같이 수행하는 것처럼 보이지만 실은 배후에서 인간 노동을 조율하는 것에 불과하 다. 테일러는 패스트푸드 식당의 셀프서비스 무인주문기와 슈퍼마 켓의 무인 계산대를 예로 들며 자동화된 시스템이 직원 노동을 대체한 것처럼 보이지만 사실은 데이터 입력 노동이 유급 직원에게서 고 객에게로 이전되었을 뿐이라고 말한다. 한편 중복 항목을 삭제하거 나 불쾌한 내용을 검열하는 등 겉보기에 자동화된 판단을 제공하는 많은 온라인 시스템을 떠받친 것은 사실 집에서 단조로운 작업을 끝 없이 처리하는 인간 노동자들이다." 포템킨의 장식용 마을이나 시 범 작업장과 마찬가지로 여러 중요한 자동화 시스템은 저임금 디지 털 삯꾼을 부리는 것과 더불어 소비자로 하여금 시스템의 작동에 필 요한 무급 노동을 하게 한다. 그러면서도 기업들은 지능형 기계가 작업을 수행한다며 투자자와 일반 대중을 설득하려 든다.
- 현대적 형태의 인공지능은 인공적이지도 않고 지능도 아니다. 오히려 우리는 광산노동자들의 고된 육체노동, 조립 라인의 반복적 공장 노동, 외주프로그래머의 정신적 노동착취공장 sweatshop에서 벌 어지는 컴퓨터상의 두뇌 노동, 메커니컬 터크 노동자들의 저임금 외 주 노동, 일반 이용자의 자질구레한 무급 노동 등에 대해 이야기할 수 있으며 그래야만 한다. 이 장소들에서 보듯 지구적 연산은 추출 의 모든 공급사슬에 걸쳐 인간 노동의 착취에 의존한다.
- 사회학 교수 주디 와이즈먼은 「실리콘밸리가 시간을 맞추는 방 법How Silicon Valley Sets Time」이라는 논문에서 시간 추적 도구의 목표와 실리콘밸리의 인구 구성이 결코 우연이 아니라고 주장한다." 실리 콘밸리의 엘리트 인력은 더 젊고 더 남성 위주이고 하루종일 일할각 오가 더 확고하며 최대 효율을 향한 가차 없는 승자독식 경주를 전제 한 생산성 도구를 만들어낸다." 이것은 젊고 대부분 남성인 엔지니어 들이 시간을 빼앗는 가족이나 공동체의 책임에 얽매이지 않은채) 자 신의 직장과 전혀 다른 작업장을 사찰하고 직원들의 생산성과 호감도 를 정량화하는 도구를 만들고 있다는 뜻이다. 기술 스타트업에서 곧 잘 찬미되는 일중독과 사생활 포기는 다른 노동자들을 평가하는 암묵 적 기준이 되고 남성적이고 편협하고 타인의 무급(또는 저임금) 돌봄 노동에 의존하는 노동자가 표준적이라는 이상을 만들어낸다.
- '데이터 마이닝' 같은 용어와 '데이터는 새로운 석유다'라는 문구는 데이터 개념을 개인적이고 내밀한 것, 또는 개인의 소유와 통 제에 종속되는 것에서 벗어나 보다 비활성이고 비인간적인 것으로 바꾼 수사적 수법의 일환이었다. 데이터는 소비해야 하는 자원으 로, 다스려야 하는 흐름으로, 활용해야 하는 투자로 묘사되기 시작 했다." '석유로서의 데이터'라는 표현이 일상화되었다. 여기에는 데 이터란 정제되지 않은 원료라는 이미지가 들어 있다. 하지만 기한계약노동 (노동자가 일정 기간 근무지를 떠날 수 없는 노동 형태 - 옮긴이), 지정학적 분쟁, 자원 고갈, 인류의 시간 척도를 뛰어넘어 확대되는 결과를 비롯한 석유 및 채굴 산업의 비용을 강조하는 데 이 표현이 쓰이는 일은 드물었다.
- 결국 '데이터'는 무색무취한 단어가 되어 자신의 물질적 기원과 종말을 둘 다 감추고 있다. 데이터가 추상적이고 비물질적인 것 으로 간주된다면 배려, 동의, 위험 등에 대한 전통적 이해와 책임을 더 쉽게 벗어날 수 있다. 연구자 루크 스타크와 애나 로런 호프먼이 주장하듯, 데이터를 그저 발견되기를 기다리는 '천연자원'에 빗대 는 은유는 식민주의 열강들이 수백 년간 써먹은 탄탄한 수사적 수법 이다." 원시적이고 '정제되지 않은' 출처에서 온 것이라면 추출은 정당화된다." 데이터를 그저 추출되기만 기다리는 석유로 치부한 다면 기계학습은 마땅히 필요한 정제 과정으로 간주할 수 있다.
시장을 원시적 형태의 가치 조직화로 여기는 포괄적 신자유주의적 구상에 발맞춰 데이터는 자본으로도 간주되기 시작했다. 인간활동은 일단 디지털 흔적을 통해 표현된 뒤에 득점 기준 내에서 집계되고 등수가 매겨지면 이제는 가치를 뽑아내는 수단의 역할을 하 게 된다. 푸르카드와 힐리에 따르면 올바른 데이터 신호를 보유한 사람들은 시장 어디에서든 보험료를 할인받고 더 높은 위치를 차지 하는 등의 이점을 누린다." 주류 경제에서의 고성과자는 데이터 득 점 경제에서도 승승장구하는 반면에 성과가 가장 낮은 사람들은 가 장 해로운 형태의 데이터 감시 및 추출의 표적이 된다. 데이터가 일 종의 자본으로 간주될 때는, 더 많이 모은다면 모든 것이 정당화된 다. 사회학자 제이선 서다우스키도 데이터가 이제 일종의 자본으로 작동한다며 비슷한 주장을 편다. 그는 모든 것이 데이터로 이해되 면 점점 증가하는 데이터 추출의 순환이 정당화된다고 말한다. '그리하여 데이터 수집은 자본 축적의 영구 순환에 의해 추동되며 이는 모든 것이 데이터로 이루어진 세계를 자본이 구성하고 여기에 의존 하도록 추동한다. 데이터의 보편성이라는 가정은 모든 것을 데이터 자본주의의 영역에 놓이도록 재배치한다. 모든 공간은 데이터화에 종속되어야 한다. 우주가 잠재적으로 무한한 데이터 저장고로 간주 된다면 그것은 데이터의 축적과 순환이 영원히 지속될 수 있음을 의 미한다. 
축적하고 순환하려는 이 충동은 데이터의 강력한 기저 이데올 로기다. 서다우스키는 대량 데이터 추출이 '축적의 새로운 전선이 자 자본주의의 다음 단계'이며 AI를 작동시키는 것은 이 기반이라 고 주장한다. 따라서 (데이터를 먼저 차지하는 사람이 임자인) 이 미개척지를 원하지 않는 산업, 기관, 개인은 모조리 의심받거나 불안정해진다.
기계학습 모형이 더 정확해지기 위해서는 데이터를 계속해서 공급받아야 한다. 하지만 기계는 점근적이어서 결코 완전한 정 확성에 도달하지 못한다. AI 제련소에 연료를 공급하기 위해 최대 한 많은 사람들에게서 더 많은 데이터를 추출하는 행위가 정당화되 는 것은 이런 까닭이다. 여기서 '인간 주체' (20세기 윤리 논쟁에서 생겨난 개념)에서 '데이터 주체'의 개념 변화가 일어났다. 이것은 주체성이나 맥락이나 명확히 정의된 권리 없이 수집된 자료점 덩어리를 일컫는다.
- 기본적으로, 오랜 데이터 축적 관행은 강력한 추출의 논리에 일 조했는데, 이 논리는 이제 AI 분야가 작동하는 방식의 핵심 특징이 다. 이 논리는 가장 큰 데이터 파이프라인으로 기술 기업들을 살찌 웠으며, 데이터 수집으로부터 자유로운 공간은 처참하게 쪼그라들 었다. 버니바 부시가 예견했듯 기계는 먹성이 무지막지하다. 하지만 기계가 무엇을 어떻게 공급받느냐는 그 기계가 세상을 어떻게 이해 하는가에 어마어마한 영향을 미치며 기계 주인들의 우선순위는 항 상 그 시야에서 어떻게 이익이 산출될 것인가를 만들어낼 것이다. AI 모형과 알고리즘을 형성하고 여기에 정보를 공급하는 훈련 데이 터의 층위들을 살펴보면 세계에 대한 데이터를 수집하고 라벨을 붙이는 일이 (순수한 기술적 행위를 가장하지만 실은) 사회적·정치적 개입임을 알 수 있다.
데이터가 이해되고 수집되고 분류되고 명명되는 방식은 기본 적으로 세계 만들기 world-making와 담기 containment의 행위다. 이것은 인 공지능이 세상에서 어떻게 작동하는지, 어떤 집단이 가장 큰 피해를 입는지에 엄청난 영향을 미친다. 전산학에서 데이터 수집이 선의의 행위라는 신화는 권력의 작동 실태를 가려, 가장 많은 이익을 얻으면서도 결과에 대한 책임을 모면하는 자들을 보호한다.
- 분류의 역사는 아파르트헤이트 체제에서 동성애의 질병화에 이르는 가장 해로운 형태의 인간 범주화가 과학적 연구와 윤리적 비 판의 빛 아래서 순순히 바래지 않았음을 우리에게 보여준다. 변화를 위해서는 정치적 조직화, 지속적 항의, 오랜 대중 운동이 필요했다. 분류 체계는 자신을 빚어낸 권력 구조를 확립하고 떠받치며 이것들 은 적잖은 노력 없이는 달라지지 않는다. 프레더릭 더글러스의 말 을 빌리자면, '권력은 요구하지 않으면 아무것도 양보하지 않는다. 결코 그러지 않았고 결코 그러지 않을 것이다." 기계학습의 보이지 않는 분류체계 내에서는 요구를 제시하고 내부의 논리에 반대하기 가 더 힘들다.
이미지넷, 유티케이페이스, DiF 같은 공개된 훈련 집합은 산업 용 AI 시스템과 연구 관행에 두루 퍼지고 있는 범주화 방식을 이해 할 실마리를 던진다. 하지만 정말로 거대한 분류 기관機關은 메타, 구 글, 틱톡, 바이두 같은 민간 기술 기업에서 지구적 규모로 운용하는 것들이다. 이 기업들은 이용자를 어떻게 범주화하고 표적화하는지에 대해 거의 감시받지 않으며 대중적 논쟁을 위한 유의미한 토론장을 제공하지도 않는다. AI의 짝짓기 과정이 정말로 감춰지고 사람들이 자기가 어떻게, 왜 이익이나 불이익을 받는지 알지 못한다면 집단적인 정치적 대응이 필요하다. 그 일이 더 힘들어지고 있지만 말이다.
- 얼굴에서 '감정을 읽는 접근법은 왜, 수많은 비판에도 불구하고 살아남았을까? 이 생각들의 역사를 분석하면 군사 연구 기금, 치 안 우선주의, 이윤 동기가 어떻게 감정 인식 분야를 형성했는지 실 마리를 얻을 수 있다. 1960년대 이후 국방부의 대규모 자금 지원에 힘입어 개발된 여러 시스템이 얼굴 움직임을 점차 정확히 측정하고 있었다. 얼굴 움직임을 측정하여 내적 상태를 판단할 수 있다는 이 론이 등장하고 측정 기술이 발전하자 사람들은 그 기반이 되는 전 제를 기꺼이 받아들였다. 이론은 도구가 할 수 있는 일과 맞아떨어 졌다. 에크먼의 이론이 신생 분야인 컴퓨터 시각에 이상적으로 보인 이유는 대규모의 자동화가 가능해졌기 때문이다.
기관과 기업들은 에크먼이 정립한 이론과 방법론의 타당성을 믿고서 막대한 투자를 실시했다. 감정이 쉽게 분류되지 않는다거나 표정으로부터 신뢰성 있게 탐지할 수 없다는 사실을 인정하는 것은 성장 중인 산업에 타격을 가하는 격이다. AI 분야에서는 마치 이 문 제가 해결된 것처럼 에크먼을 인용한다. 공학적 난제는 아직 직접 파고들지도 않았는데 말이다. 맥락, 조건화, 문화적 요인이라는 복잡한 요인들은 현행 전산학의 학제적 접근법이나 상업적 기술 부문의 야심과 어우러지기 힘들다. 그리하여 에크먼의 기본적 감정 범주가 표준이 되었다. 미드의 중간자적 입장 같은 더 미묘한 접근법들은 대체로 무시당했다. 이런 탓에 우리가 감정을 경험하고 드러내고 숨기는 여러 가지 방법, 우리가 타인의 표정을 해석하는 방법에 대한 더 거창한 질문들에 대처하기보다는 AI 시스템의 정확도를 끌어 올리는 데 초점이 맞춰졌다.
배럿이 말한다. '우리 분야에서 가장 영향력이 큰 모형 중 상당 수는 감정이 자연에 의해 정해진 생물학적 범주이며, 따라서 감정 범주가 인간 정신에 의해 구성되는 것이 아니라 인식된다고 가정한 다. 103 감정 탐지를 위한 AI 시스템은 이 생각을 전제로 삼는다. 하지 만 '인식'은 감정에 대해 생각할 때 완전히 틀린 토대인지도 모른다. 인식은 감정 범주가 생성적이고 관계적인 것이 아니라 주어진 것이 라고 가정하기 때문이다.
- 증거는 감정 탐지의 신뢰성 결여를 가리키고 있지만 기업들은 수십억 달러의 이익을 약속하는 이 부문에서 시장점유율을 높이려 고 여전히 얼굴 이미지화를 위한 새로운 채굴 원천을 찾고 있다. 사 람들의 얼굴에서 감정을 추론하는 작업 이면의 연구를 체계적으로 검토한 배럿은 다음과 같은 경고문으로 마무리한다. '더 일반적으 로 보자면 기술 기업들은 근본적으로 틀린 질문을 던지고 있는 듯하 다. 맥락의 다양한 측면을 고려하지 않은 채 얼굴 움직임을 분석하 는 것만으로 사람들의 내적 상태를 읽어내려는 노력은 잘해야 불완 전하며 최악의 경우에는 연산 알고리즘이 아무리 정교하더라도 타 당성을 완전히 잃을 수 있다. (......) 이 기술을 이용하여 얼굴 움직 임을 토대로 사람들이 무엇을 느끼는지에 대한 결론에 도달하려는 것은 시기상조다.
- 감정 인식을 자동화하려는 욕구에 저항하지 않는다면 우리는 입사 지원자가 자신의 미세 표정이 다른 직원들과 일치하지 않는다 는 이유로 부당한 평가를 받고, 학생들이 자신의 얼굴이 의욕 결핍 을 나타낸다는 이유로 동급생들보다 낮은 점수를 받고, 고객들이 AI시스템에 의해 얼굴 단서를 바탕으로 잠재적 좀도둑으로 판정되어 제지당할 위험을 감수해야 한다. 기술적으로 불완전할 뿐 아니라 미심쩍은 방법론을 토대로 한 시스템의 비용을 누군가는 짊어질 것이기 때문이다.
이 시스템이 작동하는 삶의 영역은 급속히 확장되고 있으며, 연구실과 기업들은 이를 위한 새로운 시장을 만들어내고 있다. 하지만 그들은 모두 분노, 기쁨, 놀람, 혐오, 슬픔, 공포라는 에크먼의 최초 집합에서 파생한 지엽적 감정 이해에 기대어 시공간을 아우르는 인 간 감정과 표현의 무한한 우주를 몇 가지 범주로 대신해버린다. 이 것은 세상의 복잡성을 단 하나의 분류 체계에 담는 앙상한 세계관으 로 회귀하는 꼴이다. 우리가 거듭 목격한 문제, 즉 지독히 복잡한 것 을 쉽게 연산하여 시장에 내놓을 수 있도록) 지나치게 단순화하려 는 욕망으로 돌아가는 셈이다. AI 시스템은 우리의 신체적 자아가 겪는 가변적이고 사적이고 다양한 경험을 추출하려 하지만 그 결과 물은 감정적 경험의 뉘앙스를 포착하지 못하는 만화적 스케치에 불과하다.
- 군사적 차원에서 지자체 차원에 이르기까지 국가가 이용하는 AI 시스템과 알고리즘 시스템을 뭉뚱그려 들여다보면 추출식 데이터 기법, 타기팅 논리, 감시의 조합을 통한 '총체적 인프라 지휘·통제의 은밀한 철학이 드러난다. 이 목표들은 수십 년간 정보기관들의 중심에 있었으나 이제는 지방정부의 치안에서 복지 배분에 이르는 그 밖의 여러 국가 기능에도 퍼져나갔다." 이것은 추출식 지구적 연 산을 통해 국가, 지자체, 기업의 논리가 깊숙이 얽혀 있는 현상의 일 각에 불과하다. 하지만 거북한 거래이기도 하다. 국가는 자신이 통 제할 수 없고 온전히 이해하지도 못하는 기술 기업들과 계약을 맺고 있으며 기술 기업들은 자신에게 적합하지 않고 미래의 어느 시점에 는 책임져야 할지도 모르는 국가적 · 초국가적 기능을 떠맡고 있다.
- 무차별적 감시에 쓰이는 모든 자금과 자원은 중앙 집중화된 통제라는 '열에 들뜬 꿈fever dream'의 일부이며, 그 대가로 사회구조에 대한 다른 시각들을 희생시키게 된다. 스노든의 폭로는 국가와 상업 부문이 결탁할 때 추출의 문화가 어디까지 치달을 수 있는지를 보여 주는 분수령이었지만, 네트워크 도표와 파워포인트 클립아트는 그 뒤로 일어난 모든 일에 비하면 구닥다리처럼 느껴진다. 국가안보 국의 독특한 방법과 도구는 교실, 경찰서, 직장, 고용지원센터에 스 며들었다. 이것은 막대한 투자, 사실상의 민영화, 위험과 공포를 이 용한 안보 정당화가 낳은 결과다. 여러 형태의 권력이 깊숙이 얽힌 현재의 상황은 제3차 상쇄 전략이 품은 희망이었다. 이것은 전장에 서의 전략적 우위라는 목표를 훌쩍 뛰어넘어, 선량한 시민이 어떻 게 소통하고 행동하고 지출해야 하는가에 대한 규범적 정의를 바탕 으로 (추적하고 점수를 매길 수 있는) 일상생활의 모든 측면을 아우 른다. 이 전환은 '기업의 알고리즘적 통치에 의해 조종되는 국가 주 권'이라는 것에 대한 새로운 관점을 동반하며 국가 기관들과 국가의 봉사를 받아야 하는) 국민 사이에 심각한 권력의 불균형을 강화한다.
- AI는 볼리비아의 소금 호수와 콩고의 광산에서 탄생하여, 크라우드 노동자들에 의해 라벨링되며 인간의 행동과 감정과 정체성을 분류하려 드는 데이터 집합으로부터 구성된다. 예멘 상공에 드론을 날리고 미국에서 이민자 단속을 지휘하고 전 세계에서 인간의 가치 와 위험에 대한 신용점수를 조정하는 데 이용된다. 이 중첩하는 체 제와 맞서려면 AI를 광각적이고 다규모적인 관점에서 바라보아야 한다.
- AI의 데이터 집합은 결코 알고리즘에 공급되는 원료가 아니다. 본질적으로 정치적인 개입이다. 데이터를 수집하고 범주화하고 라 벨링한 다음 시스템 훈련에 이용하는 전체 행위는 일종의 정치다. 이로 인해 이른바 운용 이미지 operational image, 즉 오로지 기계를 위해 만들어진 세계 표상으로의 전환이 일어났다." 편향은 증상이며 근 본 원인은 더 깊숙한 곳에 있다. 그것은 세상을 어떻게 보고 평가해 야 하는가를 결정하는 데 이용되는 광범위하고 중앙 집중적인 규범 논리다.
- 우주 식민지화와 우주 채굴이 기술 억만장자의 공통된 판타지 가 되었다는 사실은 이들이 지구와 맺고 있는 관계에 근본적 문제가 있음을 잘 보여준다. 그들의 미래상에는 석유·가스 채굴을 최소화 하거나, 자원 소비를 제한하거나, 심지어 자신들을 부자로 만든 노 동 착취 관행을 완화하는 것조차 들어 있지 않다. 오히려 기술 엘리 트의 언어에서는 지구의 인구를 이주시키고 광물 채굴을 위해 영토 를 획득하려는 정착식민주의 settler colonialism가 종종 엿보인다. 이와 마 찬가지로 실리콘밸리 억만장자들의 우주 경쟁에서도 최후의 공유 재인 우주에 가장 먼저 도달하는 제국이 그곳을 차지할 수 있다고 가정한다. 이것은 우주 채굴에 대한 주요 조약인 1967년 우주 조약 에 위배된다. 조약에서는 우주가 '인류의 공통 이익'이며 모든 탐사 나 이용이 '만인의 유익을 위해 실시되어야 한다고 규정한다."