인공지능은 왜 정치적일 수밖에 없는가

- 우리가 항상 감시당하고 있거나 감시당할 가능성이 있다는 사실을 아는 것만으로도 목적은 충분히 달성한 것이나 다 름 없다. 다시 말해 간섭의 위험이 있다는 사실로, 즉 소극적 자 유가 박탈당할 것이라는 두려움을 불러일으키는 것만으로도 우리의 행동을 규율하기에 충분하다. 같은 상황이 교도소와 수용소 에서 일어날 수 있지만, 직원들의 업무 수행을 관찰하기 위해 작 업 상황에서도 일어날 수 있다. 대다수의 경우 감시는 은밀히 진 행된다. 알고리즘과 데이터, 그리고 이런 데이터를 이용하는 사 람들은 잘 보이지 않는다. 블룸(Bloom 2019)은 이렇게 보이지 않는 측면 때문에 '가상 권력virtual power' 이라는 용어를 사용하는데 다 소 오해의 소지가 있다. 이 권력은 실제로 존재한다.
- 특히 인공지능과 관련된 경우가 많고 평등 및 정의와 관련하여 야기하는 한 가지 문제는 편향이다. 다른 모든 기술과 마찬가 지로 인공지능은 개발자가 의도하지 않은 결과를 가져온다. 그중 하나는 인공지능이 기계학습의 형태로 편향을 가져와 계속 악화 시킬 수 있다는 점이다. 이를테면, 인종이나 젠더 관점에서 정의 된 특정 개인이나 집단한테 불이익을 주고 차별하는 행위가 그에 해당할 것이다. 편향은 다양한 방식으로 발생할 수 있다. 학습 데 이터, 알고리즘, 알고리즘이 적용되는 데이터, 기술을 기획하는 팀 속에 편향이 있을 수 있다.
잘 알려진 사례로는, 미국 위스콘신주에서 보호 관찰에 관한 결정을 내리기 위해 이용되는 위험 평가 알고리즘인 콤파스 (COMPAS) 알고리즘 사건이다. 이 컴퓨터 프로그램은 재범 위험 (재범 경향)을 예측한다. 한 연구(라슨 외Larson et al, 2016)는 콤파스가 흑인 피고인의 경우 실제 사례보다 재범 위험이 더 높다고 본 반 면, 백인 피고인은 실제 사례보다 재범 위험이 더 낮다고 예측한 사실을 확인했다. 아마 그 알고리즘은 이미 결정이 난 사건 데이터로 학습한 결과, 과거에 행해졌던 인간의 편향을 재생산하고 심지어 강화하기까지 했을 것이다. 나아가 유뱅크스(2018)는 인 공지능 같은 정보 기술과 "새로운 데이터 체제"가 종종 빈곤층과 노동계층에게 혜택이나 권한을 주기보다는, 오히려 상황을 더 어 렵게 하는 까닭에 경제적 평등과 정의에 나쁜 영향을 준다고 주 장한다.(8~9) 이를테면, 신기술은 혜택을 받을 자격과 그 결과에 대한 자동화된 의사 결정 방식으로 가난한 소외 계층을 조종하 면서 감시하고 처벌하여 "디지털 구빈원digital poorhouse" (구빈원은 과 거 서구에서 스스로를 부양할 수 없는 자들을 수용하여 거처와 일자리를 제공 한 공적·사적 시설 - 옮긴이)으로 내쫓는 데 이용된다.(12) 자동화된 의사 결정과 데이터 예측 분석을 통해 가난한 사람들이 관리되고 교화되며 처벌받기까지 하는 것이다. "디지털 구빈원은 가난 한 사람들이 공공자원에 접근하는 것을 막고 그들의 노동과 지 출, 성생활 및 양육을 감시한다. 또 그들의 미래 행동을 예측하 려고 애쓰며 명령을 따르지 않는 사람을 처벌하고 범죄자로 만 든다." (16) 유뱅크스는 이런 행위가 자유를 훼손시키는 동시에 불 평등을 계속해서 야기하고 사라지지 않도록 한다고 주장한다. 일 부 사람들(가난한 사람들)은 경제적으로나 정치적으로 가치가 적은 것으로 간주된다. 이 같은 문제는 전반적으로 온라인 정보의 불 평등한 이용 및 접근성 (이른바 디지털 격차)에 더해져서 일어난다. 접근성이 떨어질수록 "정치적, 경제적, 사회적 기회가 줄어드는 것"(세게브segev 2010, 8)도 편향의 문제로 볼 수 있는 한 예이다. 유 뱅크스(2018)의 분석은 또한 디지털 기술 사용이 특정 문화와 관 련되어 있음을 나타내는데, 여기서의 사례는 "가난에 대한 징벌 적, 도덕주의적 관점”(16)을 가진 미국문화를 말한다. 정부가 인 공지능을 이용하는 과정에서 구체적으로 드러나는 이러한 일들 은 편향을 영속화하는 원인이 된다.
하지만 인공지능 및 데이터 과학에 관련된 불평등과 불공정 의 문제는 사법제도, 치안유지, 사회복지관리 등 국가제도 밖에 서도 발생한다. 대출 결정을 내려야 하는 은행의 경우가 있다고 해보자. 이 결정을 알고리즘이 하도록 외부 업체에 일감을 주는 아웃소싱으로 자동화할 수도 있는데, 이 경우 알고리즘은 대출 신청자의 재정 상태 및 고용 기록 외에 그 사람의 우편번호와 이 전 신청자들의 통계 정보를 바탕으로 재무적 위험까지도 계산할 것이다. 만약 어떤 대출자가 살았던 특정 우편번호와 대출 미상 환 간에 통계적으로 상관관계가 있다면, 해당 지역 거주자는 그 사람 개인의 위험 평가가 아니라 알고리즘이 찾아낸 패턴에 기반 해 대출이 거부될 수도 있다. 그 사람의 개인 위험도가 낮을 경우, 이런 결과는 부당하게 보일 것이다. 더욱이 알고리즘은 유색인종 에 대한 편견의 경우처럼, 예전에 결정자였던 은행 관리자의 무 의식적인 편향을 재생산할 수도 있다. 자동 신용점수 평가의 경 우에 대해 벤저민 (Benjamin 20196, 182)은 "어떤 식으로든 점수가 매겨지는 것은 불평등을 일부분 고안해내는 '점수사회'라고 경 고한다." 점수가 낮은 사람은 처벌받기 때문이다. 혹은, 성별 영 역에서 볼 수 있는 (비표준) 사례를 들어보면 다음과 같다. 성별 과사고 accidents 간의 상관관계를 기반으로 젊은 남성 운전자의 자 동차사고 위험이 통계적으로 더 높은 것으로 나온다면, 모든 젊 은 남성 운전자가 한 개인으로서의 위험도는 낮은 데도 단순히 남성이라는 이유로 자동차 보험료를 더 많이 내야 한다고 알고리 즘이 결정하는 것은 과연 공정한 일일까? 가끔은 데이터가 불완 건할 때도 있다. 예컨대, 인공지능 프로그램이 특히 유색인종 여 성과 장애 여성, 노동계급 여성에 관한 불충분한 데이터로 학습 된다면, 크리아도 페레스(2019)가 주장한 것처럼 편견과 성 불평 등의 형편없는 사례라고 볼 수 있을 것이다.

- 더 많은 문제들, 조종과 대체와 책임 그리고 권력
인공지능은 사람을 조종할 목적으로 이용될 수 있다. 결정을 내 리는 데 영향을 미치는 넛지의 가능성에 대해서는 이미 언급한 바 있다.(1장 참조) 인공지능은 다른 디지털 기술과 마찬가지로 인 간의 경험과 생각을 형성하는 데도 이용될 수 있다. 라니어(Lanier 2010)는 과학 기술자들을 대신하여 다음과 같이 말한다. "우리는 사람들의 인지적 경험을, 간접 방식이 아닌 직접 조작으로 논쟁 을 하는 철학을 어설프게 만든다. 믿을 수 없는 속도로 전체 인간 의 미래 경험을 형성할 수 있는 기술을 만들어내는 데는 아주 작 은 엔지니어 집단만 있으면 된다." (7) 인공지능과 또 다른 디지털 기술은 대의 민주주의의 투표 절차가 진행되는 상황에서 개인화 된 광고 등을 통해 유권자가 특정 정치인이나 정당을 지지하도록 유도할 수 있다. 야조프(2019)는 이것이 소수(부동층 유권자들)의 횡포로 이어질 수 있다고 주장한다. 잘 알려진 사례로, 케임브리지 애널리티카 사건(1장 참조)은 사람들을 교묘하게 이용하는 것 과 관련이 있다. 당시 이 기업은 수많은 페이스북 이용자들의 개 인 데이터를 동의 없이 수집한 다음, 2016년 도널드 트럼프의 대 선 캠페인 같은 정치 과정에 영향을 미칠 목적으로 이용했다. 조 작에 인공지능을 이용한다면 벨(Bell 2016)의 정치 리더십 기준으 로 볼 때 지성과 사회적 기교와 미덕을 갖춘 리더라고는 볼 수 없 을 것이다. 따라서 벨은 인공지능이 정치적 리더십을 넘겨받는 경우, 과연 요구되는 지적 능력과 사회적 기교, 미덕을 갖출 수 있 을지는 의심스럽다고 말한다.

- 전체주의의 기원과 악의 평범성에 관한 아렌트의 연구
1951년에 처음으로 출간되고 나치 독일과 소련의 전체주의를 배경으로 쓴 『전체주의의 기원The Origins of Totalitarianism』(2017)에서 아렌트는 전체주의의 구체적인 형태를 설명한다. 동시에 그녀는 사회를 전체주의로 이끄는 조건에 대한 조사 내용을 제시한다. 그녀는 "일관된 거짓말로 허구의 세계를 설정하고 지켜내는 탁 월한 능력" (499) 과 "현실 세계의 전반적인 구조를 경멸하는" (xi) 움직임이 전체주의 사회로 탈바꿈하고 수립하는 데 성공했다면, 이미 그런 사회에 필요한 조건을 근대 사회가 잘 갖추고 있었기 때문이라고 주장한다. 또 스스로 만든 그런 세계에서 근대인은 이전보다 더 큰 힘을 가지고 살아가지도, 그런 세계를 이해하지 도 못한다고 그녀는 지적한다. (i) 무엇보다도 그녀는 어떻게 고 독이, 즉 "고립되어 평범한 사회적 관계가 결핍된" 사람들을 폭 력적인 국가주의에 취약하게 만드는지, 그리고 이것을 히틀러와 같은 전체주의적 지도자들이 어떻게 이용하는지 강조한다.(415) "공포는 서로 대립하면서 고립되어 있는 사람들만 완전히 지배 할 수 있다"는 것이 보다 일반적인 말일 수 있다. (623) 개인의 삶 이 "끔찍하고 야만적이고 부족할 때만이, 고립되고 서로 다툴 때만이, 권위주의적인 검sword의 통치를 리바이어던이 확립할 수 있다는 홉스의 추론을 다시 한번 생각해보라. 문제는 권위주의와 전체주의 그 자체에 있다기보다는, 연대와 집단행동이 부재하고 종국에는 정치영역 자체를 파괴하여 더 깊은 상처를 안게 된다는 점이다. 아렌트가 말했듯이, "고립은 사람들이 공동 관심사를 추 구하기 위해 함께 행동할 때, 그들 삶의 정치적 영역이 파괴될 때 몰리게 되는 그런 막다른 골목이다." (623) 이것은 신뢰가 없는 세 상, "아무도 신뢰할 수 없고 아무것도 의지할 수 없는" 세상을 의 미한다.(628)
오늘날 자기 자신과 추종자를 “사실에 따른factuality 영향으로 부터 "(아렌트 2017,549) 방어하는 움직임은 트럼프를 추종하는 행 위Trumpism와 가짜 뉴스와 (비정부) 테러리즘을 감안할 때 꽤 익숙 한 현상이다. 세상을 이해하지 못하면서 고독을 이야기하는 것도 마찬가지이다. 이는 교육이 부족하거나 사회에서 배제된 사람 들의 문제만은 아니다. 많은 트럼프 지지자들은 중산층이다. (렌 쉬Rensch 2019) 또 이들 모두는 혼자이거나 친구가 없다는 의미에서 외롭다거나 외로웠다는 것이 아닌 것은 확실하다. 그렇지만 이 들에게는 연대하고 신뢰하는 세상이 없다는 아렌트의 의미에서 정치적으로 외롭다고 볼 수 있다. 오늘날 미국에서 일어나고 있는 정치적 고립과 신뢰가 사라진 세상은 한편으로는 편향과 착취, 신식민지주의 (2장 및 4장 참조) 같은 문제들과 관련 있고, 포플리스 트와 우익의 선전 및 이데올로기가 역할을 했으며, 다른 한편으 로는 권위주의의 부상을 위한 이상적인 토양을 형성하는 데 도 움을 준다고 할 수 있을 것이다. 아렌트의 말이 옳다면, 권위주의와 전체주의는 파괴된 사회구조를 만들어내기보다는 이미 파괴된 구조 위에서 성장한다. 아렌트의 관점에서 전체주의는 엄밀히 말 해 정치적 움직임이 아니라 정치영역을 파괴하는 활동이다. 권위주의적이라는 점에서 반민주적인 동시에 "조직적인 고독organized loneliness" (아렌트 2017, 628) 이고, 서로에 대한 신뢰의 파괴이며, 진실 및 사실에 대한 믿음의 약화이기도 하다. 이러한 관점에서 기술에 관한 문제를 다음과 같이 반드시 다시 물어야 한다. 인공지능 같은 현대사회의 기술이 전체주의의 조건의 원인이 되고, 또 그렇게 될 가능성이 있는가? 원인이 된다면, 그 이유는 무엇인 가?

- 어떤 데이터 세트를 연구할 것인지에 대한 선택은 사람들이 결정한다. 주관적인 결정이고 정치적인 결정이다. 일단 데이터 세 트에 입력된 각 개인은 그것들 간에 그리고 그것들을 데이터 세 트에 집어넣고 그 데이터 세트를 이용해 알고리즘을 훈련하고, 궁극적으로 그것들에 대한 결정을 내리는 보이지 않는 힘 간의 새로운 거래의 일부가 된다. 이는 권력의 비대칭을 나타내며, (선택과 권력의 결과인) 이러한 비대칭은 데이터 정치학과 궁극적 으로 데이터 경제를 뒷받침하는 것이다. 데이터 경제는 모든 수 준에서 정치적이다. 그 이유는 대체로 일부 조직이 누가 데이터 세트에 들어가고 누가 제외되는지 결정함으로써 다른 조직에 대해 막대한 영향력을 행사하기 때문이며, 그러한 결정은 광범위하게 영향을 미칠 수 있다. (바르톨레티 2020, 38)

- 한병철은 금지와 명령이 현대사회에서는 “프 로젝트, 주도권, 동기부여로 대체된다고 주장한다.(9) 규율 사회 는 광인과 범죄자를 낳는 데 반해, "성과 사회는 우울증 환자와 낙오자를 만들어낸다." (9) 우울증을 앓고 있는 사람들은 자기 자 신이 되는 것에 힘들어한다. 무엇보다도 사람들은 일을 수행하고 완수해야 하는 상황에서 스스로를 착취한다. 이들은 기계가 된 다. 하지만 착취자와 피착취자가 같으므로, 여기서 저항하는 일 은 불가능한 것처럼 보인다. 즉 "과도한 업무와 성과는 자동 착취 로 확대된다." (11) 우울증은 "성과 주체chievement-subject가 할 수 있 는 것을 더 이상 할 수 없을 때 생긴다.”(“nicht mehr konnen kann" 10; 한병철의 독일어본 강조) 마르크스주의 분석과 연관 짓는다면, 자본주의 체제는 이러한 자기 착취를 요구한다. 자본가의 관점에서 보면, 사람들이 일의 성과를 충분히 올리지 못하고 스스로가 만족할 만 큼 향상되지 못할 때, 자신만을 탓하는 것처럼 보이기 때문에 멋 진 시스템이 아닐 수 없다. 심지어 우리는 사적 영역에서조차 끊 임없이 자기 향상을 위해 분투해야 한다고 생각한다. 인공지능과 관련 기술은 업무 성과를 높이는 데 사용되지만 스스로를 향상시 키는 데도 더 이상 가능하지 않을 때까지 활용한다. 심지어 자기 자 신을 구성하는 일조차 더 이상 성과를 낼 수 없을 정도로 지칠 때까지 모니터링하고 분석하여, 끌어 올리는 기술에 의해 부추겨지 는 성취 문제가 되었다. 자기 향상을 위해 적절한 앱을 활용하고 더 많은 노력을 기울여야 했는데 그렇지 못한 책임이 오로지 자 기 자신한테 있는 듯하기 때문에, 그러한 권력과 통치성 시스템 에 저항하기는 쉽지 않다. 우울증에 빠지거나 지친다면 자신의 잘못이며 성취에도 실패한 것이나 다름없다.