무자비한 알고리즘

- 검증되지 않은 순수한 가설은 팩트로 여겨지지 않는다. 여러 번의 검증을 거쳐, 실험에서 반박할 수 없는 결과가 나온 가설들만이 비로소 이론이 되고, 이 이론의 예 측이 통제된 반복실험에서 혹은 자연에서 여러 번 옳은 것으로 입증되어 야만 팩트로 받아들여진다. 이것이 바로 학문적 방법이다. 하지만 머신러닝 알고리즘 사용자들은 이런 학문적 방법을 무시하고, 처리 결과를 곧장 미래의 행동을 예측하는 데 활용한다. 팩트를 얻는 대신 그런 식으로 찾은 상관관계만 신뢰하는 것이 어느 때 충분하지 않은지를 이 책에서 차차 살펴보려고 한다.
- 고전적 알고리즘은 이처럼 의도치 않게 부작용을 초래할 수도 있지만, 알고리즘 설계자가 고의로 드러내놓고 비윤리적인 알고리즘을 만들 수도 있다. 패스워드 피싱이나 개인정보 갈취, 혹은 하드디스크의 데이터를 인 질로 금전 요구 등을 일삼는 유해 소프트웨어들이 그런 경우다. 가령 당 신이 매번 자동차를 운전해서 어디를 갈 때 최소한 한 번은 유명 패스트 푸드 체인을 거쳐 가게끔 내비게이션을 구축하는 것은 내게 쉬운 일일 것 이다. 이런 특별한 내비게이션에 대한 수요가 아직 없을 뿐!! 일례로 2018년에 여러 항공사가 옆좌석에 나란히 앉아 가기를 원하는 승객들을 비교적 자주 갈라놓는 알고리즘을 투입하고, 그럼에도 일행이 함께 앉으려고 하면 추가요금을 징수한 것으로 알려졌다. 영국 민간항 공국의 조사에 따르면 특히 라이언에어가 이런 비리에 연루되어 있다.  물론 라이언에어는 이를 부인했다. 일행을 따로 앉히면 승객들이 불편을 호소할 뿐 아니라, 비상시 탈출에 차질이 빚어질 수도 있다. 왕립항공협회 항공운항 그룹은 보고서에서 그런 결론을 내리면서, 어떤 경우에도 가족은 함께 앉힐 것을 권고했다. 그런 일이 정말로 의도한 것이든 아니면 부주의 때문에 빚어진 것이든 간에, 최상의 소프트웨어를 사용하는 것이 윤리적으로 요망된다고 하겠다.
알고리즘을 비윤리적으로 활용한 가장 유명한 예는 배기가스 조작 스캔들일 것이다. 차량이 테스트상황인지, 실제 도로에 있는지를 감지하는 소프트웨어가 이런 조작에 활용되었다. 그리하여 시험상황에서만 여러 시스템이 켜지거나 꺼져서 배출가스 기준을 충족했고, 실제 운행상황에서는 배기가스가 시험상황에서보다 여러 배 배출되었다. 이런 조작은 복잡한 배기가스 기술을 개발하는 비용을 절약해주고, 엔진 성능을 높여 운전체험을 향상시켜주었다. 그러나 이제 정확히 누가 알고리즘의 오류와 비도덕적 행동을 책임져야 할까? 특히 알고리즘 설계자들의 책임은 얼마나 클까?
- 고전적 알고리즘의 결과는 늘 특정 맥락 안에서만 이해될 수 있음을 보여주었다. 이를 위해 첫째 운영화(O), 둘째 맥락를 수학 문제로서 모델링하는 것(M), 셋째, 알고리즘(A), 이 세 가지가 서로 협연한다. 는 걸 알고 있어야 한다. 모델링이 적절하지 않으면 알고리즘이 도출한 결과를 의미 있게 해석하는 것이 불가능하다. 우리는 앞에서 그 예로 각 각의 출발시간과 도착시간을 고려하지 않는 철도 연결 모델링을 살펴보 았다. 이런 경우 알고리즘은 최단경로를 계산하지만, 결과를 실제에 적용 하기는 힘들다. 중요한 것은 이런 모델링이 문제제기에 따라서는 아주 이성적인 모델이 될 수도 있다는 것이다. 가령 한 역에서 다른 역으로 가는데 걸리는 최소 시간만 알고자 한다면(실제 소요시간과는 그다지 맞아떨어지지 않는) 이런 단순한 철도 연결 모델을 활용할 수 있다.
이번 장의 또 하나 중요한 점은 운영화를 통해 측정할 수 있게 수량화 된 개념이 다르게 운영화될 수도 있는지, 그리고 운영화가 개념의 중요한 측면들을 파악하고 있는지를 점검해야 한다는 것이었다. 내비게이션의 경우 이것은 최단경로를 어떻게 정의할 것인가 하는 질문이었다. 가령 노선의 길이를 기준으로 할지, 예상되는 최단 소요시간을 기준으로 할지 말이다.
마지막으로 나는 알고리즘도 오류가 있을 수 있음을 이야기했다. 그러나 알고리즘이 해답의 특성이 명확히 정해진 수학 문제를 다루는 경우에는 이 해답이 진짜 맞는지를 점검할 수 있다. 경로가 정말 최단경로인지, 정렬이 모든 정렬 규칙을 정말로 준수하고 있는지를 점검할 수 있다. 그러나 휴리스틱의 경우는 대부분 이런 점검이 불가능한데, 많은 머신러닝 방법은 휴리스틱이다. 
- 추천 시스템은 빅데이터를 활용하는 대표적인 알고리즘이다. 머신러닝 방법을 활용한 것으로, 머신러닝은 과거의 데이터로부터 추론 을 해서 적절한 구조를 만들고 미래의 데이터를 위해 결정을 내린다. 머 신러닝의 모든 방법은 인공지능에 속한다. 그러나 현재 추천 시스템이 정 말로 똑똑할까?
온라인 시장이 막 태동했을 때 이 시장이 오프라인 시장을 위협할 거라고는 거의 아무도 상상하지 못했다. 특히나 전문점의 경우는 오프라인숍이 고객들에게 탁월한 맞춤 서비스를 해줄 수 있었다. 하지만 이 책에서 소개한 기술을 사용하면서 상황은 변했다. 우리 대부분은 시간이 흐르며 온라인 숍이 얼마나 양질의 추천을 해줄 수 있는지에 혀를 내두르게 되었다. 어떻게 내가 언젠가 구입한 그 여러 가지 것들이 이렇게 중요한 정보를 포함하고 있었을까 당황하게 되었다. 어쨌든 내가 책을 아주 많이 읽던 시기에는 튀빙겐 자연과학대학에 있는 나의 단골서점 '오지안더도, 나의 단골서점 직원도 내 독서에 발을 맞추지 못했다. 그때는 아마존의 천 재적인 이 책을 구입한 분들은 다음 책도 구입했습니다' 덕분에만 최신 서적을 찾아 읽을 수 있었다. 그러나 요즘 완전히 새로운 것을 찾으려 할 때면 아마존의 추천이 별로 도움이 되지 않는다고 느낀다. 흥미로운 신간 서적이 종종 쓸데없는 책들에 묻혀 의미 없는 그룹으로 분류되어버린다. 동시에 다행히 굉장한 전문지식을 가지고 알고리즘 추천을 뛰어넘는 흥미로운 발굴을 제시해주는 오프라인 서점들이 존재한다. 그리하여 나는 때로 기차 시간을 여유 있게 예약하고 프랑크푸르트 중앙역의 슈미트&한 서점' 심리/IT/경제 코너에서 시간을 보낸다. 아니면 베를린에서 미팅 중간에 틈을 내어 얼른 '두스만으로 뛰어 들어가서는 두둑한 가방과 아이디어로 무장하고 나온다.
하지만 어쨌든 별로 신통치 않은 데이터 속에서 패턴을 인식하는 것이 바로 '인공지능'의 기본 속성이다. 인공지능 분야의 연구자들은 이런 접근 으로 지금까지 인간이 하던 과제들을 컴퓨터로 해결하게 하는 방법을 찾 고자 한다. 그리고 일단 그 일이 이루어지면, 기계가 그런 일을 할 수 있다는 것을 예전에는 상상도 못했다는 사실이 낯설게 여겨진다. 
- 그렇다면 누가 빅데이터 알고리즘의 결과들을 책임질까? 물론 나는 알고 리즘 설계자로서 순수한 결과, 즉 계산된 숫자에 책임이 있을 것이다. 내가 나의 넷플릭스 분석 알고리즘 같은 알고리즘을 프로그래밍한다면, 그 알고리즘은 내가 의도한 일을 해야 할 것이다. 따라서 나는 프로그래밍의 정확성을 책임진다. 하지만 이제 누군가 다른 사람이 그 알고리즘을 다른 데이터에 활용한다면, 알고리즘 설계자로서 내가 그 해석의 결과까지 책임져야 할까?
그런 경우 대부분은 데이터과학자가 참여하게 될 것이다. 데이터과학자는 여러 가지 데이터 분석 방법들을 잘 알고, 대부분은 결과들을 구체적으로 시각화시킬 줄도 아는 사람들이다. 한 기사에서는 데이터과학자의 역할을 이렇게 설명하고 있다. “데이터과학자는 구조화되지 않은 데이터 쓰나미로부터 중요한 비즈니스 문제에 대한 답을 건져 올릴 줄 아는 사람들이다.
예전의 '통계학자'와 비슷하지만, 조금 더 힙하고, 데이터 분석에서 통 계학자와는 다른 목표를 지향하는 신생 직업이다. 통계학에서 데이터 분석의 목적은 설명하는 것이지만, 데이터과학에서는 데이터 안에서 새로운 패턴을 찾아내고자 한다. 그 밖에도 데이터과학자는 능동적으로 프로그래밍을 하고 자신의 분석을 시각적으로 구현해 의사소통할 수 있어야 한다.
- 빅데이터에 대한 접근은 그 자체로는 별로 신통치 않은 많은 정보를 활용해 최소한 통계적인 패턴을 알아내는 것이다. 통계적 패턴은 커다란 무리의 사람들에게만 적용될 뿐 개개인의 행동에 꼭 적용되는 것은 아니다. 이런 접근을 좀더 급진적으로 활용하는 것이 머신러닝이다. 머신러닝은 과거의 데이터에서 패턴을 찾아 새로운 데이터에 대해 결정을 내린다. 따라서 찾아낸 상관관계로부터 직접적으로 규칙을 이끌어내 예측에 활용한다. 가설 수립에서 직접 가설 활용으로 넘어가는 이런 방법이 정당한지는 실측자료를 도구로 한 테스트 데이터세트를 활용하여 확인할 수 있다. 학습한 규칙들이 테스트 데이터세트의 상황과 맞아떨어지면 머신 러닝을 통해 배운 것이 옳다는 의미다.
- 이로써 우리는 이미 이번 장의 주제에 다다랐다. 바로 인공지능 알고리즘은 지금까지 인간 특유의 것으로 여겨졌던 활동, 즉 인지활동을 떠맡는다고 하는 것이다. 이를 지적 활동의 자동화라고도 이야기한다. 인공지능이라는 개념은 오늘날 보통 다음과 같이 정의된다. 
컴퓨터로 하여금 보통은 인간이 해결하는 인지활동을 수행하게 하는 소프트웨어를 인공지능이라 일컫는다.
인공지능의 정의는 물론 여러 가지 문제를 보여준다. 첫 번째 문제는 과연 인지활동 혹은 인간 특유의 지적 행동이 정확히 무엇인가 하는 것이 다. 두 번째 문제는 목표에 도달하면 정의도 변한다는 것이다. 즉 컴퓨터 가 원하던 것을 할 수 있게 되면, 해당 활동은 컴퓨터가 할 수 있다는 이유로 덜 지적인 것이 된다. 그리하여 토비 월시는 움직이는 과녁'이라는 말을 했다.
- 기계학습 과정에서 많은 것이 수작업으로 즉 인간이 일일이 확인해서 결정을 내려야 한다는 것, 그리고 많은 파라미터가 있음을 아는 것이 왜 중요할까?
이는 우리 모두가 기계의 판결에 내맡겨져 있지 않다는 의미이기 때문이다. 기계는 그냥 단순히, 객관적인 방식으로 사실을 확인할 수 있는 순수 수학을 활용하지 않는다. 이것은 어떤 결정들은 틀릴 수 있다는 뜻이다. 그러므로 당신은 기계를 잘 모른다 해도 일부 질문에 함께 결정할 수 있고, 결정해야 한다. 스스로 그런 결정을 내려야 한다. 이를 위해 스스로 기계가 되어 보자. 서포트 벡터 머신Support Vector Machine이 되는 것이다.
- 인풋 데이터가 첫 번째 층의 함수에 의해 처리되면, 그 결과는 다시금 두 번째 층에 인풋 데이터로 입력되고, 그 결과는 세 번째 층 함수의 인풋 데이터로 입력되는 식이다. 마지막 층, 즉 아웃풋 층은 청소로봇의 행동으로 이어진다. 즉 이제 로봇은 멈추든가, 좌회전 혹은 우회전하든가, 전진 혹은 후진하든가 하게 된다. 첫 번째 층의 수학 함수들은 원칙적으로 모든 인풋 데이터를 사용할 수 있다. 그러나 이 데이터들에 각각 다른 가중치를 둔다. 어떤 함수는 카메라 영상을 주로 평가하고, 어떤 함수는 충돌센서 혹은 임의의 조합을 평가한다. 이렇게 가중치를 할당한 계산의 결과는 이제 두 번째 함수로 처 리되고, 다시금 0과 1 사이의 결과가 나온다. 이를 정규화 normalize라고 한다. 계산과 정규화로 이루어진 각각의 함수가 뉴런' 즉 신경세포다. 우 리의 신경세포도 다양한 센서 인풋을 얻고, 그런 다음 활성화되든지' (신호 전달), 비활성화되든지 하지 않는가. 그래서 1(활성화)과 0(비활성화) 사이의값으로 정규화된다. 그 밖에 신경세포들은 감각세포와 연결되어 있을 뿐 아니라, 서로서로도 연결되어 있다. 이것은 인공신경망에서 이전 층의 아웃풋이 다음 층의 인풋이 되는 방식으로 나타난다. 또한 층 사이에서 인 풋에는 다시금 가중치가 할당되고 아웃풋 층은 청소로봇의 행동으로 이어진다. 그러면 그 값이 1에 근접하는 행동이 실행되고 보상 기능면에서 평가된다. 상황과 선택된 행동이 로봇이 빠르게 진행하고 추돌이 감지되 지 않는 것으로 이어지면, 이런 행동에 맞추어진(즉 이런 행동을 선택하도록 긍정적으로 기여하는 높은 값을 공급한) 세포들은 그런 행동에 기여했던 세포 들과 더 강하게 연결된다. 따라서 그런 행동에 긍정적으로 기여한 각 인풋의 가중치는 변한다. 올바르게 결정한 신경세포들을 위한 긍정적인 피드백이 이루어지는 것이다. 가중치가 정확히 어느 지점에서 얼마만큼 변하는가 하는 부분에 데이터과학자들의 기술이 개입된다. 데이터과학자들은 여러 가지 가능성을 동원해 신경망을 조절한다. 반면 행동이 더 낮은 속도, 혹은 측정가능한 충돌로 이어지면, 이런 행동에 이르는 가중치는 약화된다(부정적 피드백), 따라서 잘한 신경세포연 결은 과자를 받고, 그렇지 못한 연결은 엉덩이를 한 대 맞는 것이다. 좀 상궤를 벗어난 이미지였다. 대신에 좀더 인상에 오래 남기를, 삐딱한 것이 아름답다.
- 일방적인 피드백은 알고리즘 기반 의사결정 시스템을 훈련하는 데 나쁜 전제이다. 처음에 트레이닝 데이터가 적을 경우에는 특히 나 그렇다. 그러나 인간과 관련된 영역에서는 리스크나 성공 예측에 관한 한 일방적인 피드백만 존재하는 상황이 예외가 아니라 보통이다. 보통 알고 리즘 의사결정 시스템의 사용자들은 높은 리스크를 가진 사람들을 피하 고, 높은 성공잠재력을 가진 사람들을 찾기 때문이다. 그리하여 이른바 낮은 잠재력을 가졌다고 예측된 지원자들은 그들이 일을 잘 감당할 수 있 었다는 걸 증명할 길이 없다. 기계가 높은 리스크를 예측한 사람들은 그들이 대출금을 잘 상환할 수 있었음을 보여줄 길이 없다. 낮은 교육 잠재 력을 가진 것으로 예측된 아이들은 일찌감치 대학 진학을 포기하게 마련 이라, 그들이 대학 공부를 잘 해낼 수 있다는 걸 증명할 길이 없다.
따라서 이제 머신러닝은 무엇을 할 수 있을까? 재범이나 테러위험 예측, 신용도 평가, 입사지원자 선발과 같은 지금까지의 예는 머신러닝을 투입하는 전형적인 예는 아니다. 그러나 머신러닝이 정말 잘하는 분야가 있다. 시스템이 인간보다 더 능력을 발휘하는 분야다. 
- 이미지인식은 이제는 완전히 기계의 손으로 넘어갔 다고 말할 수 있다. 이것은 무엇보다 두 가지 때문이다.
1) 인간은 몇 안 되는 카테고리에서만 전문가가 될 수 있다. 어떤 사람은 약 3만 개의 뜨개질 패턴을 알고 있고, 어떤 사람은 모든 로봇팔을 구분할 수 있다. 그러나 모터와 버섯, 기각류, 뜨개 패턴을 동시에 똑같은 수준으로 아는 것은 그 누구도 불가능하다. 기계는 많은 카테고리들을 얼마든지 인식할 수 있다. 물론 카테고리를 추가하는 경우에는 기본부터 새로 학습해야 하지만 말이다.
2) 기본이 되는 사진 데이터뱅크와 실측자료, 즉 사진을 분류하는 카테고리들은 앞으로 더 개선되고 완전해질 것이다. 어느 순간 모든 모터 타입, 모든 균류, 모든 해양포유류, 모든 뜨개 패턴에 대한 해상도 높은 라벨링된 사진들이 모든 각도와 다양한 배경으로 존재하게 될 것이고, 이로써 기계의 정확성은 더 완전해질 것이다.
이런 상황은 학습하는 시스템에는 이상적이다. 세월이 흐르며 수백만 의 자원자들과 협업을 하면서 트레이닝 가능한 데이터가 마련된다. 이를 기초로 인류는 얼마 가지 않아 가령 생물종 다양성을 자동으로 조사할 수 있게 될 것이고, 이것은 중요한 생태계에 대한 인간 개입의 결과를 비용을 많이 들이지 않고 지속적으로 감시하는 중요한 기반이 될 수 있을 것이다. 물론 이미지인식은 기계의 각종 자율행동과 감시카메라의 토대가 되기도 한다. 시간이 흐르면서 동물종과 기술적 산물의 사진들이 충분히 존재하게 될 것이며, 우리 중 거의 모두의 사진이 이미지 데이터뱅크 안에 들어가 있게 될 것이다. 자, 인공지능 시스템이 최소한 인간 전문가만큼 능력을 발휘하는 두 번째 예는 의학적 진단과 관련된 것이다. 인공지능 시스템으로 특정 피부암을 발견할 수 있기 때문이다.
- 전문가 시스템은 인간이 만든 규칙들을 의사결정 나무(학습한 것이 아니라, 인간이 구축한 의사결정 나무)나 데이터뱅크 같은 구조에 담는다. 그런 다음 의사결정 알고리즘으로 새 데이터를 이 결정규칙에 넣어 통과시킨다.
이로써 모든 의사결정 규칙과 그 규칙들이 내린 결정들은 인간 입장에서 왜 그런 결정이 나왔는지 늘 이해할 수 있는 것이 된다. 이런 경우는 학습 요소를 지닌 소프트웨어 시스템을 사용하지 않는 것이 좋은 상황이다. 
한편 고전적 알고리즘이 존재하는 수학적 모델링을 할 수 있는 경우도 머신러닝 시스템을 활용하지 않아도 되는 상황이다. 수학적으로 그 해답 을 계산하는 데 얼마나 오래 걸릴지에 따라 판단이 달라지겠지만, 가급적 이면 고전적 알고리즘을 우선 사용해야 한다. 그 방법으로 실제로 최적의 해답을 찾아낼 수 있기 때문이다. 대부분의 머신러닝 알고리즘은 휴리스틱일 뿐임을 기억하라. 즉 해답을 찾으려 하지만, 그것이 최적임을 보장할 수 없는 행동지침일 따름이다.
- 머신러닝은 다음 조건이 충족될 때 기본적으로 성공적일 수 있다.
1) 양질의 방대한 트레이닝 데이터가(인풋) 있을 때
2) 측정가능한 실측자료, 즉 예측할 수 있는 것이(아웃풋 있을 때
3) 인풋과 예측할 수 있는 아웃풋 사이에 인과관계가 있을 때

머신러닝 알고리즘이 인간을 능가하는 면은 다음과 같다.
1) 임의의 데이터에서 상관관계를 찾을 수 있다는 점
2) 다양한 상관관계를 찾을 수 있다는 점
3) 약한 상관관계도 통계 모델에 집어넣어 유익을 이끌어낼 수 있다는 점

추가적으로 다음에 해당될 때 머신러닝의 결과는 믿을 만하다. 
1) 인풋과 예측되는 아웃풋 사이에 인과관계가 알려져 있어 관계자들이 쉽게 합의할 수 있는 명확한 인풋 데이터가 존재할 때
2) 두 가지 오류 유형(위양성/ 위음성 결정)에 대해 가급적 많은 피드백이 있을 때. 그로써 지속적으로 품질을 측정해 통계 모델을 역동적으로 개선할 수 있다.
3) 모든 관계자들이 쉽게 동의할 수 있는 명확한 품질 척도가 있을 때
- 머신러닝은 플랜 B일 따름이다. 그러나 유감스럽게도 플랜 A가 없을 때가 많다. 당면한 많은 문제는 고전적 알고리즘으로 해결을 할 수가 없기 때문이다. 물론 계속해서 인간이 이런 문제들을 해결하거나, 인간과 기계가 함께 해결책을 찾아나간다는 대안은 남는다. 좋은 해결이 무엇인지를 사회가 함께 모색하는 것은 중요하다. 아무도 우리에게서 이런 결정을 앗아갈 수 없다.
- 인간에 대한 알고리즘 기반 의사결정 시스템에서 대부분의 결정은 현재와 미래의 행동에 관계된다. 이 사람이 근무에 적합한 자질이 있 는가? 대출금 상환을 할까? 테러리스트일까? 여기서는 100퍼센트 옳은 결정규칙은 거의 존재하지 않는다. 그러므로 기계의 결정은 늘 통계적 특 성을 띨 수밖에 없다. 어느 개인이 특정 행동을 할 위험성은 그와 비슷한 사람들 내지 그와 비슷한 행동을 보였던 사람들을 기준으로 표시된다. 그 로써 인간행동의 리스크 예측은 힘든 것으로 악명이 높다. 기계가 누군가 의 재범 위험값이 70퍼센트라고 말하면, 이것은 그가 어느 범행으로 인한 사회적 비용의 70퍼센트를 유발하고, 70퍼센트만큼 징역형을 살아야 한 다는 뜻이 아니다. 인간은 범행을 저지르거나 저지르지 않거나 둘 중 하나다. 70퍼센트의 절도나 폭행은 없다. 그런 결과는 통계적 표현이다. 너와 비슷한 사람들의 70퍼센트가 범행을 저지른다'고 하는 것이다. 그 사 람과 닮은 집단은 알고리즘이 정한다.
알고리즘 기반의 의사결정 시스템은 이런 알고리즘적 연대책임으로 개개인의 위험평가를 그룹의 위험률로 대신한다. 이로써 알고리즘적으로 정당화되는 편견이 생겨나는 것이다.
- 기계가 내놓은 결과들을 해석하고 책임성의 긴 사슬에서 행동을 선택할 때에야 비로소 어떤 시스템이 사회적으로 어떤 유익이 있는지를 규정할 수 있다. 지난 장에서 나는 인풋 데이터에 이미 포함되어 있는 차별이 사회적 상황을 더 악화시킬 수 있음을 이야기했다. 열악하게 만들어진 지원자 평가 시스템, 이미지인식 혹은 음성인식, 구인광고의 분배 등. 그러나 이것은 어쩔 수 없이 받아들여야 하는 자연법칙이 아니다. 알고리즘이 대량의 데이터 안에서 부당한 차별을 발견하는 데 도움을 준다면, 그것을 활용할지 말지는 사회적 결정이다.
- 알고리즘 기반 의사결정 시스템의 개발과 활용에서의 윤리적 문제들
* 데이터: 어떤 사회적 개념을 어떻게 운영화했는가? 전체적으로 어떤 데이터를 활 용했는가? 이런 데이터의 질은 얼마나 높은가? 누가 실측자료를 정의하는가?
* 방법: 어떤 유형의 알고리즘을 사용했는가? 데이터의 양이 적합한가, 아니면 데이 터에 굶주리는가? 알고리즘이 오류에서 안전한가? 거기서 나온 통계 모델이 인간 이 이해할 수 있는 것인가?
* 품질 척도와 공평성 척도: 어떤 품질 척도와 공평성 척도를 사용했는가? 그것을 각각 누가 결정했는가?
* 데이터 입력: 데이터 입력에서 어떤 오류가능성이 있는가?
* 해석: 결과가 정확히 어떻게 제시되는가? 누가 그것을 해석하는가? 사람들이 관련 교육을 받았는가? 품질 척도의 값이 알려져 있는가? 이런 척도의 의미를 명확히 의사소통했는가?
* 행동: 누가 최종결정을 내리는가(행동하는가? 기계가 자율적으로 결정을 내리는 가? 아니면 그 뒤에 추가로 인간 결정자가 존재하는가?
* 피드백: 피드백이 쌍방인가, 일방인가? 피드백을 측정할 수 있는가? 어떻게 측정 하는가? 시스템이 어떻게 개선되는가? 더 중요한 목표에 대해, 기계의 활용으로 개선하고자 하는 사회적 목표를 누가 정했는가? 목표 도달을 어떻게 측정하는가?