책정리

- 데이터를 현금화하는 데는 크게 2가지 방법이 있다. 하나는 기업의 내부에서 데이터를 활용해 효율적으로 운용함으로써 비용을 최적화 하거나 매출이나 이익을 최대화하는 '간접적 현금화 방식'이다. 또 하 나는 데이터에서 찾은 인사이트 insight를 상품·서비스에 탑재해 가치 를 추가로 높이거나 데이터 자체를 상품화해 거래하는 '직접적 현금화 방식'이다. 데이터를 현금화하기 위해서는 기업의 데이터를 상품화 하는 과정과 데이터 기반의 사업 모델을 수립하는 전략이 필요하다. 데이터 상품화는 다음과 같이 4단계로 이뤄진다.
1단계: 전혀 가공되지 않은 원천 데이터
2단계: 정제돼 단순히 연결 · 통합된 데이터
3단계: 데이터 융합으로 만들어진 데이터
4단계: 분석 알고리즘을 활용한 지수 또는 추정 데이터

- 페이스북 - 케임브리지 애널리티카 정보 유출 사건 
이 사건은 2018년 초에 케임브리지 애널리티카가 수백만 명의 페 이스북 가입자 프로필을 사전 동의 없이 수집하고 정치적 선전목적으로 사용했다는 사실이 밝혀지면서 일어난 정치적 논쟁이다.
2015년과 2016년에 미국 공화당 소속 상원 의원인 테드 크루즈Ted Cruz의 선거 캠페인에서 케임브리지 애널리티카에 불법 데이터 사용 료를 지불했다는 사실이 보도됐다. 이에 크루즈 선거 본부 측에서는 해당 데이터들이 적법하게 수집된 것이라 생각했다고 주장했다.
더욱이 케임브리지 애널리티카가 수집한 해당 데이터들은 2016년 미국 대통령 선거와 영국의 브렉시트 국민투표뿐 아니라 인도, 이탈리아, 브라질 등 여러 나라에서 투표자들에게 영향을 미치는 데 사용됐다는 것도 밝혀졌다.
이후 페이스북에서는 정보 유출로 피해를 입었다고 생각하는 사용 자들에게 메시지를 보내, 수집된 정보는 아마도 그들의 공개된 프로필'과 '좋아요'로 반응한 페이기들, 생일과 현주소지 정도일 것이라고 안심시켰다. 하지만 그 이후에 페이스북의 일부 사용자들의 뉴스피드, 타임라인, 메시지까지 수집됐다는 사실이 추가로 밝혀졌다. 케임브리지 애널리티카가 페이스북을 이용해 수집한 데이터들은 해당 데이터 주인들의 성격 특성도 psychographic Profiles까지 뽑아 낼 만큼 자세했으며, 심지어 위치까지 파악할 수 있었다. 이렇게 유출된 데 이터들은 여러 나라에서 정치 캠페인 목적으로 활용됐다. 예를 들어 어떤 종류의 정치 광고가 특정 장소에 있는 누구에게 효과적인지를 선별하는 데도 쓰였다.
결국 페이스북의 CEO 마크 저커버그는 2013년 미 의회 청문회에 출석해 케임브리지대학의 연구원 알렉산드르 코간이 페이스북 사용자뿐 아니라 그들의 페이스북 친구들의 정보까지 빼낼 수 있는 퀴즈 앱을 만들었고, 30만 명의 페이스북 사용자가 그 앱을 설치했다고 시 인했다. 그리고 2019년 7월 미국의 연방거래위원회는 투표를 시행 해 페이스북에 50억 달러의 벌금을 부과했다.

- 데이터와 정보는 시간이 지나면 가치가 떨어지는 속성을 지니고 있기 때문에 이들의 가치를 재생시키기 위한 데이터 가공·관리 기술과 가공한 데이터에서 인사이트를 찾기 위한 데이터 분석 기술이 필요하다. 또한 데이터 분석으로 찾은 인사이트를 현장에 적용 하기 위해 현장을 설득하는 과정도 필요하다. 이런 과정을 거쳐 해당 인사이트를 현업 프로세스에 적용하면 기업의 기존 수익 모델을 바 꾸는 등과 같은 파급 효과를 얻을 수 있다.
물론 기업의 모든 문제를 데이터만으로 해결할 수는 없다. 하지만 현재의 불확실성을 줄이고 미래를 준비하는 최선의 방법은 사실을 기반으로 한 데이터와 정보를 기준으로 기업의 의사결정을 하는 것이다.
- 웹 1.0은 월드 와이드 웹의 창시자인 팀 버너스 리rim Berners Lee가 인터넷에 첫 번째 웹 페이지를 쓴 1990년에 시작됐다. 이 초창기 웹은 주로 읽기만 할 수 있는 홈페이지 위주의 HTML 형식이었다. 주로 기업에서 홍보나 배너 형식의 광고에 활용했으며, 얼마나 많은 방문 객이 웹 페이지를 봤느냐가 관심의 대상이었다.
웹 2.0 시대는 2004년에 정보 기술 전문 출판사인 오라일리미디어 의 CEO인 팀 오라일리rim O'Reily가 ‘웹 2.0 컴퍼런스’라는 회의를 주 최하면서 시작됐다. 웹 2.0에서는 주로 사용자 위주의 내용, 쌍방향 접촉, 협력을 강조한다. 쓰기와 읽기가 가능한 커뮤니티 중심의 소셜네트워크 사이트, 블로그, 비디오 사이트, 웹앱, 위키피디아 등이 이에 해당한다. 기업에서는 웹 2.0을 이용해 다양한 장소에서의 실시간 보고서 및 모니터링 공유가 가능해졌다. 웹 2.0의 중요성은 웹을 기업의 마케팅 이나 고객 관리에 적극 활용하기 시작했다는 데 있다. 상품과 관련된 고객 커뮤니티 활동을 도와줌으로써 충성 고객을 관리하고, 자사 상 품의 의견 불만을 수렴하는 소셜 고객 관리가 가능해진 것이다. 웹 3.0은 웹 국제표준화단체인 월드 와이드 웹 컨소시엄W3C에서 만든 웹 표준을 따르는 시맨틱 웹semantic Web의 시대다. 이 시대에는 데이터의 '연결'뿐 아니라 '의미'도 중요해졌다. 이는 웹에서의 공통된 데이터 형태나 프로토콜 교환으로 데이터 공유를 가능하게 함으로써 커뮤니티, 기업, 앱 간에 데이터를 재사용하기 쉽게 만드는 것이다. 따라서 웹 표준을 지켜 데이터를 제작하는 게 중요하다. 2013년 기준 4,000만 개의 웹 페이지가 이 시맨틱 웹 표준을 따르고 있다.
웹 1.0이 내부 기업 중심이고, 웹 2.0이 커뮤니티 중심이라면, 웹 3.0은 외부 산업 간의 연결 중심으로 4차 산업혁명을 가능하게 하는 단계에 해당한다.

- 대표적인 고객 관리 시스템의 종류는 다음과 같다.
1) oCRM: 고객 서비스, 영업, 마케팅을 통합 · 자동화하는 영 차원의 고객 관리 시스템 
2) aCRM: 수집 · 통합된 데이터 분석 · 예측 · 활용을 강조한 고객 관리 시스템 
3) gCRM: 지리 정보를 활용한 고객 관리 시스템 
4) eCRM: 인터넷과 모바일을 연결한 고객 관리 시스템
5) sCRM: 소셜 네트워크를 활용한 고객 관리 시스템
-특히 aCRM은 기존 세그먼트 중심의 고객 관리 시스템에서 심화된 데이터 마이닝과 예측 분석 기술을 발전시킴으로써 타깃 마케팅에 커다란 공헌을 했다. 거의 1990년대 말부터 시작된 CRM은 웹 2.0 시대를 지나면서 2005년쯤에는 소셜 CRM으로 발전했다. 소셜 CRM은 다음 그림과 같이 전통 CRM에 고객들의 온라인 커뮤니티 및 소셜 네트워크 관련 데이터를 포함시켜 기업의 수익 창출에 기여하는 고객 서비스 · 영업·마케팅에 활용하는 모든 활동을 의미한다. 구글 트렌드에서 소셜CRM'을 검색해 보면 2008년부터 상승세를 나타내고 있다는 것을 알수 있다.
전통 CRM은 기업의 고객 관리 사업부에서 기존 고객 위주의 정해진 채널로(전화 상담 또는 방문) 거래 및 접촉 활동과 이력에 따른 정보를 고객에게 일방향으로 전달하는 의사 소통방식이었다.
반면, 소셜 CRM은 철저히 고객 중심의 프로세스로 운영된다. 즉, 기업과 관련된 모든 사람이 다양한 채널(이메일, 모바일, 웹 등)을 이용해 고객이 선택한 시간에 정보를 양방향으로 소통·공유하는 방식으로 운영된다. 또한 고객들이 상호 파트너로서 정보를 공유하는 협력체를 만들기도 하며, 기업에서는 이런 활동과 관계를 지원한다. 기업은 이 런 과정에서 기업 정보 시스템에 쌓이는 정보를 재가공해 고객 및 협력 기업들과 공유하며 발전해 나간다.
최근에는 다양한 채널을 뛰어넘는 옴니 채널 마케팅이 주목받고 있다. 옴니 채널의 '옴니'는 '모든 것'을 의미하는 라틴어 '옴니omi'를 의미한다. 옴니 채널 마케팅은 전통적인 고객 소통 채널(전화, 방문 등) 과 디지털 채널(인터넷, 모바일 등)을 통합해 최적의 마케팅 효과를 만들 어 내는 전략이다. 이러한 마케팅을 이용하면 기업은 온·오프라인 스 토어, 모바일, 전화, 인터넷 등과 같은 모든 채널을 하나로 연결해 고객이 필요로 하는 정확한 정보를 전달할 수 있다.
결국 정보 시스템에 따른 데이터의 전사적 통합이 기업이 데이터 기반의 운영 체계로 변신하는 터닝포인트가 된다는 사실을 알 수 있다.

- (1) 효율성 모델
지속적 저비용 기반의 수행 성과를 제공하는 모델로, 일상의 상시 업무를 주로 수행한다. 잘 정의되고 쉽게 이해되는 규칙이나 프로세 스가 장점이다. 대표적인 예로는 자동 신용 결정, 드론의 물건 배달 등을 들 수 있다.
(2) 효과성 모델  
유연한 통합과 협력을 지원하는 모델로, 다양한 영역을 상호 연결 하는 업무를 주로 수행한다. 의사소통과 상호 협조에 의존하는 경향 이 있다. 대표적인 예로는 소비자나 전사 고객 서비스 가상 에이전트, 협력적 업무 프로세스 관리 등을 들 수 있다.
(3) 전문성 모델
특정 전문 기술이나 영역 지식을 활용하는 모델로, 전문가의 상황 판단이 필요한 업무를 주로 수행한다. 전문적인 기술과 경험에 의존 한다는 장점이 있다. 대표적인 예로는 의료 진단 시스템, 법률 또는 금융 리서치 등을 들 수 있다.
(4) 혁신성 모델
창의력과 새로운 아이디어를 실현하는 모델로, 원천 기술을 다루거 나 혁신적인 업무를 주로 수행한다. 전문성, 실험, 탐구 그리고 창의성에 의존하는 경향이 있다. 대표적인 예로는 바이오 메디컬 연구, 패션 디자인, 음악 창작 등을 들 수 있다.
- 데이터 기반 비즈니스 모델 - 빌 슈마르조 모델
대표적인 비즈니스 모델인 '빌 슈마르조 모델'은 미국의 스토리지업체 델 EMC의 CTO(최고 기술 책임자)인 빌 슈마르조Bill Schmarzo가 구 상했다. 기업 내부의 데이터 활용 혁신 과정을 고려해 만든 데이터 기 반 비즈니스 모델이다. 이 모델을 살펴보면 성공적인 데이터 기반의 사업 모델은 프로젝트 방식으로 단번에 만들어지는 것이 아니라 점진적으로 이뤄진다는 사실을 알 수 있다.

- (1) 모니터링 단계
모니터링 Monitoring 단계에서는 비즈니스 인텔리전스BI를 활용해 현 재 진행되는 비즈니스의 성과를 측정한다. 기본적인 분석으로 비즈니 스 목표에 따른 성과를 달성 또는 미달로 표시하고, 해당 결과와 함께 그에 따른 조치 · 가이드를 담아 각 부서의 담당자에게 자동으로 경고 메시지를 보낸다. 이 단계에서는 이전 기간의 캠페인 또는 다른 산업 을 벤치마킹해 브랜드 인지도나 고객 만족도, 상품 품질, 수익 등과 관련된 지수를 산정한다. 또한 비즈니스 의사결정 중에서 데이터 분석이 가능한 영역을 선정하고, 분석 환경sandbox을 구성하며, 분석 지수에 대한 프로파일을 만든다. 이와 함께 기업의 데이터 사용자들을 대상으로 데이터 활용에 대한 내용을 교육한다.
(2) 인사이트 단계 
인사이트.insights 단계에서는 통계, 예측 분석, 데이터 마이닝을 활용 해 실현 가능한 비즈니스 인사이트를 찾아 내고, 이를 진행 중인 비즈니스에 접목한다. 예를 들어 마케팅 부문이라면 특정 캠페인이 더 효과적이라 추천하고, 구매 횟수가 평소보다 줄어든 우수고객에게는 할인 쿠폰을 보내라고 추천한다. 또 제조 부문이라면 표준 범위를 벗 어난 생산 라인의 기계를 예측해 알려 준다.
이 단계에서는 데이터의 활용이 부서별로 이뤄진다. 비즈니스 인사이트 단계가 성숙기에 접어들면 분석을 최적화하기 위해 데이터 레이크 Data Lake와 같은 빅데이터 플랫폼을 구축해 데이터 중심의 의사 결정과 운영에 대한 효과성을 측정한다.
(3) 최적화 단계
최적화optimization 단계에서는 프로세스를 자동화하기 위해 고급 분석을 조직 내부에 내재화Embeded하는 애플리케이션을 사용한다. 이 단계에서는 데이터를 전사적으로 활용할 수 있게 된다. 따라서 각 지방의 날씨나 구매 이력 등을 기반으로 재고 및 자원 배분과 인력을 최적화하 는 등 전사적인 효율화가 완성된다. 예를 들어 소셜 미디어 데이터에서 얻은 인사이트를 이용해 적정 재고를 관리하고 최적의 상품 가격 을 책정하기도 한다.
내부의 데이터 활용이 성과를 내고 경험이 쌓이면 새로운 상품이 나 서비스를 창출할 기회도 만들 수 있다. 예를 들면 소매 유통 분야 에서 상품을 분석하고 분류하는 작업에 인공지능을 이용한 자동 분류 엔진을 사용할 수 있다. 이런 자동 분류 엔진은 제품화할 수도 있다. 즉, 내부 문제를 해결하기 위한 분석 인사이트를 개발해 기업 내 프로세스에 적용하고 최적화한다.
(4) 데이터 현금화 단계 
데이터 현금화 Data Monetization 단계에서는 기업 내부를 뛰어넘어 다 른 기관이나 기업을 대상으로 한 외부 비즈니스에 주목한다. 이 단계에 진입한 기업은 분석 인사이트를 포함한 데이터를 패키지화해 다른 기관이나 기업에 판매한다. 이 예를 들어 맵마이런닷컴MapMyRun.com은 모바일 앱을 이용해 사람의 이동 장소와 활동 이력을 관리해 주는데, 이러한 데이터에서 찾아 낸 고객 취향과 관련한 데이터를 패키지화해 스포츠 의류 제조 기업이나 스포츠 용품 소매상, 보험회사, 의료 관련 기관에 판매한다. 이와 같이 데이터 현금화 단계에서는 데이터와 분석 인사이트를 활용 해 새로운 시장 · 상품 고객을 창출한다.
(5) 모델 혁신 단계 
모델 혁신Metamorphosis 단계에서는 데이터를 바탕으로 새로운 시장 을 창출하기 위한 혁신적 비즈니스 모델을 구축한다. 대표적인 사례는 다음과 같다.
* 가정용 기기 제조사가 예측 분석을 활용해 교체 시기를 추천하거나 비용과 환경 등을 고려해 적절한 브랜드를 추천하는 서비스 비즈니스 모델을 창출
* 항공사에서 고객의 여행 패턴, 선호도를 바탕으로 고객이 여행하고 싶어하는 지역의 쇼핑 정보, 스포츠 이벤트, 렌터카, 호텔 등을 찾아 추천하는 비즈니스 모델을 창출

- 데이터를 자산으로 인식하기 위해서는 '데이터 거버넌스적인Data Governance 접근이 필요하다. 데이터 거버넌스는 데이터 활용을 중심으로 한 인력, 프로세스, 정책에 관련된 일련의 시스템적 접근을 말한다. 즉, 기업 스스로 어떤 데이터를 보유하고 있으며, 필요한 데이터가 어디에 있고, 데이터를 이용해 무엇을 하고 있으며, 접근성과 데이터 품질은 어떤지, 추가로 어떤 데이터를 새로 더 수집해야 하는지 등에 관한 전사 차원에서의 운영 가이드나 정책을 세우는 것을 말한다. 데 이터 거버넌스는 데이터 관리 기능 중 중요한 영역이다. 
- 데이터 기획은 데이터의 속성과 프로세스를 전체적으로 정의하고 찾아내는, 데이터 활용을 위한 첫 번째 작업이다. 이러한 작업을 통해 만들어진 정확한 데이터 구조와 프로세스는 지속적이고 단계적으로 진행된다. 또한, 잘 정의된 데이터 기획은 데이터에 쉽게 접근할 수 있게 해주고, 데이터를 잘 관리하게 해주며, 미래에 데이터 보강을 수 월하게 해준다.
데이터 기획은 비즈니스 규칙을 적용한 저장 시스템 및 데이터 통합에도 관여한다. 초기 데이터 생성을 위한 주체는 주로 사물, 사람, 현상들을 시간상 또는 공간상의 패턴이나 흐름을 관찰한다. 관찰된 데이터 현상이나 경험은 주로 크게 시간, 공간, 대상의 변수들 조합으 로 이뤄진다. 이는 데이터를 기획할 때 주체가 육하원칙에 따라 생성 가능하다는 의미다. 예를 들면 고객이 오늘 온라인으로 운동화를 샀다면 고객의 이름, 구매한 시간, 구매한 위치, 구매 상품 그리고 구매 여부가 변수들의 조합이다.
- 데이터 시대에서 기업을 성공적으로 이끌기 위한 최우선 과제는 모든 수단을 동원해 내·외부데이터를 연결 · 통합·융 합할 수 있는 환경을 만드는 데 있다. 빅데이터 역시 그냥 그 자체로 존재하기도 하지만, 대부분은 분산된 데이터를 연결 · 통합함으로써 만들어진다.
- 기업의 데이터 사일로silos 효과로 인해 데이터가 분산되어 있다는 것은 데이터가 존재하기는 하지만 정보로서의 연관성이 없거나, 필요 시점에 활용할 준비가 되어 있지 않은 상태임을 의미한다.
예를 들어 사람의 모양이나 특성을 알아야 한다고 가정해 보자. 그 런데 팔이나 손에 관한 데이터는 A 저장소에 있고, 다리와 발에 관한 데이터는 B 저장소에 있는 등 신체 각 부위에 관한 정보가 각기 다른 곳에 있다면 어떻게 될까? 이런 경우 각 신체 부위별 정보는 알 수 있 겠지만, 신체 전체의 모양이나 특성에 대한 정보는 알 수가 없다. 이 처럼 데이터가 분산되어 있거나, 정제되어 있지 않아 데이터 활용을 어렵게 하는 '데이터의 병목 현상Bottleneck'이 생긴다.
- 데이터 세트와 데이터 세트 간의 연결은 연결의 최소 단위일 뿐이고, 기업의 운영이 복잡해질수록 정보 시스템의 데이터베이 스 간의 연결이나 서로 다른 기종의 데이터베이스 간의 연결도 필요 하다. 나아가 기업 내·외부의 서로 다른 플랫폼이나 채널 간의 데이터 연결도 필요해진다.
- 연결된 데이터는 분산된 데이터보다 낫기는 하지만, 필요한 정보를 뽑아내기 위해서는 여전히 더 많은 작업이 필요 하다. 바로 '데이터 통합'이 그러한 작업 중 하나이다. 여러 개의 데이 터 세트들을 식별자로 연결한 후 중복 식별자들을 걸러내서 단독 식 볼가들만으로 데이터 세트를 구성하고, 필요한 내용에 대해 중복 정 보를 게거하거나 잘못된 포인트 값을 수정하거나 빠진 포인트 값을 캐워 넣는 등의 정게 작업을 하는 것이다. 예를 들어 여러 날짜로 된 동일한 경보가 있으면 최근 날짜의 가장 정확한 내용으로 변환하거나 잘못 기입된 포인트 값을 수정하는 작업이다.
- 리서치 기업인 누스타Neustar에서 조사한 바에 따르면, 원천 데이터 는 2~3년 정도 지나면 20~30%의 가치만 남고 가치 대부분이 소멸 한다고 한다. 예를 들어 어떤 기업이 나에 관한 데이터를 가지고 있다. 고 생각해 보자. 처음에는 그 기업이 내가 사는 곳, 직장 등 나에 관한 정확한 데이터를 가지고 있지만, 2년 뒤 내가 이사를 하고 직장을 옮 긴 사실을 그 기업에 알려주지 않으면 그 기업에는 처음에 수집한 정 확하지 않은 데이터만 남게 된다. 이는 결국 데이터를 다시 사용Data Reusable 하려면 '정제Data Refinery'가 필요하다는 의미이다. 데이터 정제 는 주소 업데이터와 같이 시간의 흐름에 따라 데이터를 업데이트도 하 지만 데이터의 오류를 수정하는 것, 데이터의 단위를 일관성 있게 맞 추는 것 등 다양한 데이터 품질에 관련된 일련의 업무들을 포함한다.

- 데이터 관리 플랫폼은 전사적으로 통합된 데이터에 외부에서 구매 한 데이터를 추가하는 방법으로 데이터를 수집하고, 이를 가공 · 신호 생성 · 분석 · 접근 조치하는 과정을 거쳐 기업에서 중요한 의사를 결 정하는 데 필요한 정보를 제공한다. 최근 들어 이 과정이 더욱 중요해 지면서 DMP가 데이터를 기반으로 비즈니스를 영위하는 기업의 필수 조건이 됐다. DMP는 크게 개별 기업의 내·외부 데이터를 가공하는 프라이빗 데이터 관리 플랫폼Private DMP'과 산업 간 또는 기업 간 데이터의 연결과 광고나 마케팅의 활용을 돕는 '퍼블릭 데이터 관리 플랫폼Public DMP 으로 구분한다. 
- 데이터 분석으로 데이터 모델을 개발한 후에는 이를 비즈니스 서비스(미디어나 채널)에 적용하기 위해 '의사결정 엔진Decision Engine'이 필 요하다. 의사결정 엔진은 알고리즘 기반의 분석 모델이나 룰들을 보 관하는 저장소와 이벤트가 생겼을 때 조건을 검색하는 엔진으로 구 성되는데, e커머스에서 흔히 사용하는 추천 엔진이 이에 해당한다. 의사결정 엔진들은 추천이나 룰 기반의 엔진, 신경망 네트워크, 빅 데이터와 강력해진 컴퓨팅 파워를 바탕으로 여러 기능을 조합해 AI를 플랫폼화하고 있다. AI 플랫폼은 인지 서비스cognitive Services, 봇Bot 도구를 사용한 대화형 AI 등 사전에 구축된 API에서 머신러닝 Machine Learning을 사용한 사용자 맞춤형 모델의 구축에 이르기까지 포괄적인 AI 서비스 세트를 제공한다.
예를 들어 고객의 구매 여정, 즉 상품 인지, 판단 그리고 구매에 이 르기까지 각 단계별로 고객의 성향을 분석하거나 예측 모델 등과 같 은 인공지능을 활용하는 AI 서비스를 세트로 제공한다.
- AI 플랫폼은 알고리즘 개발자 및 데이터 과학자가 AI 도구를 활용해 AI 솔루션을 쉽게 만드는 데 도움을 준다. 이를 이용하면 데이터 연결, 분석 모델 구축 및 학습, 모델 배포와 성과를 추적할 수 있다. 대표적인 상업용 AI 플랫폼으로는 구글의 클라우드 머신러닝 엔진 Cloud Machine Learning Engine, 아마존의 세이지메이커 sageMaker, 마이크로 소프트의 애저 머신러닝 스튜디오 Azure Machine Learning, 세일즈포스의 아인슈타인Einstein, IBM의 왓슨 스튜디오 Watson Studio 등이 있다.
- 매켄지의 조사에 따르면, 2019년과 2020년 미국 기업의 50~60% 가 데이터 활용에 실패했다고 한다. 데이터 활용에 실패한 이유에는 데이터 기술 인력 부족, 경영진의 지원 부족, 데이터 사일로 현상 등이 있겠지만, 거의 대부분 데이터 거버넌스와 관련된 이슈들 때문이다.
데이터를 다양한 업무에 활용하려면 누군가는 데이터를 정리해 야 하고, 데이터를 가공하는 프로세스를 만들어야 하며, 새로운 데이 터 룰을 정의해 동기화하고 데이터의 생명 주기를 관리해야 한다. 이 와 같이 데이터 자산을 관리하는 일련의 업무를 '데이터 거버넌스path Governance'라고 한다. 데이터 거버넌스에는 데이터를 관리하는 데 필요한 프로세스, 역할, 책임, 정책도 포함된다.
- 데이터 거버넌스에 관련된 인식은 어느 한순간이 아니라 시대를 거치면서 발전했다. 미국의 경우, 데이터 거버넌스에 관한 논의가 처음 이뤄졌던 1980~1990년대에는 주로 단순 데이터 분석이 관심의 대상이었다면, CRM이 기업의 주요 관심사였던 1990년대 말부터 는 데이터의 품질을 포함한 데이터 통합이 주요 관심의 대상이 됐다. 2000년대 후반으로 넘어오면서부터는 데이터 관리, 프로세스, 정책 을 포함한 데이터 거버넌스에 중점을 두면서 현재와 같은 형태로 진화했다. 그리고 2010년대 이후 데이터 거버넌스 체계가 확립되면서 빅데이터 활용의 성공 가능성이 높아졌다.
- 메타데이터는 데이터의 잠정적인 가치를 높이는 것이므로 반드시 관리해야 한다. 메타데이터는 데이터를 설명하는 데이터, 즉 데이터에 관련된 정보를 포함하고 있는 데이터다. 메타데이터는 데이터에 관련된 등급, 구조, 내용 정보를 제공함으로써 데이터를 쉽 게 관리하고 검색할 수 있다. 메타데이터 저장소 Metadata Repository는 기업의 메타데이터를 저장하 는 장소로, 데이터를 자동으로 수집하기 위한 기능과 요청 · 승인·확 인 등의 데이터 관리 업무 프로세스를 효율적으로 수행하기 위한 워크 플로 기능을 제공한다.
특히 데이터의 보안 및 위험 관리를 위한 데이터 등급 체계도 메타데이터 시스템에서 관리된다. 데이터 등급 체계는 기업마다 달리 적 용하지만, 데이터 거버넌스 차원에서 이를 관리하는 정책이나 프로세 스가 필요하다. 특히 데이터를 공개해야 하는 공공 기관에서는 정보 공개의 안전성과 투명성을 확보하기 위해 반드시 데이터 등급 체계를 전사적으로 관리해야 한다.
- "데이터의 품질 측면'을 관리하려면 비즈니스 규칙, 품질 모니터링, 품질 대시보드, 이슈 관리, 데이터 연계 등과 같은 데이터 관리 시스 템을 확인해야 한다. 데이터의 품질은 데이터의 품질 수준은 다음과 같이 다양한 요소에 따라 결정된다.
* 완전성: 필요한 데이터를 얼마만큼 보유하고 있는가? 
* 적시성: 적정한 시간에 데이터가 존재하는가?
* 유효성: 비즈니스에 가치가 있는가?
* 일관성: 시스템 간의 데이터가 일치하는가? 
* 정확성: 데이터가 실제 현상을 정확히 반영하는가? 
* 연관성: 데이터 객체(Entity) 간 내용의 관련성이 있는가?
* 최신성: 최근 데이터로 갱신됐는가?
- 데이터 거버넌스 구현의 3단계
데이터 거버넌스는 단기간에 완성되기 어려우므로 기업이나 기관에서는 다음과 같이 단계적으로 접근해야 한다. 
1단계, 운영적 접근 단계에서는 여러 부서의 협력 없이 주로 IT 부서에서 데이터 정책·보안·보호를 담당한다. 이 단계에서는 데이터가 기업의 전략적 자산으로 취급되지 않으며, 조직 내에 데이터를 전적으로 담당하는 실무자나 관리자가 없다.
2단계, 전술적 접근 단계에서는 현재 직면하고 있는 이슈에 중점을 두고, 데이터 거버넌스를 수행한다. 주로 데이터 거버넌스에 관련된 책임, 역할, 정책에 신경쓰며, 데이터에 관련된 메타데이터, 비즈니스 용어를 표준화한다. 이 단계에서도 여전히 최고 의사결정자의 지원이나 관여는 없다.
3단계, 전략적 접근 단계에서는 데이터를 기업의 자산으로 인식하고, 기업 내 데이터의 성장에 도전이 되는 환경에 적극적으로 대처하면서 데이터 거버넌스를 장기적 · 미래지향적으로 바라본다. 기업은 이 단계에서 데이터 거버넌스 위원회와 데이터 최고 책임자Data Chief Oficer, 데이터 위험 관리 최고 책임자Data Risk Officer를 두고, 데이터에 서 최대의 가치를 뽑아 내기 위한 전사적 노력을 아끼지 않는다. 이 단계에서는 데이터 가치를 주기적으로 확인해 회계적으로도 적용한 다. 또한 주로 프런트엔드Front-End 위주로 고객의 관점에 관심을 둔 다. 그리고 전사적으로 비정형 데이터에 관련된 개념이나 기술에 관해 논의하거나 새로운 단어를 표준화하는 데도 적극적이다.

- 서비스 아키텍처는 시대별로 발전하면서 진화해 왔다.
(1) 모놀리식 아키텍처
과거 모놀리식 아키텍처 Monoliths Architecture는 문제가 생겼을 때 원인을 추적해 수정하기가 어려웠을 뿐 아니라 유지 관리도 힘들었다. 즉 공통된 라이브러리를 사용해 서로 연결돼 있으므로 데이터를 주가하거나 갱신할 때 시스템 전체를 부팅해야만 했고, 구조상 확장성이 제한적이었다. 물론 모놀리식 아키텍처가 나쁘다고 말할 수는 없다. 애플리케이션이 간단하고 다른 애플리케이션 모듈과의 연결성이 부족할 때, 예를 들어 기업의 웹 서비스나 간단한 운영 모니터링 서비 스는 여전히 모놀리식 아키텍처를 사용한다.
(2) 서비스지향 아키텍처
서비스지향 아키텍처service-Oriented Architecture, SOA는 소프트웨어를 재사용할 수 있도록 서비스 단위나 구성 단위로 분리해 구축하는 방식 의 아키텍처를 말한다. 데이터의 구조상 캐노니컬 데이터 모델canonical Data Model을 따른다는 점에서 모놀리식 아키텍처와는 다르다.
캐노니컬 데이터 모델의 장점은 단일 구조의 데이터 모델이라는 것이지만, 구조상 하나의 변화만 생겨도 시스템 전체의 개발이나 운영에 문제를 일으킬 수도 있다는 단점이 있다. 그리고 신기술이나 추 가 구조 확장을 적용하기 어렵다. 이 모델은 기업의 전체 데이터로 구 성돼 있지 않고, 통합 데이터 단계에 필요한 여러 도메인의 데이터를 공유한다. 클라우드 시스템을 아직 도입하지 않은 대부분의 기업이 이 서비스지향 아키텍처를 사용한다.
(3) 마이크로 서비스 아키텍처
빠르고 지속적인 변화에 대응해야 한다면 마이크로 서비스 아키텍 처를 고려해 볼 만하다. 마이크로 서비스 아키텍처는 시스템 간에 메 시지를 주고받을 수 있도록 최소한으로만 연결되고, 나머지는 독립적인 프로세스로 구성된 분산 아키텍처다. 따라서 새로운 환경에서 테 스트하기 쉽고, 확장하거나 운영하기도 쉽다는 장점이 있다.
마이크로 서비스 아키텍처는 서로 독립된 여러 도메인으로 나뉘어 있기 때문에 시스템의 일부에 문제가 생겨도 전체 애플리케이션으로 확산되지 않는다는 장점이 있지만, 기술적으로 복잡하다는 단점이 있다.
마이크로 서비스 아키텍처를 사용하는 대표적인 기업으로는 넷플릭스'를 들 수 있다. 넷플릭스는 데이터 서비스를 약 500개 이상의 마이크로 서비스 아키텍처를 활용해 지원하고 있다. 이로써 매일 100~1,000개의 새로운 서비스가 적용되거나, 바뀌거나, 없어진다고 하는데, 그런데도 거의 모든 서비스를 사용할 수 있다고 한다.
또 다른 기업 사례로는 '이베이eBay'를 들 수 있다. 이베이는 초기에 펄Perl 기반의 모놀리식 아키텍처를 활용하다가 이를 하나의 C++ 라이브러리로 바꿨고, 지금은 마이크로 서비스 아키텍처를 사용하고 있다. 트위터 역시 이와 비슷한 변화 과정을 거쳐왔다. 

- IoT 플랫폼에서 데이터 서비스의 가장 큰 이슈는 수집되는 데이터 속도에 맞게 처리하는 일이다. 센서에서 수집되는 데이터의 속도에 따라 크게 3가지 주기로 구분된다.
* 일일 또는 시간 단위의 배치(Batch Process) 
* 분 또는 초 단위의 마이크로 배치(Micro Batch) 
* 마이크로 초 단위(Milisecond)의 실시간 이벤트 프로세스(Event Process)
- 마이크로 초 단위의 실시간 이벤트는 전기 공급 서비스나 공장의 생산 라인 셧다운Shutdown과 같은 산업 재해를 막기 위해 필요한데, 이 경우에는 클라우드 시스템만으로는 너무 늦고 수천, 수백 개의 디 바이스에서 모은 수십 테라바이트TB의 데이터를 전송하기도 어렵다. 이때 포그rog 또는 엣지 컴퓨팅 Edge Computing 기술을 사용한다. 이들은 데이터의 저장 및 전송 지점을 데이터를 생성하는 디바이스에서 처리할 수 있게 도와준다. 즉, 생산 공장의 라인, 전봇대의 꼭대기, 기찻길, 자동차 등에서 바로 데이터를 저장 및 전송하는 것을 말한다. 이로써 데이터 전송이 지연Latency 되는 것을 줄일 수 있다. 엣지 컴 퓨팅이 물리적 디바이스에서 데이터를 수집·분석 · 프로세스하는 통제 시스템이라면, 포그 컴퓨팅은 데이터가 발생하는 지점의 로컬 네트워크 Local Area Network, LAN 안에서 데이터를 처리하는 시스템을 말한다. 이렇게 데이터를 감지하는 디바이스에서 데이터를 빠르게 처리해 IoT 플랫폼에 센서 데이터를 전송하는 것이다.

- 글로벌 기업들은 수십 년 동안 그 시대에 맞는 기업의 핵심 역량을 강화하고 위기를 극복하기 위해 데이터를 생성 · 수집·분석해 비즈니스에 적극적으로 활용해 왔다. 초기 제품의 품질과 다양성 시대에는 주로 데이터 생성에 관심을 갖게 됐고, 유통·가격 시대에는 데이터 분석 · 통합에 관심을 갖게 됐으며, 광고·마케팅 시대에 접어들어서는 많은 정형 데이터를 분석 · 확장해 활용하게 됐다. 이로 인해 웹 2.0 시대 이전까지는 주로 경제학 · 통계학·수학 전공 자들처럼 숫자나 통계에 익숙한 인력을 고용해 실무자들에게 각 비 즈니스 영역에 맞는 분석 방법을 가르쳤다. 예를 들면 마케팅 분석가 에게는 마케팅 믹스 모델이나 가격 결정 모델을 가르치고, 금융·재정분석가에게는 신용 위험 관리 분석이나 사기 감지 모델을 가르치는 식이었다. 이러한 인력들은 주로 데이터 분석가, 비즈니스 분석가, 비 즈니스 인텔리전스BI 또는 리포트 분석가라 부르기도 했다. 그리고 이러한 분석가들이 지속적으로 경험을 쌓으며, 기업의 일정 영역이 아닌 고객, IT, 신사업, 신상품 등과 같은 다양한 영역으로 확장해 나갔다. 웹 2.0 시대 이후에는 비즈니스 환경이 더욱 복잡해지고 업계Domain지식의 중요성이 강조됨에 따라 기업에서 단순 분석가보다는 업계에 관한 깊은 지식과 경험을 보유한 고급 분석가, 즉 데이터 과학자를 선호하게 됐다. 이에 따라 기업들은 데이터를 활용하기 위해 단순 분야 별 데이터 분석가뿐 아니라 심리학, 물리학, 경영학, 엔지니어 영역의 전문가들까지 영입하기 시작했다. 2010년대로 넘어오면서 실시간 웹 3.0으로 데이터 과학이라는 영역이 더 유명해지면서 전통 비즈니스 분석 분야보다 훨씬 성장 발전했다. 이로 인해 데이터 과학 영역이 소셜 네트워크에서 발생하는 비정형 데이터의 분석까지 확장됐고, 최근에는 각 영역별 기업 내부 데이터를 다른 산업 영역으로 연결해 활용하는 단계로 발전하게 됐다.
이러한 과정을 분석 정보 시스템 측면에서 살펴보면, 초기에는 ERP를 통해 데이터를 생성 · 수집하는 데 집중하다가 이후에는 데이터 마이닝으로 발전했다. 그리고 비즈니스 인텔리전시와 관련된 소프트웨어 개발 시대에 접어들어 분야별 분석가들의 역량이 점차 성장하고, 영업·마케팅 · 인사 등의 운영 부서와 IT 부서 간 협력 과정에서 현업의 경험을 기반으로 인문적 요소, IT 기술, 공학적 지식을 결합해 성과를 거두는 단계로 성장했다. 
- 데이터 활용을 실패하게 만드는 요소들이 있는데, 그중에서 특히 중요한 항목은 다음과 같다.
1 데이터에 관련된 사용자의 이해(Data Literacy)와 접근의 어려움: 데이터의 사일로, 보안, 개인 정보 관련 
2 데이터로부터 충분하지 않은 패턴이나 신호의 생성 또는 생성 전문 기술 부족 
3 비즈니스 목표에 충분히 부합하지 않는 분석 인사이트: 시장 트렌드, 고객 서비스, 상품의 경쟁력 부족 
4 개발된 분석 모델이 운영상(Production) 전체 데이터에 관련된 확장성 부족 
5 현업 사용자에 관련된 교육 부족이나 불편함에 따른 미사용
6 사업을 진행하기 위한 적절한 예산이나 인력 부족

- 택사노미Taxonomy는 데이터를 활용하기 위한 인사이트를 찾는 데 유용한 툴이다. 택사노미는 교육, 비즈니스, 과학 등과 같은 다양한 분야에서 사용하는 일종의 데이터 분류 시스템으로, 최근에는 대량의 디지털 비정형 데이터를 관리하는 데 널리 사용되고 있다.
택사노미는 데이터들의 내용상 유사성이나 관계를 고려해 그룹을 분류하고 체계를 만든다. 기업은 비즈니스의 목적과 사업 전략에 따 라 다양한 택사노미를 구성하고, 지속적으로 관리 · 업데이트해야 한다. 최근에는 광고나 마케팅의 DMP 데이터 서비스 영역에서도 택사노미를 많이 사용하고 있다.
다만 택사노미는 톱다운Top-down 및 중앙 집권 방식으로 구성돼 있어서 생성의 정확성은 보장하지만, 시 시때때로 변화하는 다양한 지식과 경험을 반영하지 못하는 단점이 있다. 이런 이유로 최근에는 포크소노 미Folksonmy, 즉 기존 택사노미에 사용자 누구나 자유롭게 분류 키워드를 선택하고, 구성원이 함께 정보 를 체계화해 나가는 시스템을 결합한 하이브리드 택사노미 모델을 제시했다.
대표적인 하이브리드 택사노미인 포크소노미는 분류 체계를 중앙 에서 관리하기는 하지만, 사용자가 정보를 지속적으로 제공함으로써 현장의 정보와 경험을 반영할 수 있다는 것과 사용자가 익숙한 용어 를 사용할 수 있다는 장점이 있다.

- 인공지능은 알고리즘 지능 Artificial Intelligence is Algorithmic Inteligence 이다. 알고리즘이란 어떠한 문제를 해결하기 위해 정해진 일련의 절차나 방법을 말한다. 이 알고리즘이 발전하여 기계가 스스로 문제를 해결하기 위한 절차나 방 법을 개발할 수 있는 능력이 생기는 것이 인공지능이다. 인공지능이 잘 하 는 일은 추천이나 분류, 또는 예측이다 보니 인간의 지능과는 차이가 있다. 인공지능만 있으면 뭐든지 척척 해내야 하는데 실상은 그렇지 못하다. 바둑 두는 인공지능은 바둑을 인간보다 잘 두고, 기상관측 인공지능은 지진이나 태풍 예측을 인간보다 먼저 감지할 뿐이다.
- 데이터 마이닝 과정은 일반적으로 SEMMA라는 5단계 프로세서를 거친다. 수많은 데이터에서 샘플 데이터를 추출하는 Sampling(샘플링) 단계가 첫 번째이다. 두 번째는 데이터의 상관 관계를 분석하는 Explore(탐구) 단계이고, 세 번째는 데이터 마이닝을 위한 최적의 데이터로 Modify(변환) 하는 단계이다. 데이터 마이닝 과정에서 가장 중요한 단계는 문제 해결을 위한 방법과 알고리즘을 적용하는 Modeling(모델링) 단계이다. 마지막 단계는 모델의 결과를 평가한다. 시각화 도구를 이용하여 의사 결정에 적용하는 Assessment(평가) 단계이다.
이 중 가장 중요한 단계인 모델링은 연관성 분석, 군집분석, 의사결정 트리와 같은 문제 해결 방법이 있다. 연관성 분석Association Analysis은 맥주와 기저귀와의 연관성을 밝혀 낸 분석 방법으로 유명하다. 대형 마트의 소비자 구매 분석을 통해 사람들이 맥주와 기저귀를 함께 사는 것을 발견하였 다. 이를 토대로 두 개의 상품을 묶어서 팔거나 매장의 같은 위치에 배치 하자 매출이 증가하였다. 군집 분석clusturing Analysis은 군집 내에 속한 개체들 은 집단 내 동질성을 갖고, 서로 다른 군집에 속한 개체들은 집단 간 이질 성을 갖는다. 즉, 군집분석은 군집 내 동질성은 최소화하고, 집단간 이질성은 최대화하는 알고리즘이다.
의사결정 트리는 분류classification와 회귀Regression가 모두 가능한 방법으로 문제를 해결하기 위한 방법 중 가장 강력하여 널리 쓰이는 방법이다. 의사결정 트리는 스무고개 하듯이 질문을 이어가며 선택의 기로에서 두 가지 경로 중 하나를 선택하는 방법이다. 트리 구조를 가지고 있기 때문에 결정 트리라고 부른다. 의사결정 트리를 이용하여 다리가 없고 바다에 사는 동물은 돌고래'라는 것을 알 수 있다. 이런 식으로 기업의 부도 예측이나 신용평가 결정 등 다방면에 사용되고 있다.
과거 SNS에서 하는 대화와 지금의 대화는 분명 다르다. 40대 성인의 대화와 10대 청소년의 대화가 다르다. 빅데이터는 40대와 10대의 서로 다 른 대화의 패턴을 읽어낸다. 이를 통해 지금을 살아가는 사람들의 관심사 나 사회 현상의 방향성을 미리 예측하도록 돕는 기술이다. 이런 의미에서 스스로를 '마인드 마이너 Mind Mine'라고 소개하는 빅데이터 전문가 송길영은 “우리가 빅데이터에 주목해야 하는 이유는 일어날 일은 일어나기 때문입니다. 내가 하는 모든 일이 데이터가 되는 세상에서는 앞으로 어떤 일이 일어날지 미리 알고 대비해야 합니다. 빅데이터가 주는 힌트를 잘 관찰하면 사람들의 진짜 욕망을 발견할 수 있습니다”라고 이야기 한다.
- 데이터 크롤링이 클라우드 상에 있는 데이터를 단순히 수집하는 것이라면 데이터 마이닝은 분류, 추정Estimation, 예측 Prediction, 연관성 규칙Association Rule, 군집화 등의 여러 방법을 통해 데이터를 채굴하는 것이다. 채굴된 데이터는 미래 사회에 귀중한 자원이 된다. 채굴할 데이터를 알아보는 눈이 필요하다. 이런 능력을 타고난다면야 행운 이지만 대부분은 노력을 통해 길러진다. 데이터 분석가가 가져야 할 역량은 데이터를 바라보는 관점이다. 관점의 차이는 창의력에서 나오고 남들과 다른 생각, 다른 관점을 갖기 위한 노력을 가져야만 미래 사회의 경쟁력을 갖게 된다. 결국, 인간이 할 수 있는 능력에 집중해야 하는 이유이다.- 서포트 벡터 머신 Support Vector machine은 주어진 데이터를 2개의 영역으로 분류하는 이진 분류기이다. 마찬가지로 기존 데이터를 바탕으로 새로운 데이터가 어느 영역에 속할지 분류하는 알고리즘이다. 서포터 벡터 머신 을 이용하여 사과와 배를 분류해보자. 우선, 사과와 배를 분류하는 직선을 하나 긋는다. 마진 최소화는 직선과 사과, 직선과 배와의 거리가 최소가 되는 선을 찾는 방법이다. 그림에서 보이는 것처럼 분류는 잘 될 수 있지 만, 새로운 사과 데이터가 입력되었을 때 오차가 발생한다. 반면, 마진 최 대화'는 직선과 사과, 직선과 배와의 거리가 최대가 되는 선을 찾는다. 이 방법으로 새로운 사과 데이터 분류가 잘 되는 것을 볼 수 있다.
2진 트리와 같이 '네/아니오'로는 결정하기 어려운 데이터의 경우에도 제대로 자료를 분류할 수 있다. 또한 선형으로 분류하기 어려운 경우도 거리를 최대화하면서 주어진 자료를 분리하는 평면이 존재하는 알고리즘이다. 지금까지와는 다르게 선이 아닌 평면으로 데이터를 분류한다는 점이다. 이를 '초 평면'이라 한다. SVM은 얼굴 인식, 이미지 분류, 단백질 염기서열, 생물 정보학을 포함하여 2010년 신경망 이론이 나오기 전까지 머신러닝의 성능을 입증했다.
- 최근접 이웃 분류 K-NN
최근접 이웃 분류K-NN, K-Nearnest Neighbor Classification에 대해 알기 전에 분류와 군집화의 차이를 알아야 한다. 분류는 말 그대로 라벨이 있는 데이터를 지도학습기계에게 데이터와 정답을 함께 학습시키는 방법을 통해 분류하는 것을 이야기한다. 군집화는 라벨이 없는 데이터를 클러스터링하는 방법이다. K-NN 알고리즘은 라벨이 있는 데이터의 분류 사이에서 라벨이 없는 데이터를 어느쪽 로 분류할 것인지를 찾는 분류 방법이다. K-NN 알고리즘은 데이터로부터 가까운 거리의 다른 홀수 개의 데이터를 참조하여 분류하는 알고리즘 방법이다. 거리를 측정할 때는 유클리디안 계산법을 사용한다.
K-NN은 간단한 알고리즘이지만 이미지 처리, 영상에서 글자 인식 및 얼굴 인식, 영화나 음악 상품의 추천 서비스를 포함한 개인 선호도 예 측 및 의료, 유전자 데이터의 패턴 인식 분야 등에서 널리 응용되고 있다. K-NN은 단순하고 효율적이면서 수치 기반 데이터 분석에서 성능이 우수 하다는 장점이 있다. 예로 인접한 K개의 데이터 라벨을 보고 새로운 데이 터 A를 판단한다면 A는 사과를 선호하는 것으로 분류된다. K개는 동점을 방지하기 위해 반드시 홀수개로 설정되어야 하며 적절한 수의 K개의 데이터 선택이 중요한 알고리즘이다.
- 예측은 미래에 발생할 데이터를 대상으로 분류, 분석하는 방법이다. 개체 들을 유사한 특징이 있는 여러 개의 그룹이나 클래스로 나눌 때 클래스들 을 클러스터 Custer라 하고, 나누는 작업을 클러스터링 Custering이라고 한다. 이 렇게 개체들을 그룹으로 나누는 과정을 통해 클러스터 내부 멤버들 사이 는 서로 가깝게, 서로 다른 두 그룹 사이의 멤버 간에는 서로 멀리 떨어지 도록 군집화하는 방법이다.
K-means 클러스터링은 간단하면서도 많이 사용되는 방법 중 하나이 며 K-평균 군집화 방법이라 불린다. 원리는 첫째, 군집 내 응집도 최대화 이다. 즉, 같은 군집 내 객체 간의 거리는 최소화하는 것이다. 둘째, 군집 내 분리도 최대화이다. 다른 군집과의 거리를 최대화하는 방법이다. 즉, 같은 군집 내에서는 객체들이 가까이 붙어있고, 다른 군집과는 멀리 떨어져 있도록 하는 방법이다.
기본적으로 K-means 클러스터링은 Expoetallion 알고리즘과 MMaxinlization 을 사용한다. 클러스터의 수를 2로 정하고, 2개의 클러스터의 중심점(b) 을 무작위로 설정한다. 그 후 모든 데이터와 중심점과의 유클리디안 거리 를 구해 가장 가까운 중심점에 할당한다. 이를 Expectation 단계라고 한다. 두 개로 나눠진 클러스터들에서는 각 중심점이 중심에 오도록 업데이트 해준다. 이 단계가 Maximization이다. 중심점은 클러스터된 데이 터들의 평균값으로 계산한다. 계산된 결과로 중심점의 위치를 바꾼다. 이 중심점에 맞게 또 다시 데이터 세트들을 클러스터링한다. E-M-E-M을 반복 학습해 결과가 바뀌지 않을 때까지 한다.
- 군집화는 클러스터링 clustering이라 하며 유사한 것들을 찾아 그룹을 만드는 것을 의미한다. 얼핏 보면 분류와 같은 개념처럼 보인다. 군집화는 아직 분류되지 않은 데이터를 끼리끼리 묶어주는 것이다. 분류는 새로운 데이터가 어떤 그룹에 속하는지를 판단하는 것이다. K-평균 군집화k-means 클 러스터링 방법을 이용하여 군집화하는 방법을 앞서 설명하였다.
연관 규칙 학습Association rule learning은 장바구니 학습Market Basket Analysis이라고도 불린다. 이는 기저귀를 사는 사람들이 맥주도 함께 산다는 규칙에서 나온 이름이다. 온라인 쇼핑 시 라면과 계란, 식빵과 우유, 샐러드와 소스 등 함께 구매할 확률이 높은 상품을 추천해 주는 시스템이다. 훈련 데이터에 서 데이터 특성 간 관계를 그룹으로 묶어주는 모델이라 할 수 있다. 대량 의 데이터에서 인간이 표를 보고 관련성을 찾기란 매우 어렵다. 이런 경우 연관 규칙학습을 이용하면 효율적인 예측이 가능하다. 훈련 데이터를 그 룹화하는 것은 군집화이고, 훈련 데이터의 연관된 특성을 그룹화하는 것 은 연관 규칙 학습이라 할 수 있다.
- 합성곱 신경망은 인간의 시각을 흉내낸 것으로 이미지 인식과 분류에서 탁월한 성능을 발휘한다. 지금까지 이미지 인식은 이미지의 픽셀Pixel 값을 그대로 저장하여 분류하고 인식했다. 픽셀이란 이미지를 구성하는 최소 단위의 점을 말한다. 따라서, 픽셀 정보가 바뀌면 이미지를 제대로 인식하지 못했다. 같은 사물이라도 이미지는 다양한 형 태를 띠고 있으며 필기체 역시 사람마다 서체가 다르다. CNN은 픽셀 정보를 행렬값으로 받아 저장하여 이미지가 손상되는 문제를 방지하였다. 이미지의 픽셀값을 그대로 저장하는 것이 아니라 특징을 추출하는 사전 훈련 과정을 거친 후 신경망을 통해 학습시킨다. CNN은 데이터로부 터 특징을 학습하고 출력층에서는 물체의 종류를 인식하는 대표적인 모델이다.
CNN은 크게 세 가지 종류의 층으로 구성된다. 컨볼루션 충convolution Layer은 이미지로부터 특징을 추출한다. 풀링 층Pooling Layer 은 이미지에서 추출한 샘플로 신경망을 학습시킨다. 완전연결계층은 학습을 통한 최종적인 분류 작업을 담당한다.
입력 이미지에 필터 처리를 해서 이미지의 가장자리edge나 곡선과 같은 저차원적인 특징을 추출한다. 점차 높은 층으로 올라갈수록 질감, 물체 일부분 object parts과 같은 고차원 High Level의 특징을 도출한다. 그 결 과 이동이나 변형에 무관한 이미지의 최종 특성을 얻게 된다. 
- 순환 신경망 RNN Recurrent Neural Network 알고리즘은 현재의 학습이 과거의 학습과 시간적으로 연결되어 학습하는 알고리즘이다. 인간이 사용하는 자 연어 처리에 주로 사용되며, 반복적이고 순차적인 데이터 sequential Data 학습 에 잘 어울린다. 순환이라는 말처럼 앞서 입력된 데이터를 참조하여 순환하는 특징을 가지고 있다. 이는 인간이 언어를 이해하는 방식이다. “I love apples.”라는 문장에서 love'는 동사이지만, “Love is a feeling."에서 'Love'는 명사이다. 이렇듯 단어의 위치에 따라서 품사가 바뀌는데 이를 찾아 적용할 수 있는 알고리즘이 RNN이다.
- RNN 알고리즘은 입력층과 출력층 사이에 CNNConvolutional Neural Network과 마찬가지로 은닉층이 존재한다. 그런데, 중간에 있는 은닉층은 앞에서 처 리한 데이터의 가중치 값을 기억하고 이를 다음 단계의 은닉층에 반영하여 조금씩 수정하면서 전체를 학습한다. 잘 이해가 되지 않는다면 아래 그림을 보자. 각 단계의 색상은 시간이 지남에 따라 유지되는 정보의 양을 나타낸다. RNN은 인간이 사용하는 언어인 자연어를 컴퓨터가 인식할 수 있도록 도와주는 자연어 처리 시에 유용하다.
RNN은 이전에 저장한 정보를 보유하여 정보가 지속되도록 해주는 순환 알고리즘을 가진다. 마치, 인간의 단기 기억과 유사한 모양이다. 이 순차적인 데이터 학습은 반복되면서 조금씩 바뀌는 상태를 보존하여, 이전 입력을 기반으로 출력 텍스트를 결정한다. 따라서, 동일한 입력도 이전 입 력에 따라 다른 출력을 생성할 수 있다. 순환 신경망은 “그는 그녀에게 사 과의 의미로 빨간 사과 한 바구니를 건내주며 미안하다고 말했다”와 같은 문장에서 앞에 나온 사과는 apologize로 뒤에 사과는 apple로 인식할 수 있다. 즉, 단순히 사전적 의미뿐만 아니라 앞뒤 문장의 요소들을 종합적으로 판단하여 의미를 파악한다.
RNN은 검색창에 글자를 입력하면 연관 검색어가 자동으로 뜨는 자동 완성 기능, 스마트폰에서 음성인식을 통한 문장 입력 기능, 각종 언어의 통역과 번역, 인간과 기계가 채팅하는 챗봇, 영상의 자동 자막 입력 기능, 구글의 마젠타 프로젝트처럼 인공지능 작곡, 작가, 아티스트도 모두 RNN 에 해당한다. 꽃 그림은 구글의 스케치-RNN'이다. 모델에서 garden을 선택하고 꽃 그림을 하나 그리면 RNN이 앞으로 그릴 꽃 그림을 예측하여 그려준다. 필자가 그린 꽃은 왼쪽이고, 스케치-RNN이 그린 꽃은 오른쪽 이다.
- 진짜 같은 가짜 이미지를 본 적 있는가? 포토샵을 이용해 정교하게 이미 지를 합성하면 가능한 일이다. 사람의 눈을 속이기 위해서는 정교한 포토 샵 작업이 많이 필요하다. 인간의 눈은 이미지를 평면으로만 보는 것이 아 니라 3차원으로 뇌에서 인식하기 때문에 단순히 오려 붙인 이미지는 금방 알아챌 수 있다. 이 정교한 작업을 대신 해주는 알고리즘이 생성적 적대 신경망 GANGenerative Adversarial Network이다.
GAN은 진짜 데이터를 학습하여 진짜 같은 가짜 데이터를 생성하는 모 델이다. 훈련 데이터와 유사한 이미지를 생성자가 만든다. 수많은 강아지 사진으로 훈련한 후, 실제로 존재하지 않지만 존재할 법한 강아지 사진을 만들어낸다. 또 다른 신경망은 진짜 데이터와 가짜 데이터를 감별하는 감별자Disciminatior 이다. 감별자는 실제 강아지 이미지와 생성된 강아지 이미지를 판단하기 위한 분류 모델로 사용되며, 생성자는 다시 더 정교한 이미지를 생성해 낸다. 생성자와 감별자는 마치 경쟁하듯이 이 과정을 반 복하다가 맞추는 확률이 50%에 이르면 학습을 끝낸다. 마치 포토샵으로 이미지를 점차 정교하게 바꿔 구분이 어려워지면 작업을 멈추는 것처럼 말이다.
많은 양의 강아지 이미지로 훈련된 생성 모델은 진짜 같은 가짜 강아지 이미지를 생성하고 분류 모델은 이를 판별한다. GAN에는 최대한 진짜 같 은 이미지를 생성하려는 생성 모델이 있다. 또, 진짜와 가짜를 판별하려는 분류 모델이 있다. 이 둘은 서로 적대적으로 반복 학습하며 성장한다. 여 기에 이미지를 생성하는 과정에서 새로운 특징을 추가할 수 있다. 특징이 란 이미지의 특성을 의미하는데 사람의 표정, 헤어스타일, 인물의 나이 등이 해당된다. 2017년 워싱턴 대학교 연구팀은 오바마 전 미국 대통령 연 설 영상에서 GAN을 이용해 입 모양을 합성해냈다.  또 다른 방법으로는 화가의 화풍을 따라서 그릴 수도 있다. 입력한 사진을 특정 화가의 해당 화풍으로 변환하는 것이다. 2017년 UC 버클리에서 GAN 모델에 원본 이미지의 형태를 유지할 수 있는 조건을 추가한 모 델을 적용하였다. cycleGAN 모델은 모네의 그림을 사진으로 변환하거 나, 사진을 모네 화풍으로 만들어 낼 수 있다. 
- 인공지능 기술은 발전했지만, 알고리즘 편향성이라는 문제점을 안고 있다. 따라서, 인공지능의 신뢰성을 확보하기 위해 설명 가능한 인공지능' 이 탄생한 것이다. 설명 가능한 인공지능에 대한 연구와 개발은 금융, 보 험, 교육, 광고, 군사 등 다양한 분야에서 신뢰를 얻고 있다. 사회적 수용 을 위한 공감대 형성과 더불어 더 나은 경험을 제공하기 위한 서비스로 향상되고 있다. 설명 가능한 인공지능은 법적 책임과 준수 확인 등의 효과면에서 크게 기대된다. 인공지능 시스템의 잘못된 결과로 분쟁이 발생하면 기존 모델에서는 이유를 알 수 없었다. 하지만 설명 가능한 인공지능'에서 는 결과의 근거를 제시하여 원인 파악이 가능해진다. 무엇보다 중요한 건 인간과 인공지능 간 상호작용을 효율적으로 높일 수 있다는 점이다. 인공 지능 기술이 알고리즘 편향성에 갇히기보다는 인간의 풍요로운 삶과 행복 을 위한 도구로 사용되도록 발전하고 있다.
- 수천 년 동안 본디 백조는 '하얀 새'를 의미했다. 그런데, 하얀 고니를 의미하는 백조라는 의미가 깨진 사건이 발생했다. 1697년 네덜란드 탐험가 윌리엄 드 블라밍Willem de Varmingh 이 서부 오스트레일리아에서 '흑 고니'를 발견한 것이다. 그 후 전혀 예상할 수 없었던 일이 실제로 나타나는 경우 를 '블랙 스완black swan'이라고 부르게 되었다. 위키백과 또, '방안의 코끼리 elephant in the room'는 누구에게나 확연하게 보이는 커다란 문제임에도 불구하고 모 두가 모른 척하는 상황을 말한다. 예를 들면 지구 온난화를 일으키는 환경 오염 문제와 같은 상황이다.
몇 년 전 〈뉴욕타임즈>의 칼럼니스트 토머스 프리드먼 Thomes L Firecaman은 블랙 스완과 방안의 코끼리를 합한 '검은 코끼리 black elephani'를 제시했다. 검은 코끼리란 전혀 예상할 수 없었던 일로 인해 엄청난 변혁이 일어날 것을 알면서도 아무도 해결하려 하지 않는 문제를 가리킨다. 그러면서 지금 인 류는 가속의 시대를 살고 있으며, 지구상에 검은 코끼리들이 떼 지어 나타 나고 있다고 이야기했다. 바로 눈앞에 있는데 손으로 눈을 가리고 외면하 고 있다고 말이다. 그중 하나가 기술의 발전으로 인한 인공지능 사회의 도 래이다. 무어의 법칙에 따라 기술은 기하급수적으로 변화하고 인간은 도저히 그 속도를 따라잡을 수 없다. 이 변화의 속도를 따라잡지 못하는 인간은 도태되어 힘든 삶을 살게 될 것이라 예견하고 있다.

- 데이터 분석이 우리에게 줄 수 있는 가치가 무엇인지에 대한 기대치를 우선 먼저 정확하게 수립해야 한다. 데이터 분석에 대한 사전 지식이 없거나 관련 경험이 없다면 데이터 분석 프로젝트의 효용 자체에 오해를 가질 수 있다. 예를 들어, 경영진은 데이터 분석을 조직 내에 모든 영역에 적용할 수 있다고 오해할 수 있다. 또는 데이터 분석 결과가 개인이나 조직의 의사결정에 항상 긍정적인 영향을 준다고 생각할 수 있다. 하지만 적용 영역, 성과 및 영향의 범위는 조직이 보유한 인력, 프로세스, 보유 기술(소프트웨어, 기반 시설)에 따라 달라질 수 있는 것이다. 그런데도 현실에서는 조직과 개인의 환경과 보유 역량을 고려하지 않은 채 무리하게 일을 추진하기도 한다.
중요한 것은 각 조직과 개인의 환경 및 상황을 고려하지 않는 상태에서 무리하게 높은 기대치를 가질 경우 기대한 만큼의 성과를 얻기 힘들다는 점이다.
- 데이터 분석을 수행하기 위해서는 여러 투자가 필요하다. 예를 들어, 필요에 따라 데 이터를 유료로 구매해야 하는 경우도 있고, 분석과 관련된 여러 도구(소프트웨어 등) 를 구매하는 경우, 그리고 대규모 데이터 분석에서는 다양한 인력이 필요하다. 또한, 데이터 확보에도 데이터의 종류, 기간, 용량에 따라 비용에 따른 투자가 발생하고, 대용량의 데이터를 보관하기 위해서는 저장 비용(디스크 구매 또는 클라우드 저장 공간 비 용) 등이 필요하다. 철저한 사전 분석과 체계적 관리 없이 프로젝트가 진행될 때는 예 상치 못한 추가적인 비용이 발생할 가능성이 크다. 데이터 분석으로 얻는 효익을 넘어서는 비용이 발생한다면 명백한 투자 실패이기에 데이터 분석 프로젝트의 의미 자체가 퇴색된다.
- 데이터 분석은 의외로 많은 시간이 요구된다. 기술적인 부분에 있어 컴퓨터의 연산 능력과 관련 장비가 발달하면서 데이터의 처리 속도가 과거에 비해 빨라졌지만, 그만큼 우리가 다룰 수 있는 데이터의 양 또한 급격하게 증가했다. 개인의 1년치 카드 사 용 내역은 수백 줄, 많아야 수천 줄 정도이기 때문에 엑셀로 처리할 수 있지만, 수십 만 명의 1년치 카드 사용 내역은 엑셀로 다루기 힘든 엄청난 용량의 데이터다. 잘못 된 로직으로 데이터를 분석하여 원하는 결과를 얻지 못하면, 데이터를 내려받아 분석하는 모든 과정을 처음부터 다시 수행해야 한다. 작게는 몇 시간, 길게는 며칠에 걸쳐 재작업을 해야 할 수 있다. 그뿐만 아니라 담당자와의 비효율적 의사소통, 데이터 누락 및 오류로 인한 데이터 검증, 필요시 데이터 재확보 과정은 추가적인 시간이 많이 필요해서 프로젝트 관리 측면에서는 큰 손실이다.

- 목표 및 작업의 범위와 더불어 작업의 초기에 프로젝트의 구체적인 결과물이 무엇인지 를 정해야 한다. 프로젝트의 목표와 작업의 범위에 따라 그 결과물이 결정될 것이다. 다음과 같은 결과물이 프로젝트 수행 결과로 제시될 수 있다.
* 결과 리포트 또는 프레젠테이션
* 분석 결과를 시각화한 차트 또는 대시보드
* 분석과 관련된 로직 및 설계도
* 분석에 사용된 소프트웨어 또는 분석 도구의 코드 또는 스크립트
- 데이터 수집 단계에서는 프로젝트 목표를 달성하는 데 필요한 데이터 세트pata set의 식별, 수집에 집중하여야 한다. 가장 가까운 주변에서 활용 가능한 데이터가 있는지 확인하면서 데이터 수집 단계는 시작된다. 가깝게는 나의 컴퓨터, 그리고 회사나 팀 에서 사용하는 공용 폴더, 또는 클라우드 공간 등에서 활용할 수 있는 데이터가 있 는지 확인하고 수집한다. 때로는 남이 가지고 있는 대용량의 데이터나 전문기관에서 제공하는 데이터보다 오히려 내가 가지고 있거나 조직 내에서 생산, 가공한 데이터가 더욱 가치 있기도 하다. 그렇기 때문에 우선 내 주변에서 사용 가능한 데이터를 확인 한 후에 공공 데이터 또는 구매하여 사용하는 유료 데이터를 활용한다.
- 구조에 대한 전처리는 데이터 추출, 결합, 집약에 대한 내용을 주로 다룬다. 예를 들어, 매출 데이터와 상품 데이터를 확보하였다면 이 두 데이터 세트 구조와 데이터들을 어 떻게 결합할지 등에 관한 부분이다. 두 데이터를 결합하여 매출 정보와 상품 정보를 모두 포함한 데이터를 생성한 후 작업을 실시한다면, 이는 데이터 결합을 통한 전체 리 과정이다.
내용에 대한 전처리는, 예를 들어 일별 데이터를 월별 또는 연간 데이터로 변환하거나, 확보한 기존 데이터 중 숫자 데이터 간에 계산(매출과 비용 데이터를 이용하여 수익 데 이터를 새롭게 계산)을 통해서 새로운 데이터의 열을 조합하여 만드는 작업이 이에 해당한다.
- 본격적인 분석에 앞서 데이터 사전 준비 단계는 일반적으로 데이터 프로젝트에 드는 시간의 최대 80% 가 소요되는 단계다. 그렇기 때문에 체계적이고 면밀한 검토를 통해 사전 준비를 수행해야 시행착오를 최소화하고 정확한 데이터를 준비할 수 있다.
우선, 데이터를 수집하면 수집한 데이터 간의 관계를 이해하자. 관계를 이해하면서 현재 가지고 있는 것 이 무엇인지, 그리고 원래 목표를 달성하기 위해 추가로 필요한 것이 무엇인지를 파악할 수 있다.
다음 단계(그리고 가장 두려운 단계)는 데이터를 정리하는 것이다. 예를 들어, 수집된 데이터가 수만 건이 모 여 있는 데이터 세트라고 생각해 보자. 중간중간에 데이터가 누락되어 있거나 잘못된 데이터가 있는 경 우가 많다. 데이터가 동질적이고 깨끗한지 확인하기 위해 모든 열을 살펴봐야 하는데, 이 과정에는 상당 히 많은 시간과 에너지가 필요하다. 이것은 아마도 데이터 분석 프로젝트에서 가장 길고 성가신 단계일 수도 있다.
마지막으로, 데이터 준비에서 간과해서는 안 되는 중요한 요소 중 하나는 수집 과정에서 데이터 개인 정보 보호 규정을 준수하는지 확인하는 것이다. 많은 데이터 분석 프로젝트에서 활용되는 소스 데이터들이 개인으로부터 수집된 민감한 정보일 가능성이 크다. 그러므로 개인 정보 보호는 사용자, 조직 및 관련 기관 모두에게 높은 우선순위로 다뤄져야 한다. 개인 정보 보호 규정을 준수하면서 프로젝트를 실행하려 면 모든 데이터 작업, 소스, 데이터 세트를 중앙 집중화하여 관리하는 것이 필요하다. 그런 후에 개인 및 (또는) 민감한 데이터가 포함되었는지 확인, 관리, 처리해야 한다.
- 분석 결과 평가 데이터 분석 결과 자체를 평가 및 검토한다.
데이터 결과가 정확하고 오류가 존재하지 않는가? 
더 데이터 분석 결과가 프로젝트 초기에 세웠던 목표에 부합하는 결과인가? 
상식과 일반적인 관점에서 수용 가능한 결과인가?
결과가 의사결정에 도움이 되는가?
- 결과를 도출하기 위해 거친 과정 자체를 평가 및 검토한 후 필요하면 수정 및 반영하도록 한다. 
분석 과정에서 간과하거나 누락된 것이 있는가? 
분석 과정에서 계획했던 모든 단계를 제대로 실행하였는가?
분석 결과 검증, 검토 후 재분석이 필요하다면 추가 및 수정이 필요한 과정은 무엇인가?

- 데이터 분석의 오류는 대략 다음과 같은 원인으로 발생할 수 있다.
* 잘못된 분석 대상 데이터의 선정.Input Data Error 분석에 사용한 데이터를 잘못 수집하였거나 수집된 데이터가 분석 목적에 적합하지 않은 경우 
* 분석 대상 데이터의 오염pata Corruption 수집된 데이터 세트에 포함된 데이터에 문제가있거나 잘못된 정보가 포함된 경우 또는 기술적 문제로 데이터 자체가 오염된 경우 
* 분석 로직 또는 모델링의 오류Analysis Logic & Modeling Error 분석에 사용된 로직 또는 분석모델을 잘못 설계하여 결과가 나온 경우
* 결과물 해석의 문제 분석결과를 해석하는 과정에서 데이터를 바라보는 관점, 입장 차이, 그리고 해석자의 이해관계 등으로 결과를 왜곡되게 해석하는 경우
- 데이터의 형태와 관리 기본 규칙을 유지하는 것을 데이터 무결성이라고 한다. 일반적으 로 사용하는 데이터베이스 시스템에서는 규칙에 어긋나거나 부적절한 형태의 데이터 가 입력되는 경우와 필수 데이터가 누락되는 경우에 시스템이 이를 자체적으로 검사 하고 문제를 해결하여 데이터의 품질에 결점이 없도록 유지한다. 즉, 무결성을 유지 한다'라고 표현할 수 있다.
데이터 무결성은 데이터의 신뢰와 정확성을 나타내기 때문에 중요하다. 하지만 여러 소스로부터 데이터를 확보하였을 때 모든 데이터 세트에 무결성이 보장될 수 없다. 예를 들어, 조직 내의 데이터베이스로부터 매출 데이터를 확보하고 외부 소스로부터 소셜 네트워크 데이터를 확보하여 이를 종합하여 분석을 수행하고자 할 때 외부 소스에서 확보한 데이터에 무결성 문제가 있을 수도 있는 것이다.
- 왜 데이터 품질에 문제가 있을까(무결성 오류의 편) 
일반적으로 다음과 같은 이유로 데이터 품질, 즉 무결성에 문제가 발생할 수 있다.
* 사람에 의한 오류 데이터 자체의 입력 오류
* 신종 오류 데이터를 전송하는 과정(인터페이스)의 기술적인 문제로 데이터가 손상되거나 오류가 발생하는 경우
* 버그, 바이러스/악성 프로그램, 해킹 및 기타 사이버 위협
* 장치 또는 디스크 충돌과 같은 하드웨어적 손상
이 중 위에서 처음으로 언급한 사람으로 인한 오류로 발생하는 데이터 누락 및 입력 오류의 원인은 다음과 같은 세 가지 일반적인 이유로 구분할 수 있다.
* 개인 정보 제공을 꺼리는 경우(예 소득 수치, 연락처 등)
* 데이터 포맷 자체가 데이터를 보관할 수 없어서 데이터가 입력되지 않은 경우(예 필수 필드가 없어서 정보 입력 자체가 불가능했던 경우)
* 데이터 수집 시 수집 대상과 관련이 없는 필드가 있는 경우(예 대부분의 응답자가 은퇴한 경우 소속 회사 정보는 대부분 비어 있을 것이다.)
- 데이터 품질 검증과 전처리 
(1) 무결성 테스트를 통해 데이터 품질을 확인한다.
* 필드 확인
* 전체 행 개수 및 값 합계 확인 
* 데이터 유형 불일치, 값 입력 방식의 변형 및 누락된 값 확인 
* 데이터 범위 확인 
* 중복, 누락 값 및 이상 데이터 확인
(2) 데이터 품질을 확인 후 필요에 따라 데이터 전처리를 수행한다.
* 과도하게 벗어난 값과 중복 데이터 제거 
* 기술적, 형식적 오류 수정 
* 누락된 데이터의 적절한 처리
- 데이터 분석 유형에 따른 데이터 도구 
선택 본인이 수행하고자 하는 프로젝트의 분석 유형에 따라서 적합한 도구를 선택해 볼 수 있다. 앞서 언급했 던 바와 같이 네 가지의 데이터 분석 유형인 설명적 분석, 진단 분석, 예측 분석, 처방적 분석으로 구분해 볼 수 있다.
(1) 설명적 분석 
설명적 분석은 지나간 과거 데이터를 분석해서 과거의 현상을 파악하는 행위인데, 앞에서 언급한 모든 통계 분석 도구들(엑셀, R, SAS, SPSS)과 비즈니스 인텔리전스 도구들(파워 비아이, 클릭 센스, 태블로)을 사 용할 수 있다. 프로그래밍 언어 도구들(파이썬, 매트랩, SQL)을 사용하면 데이터 수집의 효율성을 높일 수 있다.
(2) 진단 분석
진단 분석은 과거 데이터를 토대로 인과 관계를 파악해 내는 것으로, 모든 통계 분석 도구들(엑셀, R, SAS, SPSS)과 비즈니스 인텔리전스 도구들(파워 비아이, 클릭 센스, 태블로)을 사용할 수 있다.
(3) 예측 분석 
예측 분석은 통계적 지식을 바탕으로 미래에 발생할 일들을 확률적으로 계산하는 것으로, 통계 분석 도구들(엑셀, R, SAS, SPSS)의 사용을 우선적으로 고려할 수 있다.
(4) 처방적 분석 
처방적 분석은 앞서 언급한 기술적 분석, 진단적 분석, 예측 분석의 자료를 토대로 미래를 대비할 수 있는 처방을 고찰하는 것이다. 효과적인 의사결정을 위해 비즈니스 인텔리전스 도구들(파워 비아이, 클릭 센스, 태블로)의 사용을 우선적으로 고려할 수 있다.

- 과거의 통신망(유선 전화망 등)은 비용을 염두에 두고 만들어졌다. 비용을 누가 부담할지, 시간당 비용은 얼마로 할지, 사용 시간은 어떻게 측정할지는 중요한 문제였다. 하지만 아르파넷은 사용료를 정부가 부담했기 때문에, 비용을 고려하지 않아도 괜찮았다.

비용을 산정하지 않아도 된다는 점은 텍스트, 이미지, 음성, 비디오 등 데이터의 형식과 관계없이 모든 데이터를 작은 단위 (패킷)로 나누어 전송하는 데 큰 영향을 미쳤다. 인터넷은 데이터를 한꺼번에 보내는 것이 아니라, 패킷 단위로 나누어 보낸다. 도착한 패킷이 어떤 데이터의 일부인지 알아내고 합치는 일은 컴퓨터가 맡는다. 패킷 전송 방식의 장점은 네트워크에 서로 운영체제가 다른 다양한 기기를 연결할 수 있다는 것이다. 이런 네트워크를 비종속적 네트워크라고 부르는데, 아르파넷 이전에는 비종속적 네트워크가 존재하지 않았다.

당시 아르파넷을 만들던 연구자들에게 40-50년 뒤에는 그 기술로 음성과 비디오를 주고받게 될 거라고 말해줘도 놀라지 않았을 것이다. 크로커는 당시 그런 생각을 한 사람이 몇 명 있었다고 말했다.

- 인터넷이 현대인의 삶에 너무 자연스럽게 녹아들었기 때문 에 사람들은 현재의 인터넷을 마치 자연물처럼 당연하게 받아들이는 경향이 있다. 하지만 현재의 인터넷은 사람들이 내린 다양한 결정과 어쩔 수 없는 타협과 현실적 해결책이 합쳐져 만들어진 결과물이다. 예를 들어 현대 인터넷의 기본적인 작동 방식은 1974년 12월 빈트 서프가 이끄는 개발자들이 정한 것으로, RFC 675 에 기록되어 있다.

- RFC 675는 전송제어프로토콜 Transmission Control Protocol, TCP 이라 는 데이터 전송 프로토콜에 대한 규정으로, 여전히 인터넷은 이 프로토콜을 사용해 데이터를 전송한다. 앞서 말했듯 인터넷에 서는 데이터를 패킷'이라는 작은 단위로 나누어 보낸다. TCP는 패킷이 빠짐없이 순서대로 도착하도록 관리해 전송 오류를 최소화하는 역할을 하는 프로토콜로, 인터넷 같은 패킷 전송 네트 워크를 구현하는 데 꼭 필요하다.  패킷 전송 방식은 과거 전화망에서 쓰던 데이터 전송 방식과는 완전히 다르다. 전화망의 경우 수신자와 발신자를 직접 잇는다. 과거 전화 교환원들이 하던 일이 바로 발신자와 수신자 사이를 회선으로 잇는 것이었다. 통화하는 동안 수신자와 발신자는 둘 사이에 연결된 회선(예를 들어 보스턴의 사무실과 애틀랜타의 사무실 사이를 잇는 전화선)을 단독으로 사용한다. 둘 다 말을 하지 않을 때도 다른 사람이 그 회선을 사용할 수는 없다. 이와 달리, 패킷 전송 방식에서는 데이터를 받는 사람과 보 내는 사람을 회선으로 직접 잇지 않는다. 패킷 전송을 하는 과정 은 다음과 같다. 일단 데이터(음성, 문자, 파일 등)를 '패킷'이라는 작은 단위로 쪼갠 뒤, 패킷마다 발신지, 목적지, 총 패킷 수, 해당 패킷의 순번을 기록한다. 그다음 패킷을 전송하면, 각 패킷은 각자 자유로운 경로를 택해 목적지로 이동하고 순서에 상관없이 무작위로 목적지에 도달한다. 도착한 패킷들은 목적지에서 다시 순서에 맞게 재조립된다. 패킷 전송 방식을 쓰면, 수신자와 발신자 사이를 단일 회선 으로 이을 필요도 없고, 모든 패킷을 같은 경로로 보내야 할 필 요도 없기 때문에 네트워크를 훨씬 효율적으로 사용할 수 있다. 또 패킷을 다양한 경로로 보낼 수 있기 때문에 네트워크 연결이 일부 끊어지더라도 문제없이 데이터를 전달할 수 있다.

- 인터넷은 패킷 전송을 위해 TCP와 함께 인터넷프로토콜Internet Protocol, IP이라는 프로토콜도 사용한다. 나중에 정식 프로토콜로 인정되어 TCP와 함께 TCP/IP라고 불리게 된 IP는 목적지를 더 쉽게 찾을 수 있도록 각 컴퓨터(또는 각 네트워크)에 고유 의 숫자열을 부여한 것이다. 인터넷에는 사이트의 웹 주소(예컨 대 www.jamesrball.com)에 대응하는 IP 주소(이 경우 198.185.159.14 인데, 이 주소가 가리키는 곳은 캔자스 위치토에서 그리 멀지 않은 곳 에 있는 스퀘어스페이스 SquareSpace의 데이터센터다)가 있다. IP가 주 소라면, TCP는 우리가 사이트와 정보를 주고받을 때 패킷이 제 대로 배달되었는지 확인하고 관리하는 일을 한다.

- 루카식은 다음과 같이 썼다. “사전에 모든 가능성을 따져 보거나 부정적인 결과를 막으려고 하지는 않았다. 일을 시작하 기도 전에 그렇게 했다면, 긍정적인 결과를 낼 수 없을 거라는 생각에 사로잡혀 앞으로 나아가지 못했을 것이다. 어떻게 보면 ARPA와 개발자들은 하나의 기술적 기습으로부터 나라를 지키 는 과정에서 또 다른 기술적 기습을 만들어냈다고 할 수 있다.”

정리하자면, 인터넷은 세 집단의 복잡한 합작으로 생겨났다. 하나는 국방 연구 자금을 지원하는 정부 기관(ARPA)으로, 지휘 통제 시스템에 적용할 신기술을 시험하고 국방 연구에 사용할 네트워크를 만들고자 했다. 두 번째 집단은 연구를 중요시한 명문 대학의 저명한 교수들로, 대개 자금과 네트워크를 다른 연구에 더 쓰고 싶어 했다(네트워크 구축 자체에 관심이 있던 클라인록은 예외적인 경우였다). 세 번째 집단은 실제로 네트워크를 구축하는 일을 맡은 대학원생들로, 대개 자신들이 잡무를 처리하 고 있다고 생각했지만, 흥미롭게도 훨씬 대단한 일을 해냈다.

아무도 예상치 못한 결과가 나온 건 당연한 일이었다.

- 웹주소의 구성을 살펴보면 DNS가 실제로 어떻게 동작 하는지 감을 잡는 데 도움이 된다. 모두에게 익숙할 https:// www.google.com을 예로 들어보자. 이 주소는 네 부분으로 이루어져 있다. 그중 'com' 부분은 최상위 도메인이라 불리는데, 해당 웹사이트를 소유한 기관의 종류 또는 위치를 대략적으 로 알려준다. 예를 들어 .com은 상업용commercial이라는 뜻이고, .org organisation는 비영리 기구, gov'는 미국 정부, 'edu’는 미국 대학만 쓸 수 있다. 또 프랑스의 fr'처럼 나라마다 자체 도메인이 있다.

인터넷에는 이들 최상위 도메인을 보고 길을 알려주는 소수의 DNS 주소록 서버가 있다(이들 서버는 DNS 시스템의 루트root 서버로 불리며, 앞서 소개한 행사에서 갱신한 암호는 이 루트’ 서버에 접근하기 위한 암호다). 이들은 같은 최상위 도메인을 가진 사이트들의 주소를 모아놓은 하위 주소록 서버로 사용자를 인도한다.

주소에서 가장 주가 되는 부분은 'google' 이라는 이름으로, 하위 주소록 중 어딘가에 저장되어 있을 구글의 IP 주소를 찾게 해준다. 서브도메인이라고 불리는 'www’ 부분은 구글이 자사 네트워크 내 어떤 부분으로 사용자의 요청을 전송할지 결정하 는 데 사용된다. 구글의 경우, google' 앞에 www'가 붙으면 검색, mail'이 붙으면 이메일, maps가 붙으면 지도서비스로 각 각 사용자를 인도한다. 'https' 부분은 사용자가 웹 서핑, 이메일, 파일 공유 같은 여러 인터넷 서비스 가운데 어떤 서비스를 요청 했는지 알리는 역할을 한다.

이처럼 기본적으로 인터넷 주소 시스템은 사용자의 요청이 들어오면 컴퓨터들이 연쇄적으로 길을 인도해 목표 지점에  달하게 하는 방식으로 작동한다. 당연하게도 이런 방식을 사용하면 중간에 있는 컴퓨터가 잘못된 답을 알려줄 경우 잘못된 곳으로 향할 위험이 있다. 물론 이런 문제가 발생하는 것을 막기 위한 예방책도 존재한다. 그 예방책이란, 쉽게 설명하면 999 대

의 컴퓨터가 한 곳을 가리키는데 한 대만 다른 곳을 가리킬 때 더 다수가 가리키는 쪽을 택하는 방식이다. 하지만 국가 기관 등이 조직적으로 조작에 나서서 사용자가 요청한 사이트로 향하 는 트래픽을 중간에 빼돌려 자신들이 운영하는 서버를 지나게함으로써 로그인 정보를 빼내거나 트래픽을 감시할 가능성은 여전히 남아 있다.

- 벤처 캐피털은 과거 인터넷 산업의 승자들이 다음 세대의 승자를 뽑아 자신의 돈과 다른 유명 투자자들의 돈을 지원한다는 면에서 그야말로 닫힌 집단이다. 현재의 벤처 캐피털 체제는 극소수의 손에 너무 많은 권한을 쥐여준다. 지금까지 이 체제는 적어도 이윤을 내는 쪽으로는 잘 동작해왔다. 그리고 오랫 동안 이윤을 좇는 데만 집중해도 괜찮은 것처럼 보였다. 그러나 그건 과거의 인터넷이 신생 기업과 혁신 기업의 무대였기 때문 이다. 하지만 이제 그 기업들은 기득권을 쥔 기업이 되었다. 우리는 최근 들어서야 그 사실을 깨닫고 인터넷의 수익 모델과 투자 모델을 재고하고 속도를 늦춰야 할 필요가 있다고 생각하기 시작했다.

- 웽거는 거의 모든 사람이 지구상의 다른 슈퍼컴퓨터에게 말을 걸 수 있는 슈퍼컴퓨터를 들고 다니게 되면서, 사람이 거대 인터넷 기업의 도구로 전락하고 있다고 말했다.

"아이폰은 완벽한 슈퍼컴퓨터입니다. 40년 전에는 지구상 의 돈을 다 끌어모아도 그 정도 연산 능력을 갖춘 컴퓨터를 살 수 없었습니다. 존재하지 않았으니까요. ... 우리가 화면의 아이콘을 클릭하는 순간부터 그 슈퍼컴퓨터는 우리가 아니라 페이스북, 트위터, 아마존 같은 앱 제작자를 위해 일합니다. 그때부터 우리는 세계의 다른 모든 슈퍼컴퓨터와 소통할 수 있는, 엄지 손가락과 두 귀 사이의 생체 컴퓨터만 남은 존재가 됩니다.”  웽거는 시민이자 소비자인 우리가 이 상황을 기꺼이 용납하기 때문에 온라인 권력이 집중된다고 말한다. 이런 상황이 용납되는 한, 이를 이용해 돈을 벌려는 사람도 존재하기 마련이다.

“이런 상황이 독점 기업들에게 지금과 같은 엄청난 권력을 주었습니다. 그들은 서버 수백만 대를 운영하는데 우리가 움직 일 수 있는 건 사실상 엄지손가락뿐이니까요. 너무 비대칭적인 상황입니다. 이런 (정보의 비대칭성을 해결하지 않는 한, 계속해서 누군가는 어마어마하게 큰 독점 기업을 만들 기회를 잡을 것이고, 또 누군가는 그 사업에 자금을 지원할 것입니다."

- 전문가들은 종종 난해한 전문용어와 기술적 세부사항을 방패 삼아 다른 사람이 내부 사정을 자세히 들여다보지 못하게 막는다. 이 수법은 인터넷 산업에서도 자주 사용된다. 영어 약자와 기술 용어로 뒤덮인 글은 몇 초만 들여다봐도 머리가 멍해진다. 특히 온라인 광고업계는 일부러 어려운 말(기술 전문용어, 금융 전 문용어, 해당 분야 사람들만 아는 약자)을 많이 쓰는 경향이 있다.  무언가 이상함을 알리는 또 한 가지 신호는 업계 종사자들 이 자기가 만든 상품을 쓰지 않는다는 것이다. 그런데 이 두 가 지 특징을 모두 만족시키는 산업이 하나 있다. 바로 온라인 광고산업이다.

- 광고 대상을 정할 때, 일반적으로 가장 먼저 참고하는 데이터는 최근 고객 목록이나 메일링 서비스 가입자 목록이다. 각 브랜드는 기존 고객과 연령, 성별, 사회적 지위, 수입 등이 비슷한 사람을 대상으로 광고하고 싶어 한다. 이들이 고객 정보를 데이터관리플랫폼data management platform, DMP에 넘기면, DMP는 대개 수 십 수백 군데의 정보원으로부터 소비자 데이터를 사 모으는 데 이터 브로커에게 연락해 데이터를 보강' 한다. 예를 들어 어떤 브랜드로부터 우편번호를 받았다면, 거기에 지역별 평균 소득 정보를 더해 누가 소득 수준이 높은지 파악하고 주 공략 대상을 정하는 것이다.

이제 DMP는 이상적인 소비자의 데이터를 수요측플랫폼demand side platform, DSP에 전달한다. DSP가 하는 일은 DMP로부터 받은 목록에 있는 사람과 비슷한 부류의 사람을 찾아내 적절한 광고비를 지불하고 그들에게 광고를 보여주는 것이다. DSP는 받은 소비자의 데이터를 그 브랜드를 광고하는 데만 쓰지 않고 다른 수천 개 브랜드를 광고할 때도 참고한다. 그리고 인터넷에 는 이런 DSP가 수천 개 존재한다.

다음 단계는 타깃으로 삼은 특성을 가진 소비자가 인터넷 에 접속하느냐에 달려 있다. 온라인 광고는 소비자가 인터넷을 할 때만 보여줄 수 있기 때문이다. 누군가 웹사이트를 클릭하는 순간, 웹사이트는 (광고를 제외한) 콘텐츠를 준비하는 동시에 광고를 띄우기 위해 공급측플랫폼Supply side platform, SSP에 연락한다.

그러면 SSP는 사용자의 컴퓨터에 깔린 웹브라우저에 요청을 보내 쿠키, 브라우저 정보, IP 주소 등을 최대한 수집한다.

이제 DSP는 어떤 소비자에게 광고를 보여줘야 하는지 알 고 있고, SSP는 자신이 광고를 공급하는 웹사이트를 방문한 사 람(즉 사용자)이 어떤 사람인지 알고 있다. 이제 두 플랫폼은 광고거래소ad exchange에서 만나 거래한다. 광고거래소는 SSP가 가 진 사용자의 데이터를 DSP 수십, 수백 곳에 전송한다. 데이터를 받은 각 DSP는 여러 광고 중 사용자에게 가장 잘 맞을 것 같은 광고를 고른 뒤, 그 광고를 그 웹사이트의 그 자리에 게재하기 위해 얼마까지 낼 의향이 있는지 알려준다. 그러면 가장 높은 광고비를 제시한 DSP의 광고가 사용자의 눈에 보이게 된다.

- 평범한 인터넷 사용자가 이 말을 들으면 아마 말도 안 된다고 생각할 것이다. 대다수 사용자는 웹사이트에서 정보를 수집 한다는 것과 그 사이트에서 보여주는 서너 개의 광고가 맞춤형 광고라는 것까지만 알고 있다. 썩 기분이 좋지는 않지만, 대개 이 정도는 콘텐츠를 보는 대가로 지불해도 괜찮다고 생각한다.

하지만 실제로 일어나는 일은 그 정도 수준이 아니다. 링크 를 클릭하고 페이지를 불러오는 1초도 안 되는 시간 동안, 사용 자의 데이터는 수백, 아니 수천 군데로 전송된다. 그러면 데이터 를 받은 기업은 기존에 모아 놓은 소비자 데이터(그중 일부는 분명 우리의 데이터일 것이다)를 활용해 그가 어떤 사람인지 추측해서 그가 얼마나 가치 있는 소비자인지 판단한다. 즉 인터넷에서 링크를 클릭할 때마다 우리의 데이터는 수천 군데로 전달되고, 그 수천 개의 기업에서 모두 데이터를 분석해 우리가 누구인지 알아낼 수 있다. 이 모든 과정이 그렇게 짧은 시간 안에 완료된다는 사실이 믿기지 않겠지만, 실제로 일어나는 일이다.

오켈리는 기술 용어 없이 60초 만에 이 과정을 설명했다.

- 더블클릭을 인수하기 전까지 구글이 썼던 광고 기법은 사 생활 침해 정도가 훨씬 덜했다(여전히 일부 광고는 과거 방식을 따르고 있다). 현재의 방식이 데이터를 조합해 사용자가 어떤 사람인지 추측한 다음 그와 비슷한 사람들이 선호하는 브랜드의 광 고를 보여주는 방식이라면, 예전의 방식은 사용자의 검색 기록 을 바탕으로 광고를 보여주는 훨씬 단순한 방식이었다. 검색 기 록을 바탕으로 광고할 때는 사용자의 개인정보를 알 필요가 없다. 예를 들어 사용자가 '저렴한 마요르카 휴가 상품'이라는 검색어를 입력했을 때 저렴한 휴가 상품 광고를 보여주기만 하면 된다.

- 더블클릭을 인수하면서 구글은 시의적절하게 광고 시장을 장악할 수 있었다. 이제 구글은 자사 사이트뿐 아니라 인터넷 전 반에 광고를 공급하는 대형 광고 네트워크 회사가 되었다.  구글은 크롬(인터넷 익스플로러나 파이어폭스 같은 웹 브라우저 소프트웨어)과 안드로이드(모바일 운영 체제) 등을 만들어 데이터풀을 계속 넓혔고, 이 데이터 덕분에 점점 더 유리한 고지를 차지했다. 그러는 동안 규제기관은 이들의 수익에 아주 작은 흠집 을 냈을 뿐이다. EU 개인정보보호법 같은 매우 강력한 규제가 있는데도 광고 수익을 기반으로 한 인터넷의 사업 모델은 전혀변하지 않았다.

오켈리는 말했다. “사실 정부는 인터넷을 규제하는 일을 겁내고 있습니다. 하지만 적어도 제가 속한 광고업계에서는 자체규제만으로는 한계가 있습니다. 구글의 힘이 너무 크기 때문입 니다. 좌절감이 들 정도로요. ... 사실 구글은 비교적 올바로 행 동하려는 기업입니다만, 독점이 너무 심해서 구글과 경쟁하는 것 자체가 불가능합니다. 구글에게는 심지어 '브라우저'가 있다. 고요! 제가 경쟁할 상대가 아닌 거죠. 경쟁이 없는 상황은 소비 자에게도 좋지 않습니다. 정부는 구글이 이렇게 큰 권력을 모으는 상황을 용인하고 제대로 된 책임을 묻지 않고 있습니다. 이건 여러모로 안 좋은 일이죠."

- 현재 워싱턴DC에 있는 브루킹스연구소 방문연구원으로 자리를 옮긴 톰 휠러는 인터넷 혁명을 장기적 시각으로 파악하기 위해 노력하고 있다. 벨과 마찬가지로 휠러도 이전의 기술혁명과 인터넷 혁명 사이에 닮은 점을 발견했다. 하지만 그는 다른점에도 주목해 인터넷이 과거의 철도보다 더 큰 영향을 미칠 가능성이 있다고 말했다.

휠러는 이렇게 설명했다. “역사적으로 네트워크는 중앙집중 화를 촉진했습니다. 산업혁명의 상징인 철도는 대량 생산에 유 리한 지역으로 원자재를 실어 나르고 완성품을 여러 곳으로 퍼 뜨리는 일을 수월하게 했습니다. 생산을 중앙집중화한 거죠."

휠러는 웽거와 마찬가지로 철도를 사례로 들었지만, 다른 점에 주목했다. 휠러는 철도를 놓을 때는 돈이 많이 들지만, 일단 철도를 깔고 나면 기차 한 대를 운행할 때 드는 추가 비용은 그리 많지 않으며, 이미 있는 기차에 차를 한 량 더 붙이는 비용은 더더욱 싸다는 점에 초점을 맞췄다. 기차의 이런 특징 때문에 원자재를 대량으로 공장까지 실어나른 다음, 그곳에서 대량 생산을 하는 것이 비용 면에서 효율적인 선택이 되었다. 이전에는 생각하지도 못한 생산 방식이었다. 전에도 마차로 원자재를 나를 수는 있었지만, 원자재의 양이 느는 만큼 마차 한 대당 지불 해야 하는 운송비가 똑같이 늘었기 때문이다.

휠러는 산업혁명 시대에 관한 이야기를 이어나갔다. “모든 것이 중앙집중화되었습니다. 철강 산업의 중심지는 왜 피츠버그 일까요? 자동차는 왜 디트로이트에서 만들까요? 농축산물은 왜 시카고에서 가공할까요? 처음에 철도가 그렇게 놓였기 때문입 니다. 철도가 중앙집중화를 촉진한 거죠. 어차피 다른 곳으로 물 자를 보내려면 일단 시카고를 거쳤다가 가야 하는데, 시카고에 머무는 동안 가공하면 좋지 않겠어요?"  겉으로 보기에 인터넷은 철도처럼 중앙집중화를 촉진하지는 않는다. 앞서 여러 차례 언급했듯이 인터넷은 분산적으로 설 계되었기 때문에, 이론적으로는 물자가 모일 수밖에 없는 중간 지점이 존재하지 않는다.

문제는 데이터와 데이터의 소유권에 관해 우리가 내린 결정 때문에 플랫폼 사업자들(각국의 구글과 페이스북에 해당하는 기업들)이 가상의 시카고처럼 되어버렸다는 것이다. 데이터가 모이는 이들 지점이 중심지가 된 것이다. 그리고 이제는 인터넷의 물리적 네트워크를 소유한 기업들까지 그 세계에 뛰어들 방법을 찾고 있다. 우리는 온라인 세계의 땅이 무한히 넓다고 생각하지만, 온라인에서도 좋은 자리를 선점하기 위한 각축전이 벌어진다. 텔레비전 시대에 대형 케이블 회사들은 엄청난 시장 지배력을 가지고 있었고, 사람들에게 어떤 콘텐츠를 보여줄지 결정할 수 있었다. 그러나 인터넷이 등장하면서 케이블 회사의 사업모델이 흔들리기 시작했다. 이들은 분산된 구조로 설계된 인터넷에 새로 등장한 거대한 중앙집중적 플랫폼 사업자들이 돈을 버는 모습을 지켜봐야 했다.

- 현재 상황은 금융위기 때와 많이 닮았다. 금융위기 직전 전 세계적으로 자산 거품이 형성되었다. 돈의 값어치는 낮았고, 대출을 쉽게 받을 수 있었으며(심지어 일정한 소득이 없거나 소득이 적은 사람도 받을 수 있었다) 시장은 과열되었다.

그러나 아무도 불편한 질문은 하지 않았다. 왜 그런 일이 벌 어지고 있는지, 왜 집값이 월급보다 훨씬 빨리 오르는지 묻지 않 았다. 간간이 기사나 토론에서 복잡한 금융 공학의 문제점을 다 루기는 했지만, 너무 복잡하고 지루하다는 이유로 묻혀버렸다. 부채담보부증권이 뭔지, 합성포지션거래가 뭔지, 우리가 왜 알 아야 한단 말인가? 그런 금융 상품으로 어떻게 돈을 버는지야 수학자들이 잘 알 테고, 은행에서는 똑똑한 사람들이 일하고, 정부도 걱정 없어 보이고, 모두 잘살게 되었는데, 왜 사서 걱정을 해야 하는가?

인터넷에 대한 우리의 태도도 마찬가지다. 어려운 금융용어를 들으면 흥미를 잃는 사람이 많은 것처럼, 기술 용어를 써가 며 네트워크 기반 구조를 상세하게 설명하는 걸 재미있어 하는 사람은 거의 없다. 우리가 어렵다고 생각하고 피하려 하기 때문 에, 힘 있는 사람들은 불편한 질문을 받을 걱정 없이 결정을 내 릴 수 있다.

브라이언 오켈리는 매우 복잡한 분야로 악명 높은 온라인 광고 산업도 일상적인 용어로 설명하면 근본적인 문제가 무엇 인지 곧 드러난다는 사실을 보여주었다. 다른 분야도 마찬가지 다. 우리는 굳이 자세히 알 필요 없으니 걱정하지 말라는 말을 들을 때마다 의심하는 습관을 길러야 한다.

대규모 재앙을 일으키는 것은 우리가 만든 시스템이지 이따금씩 등장하는 악당이 아니다. 그런데도 문제가 생기면 우리는 본능적으로 나쁜 사람을 찾아 모든 죄를 그에게 뒤집어씌우려고 한다.

페이스북의 사생활 침해 문제가 터질 때마다, 사람들은 마크 저커버그의 잘못을 비난한다.

- 인터넷 시대의 시스템이 권력과 부를 어떻게 분배하는지 살피다 보면, 한 가지 사실이 눈에 띈다. 권력과 부를 거머쥐는 데 성공한 사람들이 대부분 백인이고 대부분 남성이고 대부분 인터넷 시대가 시작되기 전부터 부자였다는 것이다.

이 사실은 인터넷이 지닌 여러 맹점을 설명해준다. 어쩌면 그래서 인터넷의 문화적 감수성이 낮고, 초기 소셜 네트워크에서 협박과 희롱이 아무렇지도 않게 행해졌는지도 모른다. 인터넷이 기득권층에 권력과 부를 몰아준 것은 우연이 아니다. 인터 넷이 부와 명예를 좇는 사람들의 장이 되면서부터, 전 세계 기득 권층이 인터넷으로 고개를 돌리리라는 건 쉽게 예상할 수 있는 일이었다. 그리고 예상대로 기득권층은 인터넷으로 몰려들었다.

- 머신러닝의 주류로는 지도학습, 비지도 학습, 강화학습이 있다. 장점과 단점이 각각 존재해 어떤 것이 정 답이라고 할 수는 없다. 지도학습을 하려면 정답이 있는 데이터가 충분히 있어야 한다. 는 것이 큰 단점이다. 정답이 있는 데이터가 있어야 하므로 때에 따라서는 사람들이 직접 레이블을 붙여야 하는 경우도 있다. 반면에 원하는 작업을 비교적 정확하게 할 수 있다는 것이 장점이다. 그래서 일이 정해져 있고 데이터가 풍부한 경우에는 지도학습을 이용한다. 그에 비해 비지도학습은 데이터만 있으면 된다. 대신 적은 양의 데이터로는 학습이 잘 안 된다. 이는 곧 데이터가 많아야 한다 는 말이다. 그렇지만 학습을 위해 정답을 부여하지 않아도 되므 로 쓸모 있는 데이터가 많다면 쉽게 적용할 수 있다.
문제는 지도학습과 비지도학습을 무처럼 잘라서, 여기에는 이 것을 쓰고 저기에는 저것을 쓰는 경우가 거의 없다는 사실이다. 상황에 따라 적절하게 섞어 사용하는 것이 가장 바람직하다. 예 를 들면, 비지도학습으로 적당한 클러스터를 찾고 그다음에 이름 을 붙인 뒤 지도학습을 다시 하는 식으로 학습할 수도 있다.
- 현재 확보한 데이터가 거의 없는 경우라면 강화학습이 유일한 방법이다. 강화학습의 경우에는 에이전트가 실패나 성공을 할 때 마다 학습하므로 계속 반복하면서 데이터가 저절로 생성된다.
즉, 데이터가 저절로 생성된다는 의미다. 어린아이가 넘어지면서 걷는 것을 배우는 것과 비슷하다. 강화학습은 반응에 적응하는 방식으로 배우기 때문에 모델만 잘 만들면 다양한 곳에 활용 할 수 있다. 딥마인드 같은 회사가 강화학습을 통해 일반지능 기술을 개발하는 데 활용하겠다고 하는 것도 이런 이유다. 하지만 데이터가 별로 없을 때 반복적으로 어떤 작업을 할 수 있도록 환경과 에이전트를 정의하는 작업, 많은 수의 시행착오를 거칠 수 있도록 하기가 그렇게 쉽지만은 않다. 그래서 실제로 적용할 수 있는 영역이 상당히 적다. 게임과 같은 환경에서는 반복 적인 시도와 실수를 쉽게 할 수 있어서 강화학습을 쉽고 효율적 으로 적용할 수 있다. 일단 환경에 들어가서 이것도 해보고 저것도 해보면서 학습하는 데 큰 부담이 없기 때문이다. 게임이 아니라 실제 자동차 주행 데이터로 강화학습을 하는 상황이라면 이는 더욱 불가능하다. 큰 사고가 여러 차례 생겨야 학습할 수 있는 상황을 누가 허용할 수 있겠는가.
- 인터넷의 발전 역사를 살펴보면, 초기에는 웹브라우저와 웹서 버 소프트웨어가 포문을 열어 시장을 주도했고, 그다음으로 이들 소프트웨어 보급이 확대되자 포탈과 검색 서비스를 제공하는 기 업으로 주도권이 넘어갔다. 그러다가 모바일시대가 열렸다. 모바 일시대에서는 스마트폰을 이용하는데, 스마트폰은 기본적으로 소통하는 기계이기 때문에 메신저 플랫폼이 모든 것의 중심이 되 었다. 한국의 카카오, 일본의 라인, 중국의 위챗이 전체 모바일 비 즈니스의 주도권을 쥐었다고 해도 과언이 아니다. 그렇다면 그다. 음 인공지능 시대의 주인공은 누가 될까??
이는 사람들의 행태를 보면 어느 정도 짐작할 수 있다. 웹과 메 신저, 이메일, 모바일 앱을 비롯해 전반적인 소프트웨어를 제어 하고 활용할 때 여러 가지를 따로따로 배우기보다는 적은 수의 인터페이스로 일관되고 통일적으로 쓰고 싶어 하는 것이 인지상정이다. 인간은 그렇게 복잡하고 많은 것을 쓰고 관리하기를 좋아하지 않는다. 그렇다면 무엇으로 여러 가지 서비스나 제품을 활용하고자 할까? 대부분의 사람은 음성이나 챗봇을 사용할 가능성 크다고 말한다. 여기에 AI 기술이 접목되고, 기술 편의성과 익숙함이 많이 향상되면 과거의 포탈이나 검색, 메신저 등의 포지션을 차지하게 될 것으로 전망된다.
- 이렇게 하기 위해서는 자연어처리와 자연어 생성 기술도 중요 해진다. 그리고 여기에 다양한 비즈니스 로직을 처리할 수 있는 클라우드 서비스까지 연계한다면 과연 어떻게 될까? 이때 챗봇 음성 플랫폼이 모든 것의 문지기 역할을 할 수 있다. 인터넷과 웹 시대에는 검색이 문지기 역할을 하고, 모바일시대에는 메신저 플랫폼이 그 역할을 했다. 지금은 AI가 중심이 되는 시대이다. 개인이 활용해야 하는 데이 터와 디바이스의 종류가 많은 지금 시대에는 챗봇이나 음성 에이전트가 문지기 역할을 할 가능성이 크다. 결국 이들이 정보를 찾고, 고객을 응대하고, 교육하고, 여러 기기를 컨트롤도 하고, 워크플로우를 관리한다면 이 문지기를 장악하는 것이 미래 가장 중요한 비즈니스 주도권을 가질 것이다. 수많은 기업이 이 시장을 놓고 경쟁하는 이유이다.
- 한 가지 중요하게 살펴볼 부분은 'AI 스피커로 무엇을 할 것인가'이다. 그동안에는 타이머를 맞추고, 음악을 플레이하고, 뉴스를 읽고, 알람을 설정하고, 전등과 같은 사물인터넷 기기를 조종하고, 쇼핑에 도움을 주는 등의 일반적인 사용 형태를 보인다. 하지만 최근에는 보이스 앱 형태로 구매할 수 있는 것들이 점점 많이 등장하면서 앱스토어처럼 다양한 생태계가 만들어지고 있다. AI 스피커로 인지기능을 높여주는 전용 앱을 통해 초기 인지장애 에 도움을 주는 시도도 있으며 명상과 같이 건강이나 치료 목적의 시도도 늘어나고 있다.
- 실제 상황에서는 대부분 데이터 세트의 양은 많지만 정답이나 레이블이 제대로 달려 있는 데이터 세트가 적은 경우가 많다. 이 런 경우에는 양질의 답이 있는 소수 데이터 세트를 이용해서 답 이 없는 데이터에 답을 붙이는 작업을 할 수 있는데, 이런 방식의 학습을 준지도학습(Sermi-Supervised Learning)이라 부른다.  또한 답은 있지만 답이 명쾌하지 않은 경우도 있다. 예를 들어 인스타그램 이미지에는 해시태그가 많이 달리는데, 사실 이 해시태그들이 인스타그램 해당 사진을 제대로 설명하지 못하는 경우가 많다. 그러나 전혀 관계가 없다고 할 수는 없는 약한 연관성을 가지고 있는데 이런 정답 또는 레이블을 약한 레이블(Weak Label)'이라 부른다. 이런 레이블들은 이미지나 데이터를 완벽하 게 설명하지 못한다. 그렇지만 이런 경우에도 데이터가 충분히 많으면 학습을 잘 시킬 수 있는 알고리듬을 만들 수 있는데, 이런 알고리듬을 약지도학습(Weakly-Supervised Learning)이라 한다. 최근에는 이들 두 가지 알고리듬의 장점만을 적절하게 섞은 것도 나오고 있는데 대표적인 것이 페이스북이 2019년 발표한 준약지도학습(Semi-Weakly Supervised Training)이다. 준지도학습 방 식인 스승-제자(Teacher-Student) 모델과 대량의 약지도 데이터 세트에서 최고의 답이 달린 일부 샘플을 구성하고 강화하는 방 식을 동시에 활용하면, 양질의 데이터가 상당히 좋은 성능을 낼 수 있다는 것이 이 연구의 결과이다. 즉 언제나 양질의 데이터가 많아야만 학습시킬 수 있다는 가정은 이제는 틀렸다고 말할 수 있다. 여기에 더해 최근 다양한 연구 성과를 내고 있는 대형모델(Big Scale AI)을 가능하게 만든 자가지도학습(Self-Supervised Learning) 기술의 발전도 빼놓을 수 없다. 항상 정답을 제공해야 하지만 빠 른 학습이 가능한 지도학습이나, 데이터만 제공하면 되기 때문에 학습 가능한 데이터를 쉽게 공급할 수 있는 비지도학습의 장점을 적절하게 섞은 기술이다. 기술에 대한 자세한 설명은 이 책의 범위를 넘기 때문에 생략하지만 자가지도학습' 이라는 용어의 중요성 정도는 알고 넘어가는 것이 좋다.
- 흔히 딥러닝을 이야기할 때 가장 중요한 것 중 하나가 데이터라고 한다. 그렇지만 이 부분에 대해서는 좀더 세심히 봐야 할 필요가 있다. 신경망의 크기나 알고리듬에 따라서 데이터 크기의 중요성이 달라지기 때문이다. 일반적으로 전통적인 머신러닝 알고리듬이나 통계학적 학습의 경우 데이터가 적어도 비교적 좋은 결과를 빠르게 내는 것으로 알려져 있으며, 데이터 양이 많아진다고 해서 성능이 반드시 좋아지는 것은 아니다. 이에 비해 신경망의 경우에는 크기가 크면 클수록, 데이터가 많으면 많을수록 대체로 결과가 좋아지며 성능이 향상되는 경향을 보인다. 단순히 데이터의 양이 많아야만 한다고 이야기하는 것은 옳지 않다. 물론 최근 신경망의 경우, 모델의 크기가 커지면서 데이터 크기가 커지면 성능이 좋아진다고 말하는데, 이것이 완전히 틀렸다고는 할 수 없다. 그렇지만 이런 경우에도 상용화를 할 때는 요구되는 컴퓨터의 연산양이 많아지고 그것이 속도에도 영향을 미치기 때문에, 적절한 신경망의 크기와 데이터의 크기는 상황에 따라 달라질 수 있다는 사실을 잊어서는 안 된다. 그림 7-4는 최근 구글이 공개한 머신러닝 코스 워크 중에서 문제의 프레임을 정의하는 부분이다. 머신러닝 기술 자체를 익히는 것도 중요하지만 상용화를 위해서는 그 밖의 다른 부분을 많이 이해해야 한다. 무엇보다 중요한 것이 머신러닝으로 풀어야 하는 문제를 정의하고, 어떤 종류의 정답이 달린 데이터가 있는지를 확인하며, 모델에 적합한 데이터를 디자인하고, 어디서 데이터를 얻을지 결정하며, 쉽게 얻을 수 있는 입력과 정량적 측정이 가능 한 출력 등을 잘 정의하는 일이다. 이런 과정을 거쳐 데이터 세트를 먼저 만든 후 데이터를 적절하 게 변형해서 모델을 학습시킨 다음에 AI 모델을 적용해 예측한다. 이런 프로세스가 AI 기술을 현업에 적용하는 전형적인 방식이다.
- 때때로 기대와 현실은 무척 다르다. 연구자들처럼 최적의 AI 모델을 테스트하고 최신의 이론을 적용할 것 같지만, 실제 현실에서 하는 일은 어떻게 데이터를 모을 것인지부터 시작해서 설정값을 바꾸고, 데이터가 정확한 것인지 확인하고, 사용할 수 있는 컴퓨터가 얼마나 되는지 기다리거나 컴퓨터에서 발생한 문제를 해결하며, 지속적으로 모니터링하면서 이상한 문제는 없 는지 기다리며 시간을 보낸다. 이런 작업을 효과적으로 하기 위 해 다양한 분석 도구, 프로세스 관리 도구, 서비스 인프라 등을 잘 정하고 활용하는 것이 현실 서비스에서는 머신러닝 모델을 잘 만드는 것보다 중요할 수 있다.
이 중에서도 가장 귀찮으면서도 중요한 것이 데이터를 모으고, 데이터에 좋은 레이블을 붙이는 작업이다. 이는 생각보다 쉽지 않 은 일이라서 이 작업만 전담하는 플랫폼 기업들이 등장하기도 한- 데이터를 모으고 적절한 레이블을 붙이는 작업자와 이들의 작 업을 관리하고 검수하는 시스템을 오픈 플랫폼으로 만들어 양질의 데이터를 기업에 공급한다. 물론 이 작업에도 AI 기술이 활용 되기도 하지만 AI 기술을 제대로 활용하기 위해서는 데이터에 대 해 이해도를 높이고, 좋은 데이터를 만들고 확보하기 위한 노력 을 게을리하면 안 된다. SK C&C가 만든 인공지능 에이브릴을 기억하는가? 이것은 IBM의 인공지능 기술인 왓슨을 라이센싱해서 한국어 버전으로 만든 서비스이다.  이 경우에도 왓슨의 서비스를 제대로 돌리기 위해 한국어 학습 을 위한 데이터 수집이 필요했다. 이때도 크라우드웍스와의 협력다. 국내에서는 크라우드웍스가 대표적이다.
- 에이브릴 서비스의 탄생은 단순히 AI 기술만 있다고 탄생할 수 있는 것이 아니다. 데이터가 중요하다면 스마트폰을 활용해서 사진도 찍을 수도 있고 위치 정보와 거래 정보도 활용할 수 있다. 이렇게 고급 데이 터를 잘 활용해서 학습한다면 생각보다 많은 일을 할 수 있다. 중 국의 위챗은 이런 데이터를 잘 활용한 기술을 많이 사용하는 것으로고 알려졌는데, 중국이 AI 슈퍼파워라고 불리는 이유가 데이터를 마음대로 활용하고 학습할 수 있는 기회가 많아서이다(최근에는 중국에서도 강력한 개인정보보호법이 시행되기 시작했다), 이에 비해 한국은 개인정보보호법이 강력해서 실제 작업할 때 어려움이 만만치 않다. 그렇다고 새로운 학습을 하지 못하도록 해서 AI 기술의 발전이 저해된다면 손해가 막심할 것이다.

- 그랩은 말레이시아에서 출발했지만 곧바로 태국을 비롯한 주변 국가로 진출했다. 보통의 기업, 스타트업들이 국내시장에서 기반 을 확실히 다진 후에, 혹은 포화 상태에 이르렀을 때 해외 진출을 계획하는 것과 사뭇 달랐다. 안소니 탄과 후이링 탄은 일찍부터 해 외 진출을 염두에 두었다고 밝혔다. 말레이시아가 3200만 명의 인구를 가진 규모가 작은 시장이기도 하거니와 앞서 이야기했듯 교 통과 이동에 있어 동남아 전역이 비슷한 문제점을 안고 있었기 때 문이다.
그랩은 2012년 말레이시아에서 출발해 첫 해외 진출을 한 필리 핀에서 서비스를 내놓기까지 1년, 그리고 다른 아세안 4개국으로 사업을 확장하기까지 2년밖에 걸리지 않았다. 과감한 실행력으로 무섭도록 빠르게 결정을 내린 것이다. 인터넷 유저가 적고 연결성 이 상대적으로 낮은 미얀마와 캄보디아에서의 서비스 출시가 2017 년으로 늦어졌을 뿐이다.
해외시장 진출은 차량공유나 플랫폼 스타트업의 과제인 스케일 업에서 중요한 전략적 선택이다. 그랩이 제일 처음 진입한 필리핀과 베트남은 1억 명의 인구를 가지고 있으며 젊은층이 많다. 2억7000만 명 이상 살고 있는 인도네시아는 동남아 최대 시장이다. 태국은 이보다 인구 규모가 작지만 소득이나 현지인 및 외국인 수요 에 있어 뒤처지지 않는다. 서비스가 필요한 잠재 수요가 이미 넘쳐 나는 시장이다.
누구나 성장 잠재력을 파악하고 있지만, 누구나 성공하는 것은 아니다. 한국의 카카오도 해외 진출을 감행했지만 메신저 서비스로 는 성공하지 못했다. 해외시장으로의 확대, 지역 통합 전략은 그랩 성장의 원천이라 할 수 있다.
- 고젝은 사업 확장을 위해 자체 개발을 하기도 했지만, 인수합병과 파트너십을 적극 활용했다. 2015년 앱 론칭 이래 엄청나게 빠른 속도로 스케일업이 이루어졌고, 서비스와 기능이 다양해진 만큼 소 프트웨어와 데이터 처리 등 기술의 양적·질적 성장이 요구되었다. 그러나 고젝은 자체 인력만으로 R&D와 기술적 지원을 감당하기가 어려웠다. 고젝에 투자한 세콰이어는 인수합병으로 해법을 찾으라고 권하 며 인도 방갈로르의 소프트웨어 엔지니어링 회사 C42와 델리의 코 드이그니션 Codeignition을 직접 소개해주었다. 2016년 고젝은 이 두 회 사를 인수하고 방갈로르에 개발센터를 세웠다. 이후에도 인도 테크 스타트업인 레프트시프트Leftshift, 피안타Pianta, 에어씨티오 AirCTO를 추가로 인수했으며, 모바일 앱과 헬스케어, AI 분야의 기술 축적을 추진하고 있다.
핀테크 시장에서 주도권을 잡기 위해 선택한 전략 역시 인수합 병이었다. 라이선스 취득과 함께 기존 사업자의 네트워크를 통해 빠르게 시장을 확대할 수 있기 때문이었다. 2016년에 엠브이커머스MVCommerce를 인수해 고젝의 모바일 지갑 라이선스 문제를 깔끔하게 해결했고, 이듬해에 핀테크 기업 카르투쿠Kartuku, 미드트랜스 Midtrans, 마판Mapan을 인수했다. 그랩페이가 인도네시아 핀테크 스타 트업 쿠도를 인수해 시장을 치고 들어오자 기업 3곳을 인수하며 맞 불을 놓은 것이다. 이후 그랩페이는 디지털 결제에서 소규모 대출 과 할부 금융에도 손을 뻗쳤고, 모카를 인수하며 POS 사업에도 뛰 어들었다. 뿐만 아니라 자고은행ago Bank의 지분도 사들였는데, 이를 발판으로 디지털 뱅킹과 대출시장에 본격적으로 진출할 예정이다. 고페이의 가치는 이미 유니콘 반열에 올라선 것으로 보고 있다.
- 인수합병의 과감한 행보는 막대한 투자가 뒷받침되었기에 가능했다. 아세안 최대 시장인 인도네시아에서 입지를 굳게 다진 만큼 해외 투자자들의 펀딩이 밀려들었다. 글로벌 사모펀드인 KKR 과 워버그 핀커스, 중국의 텐센트와 JD.com, 구글이 고젝에 투자 했다. 구글의 경우 동남아 스타트업에 대한 최초 투자로 기록되었 다. 2020년에 진행된 시리즈 F(스타트업 기업이 진행하는 첫 번째 투자 유 치를 시리즈Series A라고 한다. 따라서 시리즈 F는 6번째로 진행한 투자를 의미 한다)에서는 페이스북과 페이팔이 고젝에 총 375억 달러를 투자했 다. 아세안 시장에서 고젝과의 파트너십을 통한 시장 확대를 목표 로 한 것으로 추정된다.
- 파트너십은 고젝이 마찰을 최소화하면서 시장을 확대하기 위해 적극 활용한 전략이다. 라이드헤일링 시장은 어느 국가에서나 택시회사, 택시 기사와 마찰을 일으킨다. 인도네시아에는 블루버드Blue bird라는 최대 택시 사업자가 버티고 있었다. 그러나 블루버드는 소비자의 흐름이 라이드헤일링을 거부하지 못할 것임을 깨달았고, 2016년 고젝과의 협력을 발표했다. 그랩앱을 통해 택시를 예약할 수 있는 것과 마찬가지로 고젝의 고카GoCar를 통해 오토바이, 일반차량, 택시를 예약할 수 있다.
- 라자다와 토코페디아보다 시장에 한발 늦게 들어온 쇼피는 어떻 게 아세안 최고 이커머스로 성장할 수 있었을까? 이커머스나 플랫 폼 비즈니스에서 '승자가 모든 것을 가져간다Winner Takes All'는 말이 경전처럼 쓰이고 있는 가운데 쇼피의 성공은 그야말로 경영학 사 례 연구로 손색이 없을 정도다. 쇼피는 거대 이커머스 업체들이 파 고들지 못한 지점을 파악하며 자신의 약점을 강점으로 전환하는 전략을 구사했다.
첫 번째 전략은 모바일 기반 최적화다. 미국과 한국이 인터 넷-PC시대를 거쳐 모바일로 이동했다면, 중국과 아세안은 PC는 건 너뛰고 바로 모바일로 점프했다. 모바일 립프로깅leap forgging(단번의 도약)이 일어난 시장에서 이용자들은 PC 기반 화면보다 모바일 앱 기반 서비스를 이용하는 게 편리할 수밖에 없다. 이커머스 플랫폼도 마찬가지다. 쇼피는 로딩 속도, 화면 크기, 한 번에 보여주는 상품의 개수, 결제 등을 소비자의 눈높이에 맞췄다. 현재 쇼피 전체 주문 건의 95%가 모바일 앱에서 이루어지고 있다. 
두 번째 전략은 프로모션과 셀러 지원이다. 고객이 들어와도 살 물건이 없으면 장사가 될 수 없다. 또한 물건을 잔뜩 쌓아두고 있다. 고 해서 고객이 몰려드는 것도 아니다. 쇼피는 후발주자였기에 고 객들을 끌어모으기 위해 무료 배송과 쿠폰 발행 등 프로모션에 돈 을 쏟아부었다. 마켓플레이스 판매자들에게도 수수료를 낮춰주거 나 무료로 해주었고, 등록 절차를 간소화하는 등 그야말로 공을 들 였다. 온라인 판매가 익숙하지 않은 판매자들에게는 디지털 마케팅 기법을 적용할 수 있도록 친절히 안내해주었다.
세 번째 전략은 철저하고 깊숙한 현지화, 즉 시장이 하이퍼 로컬리제이션이다. SEA가 진출한 동남아 6개국과 대만은 모두 다른 언어와 종교를 갖고 있고, 소득 수준 차이가 크다. 즉 시장이 문화적으로도, 경제적으로도 균일하지 않다. 따라서 선호하는 색상이나 브랜드, 베스트셀러 상품이 다를 수밖에 없다.
일반적인 이커머스는 언어만 다르고 같은 포맷과 상품을 보여 주지만, 쇼피는 말레이시아, 인도네시아, 베트남, 태국 등 해외시장에 진출하면서 각각 새로운 앱을 내놓았다. 즉 1개국 1앱으로 모 두 7개의 앱을 론칭했다. 대만에서 보는 쇼피앱과 인도네시아에서 보는 쇼피앱은 언어만 다른 것이 아니라 구성 자체가 다르다. 
네 번째 전략은 엔터테인먼트 마케팅을 통한 고객 참여와 록인 lock-in이다. 동남아인들의 평균 모바일 이용 시간은 1일 4시간 전후 로, 상당히 긴 편이다. 쇼피는 그들을 자신들의 앱에 묶어두는 방법 을 고민했다. 가레나 유저들이 무엇을 좋아하는지, 어떤 서비스에 환호하는지 이미 경험한 쇼피는 이를 이커머스에도 적용시켰다. 그래서 탄생한 서비스가 쇼피챗과 쇼피피드, 쇼피라이브 등이다. 쇼피챗은 라이브 채팅을 통해 소비자와 판매자가 직접 대화를 나눌 수 있도록 했고, 쇼피피드는 쇼피앱 안의 소셜미디어 역할을 한다. 쇼피라이브는 스타와 셀럽을 쇼호스트로 내세워 제품을 소개하기도 하고, 콘서트나 팬미팅을 열기도 한다. 하루에 몇 시간씩 쇼피에서 시간을 보내도 지루하지 않게 만들었다. 프로모션과 이벤트를 홍보하는 채널을 자체적으로 구축한 셈이다.
다섯 번째 전략은 디지털 통합 생태계다. 가레나는 에어페이라 는 자체 결제 시스템을 갖추고 있었고, 여기에 쇼피페이가 추가되면서 씨머니라는 금융 서비스 섹터가 만들어졌다. 스마트폰만 있으 면 쇼핑도, 게임도, 결제도 손쉽게 할 수 있다. 셀러 역시 배송과 결제 걱정 없이 쇼피 세상에 발을 들여놓기만 하면 된다. 'BNPL Buy Now Pay Later" 이라는 후불 할부 결제 시스템도 도입되었다. 쇼피와 가레 나 이용자들이 씨머니로 결제할 수 있는 한도가 더 늘어났고, 회원 들에게 맞는 금융 서비스를 제공하면서 SEA 생태계 내 시너지 효 과가 극대화되었다. 성과는 수치로 확인된다. 씨머니의 모바일 지 갑을 이용한 결제 규모는 2017년 2분기 3억 4800만 달러에서 2021년 1분기 34억 달러로 무려 10배나 증가했다.
- 라인은 한국에서는 성공을 거두지 못했지만, 일본과 태국, 대만에서는 단시간에 1등 메신저 자리를 차지했다. 특히 태국에서는 모바일 포털 역할을 수행할 정도로 생활 속에 깊숙이 파고들었으며, 기업들이 가장 선호하는 마케팅 파트너로 성장했다. 라인이 태국에서 성공한 이유, 라인만의 경쟁력을 묻는 질문에 신중호 라인 최고 글로벌책임자CGO는 이렇게 답했다.
“라인 해외 진출 성공 전략은 '현지화'를 넘어선 '문화화culturalization’다. 그 나라 음식을 먹고 그 나라 말을 하는 사람들의 이야기를 들 어야 한다. 내부에서는 해외 진출에 대해 '로컬리제이션Localization'이 란 말 대신 '문화화'라는 말을 만들어 쓴다."
라인은 자신들의 홈페이지에도 문화화를 공식적으로 언급했다. '보편적인 접근 방식에 기반한 세계적으로 표준화된 서비스에 안 주하기보다는 이용자를 매우 심층적으로 참여시키고, 각 지역에서 진화하기 위해 각 국가의 문화와 규범을 존중하는 것이 필수적이라 고 생각한다. 우리는 이것을 문화화라고 부른다.
라인은 현지 법인이 직접 서비스 기획부터 운영까지 총괄하는 체계를 수립하고 현지인들의 정서와 니즈에 맞는 서비스를 생산, 제공하면서 라인의 문화화를 수행하고 있다. 본사의 영향에서 벗어 나 현지 독립성을 철저히 인정하고 현지인들의 정서까지 고려한다는 점에서 로컬라이제이션을 뛰어넘는 문화화는 라인이 새롭게 정의한 개념이다. 그랩의 하이퍼 로컬라이제이션과 일맥상통하는 접 근법이라고 볼 수 있다. '쿠키런'과 '모두의 마블'은 태국 정서에 알맞다는 현지 직원들의 의견을 받아들여 론칭했는데, 결과는 대박이었다. 라인 스티커도 현지에서 10차례 이상 시안을 검토하고 태국인들만의 특유의 제스 처와 정서를 담은 모습으로 뜨거운 반응을 이끌어냈다. 라인맨 역 시 현지 직원들의 아이디어로 탄생했다. 라인의 문화화가 그 힘을 제대로 증명해냈다.
- 동남아 슈퍼앱들은 플랫폼을 통해 다양한 서비스를 제공하고 있 어 겹치는 영역에서 부딪히는 것을 피할 수 없다. 슈퍼앱 5가 공통적으로 갖고 있는 영역은 디지털 결제 부문이다. 모든 온디맨드 서비스는 최종적으로 소비자가 돈을 지불해야만 실제 매출이 일어나고 사업이 유지된다. 고객을 얼마나 편리하게 그 단계까지 끌어와 최종 결제 버튼을 클릭하게 만드는가가 중요하다. 동남아 소비자들의 페인 포인트는 바로 결제 수단이다. 따라서 슈퍼앱들은 결제 수단에 매달릴 수밖에 없다. 한국에서는 대부분의 성인이 신용카드를 보유하고 있어 네이버페이나 카카오페이에 신용카드를 연결시켜 놓는 방식이 일반적이지만, 그랩페이나 고페 이는 돈을 모바일 지갑에 충전해서 사용하는 사람이 많다. 자신들 의 '페이pay'가 은행 계좌나 다름없는 것이다. 슈퍼앱들의 입장에서 페이는 단순히 여러 서비스 중 하나가 아니라 다른 모든 서비스의 매출을 이끌어내는 수단이자 자금을 모아놓는 훌륭한 저장고라 할 수 있다.
- 레드오션으로 변한 디지털 결제시장에서 슈퍼앱들은 어디로 향하고 있을까? 카카오페이가 카카오뱅크로 넘어간 것과 마찬가지로 디지털 뱅크로 무대가 바뀌고 있다. 이제 기존 은행들은 슈퍼앱, 그리고 곳곳에서 태어나 성장하고 있는 핀테크 스타트업들과 경쟁 을 벌여야 한다. 한국의 카카오뱅크와 토스 같은 디지털 뱅크는 이 용자들이 공인인증서 설치부터 여러 단계를 거쳐야 하는 불편함을 해결하고, 여러 은행 계좌를 한 번에 관리할 수 있는 편리함을 제공 하면서 단시간에 금융시장의 판도를 바꾸었다.
동남아 디지털 뱅크는 여기에 더해 충분히 금융 서비스를 받고 있지 못하는 2~3억 명의 고객을 더 확보할 수 있다는 기회까지 있 다. 디지털 뱅킹 섹터는 이제 막 닻을 올린 블루오션이다. 누가 먼 저 라이선스를 받고 항해를 시작할지 지켜볼 필요가 있다.
- 슈퍼앱들은 디지털 은행뿐 아니라 할부 금융, 보험 판매, 투자와 자산 관리 서비스 등에도 손을 뻗치고 있다. 파이낸셜 부문에서 가장 다양한 상품과 서비스로 포트폴리오를 구성하고 있는 슈퍼앱은 고투그룹의 고투 파이낸셜이다. 고투 파이낸셜은 개인 고객을 위한 후불 결제, 일명 BNPL 서비스부터 비즈니스에 필요한 POS 시 스템, 온라인 스토어 웹 사이트 구축 플랫폼, 페이먼트 게이트웨이 솔루션, 보험, 투자, 기부까지 다양한 서비스를 제공하고 있다. 고인 베스타시 Golnvestasi는 금을 사고팔 수 있는 금투자 플랫폼이다.
- 그랩만 보더라도 그랩 파이낸셜에 그랩페이와 BNPL, 보험, 사용 금액에 따른 포인트 관리 그랩리워드가 있다. 주목할 만한 섹터는 그랩인베스트 Grabinvest다. 그랩 파이낸셜의 투자 섹터에는 오토인베 스트Autoinvest라는 프로그램이 있다. 그랩을 사용할 때마다 1달러 혹 은 2달러 등 일정 금액을 투자하도록 설계해놓으면, 그 돈이 투자 상품으로 들어가 운용되고 수익금이 다시 그랩페이 모바일 지갑으로 되돌아오는 구조다. 운영은 풀러튼 펀드 매니지먼트 Fullerton Fund Management 와 UOB자산운용이 맡고 있다. 투자에 관심이 많지만 한 꺼번에 목돈을 투자할 수 없는 젊은이들을 타깃으로 만든 상품이다. 2020년 로보어드바이저 스타트업 벤토Bento를 인수할 때부터 그랩이 추후 자산 관리 분야에 뛰어들 것이라 예견되었다. 디지털 은행과 보험 및 투자 상품 연계에 향후 개인 자산 어드바이저 서비 스까지 추가되면 그랩은 모바일에 익숙한 세대에 진정한 금융 기 업으로 인식될 가능성이 크다. 한국의 카카오뱅크와 토스처럼 말이다.

최근 각종 신문이나 증권사 보고서에서는 연일 NFT관련 내용을 소개하고 있다. 사전적으로는 '대체 불가능한 토큰(Non-Fungible Token)'이라는 뜻으로, 희소성을 갖는 디지털 자산을 대표하는 토큰을 말한다. NFT는 블록체인 기술을 활용하지만, 기존의 가상자산과 달리 디지털 자산에 별도의 고유한 인식 값을 부여하고 있어 상호교환이 불가능하다는 특징이 있으며, 자산 소유권을 명확히 함으로써 게임·예술품·부동산 등의 기존 자산을 디지털 토큰화하는 수단이 될 수 있다.

특히 2021년 초에 마이클 윈켈만(디지털 아티스트 비플)의 '에드리데이즈: 첫 5000일'이 세계적 경매회사 크리스티가 뉴욕경매에서 NFT암호화 기술을 적용하여 6930만 달러에 거래되며 화제를 불러모았다. 국내에서도 SM엔터테인먼트가 NFT관련 사업을 준비하고 있다고 컨퍼런스에서 공개했고, BTS소속사 하이브 역시 NFT사업을 준비하고 있다고 공개했다. 삼성그룹 역시 NFT 스타트업에 투자하고 있다. 

NFT가 한 때의 유행이 될 것인지, 아니면 계속해서 진화하면서 가상세계와 디지털 세계에서 투자와 결제의 중요한 수단으로 발전할 것인지는 아직 미지수다. 이 책은 IT전문가 맷 포트나우와 마케팅 전문가 큐해리슨 테리가 지은 책으로 NFT의 개념과 역사, 그리고 NFT를 판매하고 구매하는 방법을 알기 쉽게 설명한 입문서이자 핸드북이다. 블록체인이나 암호화폐에 대해 잘 모르는 입문자들도 NFT를 이해하는 데 무리가 없도록 친절하고 구체적으로 NFT와 관련된 모든 현황을 정리해 주고 있다. NFT의 거래에는 암호화폐가 사용되고 있기 때문에 자칫 어렵게만 느껴질 수 있다. IT 전문가가 아니면 NFT는 발도 들여놓지 못할 영역이라고 지레 포기하기 쉽다. 하지만 모든 거래는 처음 소개될 때는 어려운 개념으로 다가오지만 결국은 일반 대중이 활용하기 쉽게 진화하기 마련이다. 모바일 결제를 생각해보면 쉽게 이해할 수 있다. 처음에는 어떻게 휴대폰으로 물건을 살 수 있을 것이라고 상상했겠는가. 하지만 지금은 누구나 휴대폰의 앱카드를 이용해서 물건을 살 수 있고, 음식을 주문하는가 하면, 모바일 결제를 이용하여 인터넷 쇼핑몰에서 쉽게 결제하는 세상이 되었다.

모든 것의 역사가 그렇지만, 특정한 것의 역사가 시작된 순간을 정의하기는 어려운 일이다. 하지만 역사상 의미있는 변화의 순간은 뚜렷하게 구분된다. NFT가 블록체인을 활용한다고 해서 최초로 블록체인이 만들어진 2008년을 NFT의 역사로 보기에는 적절하지 않다. 오히려 미술수집가를 새롭게 규정하며 미술품 수집의 저변을 넓힌 디지털아트와 같은 예술사조나, 팝아트, 사이버펑크 컬렉션 등이 NFT의 역사에서 중요한 역할을 했다. 

현재 NFT가 거래되는 마켓플레이스는 수십개가 존재하며, 이곳에서 거래되는 품목도 디지털아트, 수집품, 음악, 도메인이름, 가상부동산, 디지털트레이딩카드, 인게임 아이템 등 무척 다양하다. 현재 거래되는 아이템 이외에도 희소성이 있고, 특전이 부여되는 디지털 상품은 무엇이든 NFT로 거래될 가능성이 있다. 이 책의 말미에서 전망하는 바와 같이 NFT의 장점은 NFT의 미래가 아직 정해지지 않았다는 점이다. NFT의 가장 중요한 쓰임새가 무엇이 될지는 아무도 알 수 없다. 결국 새로운 시도를 하고 리스크를 감수하는 모험가들이 새로운 NFT미래의 주도권을 잡아가게 될 것이다.

* 본 리뷰는 출판사 도서지원을 통해 자유롭게 작성된 글입니다.

- NFT를 이해하기에 앞서 비니 베이비스를 통해 사람들이 왜 수집을 하는지를 살펴본 까닭은 사람들이 비니 베이비스를 수집 했던 근본적인 이유와 사람들이 NFT를 수집하는 이유가 동일하기 때문이다. 바로 희소성 때문이다. 사람들이 무언가를 수집하는 이유에는 투자, 투기, 정서적 애착, 나만 뒤처지는 것 같은 강박감FOMO, Fear of Missing Out 등 다양한 요인이 있겠지만 결국 수 집의 핵심은 희소성이다. 무엇을 수집하는 그 이유는 결국 수집 하고자 하는 물건이 유한하기 때문이다.
그렇다면 NFT 시장은 언젠가는 무너질 수도 있을까? 솔직히 미래는 아무도 알 수 없다. 하지만 비니 베이비스 인형과 달 리 NFT는 미술계와 수집품 시장을 괴롭혀온 고질적인 문제를 해결하는 열쇠가 될 수 있다.
- NFT에 발을 담그 고자 하는 수많은 브랜드, 인플루언서, 기업, 개인은 극히 소수 에 불과한 성공 사례만 보고 자신들이 제공할 수 있는 가치, 자 신들이 만들어낼 수 있는 경험, 자신들이 지금까지 쌓아 올린 브 랜드만으로 자신들도 성공적으로 NFT를 판매할 수 있을 것이 라 믿곤 한다. 그러나 안타깝게도 현실은 그렇지 않다. 오래 지 속되는 장기적인 성공을 위해서는 NFT가 다음과 같은 외적 요 소를 갖춰야 한다.
* 창작자가 '왜' NET 시장에 뛰어들었는지에 대한 설득력 있는 이야기
* NET로 풀어낼 수 있는 '창작자의 명성'
* NET의 '미래 가치가 계속 지속되거나 더 높아질 것'이라는 점을 보장
-  NFT에는 스토리가 그 무엇보다 중요하다.
이제 NFT를 만들고자 결심했다면 그 이유가 무엇인지 깊게 고민해야 한다. 당신이 내놓을 답에 옳고 그름은 없다. 다만 깊이 생각해봐야 한다. NFT를 왜 만들려고 하는가? 동기는 무엇 이었나? 무언가 계기가 된 사건이 있었나? 그 이유를 NFT에 어 떻게 녹여낼 것이며, 대중에게는 또 어떻게 설명할 것인가? 이 이유를 잘 이용해서 존재감을 높여야 한다.
비플의 이야기는 설득력이 있었다. 비플의 브랜드 전체가 NFT 아티스트와 자연스럽게 맞아떨어졌다. 작품을 처음 NFT 로 판매하기 전까지 비플은 자신의 작품을 인쇄해 개당 100달러 이하의 금액에 판매하기도 했는데, 비플의 작품들이 처음부터 디지털 환경에서 창작된 점을 고려하면 인쇄본보다는 디지털 매 체를 통한 감상이 더 적합하다는 점도 설득력을 얻었다. 게다가 〈에브리데이즈 NFT)의 취지는 매일 꾸준하게 성장하는 창의성을 담는 것이었으므로, 비플의 작품을 소유한다는 것은 비플의 오랜 꾸준함의 일부를 소유한다는 의미를 지니기도 했다. 만약 수집가들이 당신의 NFT에 흥미를 갖게 하려면 과연 어떤 이야기를 보여주어야 할지 잘 생각해봐야 한다.
- NFT와 명성
비플의 명성은 자연스럽게 쌓인 것이다. 비플은 14년 동안 인 터넷을 통해 작품을 공유해왔다. 그가 디지털 그림을 그리는 데 쓴 소프트웨어인 시네마4DCinema 4D나 옥테인렌더 OctaneRender를 배우는 것이 됐든, 매일매일 꾸준히 노력하며 성장하는 것이 됐든, 비플은 다른 사람들 역시 더 노력하게끔 자신감을 불어넣어 주었다. 한번 쌓인 명성은 오래 간다. NFT를 제작한다면 무엇이 그 NFT를 유명하게 해줄 것인지, 각자의 이야기와 어떻게 맞닿 아 있는가를 고민해야 한다.
- NFT는 미래에도 그 가치가 보장될까
사람들이 비플의 NFT를 구입하는 것은 장래성에 대한 확신이 있기 때문이다. 우리는 비플이 앞으로도 에브리데이즈>를 계속 그릴 것임을 믿어 의심치 않으며, 수집가들도 비플이 오랫동안 작품 활동을 이어갈 것을 알기에 안심하고 비플의 작품을 구매한다. 이처럼 NFT의 장래성을 시장에 각인시키는 것은 매우 중요하다. 
- 이더리움 기반 NFT의 경우 NFT의 스마트 컨트랙트는 42자리 이더리움 주소를 갖는다. 아무나 블록 익스플로러(블록체인에서 일어나는 모든 거래 내역을 볼 수 있는 온라인 도구)에 가서 NFT의 주소를 검책 창에 넣으면, 그 NFT의 스마트 컨트랙트를 쉽게 찾을 수 있다. 또한 블록 익스플로러는 NFT가 처음 만들어진 주소도 보여줄 것이다. 만약 스마트 컨트랙트의 주소가 작가의 주소와 일치한다면 그 작품은 진품이다. 만약 일치하지 않는다면 그 NFT는 진품이 아니며 NFT에 설명된 작가가 그린 것이 아니다. 이게 전부다. 불확실성은 일절 없으며 전문가도, 말장난도 필요 없다.
오픈시 마켓플레이스에서도 누가 NFT를 만들었는지를 확인 할 수 있다. NFT 페이지를 내려보면 거래이력Trading History 란에 서 NFT를 만든 사람을 확인할 수 있다. NFT의 작가가 인증받 은 계정이거나 NFT의 거래 이력 상의 주소가 작가의 주소와 일 치한다면 그 NFT는 진품이다.
- 사람들이 로건의 NFT를 산 이유는 로건이 유명한 유튜버이고 그의 인기가 앞으로도 점점 높아져서 NFT의 가격도 함께 높 아질 것으로 믿었기 때문일까? 아니면 이 박스 브레이커 NFT)의 가격이 더 유명한 수집품인 포켓몬 카드만으로도 충분히 설명될 수 있는 걸까?
로건의 NFT는 진정한 NFT가 아니라 단지 NFT의 형태로 발급되고 판매된 포켓몬 추첨 티켓에 불과하다는 의견도 있다. 로건의 NFT의 가격이 처음 판매 직후 폭락했음을 고려하면 이 의견은 더욱 설득력을 얻는다. 1ETH의 가격에 판매된 박스 브레이커 NFT)는 현재 마켓플레이스에서 원래 가격의 1/10, 심지어 가끔씩은 1/100의 가격에 판매되고 있다. 우리는 여기서 무엇을 배울 수 있을까?
* 많은 창작자가 자신의 NET의 가치를 높이기 위해서 실물 상품을 이용하고있다. 대부분의 NFT 마켓플레이스는 잠금 해제 콘텐츠나 특전을 통해 NET 판매에 실물 상품을 포함하는 것을 허용하고 있다. 이러한 기능을 이용하면 이미 일정 가치가 있는 것을 NFT에 더함으로써 NFT의 가치를 높일 수 있다.
* NFT의 가치는 변동이 크다. 본 챕터에서 다뤘듯이 NFT에 사용된 기술은 사기나 위조, 공급량 조작을 방지할 수 있다. 하지만 개별 NFT에 대한 수요는 언제든지 변할 수 있다. 그리고 로건의 NFT의 사례에서 볼 수 있듯이, 잠금 해제 콘텐츠나 특전을 통해 제공된 실물 상품이 다 사용되고 나면 NFT의 디지털 부분의 가격은 실물 상품의 가치만큼 떨어지게 된다.
- 앤디 워홀이 제시한 예술의 본질에 대한 신선하고 새로운 방식은 NFT에도 많은 영향을 미쳤다. 앤디 워홀은 팝아트의 창시자가 아니었음에도 순식간에 팝아트의 대표주자가 되었다. 팝아 트는 예술 감상을 대중화하는 데 큰 영향을 미쳤다. 팝아트 작품의 주제가 대중문화의 일부 요소를 다뤘던 까닭에 일반인들도 작품의 소재를 바로 인식할 수 있었기 때문이다. 아무런 사전 지식 없이도 소비 경험만 있다면 충분했다. 브릴로 수세미 Brillo SoapPad를 사거나, 일간 신문의 만화를 읽거나, 영화를 보는 것만으로 사람들은 팝아트를 감상할 수 있었다.
- 팝아트가 등장하지 않았다면 오늘날처럼 다양한 소득 수준의 수많은 미술 수집가가 존재하지 못했을 것이며, 무엇인가를 예술작품으로 인식하는 우리의 기준 또한 지금보다 훨씬 편협했을 것이다. 같은 맥락에서, 새롭게 등장한 NFT 커뮤니티나 NBA톱숏, 로컨 폴 박스 브레이커 Logan Paul Box Breaker, 크립토키티, 비플의 NFT처럼 오늘날에는 팝아트로 분류될 수 있는 디지털아트 수집품도 팝아트 없이는 존재할 수 없었을 것이다.
- NET 초기 시절에 NFT를 민팅하기 위한 유일한 방법은 스마트 컨트랙트를 직접 프로그래밍하는 것이었다. 스마트 컨트랙트란 본질적으로 이더리움 네트워크상에서 작동하는 프로그래밍 코드다. 그리고 이더리움 네트워크는 전세계 수천 대의 컴퓨 터로 구성된 거대한 컴퓨터라고 할 수 있다. 스마트 컨트랙트는 자바스크립트(JavaScript, 웹브라우저 프로그래밍 언어 중 하나)에 기반한 이더리움의 네이티브 프로그래밍 언어인 솔리디티 Solidity로 작성된 컴퓨터 프로그램이다.
스마트 컨트랙트를 작성하고 나면 정상적으로 작동하는지 확 인한 후 이더리움 네트워크에 배포deploy 하게 된다. 여기서 ‘배포’과정으로서 이 경우에는 이더리움 블록체인상에 올리는 것을 의미한다. 한 번 블록체인에 배포된 스마트 컨트랙트는 수정할 방 법이 없으므로 테스트는 매우 중요하다. 모든 NFT는 각기 개별적인 스마트 전트랙트이므로, 블록체인에 스마트 컨트랙트를 배포할 때마다 가스피가 든다. 이제는 오픈시나 다른 NFT 마켓플레이스의 등장으로 더 이상 스마트 컨트랙트를 직접 작성하지 않아도 됨은 물론 프로그래밍 코드를 작성하는 방법(코딩)이나 테스트 및 배포를 하는 법도 알 필요가 없어졌다. NFT의 모든 구성 요소를 이미 만들었으므로, 실제 민팅 과정은 제법 간단하다. 
- 오늘날 NFT를 마케팅한다는 것은 팟캐스트 마케팅과 매우 유사하다. 팟캐스트 하나를 녹음해서 스포티파이나 애플뮤직에 올리기는 쉽지만 재미난 홍보 아이디어가 없다면 아무도 그 팟 캐스트를 발견하지 못할 것이다.
알고리즘은 없다. 스스로 팔로어를 만들어야 한다. 핵심 고객 은 누구이며, 당신만의 팟캐스트는 어떤 방향으로 운영할지를 결정해야 한다. 청취자에게 어떻게 다가가야 할까? 어떻게 하면 사람들이 당신의 팟캐스트를 듣게 할 수 있을까? 청취자들이 팟 캐스트를 다시 듣고 싶게 하려면 팟캐스트 콘텐츠를 통해 어떤 가치를 제공해야 할까? 당신의 팟캐스트는 핵심 청취자들이 그들의 친구들과 함께 듣고 싶어하는 팟캐스트인가?
- 우리는 팟캐스트가 모방의 함정에 빠지는 것을 자주 본다. 한 팟캐스트가 성공을 거두면 다른 팟캐스트들은 성공한 팟캐스트를 똑같이 따라 하기 바쁘다. 사라 쾨닉 Sarah Koenig 이 진행하는 수사 저널리즘 시리얼Serial) 팟캐스트의 시즌1에서는 1999년 에 18살의 나이로 살해된 한국계 미국인 여고생의 살인사건을 다뤄 큰 화제를 모았다. 시리얼>을 필두로, 실제 범죄를 다룬 팟캐스트는 어느새 주류 장르로 자리 잡았고 시리얼〉과 대동소 이한 수많은 아류작은 흘러넘칠 정도로 많아졌다. NFT도 별반 다르지 않다. 특히 디자인 콘셉트를 완전히 베끼는 경우가 다반사다. 포켓몬 카드의 콘셉트을 그대로 모방한 NFT가 수두룩하며, 8비트 콘셉트(80년대 비디오 게임 그래픽 스타일)의 크립토펑크 프로젝트가 성공을 거둔 이후 마켓플레이스에는 8비트 스타일 NFT 프로젝트가 쏟아졌다. 물론 모방 역시 어느 정도 먹힐 수도 있다. 하지만 모조품이 원본을 넘어설 수 없듯 남을 베낀다는 것은 결국 수집가 커뮤니티의 성장에 스스로 한 계를 만드는 것이 된다.
나만의 수집가 커뮤니티를 구축하는 데에는 본보기도 없고 지름길도 없다. 누구에게나 어려운 일이다. 큐해리슨의 NFT에 는 주효했던 방식이 맷의 NFT에는 먹히지 않을 수도 있고 반대 의 경우도 얼마든지 있을 수 있다. 따라서 NFT 마케팅 전략은 수집가 커뮤니티를 구축하는 데 집중해야 한다. 수집가 커뮤니티란 3명이 될 수도, 3,000명이 될 수도 있다. 최종 목표는 당신 작품의 초기 수집가임을 자랑스럽게 여길 진짜 팬을 만드는 것이다. 노력을 통해 기존 팬이 새로 운 NFT 수집가가 될 수도 있으며, 이들로부터 새로운 고객에 대 한 힌트를 얻을 수도 있다. 수집가 커뮤니티를 구축하는 데 집중 함으로써 일회성 NFT 판매를 위한 단기 전략이 아닌, 장기적인 성장 전략을 완성하게 될 것이다. 한 번 먹혔던 작전이나 수법은 보통 두 번 통하지 않는다. 하지만 무엇을 해야하는지에 대한 본질은 변치 않는다.
- NFT를 사는 이유는 여러 가지가 있는데, 그중 일부는 사람들이 실제 미술품을 사는 것과 관련이 있기도 하다. 그 이유로는 다음과 같은 것들이 있는데 이 이유들은 서로 뚜렷하게 구별되지는 않으며, 어떠한 NFT를 구 매할 때 여러 개의 이유가 동시에 작용하기도 한다. (의미, 쓰임새, 투자, 수집, 명성 등)  
- NFT에 대한 투자를 고민할 때 는 다음 질문을 떠올려보자.
* 이 NFT를 만든 것은 누구인가?
* 장래성이 있고, 고유하고 독창적인 비전이 담겨 있는가? 
* 이 NFT 프로젝트의 용도 또는 쓰임새는 무엇인가?
* 많은 사람이 참여하고 싶어할 만한 프로젝트인가?
* 담당자가 당신의 질문에 신속하게 응대하는가? 
* 프로젝트를 수집하는 다른 사람들은 누구인가? 
* 대규모 컬렉션을 보유한 수집가가 참여하고 있는가?
* 기관 투자가 있었는가?
- 오늘 첫 NFT를 사게 된다면 당신은 전 세계에서 NFT를 수 집한 최초의 수백만 명 안에 들게 될 것이다. 이것은 분명 적잖 은 의미가 있다. 트위터에 처음 모였던 수백만 명의 사람들은 다 른 사람들보다 먼저 팔로어를 모을 기회를 얻었다. 아직 인스타 그램이 사진 공유 애플리케이션에 불과하던 시절의 최초의 인 스타그램 사용자 수백만 명도 남들보다 앞설 기회를 얻었다. 킴 카다시안이 인스타그램으로 수십억 달러 규모의 화장품 사업을 일굴 줄 누가 알았겠는가? 초기 NFT 수집가가 된다는 것은 이후에 참여하는 수집가들은 가질 수 없는 기회를 얻게 됨을 의미한다.
멋진 NFT 컬렉션을 큐레이션할 수 있는 능력이 미래에는 하 나의 어엿한 사업이 될 수도 있다. 좋은 NFT를 선별하는 작업 에 시간과 노력을 들이고 싶지 않은 NFT 수집가들은 다른 누군 가의 컬렉션을 통째로 사기도 할 것이다. 2차 시장에서 NFT를 고르는 대신에 마음에 드는 다른 사람의 컬렉션을 찾아서 지갑을 통째로 사오는 손쉬운 방법을 택하는 것이다. 마치 사람들이 아이들의 포켓몬, 유희왕, 매직 더 개더링 덱을 통째로 사오는 것처럼 말이다. 특히 2021년, 2020년 혹은 그 이전의 거래 기록 을 갖는 지갑을 소유하는 자체도 가치를 갖게 될 것이란 점에서, 장담컨대 이러한 일들은 분명히 현실이 될 것이다. 모든 사람이 샌드박스에서 가장 많은 LAND를 보유한 웨일 샤크나 거액에 비플의 에브리데이즈>를 구매한 메타코 븐(Metrakoven과 같은 NFT 고래가 될 수는 없다. 하지만 다른 방식으로 유명한 수집가가 될 수는 있다. 그리고 이때 NFT 수집을 시작하기에 가장 좋은 방법은 무료 NFT다.
- 호위 테스트를 기준으로 미국증권거래위원회는 ICO도 증권 거래에 해당한다고 판단했다.
1. 토지 매수인은 돈 또는 암호화폐(어떠한 가치를 가진 것)를 투자함
2. ICO는 하나의 기관 혹은 ICO의 대상이 되는 암호화폐를 만들고 운영하고 마케팅한 집단이 주관하며 따라서 공동사업이 존재한다고 볼 수 있음 
3. 구매자는 ICO에 대한 투자로부터 수익을 기대함 
4. 수익은 해당 기관 혹은 공동사업을 운영하는 집단의 노력을 통해 창출됨
- 이는 ICO가 미국증권거래위원회의 증권거래 규정을 따르거나 별도의 의무 사항이 있는 규제 레귤레이션 DRegulation D와 같 은 예외 조항을 이용해야 한다는 것을 의미한다. 미국증권거래 위원회는 일부 사기성 ICO에 철퇴를 가하는 한편, 비트코인과 이더리움을 제외한 대부분의 암호화폐는 증권에 해당한다고 발 표했다. 이 엄청난 발표는 ICO는 물론 전체 암호화폐 시장을 위축시켰고, ICO가 미국 투자자들이 참여할 수 없는 해외로 옮겨 가도록 만들었다. 2017년의 열풍을 지키지 못한 2018년의 암호 화폐 시장은 큰 불황을 맞이했고 불황은 이후 수년간 계속되었다.
- 암호화폐 업계의 대다수는 NFT 는 증권이 아닌 것으로 결론 날 것으로 보고 있다. 하지만 미국 증권거래위원회는 NFT에 대해서 어떠한 지침도 제시하지 않은 상태이며, NFT가 증권으로 규정될 가능성에 대해서도 대비해야 한다. 따라서 호위 테스트를 사용해 해당하는지 살펴보자.
1. NFT의 구매자가 돈 또는 암호화폐(어떠한 가치를 가진 것)를 투자함 
2. NFT와 관련된 공동사업은 거의 없음. 대신 대부분의 NFT는 디지털 미술품의 한정판이거나, 수집품이거나, 인게임 아이템과 같은 쓰임새를 갖고 있음 
3. NFT는 이익을 기대하는 투자 목적으로 구매하기도 하고 구매자의 개인적인 목적이나 컬렉션을 완성하기 위한 용도로 구매하기도 함
4. NFT의 가치를 높이는데 제3자가 관여하는 경우는 거의없음
확실한 답은 없으나 NFT는 대체 가능한 일반 암호화폐보다 예술품이나 수집품에 가깝다. 만약 NFT의 공급이 급격히 증가하거나 에디션의 수가 많이 늘어난다면 이는 대체 가능한 토큰에 가까워지며 대체 불가능한 토큰과 대체 가능한 토큰 사이의 경계가 모호해진다. 판매자뿐만 아니라 거래소 또한 NFT가 증권으로 규정될지에 대해서 관심을 가져야 한다. 만약 거래소가 증권거래 기능을 제공한다면 미국증권거래위원회에 사업 내용을 신고하고 미국증권거래위원회의 규정을 준수해야 하기 때문이다.
- NFT의 미래는 밝다. 현재는 과소평가된 디지털아트가 향후 미술계를 장악할 것이기 때문이라기보다는 비록 저자들은 그렇게 믿 고 있지만), NFT가 미래에 모든 사람에게 영향을 미칠 디지털 경 제로 이어지는 다리 역할을 수행할 것이기 때문이다. 오늘날 이미 일부 분야에서는 그러한 역할을 수행하고 있기도 하다.  NFT를 단지 투기 목적의 예술 자산으로 바라보는 것은 수많은 NFT의 미래 효용을 간과한 편협한 시각에 불과하다. 우리는 머지않아 NBA 시즌 티켓부터 전 세계에 몇 대 없는 벤츠 한정판에 이르기까지 세상의 모든 것들이 NFT화되는 상황을 보게될 것이다. 이를 염두에 두고 NFT의 미래를 논할 때 반드시 다뤄야 할 세 가지 영역에 대해서 살펴보자.
* 메타버스(The metaverse)
* 비담보가능자산(Non-bankable assets)
* 디지털 지갑(digital wallets)
- NFT가 메타버스에 적합한 또 다른 이유는 많은 사람들이 이러한 디지털 자산을 축적하기 시작했기 때문이다. 그리고 사람들 은 자연스럽게 자신이 구입한 상품을 누군가에게 보여주고 싶은 욕구를 갖게 된다. 그중 하나로, 비플의 에브리데이즈: 5000일 Everydays: The First 5,000 Days NFT>를 6,900만 달러가 넘는 금액에 구입한 메타코벤(MetaKoven, 싱가폴 기반의 블록체인 투자자. 본명은 비그네시 순다레산(Vignesh Sundaresan)이다)은 NFT를 디센트럴랜드와 같은 메타버스에서 관람할 수 있는 디지털아트 갤러리로 바꾸려 하고있다.
- 사람들은 여러 가지 이유로 물건을 수집한다. 하지만 모든 수집가들이 품는 공통적인 욕구는 바로 자신의 컬렉션을 다른 사람들에게 보여주고 싶어한다는 것이다. 디지털 자산은 디지털 환경에서 전시되어야 한다. 메타버스는 가상 갤러리, 온 라인 비디오게임, 가상 지하 아지트, 혹은 우리가 아직 상상조차 할 수 없는 가상공간의 형태로 우리의 NFT를 전시하는 공간이 될 것이다.
- 비담보가능자산이란 무엇일까. 미술품, 골동품, 클래식 자동 차, 보석과 같은 희귀하고 비싼 수집품, 부동산, 저작권, 특허, 상표와 같은 지식재산권에 속하는 자산은 은행에서 받아주지 않 는다. 이와 같은 유형의 자산은 쉽게 거래할 수 있는 시장이 존 재하지 않아 비유동적이고, 큰 자본의 투자가 필요하며, 자산을 거래하거나 가치를 결정하기 위해 중개인을 필요로 하는 경우가 많으므로 은행에서 받아주지 않는다.  20년 후 미래를 예측해보면, NFT의 가장 일반적인 용도는 높은 확률로 디지털아트와는 아무런 관련이 없을 것이다. 그보 다는 NFT의 스마트 컨트랙트를 활용한 물리적인 재화나 지식 재산권의 토큰화가 NET의 가장 주된 용도로 자리 잡을 것이다. 토큰화를 통해 어떠한 자산을 부분적으로 소유할 수 있게 되면 이는 구매자가 늘어나고 전통적인 비담보가능자산에 유동성이 생기는 결과로 이어지게 된다.
유니스왑이 시가 총액이 작은 암호화폐 토큰의 유동성 을 만들어냈듯이 NFT는 비담보가능자산의 유동성을 만들어낼 수 있다. 유니스왑은 대표적인 탈중앙화decentralized 암호화폐 거래 소 중 한 곳이다. 코인베이스 프로Coinbase Pro 나 바이낸스Binanc-와 같은 중앙화된 거래소에서는 판매자가 특정한 암호화폐를 판매 하고자 하는 가격을 보통 비트코인이나 이더리움 단위로 수량을 제시한다. 이를 매도 호가 ask price라고 한다. 마찬가지로 구매자도 그 암호화폐를 어떠한 가격에 얼마나 구매하고 싶은지를 제시한 다. 이것을 매수 호가 hid prite라고 한다. 매수 호가와 매도 호가가 일치할 때 암호화폐가 거래된다.
유니스왑과 같은 탈중앙화 거래소에서는 매수자와 매도자 사 이가 아닌 매수자와 토큰 풀 사이에서 거래가 이루어진다. 예 를 들어 AMP 토큰을 구매하고자 할 경우, 중앙화된 거래소에서 는 내가 구매하려는 가격과 수량만큼의 AMP 토큰을 판매하고 자 하는 매도자를 만나지 못하면 거래가 성사되지 않는다. 그에 반해 유니스왑에서는 유니스왑의 이더리움 풀에 이더리움을 송 금하면 유니스왑의 AMP 토큰 풀에서 AMP를 받게 된다. 이때 AMP 토큰의 유동성은 유니스왑에 토큰을 스테이킹 saking 하는 사용자들을 통해 공급된다. 스테이킹은 예치와도 비슷한데, 유니스왑은 사용자들이 스테이킹한 토큰을 거래에 사용할 수 있으며 이렇게 모인 토큰 풀이 시장을 형성한다. 토큰을 스테이킹한 사용자들은 그 대가로 유니스왑이 거래마다 부과하는 거래 수수 료의 일정 퍼센트를 받는다. 토큰을 수개월에서 수년 동안 장기 보유하고자 하는 토큰 보유자들도 스테이킹을 통해 새로운 수익 흐름을 확보하게 되는 것이다. | 유니스왑은 이 모든 복잡한 과정을 심리스하게 처리해내며 시가 총액이 작은 토큰에서부터 시가 총액이 큰 토큰에 이르기 까지 유동성을 만들어내는 데 성공했다. 중앙화된 거래소는 보 통 거래량이 높은 암호화폐를 선호하므로 거래량이 낮은 암호화 폐는 상장되지 못하는 경우가 많은데 실제로 유니스왑에서 거래 되는 토큰 중 상당수는 중앙화된 거래소에서 거래되지 않는 토큰인 경우가 많다.
- 액센추어는 비담보가능자산의 문제점을 다음과 같이 정리했다.
비담보가능자산의 내재 가치는 해당 자산의 기존 시장 밖에서는 이용하기 어려우므로 담보로서 많은 제약이 있었다. 문서화된 거래 내역의 부재, 낮은 신뢰도, 낮은 가격 투명성, 높은 거래비용, 낮은 유동성 등의 이유로 인해 금융회사들은 비담보가능 자산을 포트폴리오. 자산에 포함하는 데 소극적이다.
- 어떤 비담보가능자산이라도 NFT로 만드는 건 간단하다. 대출용 담보로 쓰지도 못하고 쉽게 처분하기도 어려웠던 자산을 NFT화하여 유동성을 확보해 자산가들에게도 새로운 기회를 열어줄 것이다. 하지만 사람들이 과연 비담보가능자산의 NFT를 구입하려 할까? 액센츄어 산하의 오브리움 리서치 obrium research 의 연구 결과에는 다음과 같은 내용이 있다.
'열정투자(Passion investment, 투자자 본인이 열정을 갖는 비전통적 자산에 대한 투자로서, 투자 대상을 소유하는 자체를 즐기며 시간이 지남에 따라 해당 자산의 가치가 오르면 수익을 얻을 수 있는 투자를 뜻한다)의 가치 상승률은 지난 15년간 전 세계 주식 시장의 상승률을 뛰어넘었으며, 같은 기간 MSCI World 지수(모건스탠리캐피털인터내셔널사가 발표하는 세계 주가지수)보다도 65% 빠르게 성장했다.

- 데이터는 새로운 석유 자원data is the new oil 이라는 식으로 비유하는 경우가 있는 데, 이런 생각을 도입해 보자. 새로운 유전이 필요하다면 석유를 찾는 일과 유전이 어떻게 생겼는지를 이해하는 일에 최대한 초점을 맞춰야 한다. 나중에 생각해도 될 시추 장소를 미리 감안해 가면서 세계 최고 수준의 석유 시추 장비를 구입하는 일 부터 하지는 않을 것이다. 이런 원리를 데이터에도 동일하게 적용할 수 있다. 시추
- 모든 인공지능 프로젝트에서 기억해야 할 가장 중요한 두 가지 아이디어는 다음과 같다.
(1) 수익은 여러분이 어떤 행위를 해야만 나온다. 행위는 하지 않은 채 분석만 하면 비용만 들 뿐이다. 일부 분석이 완료될 때 수익을 얻는 게 아니라, 적절한 사업 행위를 수 행할 때 수익을 얻는다. 분석이 수익 창출의 원동력이 될 수는 있지만 회계라는 관점 에서 볼 때 분석은 비용 계정에 해당할 뿐이다. 분석이 비용이 되게 하는 일을 멈추고 좋은 사업 행위를 취하는 데 도움이 되게 할 때만 분석이 투자가 된다. 
(2) 성공하려면 개별 부분이 아닌 전체 시스템에 집중하자. 여러분의 고객은 시스템의 개 별 부분을 볼 수 없다. 예를 들어, 고객은 여러분이 사용하는 머신러닝 알고리즘에 대해 신경 쓰지 않는다. 고객은 결과에만 관심을 둘 뿐이며, 그 결과는 시스템이 전 체적으로 얼마나 잘 작동하는지에 달려 있다.
- 사업상의 결정을 내리기 위해 데이터 분석법을 더 잘 이해해야 한다는 생각이 든다면, 그것은 여러분에게 분석법에 관한 지식이 부족해서 생기는 문제가 아니라 데이터 분석법을 잘 아는 전문가와 의사소통이 잘 안 되어서 생기는 문제인 것 이다.
인공지능 프로젝트를 관리하기 위해 알아야 할 지식은 인공지능 관련 개념을 사업에 연계 하는 방법이다. 즉, 다음 질문에 답할 수 있으면 그만인 것이다.
? 인공지능으로 무엇을 할 수 있으며 사업에 어떻게 이용할 수 있는가? 
? 어떤 유형의 인공지능 프로젝트부터 시작해야 하나?
? 인공지능이 사업에 얼마나 도움이 되는지를 측정하려면 어떻게 해야 하는가? 
? 인공지능 프로젝트를 어떻게 관리해야 하는가? 
? 부족한 자원은 무엇이며 자원을 최대한 잘 배정하려면 어떻게 해야 하는가?
- 여러분이 취할 수 있는 행위를 찾으려면 반드시 적절한 규모로 이뤄진 조직 을 선택해야 한다. 그런데 스무 가지가 넘는 선택지가 나온다면 여러분이 지나치게 세분화했기 때문일 것이다.
인공지능을 의사결정 지원 시스템의 일부로 사용하는 일에 대해 논의할 때에 부딪히게 될 위험성으로는 그 일에 너무 깊이 빠져드는 경우를 들 수 있다. 고위 경영진을 위한 의사결 정 지원 시스템의 일부로 인공지능을 적용하는 경우라면 여러분은 조직에서 일하는 각 개 별 작업자가 취할 수 있는 행위를 분석해서는 안 되고 고위 경영진이 수행하는 행위를 분 석해야 한다. 인턴이 입사한 첫날에 취할 수 있는 행위를 분석하지 말자.
- 제품에 인공지능 기능이 들어 있다고 해서 제품을 특별하게 여겨 구매하는 사람은 거의 없다. 핵심 질문은 “제품이 고객에게 제공하는 가치는 무엇인가?” 이다.
“우리는 인공지능을 사용한다” 라는 말이 마케팅 · 자금 조달 기법으로 여겨지던 때도 있었 지만, 그런 시절은 끝났다. 시간이 흐르면 인공지능은 오늘날 자동차에서 엔진이 작동하 듯이 자율형 제품에서 핵심 역할을 맡게 될 것이다. 인공지능 없이는 어디로도 갈 수 없게 되는 것이다. 그러나 대부분의 자동차 구매자는 특정 엔진에 관심을 두기보다는 자동차를 타고 한곳에서 다른 곳으로 갈 수 있게 하는 이동성에 더 관심을 둔다.
- 완전 자율 시스템의 예로는 룸바 같은 진공 청소 로봇을 들 수 있다. 이 경우에는 진공 청소기로 방 전체를 청소해야 한다. 진공 청소기와 관련성이 있는 영역 행위는 “어디로 가야 하고 어떤 장소를 피해야 하는가?” 이다.
인공지능을 사용해 환경을 탐색하는 기능을 해당 장치에 장착할 수 있다. 이러한 인공 지능은 정교한 항법 시스템에서 상대적으로 간단한 연산 장치에 이르기까지 다양할 수 있다는 점에 유의하자. 로봇 청소기는 인공지능을 사용해 방에 놓인 가구들의 배치 상태 를 학습하고 해당 배치 상태가 바뀐 내용을 인식할 수 있다. 또한 배터리 용량이 클수록 방 구조를 더 정교하게 파악해 처리할 수 있으므로 시간 집약적인 시행착오 접근 방식을 사용하여 장애물을 파악한 다음에는 장애물을 쉽게 피할 수 있다.
용량이 더 큰 배터리라는 사례를 통해 우리는 인공지능 알고리즘을 선택하는 일보다. 전체 시스템을 구성하는 방법이 더 중요하다는 점을 알 수 있다. 몇 년 전까지만 해도 크 게 개선된 인공지능 탐색 기능에 많은 시간과 비용을 소비하기보다는 차라리 고용량 배터리를 추가해 작동 시간을 늘리는 편이 더 수월하고 가성비가 좋았다.
완전 자율형 제품이라고 하는 맥락에서 볼 때, 제품이 취할 수 있는 행위뿐만 아니라 일부 행위와 결과가 바람직하지도 않고 허용되지도 않는다는 점도 고려해야 한다. 여러분은 룸 바가 계단을 알아서 내려오는 기능이 있는 값비싼 로봇 청소기가 되기를 바라지는 않을 것이다.
- 인공지능 프로젝트 난이도를 추정할 때는 다음 고려 사항들에 유의하자.
? 필요한 데이터를 수집하는 데 필요한 시간을 고려하자. ? 데이터 크기에 알맞은 인프라를 갖췄는가? 빅데이터 프레임워크가 필요한가? 
? 대규모 데이터셋을 사용하는 경우에 데이터를 처리하고 인공지능 알고리즘을 훈련하는 데 필요한 시간을 고려하는 일을 잊지 말자. 
? 팀이 이 사용 사례를 다루는 데 필요한 모든 기량을 갖추고 있는가? 기량 간에 격차가 있다면 무엇인가? (팀 리더는 팀의 지식 격차를 알고 있어야 한다.) 
? 프로젝트가 기술적으로 가능하다는 점이 확실한가? 여러분은 제안된 인공지능 기반 방법들을 팀이 구축하게 할 생각이 들 만큼 충분히 이해하고 있는가? 또는 프로젝트 가 가능하다고 여길 만큼 여러분이 인공지능 분야를 잘 알고 있는가?
- 인공지능 프로젝트를 실행할 때 피해야 할 함정 중에 흔한 게 몇 가지 있다. 중요한 함정 들 중에 일부를 예로 들면 다음과 같다.
? 감지 · 분석 · 반응 루프 중에 반응 부분을 담당하는 조직에 속한 행위자와 소통하지 않거나, 심지어 인공지능 프로젝트가 순조롭게 진행될 때까지 그들과 전혀 함께 일하지 않는 것 
? 다른 프로젝트나 조직의 사용 사례(및 지표)를 가져다 쓰는 일 
? 온갖 신문의 1면을 장식할 수 있을 만큼 유행하는 인공지능 프로젝트들을 진행하는 일 
? 지속적으로 우위에 설 수 있게 할 만한 도구를 사서 쓸 수 있다고 믿거나, 더 나아가서 온갖 도구를 다 사서 쓸 수 있다고 믿는 일 
? 분석한 내용을 아무렇게나 데이터 속으로 던져 넣으면서 성과가 나오기를 바라는 일 
? 분석 결과 대신에 ‘직감’을 바탕으로 진행해야 할 프로젝트를 선정하는 일
- 기술지표에는 머신러닝 알고리즘이 이러한 지표의 값을 쉽게 최적화할 수 있는 속성이 있 다. 이러한 속성은 본질적으로 수학적이고 고도로 기술적이며 일반적으로 사업과 관련이 없다. 예를 들어, 기술지표의 일반적인 속성 중 하나는 '미분 가능' 이라는 것이며 인공지 | 능 및 머신러닝 맥락에서 사용되는 많은 최적화 알고리즘은 지표를 미분할 수 있어야 한 다는 것이다. 안타깝게도 사업지표들이 반드시 미분 가능하지는 않다. 그렇기 때문에 많 은 머신러닝 및 인공지능 알고리즘에서는 곧바로 사업지표를 사용할 수 없다.
- 머신러닝 파이프라인의 경직화
인공지능 프로젝트와 그 밖의 소프트웨어 프로젝트에 공통인 문제 외에도 자체 문제가 있다. 이러한 문제 중 하나는 머신러닝 파이프라인의 유지보수 비용이다. 인공지능 프로젝 트 비용에서 가장 큰 비율을 차지하는 일 중 하나는 머신러닝 파이프라인을 빠르게 변경 하기 어렵고 변경하는 데 큰 비용이 든다는 점이다. | 인공지능 소프트웨어를 유지보수하는 데는 큰 비용이 든다. 데이터와 사용된 알고리즘 들 사이에는 다른 어떤 종류의 소프트웨어 프로젝트보다 더 널리 퍼져 있는 고유한 엉킴이 있다
- 머신러닝 파이프라인을 구현하기 시작하는 순간 파이프라인의 경직화가 시 작된다는 특징이 있다. 경직화를 막을 수는 없다. 최선의 방법은 사업 문제를 해결 하는 머신러닝 파이프라인 공법을 연구하는 것이다. 잘못된 머신러닝 파이프라인 이 경직화되면 놀랄 만큼 큰 비용이 들기도 한다.
더 상위 수준에서 생각해 볼 때 경직화는 기술적 이유와 조직적 이유 모두에서 발생한다. 기술적인 측면에서 볼 때 머신러닝 파이프라인이란 그 안에 여러 단계가 들어 있을 수 있 는 복잡한 소프트웨어이다. 이러한 각 단계별로 데이터 공학 분야의 전문 기술이나 빅데이 터 분야로부터 클라우드 컴퓨팅 분야에 이르는 기술이 필요할 수 있다. 조직 측면에서 볼 때, 머신러닝 파이프라인은 조직이 구축하는 대부분의 다른 소프트웨어 유물보다 더 많은 팀 간 동의가 필요하며 외부 공급업자와 새로운 계약도 해야 한다.
- 일부 작업에서는 인공지능 알고리즘이 인간보다 나은 효과를 낼 수는 있지 만 이 글을 쓰는 시점에서 이러한 상황은 드물고, 종종 뉴스거리가 되는 정도이며, 게다가 성취되기까지 했다면, 그런 것들은 보통 세계 최고 수준의 인공지능 연구자 들로 구성된 팀이 산출해 낸 것이다. 인공지능 알고리즘의 결과가 사람이 달성할  수 있는 결과보다 더 나쁜 편이 훨씬 더 일반적이다
- 실용적인 사람들에게는 해법이 필요한데, 이 경우에는 여러분이 이미 문제에 익숙하다. 는 점을 인식하는 게 답이다. 이것은 내가 여러분에게 “그래서, 사는 동안 얼마까지 벌 수 있는가?”라고 묻는 일과 똑같은 문제다. 글쎄, 여러분이 적절한 사람들을 만날 수 있었다. 면 오늘날 구글보다 더 번영하는 회사를 설립했을 수도 있지만, 장래 일을 여러분은 결코 알 수 없다. 여러분은 그러한 질문에 답할 수 있게 하는 여러분의 인생에 대한 '소득 민감도’ 곡선을 모른다.
살면서 벌 수 있는 만큼 충분히 돈을 벌었는지를 여러분은 결코 알지 못한다. 여러분이 아는 것이라고는 여러분이 편안하게 살기에 충분한 돈을 벌었는지 여 부뿐이다.
인생과 마찬가지로, 어떤 한 가지 프로젝트에서 할 수 있는 질문은 “곡선의 최댓값은 얼마 인가?”가 아니다. 여러분은 사냥감이 풍부한 사냥터에 있으며 투자한 인공지능 프로젝트가 수익성이 있는지 확인하고 싶다는 점을 기억하자. 또한 투자 결정을 해야 하 는 시점에 이용할 수 있는 최상의 정보를 기반으로 결정해야 한다. 민감도 분석으로 최대값을 찾지 못했을지라도 여전히 수익성이 있는 파이프라인을 구축할 수 있다면 이를 사업적 성공이라고 한다.
- 프로젝트 관리 방식은 빠르게 실패하는 쪽으로 기울어야 한다. 너무 일찍 포기하는 바람 에 잠재적인 해결책을 놓칠 수 있는 가능성을 받아들이는 대신에 종국에 가서 작동하지 않을 일에 오랫동안 갇혀 있는 상황을 피할 수 있다는 생각으로 균형 잡힌 생각을 유지 해야 한다. 문제가 있는 프로젝트에서 너무 오래 머무르면 결국 보여 줄 게 없는 상황이 되어 버리 기 때문에 주로 인공지능에 관한 주도권을 놓치게 된다
- 불행히도 조직은 종종 연구 프로젝트의 결과를 '예/ 아니요’, ‘작동 / 작동하지 않음'과 같은 이항 범주로 분류하는 습성을 보인다. 타임박스 접근 방식을 제대로 사용하려면 연 구상의 질문을 초기에 분석할 때 있을 법한 결과가 세 가지라는 점을 이해해야 한다.
(1) 예 : 이 접근 방식을 더 추구해 볼 가치가 있다. 우리는 이 접근 방식에 많은 자원을 투입해야 한다. 
(2) 아니요 : 우리는 많은 노력을 기울여 이 접근 방식이 잘못되었다는 점을 확신할 수 있으며 이 접근 방식이 들어맞지 않을 것으로 예상한다. 여기에 자원을 더 이상 투입하지 말자. 
(3) 글쎄요 : 초기 조사에 착수한 후로 시간이 흘렀지만 이 접근 방식이 효과가 있는지를 알아내지 못했다. 하지만 우리가 더 열심히 노력했을 때도 효과가 없을지에 대해서는 충분히 조사하지 않았다. 나중에 자금과 시간이 더 주어지면 이 문제를 다시 검토해야 한다.
- 결과를 예/ 아니요 / 글쎄요라는 3개 상태 논리 형식으로 보고하고 추적해 보 는 게 중요하다. 그 이유는 '아니요'로 답한 질문을 다시 개시하지 않은 채 시간이 흘러 '글쎄요’로 답했던 질문을 다시 개시할 수 있기 때문이다. 이런 식으로 제대로 구별할 수 있어야 '어려운 프로젝트를 조기에 기꺼이 포기’할 수 있고, 이게 유일한 방법이다. 나중에 더 많은 자원을 사용해 개선하고자 하는 성공적인 해법이 있는 경우에 일부 가능 성을 다시 살펴볼 가치가 있다고 결정할 수 있다. 
- 인공지능 기반 물리적 시스템은 간단한 환경 속에서 간단한 행위를 할 때 가 장 잘 작동한다. 시스템이 수행하는 모든 행위가 간단해서 시스템이 지루해하는 것처럼 보일 정도면 완벽하다. 여러분이 타고 있는 차가 창의적이기를 원하는가?
인공지능을 사용하는 물리적 시스템은 물리적 시스템이 우선이고 인공지능 시스템이 그 다음이다. 시스템은 사용 분야에 적합한 안전 지침과 신뢰 지침에 맞게 이러한 물리적 시 스템을 설계해야 한다. (예를 들어 자율 주행 차는 자동차 공학의 규칙과 규정에 맞춰져야 한다.) 안전 시스템 설계와 관련해 안전 공학이나 시스템 엔지니어링을 전공한 도메인 전문가는 예측 가능한 미래에 대해 최종 결정을 내린다.
- 사물 인터넷 장치에서 데이터를 수집하려면 큰 비용이 소요되므로, 여러분 은 사물 인터넷 장치 설계 범위 내에서 인공지능에 필요한 데이터를 획득할 수 있 게 계획해야 한다. 기존 사물 인터넷 장치를 설치한 후에 나중에 가서 인공지능을 거기에 추가할 생각을 한다면, 곧 후회하게 될 것이다.
사물 인터넷이라는 분야에 인공지능을 적용할 때는, 물리적 장치는 현장에 배포된 후 변 경하기 어렵거나 변경이 불가능할 수 있는 반면에 시스템의 인공지능 부분은 훨씬 쉽게 개 선할 수 있는 소프트웨어로 구성된다는 점을 이해해야 한다. 이러한 불일치를 계산에 넣 어 두려면, 시스템을 설계하는 동안에 여러분은 인공지능 시스템의 첫 번째 버전이 수행할 작업을 고려해야 할 뿐만 아니라 향후 인공지능 시스템에서 이상적으로 개발하고 싶은 기 능까지도 고려해야 한다. 시스템용 최신형 인공지능에 필요할 것으로 예상되는 모든 하드웨어 센서를 처음부터 사물 인터넷 장치에 부착해 둔 다음에 해당 장치를 현장에 배포하 겠다는 식으로 생각하자. 이렇게 하면 고객은 자신이 이미 구매해 둔 장치에 필요한 추가 기능을 소프트웨어 업데이트만으로도 사용할 수 있을 것이다.
“일단 하드웨어를 팔고 나중에 소프트웨어까지 팔아 돈을 번다”는 정책의 예는 스마트 폰의 소프트웨어를 지속적으로 개선해 나가는 제조업체에서 자동차 산업에 이르기까지 다 양하다. 일부 테슬라 모델에는 자율 주행에 필요할 것으로 예상되는 모든 하드웨어가 이 미 포함되어 있지만 자동 운전 기능 자체는 시간이 지남에 따라 계속 개선되고 있다.
- 인공지능은 올바른 판단을 할 수 없으며 오늘날 사용되는 가장 일반적인 인 공지능 기반 방법들(예 : 딥러닝)로는 인과관계를 결정할 수 없다. 인공지능 기반 방법들은 올바른 지표가 있어야 추진할 수 있는 정량적 방법이다. 모든 인공지능 알고리즘은 지정된 지표를 최대화하는 이유는 모른 채 그러한 지표를 최대화하는 방 법만 안다. 인공지능이 해당 지표를 최대화해야 하는 맥락과 목적은 인간에게서 비롯되어야 한다.
- 인공지능이 만드는 오류는 본질적으로 보험계리적이어서 인공지능은 “전체 모집단에 비추어 볼 때 내가 내린 이 결정이 합리적인가?” 라는 식으로 생각한다고 볼 수 있다. 반면에 인간은 특정한 경우들에서 각 사례에 맞춰 “이 결정이 합리적인가?”라는 식으 로 생각한다. 대부분의 사람은 이러한 구분을 이해하지 못하며 인공지능 시스템의 보 험계리적인 오류를 악의에 기인한 것이라고 생각할 수 있다.

- 기계는 20년 내에 인간이 할 수 있는 모든 일을 할 수 있게 될 것이다. (AI의 선구자 허버트 사이먼 Herbert Simon, 1965년)
- 최소한 현재 구현되고 있는 기계들은 그들에게 프로그램된 일 이외에는 다른 일을 하지 않는다. 이런 식의 상황이 계속되는 한, 상상 속 악의를 걱정할 필요는 없다. 스티븐 핑커는 다음과 같이 말했다.
(로봇이 초지능을 갖게 되면 인간을 노예로 삼을 것이란) 시나리오는
제트기가 독수리의 비행 능력을 능가했기 때문에 언젠가는 하늘에서 급강하해 가축을 덮칠 것이라는 생각과 비슷하다.  이런 오류는 지능을 동기와 혼동하고, 믿음을 욕구와, 추론을 목표와, 생각하는 것을 원하는 것과 혼동하는 데에서 비롯된다. 우리가 초인간 지능의 로봇을 발명한들 그들이 주인을 노예로 만들고 세계를 정복하고 싶어 할 이유가 있을까? 지능은 목표를 이루기 위해 새로운 수단을 효율적으로 사용하는 능력이다. 하지만 목표는 지능과 관련이 없다. 똑똑해지는 것과 뭔가를 원하는 것은 다르다.
- 기계 번역 프로그램은 '바이텍스트'bitext, 즉 원본과 번역본으로 이루어진 두 쌍의 문서를 통해 학습하면서 작동한다. 불행히도 웹상의 글 중 상당 부분(어떤 경우에는 전체 웹 문서의 50퍼센트에 이르기도 한다)이 사실상 기계 번역 프로그램으로 만들어졌다. 결과적으로 구글번역이 번역에서 실수를 저지르면 그 실수가 웹상의 문서로 남게 되고, 그 문서가 다시 데이터가 되어 실수를 강화하는 것이다. 
- 이와 비슷하게 많은 시스템이 인간 크라우드 워커crowdworker(인터넷에서 제공되는 데이터 입력, 구글의 URL 순위 지정, 기록 복사, 사진 태그 달기 등 비정규적이고 한시적인 업무를 수행하는 사람 - 옮긴이)에게 의존해 이미 지에 이름을 붙이는데, 때로 이런 크라우드 워커들도 AI로 작동되는 로 봇을 이용해서 일을 처리한다. AI 연구 공동체는 특정 작업을 인간이 했는지, 로봇이 했는지를 구별하는 기법을 개발했지만 이 과정 자체가 AI연구자와 짓궂은 크라우드 워커들 간의 대결 구도가 되어 어느 쪽도 영구적인 우위를 유지하지 못하는 상황이 되어버렸다. 그 결과 인간이 만들었다고 하는 고품질 데이터 중 많은 부분이 사실 기계가 만들어낸 것으로 밝혀지고 있다.
- 《대량살상 수학무기》의 저자 캐시 오닐이 강조했듯이 프로그램이 인종이나 민족을 기준으로 사용하지 않도록 만들어진다고 해도 지역, 소셜미디어 연결, 교육, 직업, 언어, 심지어는 즐겨 입는 옷에 이르기까지 대신 사용해서 동일한 결과를 가져오게 하는 온갖 종류의 '프록시proxy,
즉 연관 기능들이 있다. 더구나 프로그램이 내린 알고리즘에 따라 산 출된 결정은 객관성'이라는 가면을 쓰고 있어 관료들이나 기업의 중역 들에게 깊은 인상을 주고 일반 대중을 위협한다. 프로그램의 작업은 신 비에 쌓여 있다. 훈련 데이터는 기밀이고 프로그램은 독점적이며 의사결정 과정은 프로그램 디자이너조차 설명할 수 없는 블랙박스다. 따라서 개인은 알고리즘이 내린 결정이 부당하다고 느껴도 이의를 제기하기가 거의 불가능하다.
- 몇 년 전 근로자의 퇴사율을 낮추고 싶었던 제록스는 직원들이 얼마 나 회사를 다닐지 예측하는 빅데이터 프로그램을 배치했다. 이 프로그 램은 통근 시간이 대단히 큰 변수라는 것을 발견했다. 출근 시간이 긴 직원들이 직장을 빨리 그만두는 것은 당연한 일이다. 하지만 제록스의 경영진은 회사가 부유한 지역에 위치해 있기 때문에 통근 거리가 먼 사람을 고용하지 않는 것은 사실상 저소득층 혹은 중산층에 대한 차별과 마찬가지라는 점을 깨달았다. 이 회사는 이 기준을 고려 대상에서 제외했다. 인간의 면밀한 감시가 없다면 이런 종류의 편견은 계속해서 튀어나올 것이 분명하다.
현재의 AI가 가진 여덟 번째 문제는 AI가 잘못된 목표를 가지기 쉽다. 는 점이다. 딥마인드의 연구원 빅토리아 크라코프나 Victoria Krakovna는 이 런 일이 일어난 수십 가지 사례를 수집했다. 축구를 하는 로봇은 가능 한 한 공을 많이 차야 한다고 프로그램되자 공을 양 발 사이에 두고 빠르게 진동하는 전략을 개발했다. 프로그래머가 생각지도 못한 부분이 었다. 특정한 물건을 쥐는 법을 배워야 했던 로봇은 쥐는 법을 보여주는 이미지로 훈련을 받은 뒤 카메라와 물체 사이에 손을 넣기만 하면 된다 고 판단했다.  로봇에게는 그 상태가 물체를 쥐는 모습과 똑같아 보였 기 때문이다. 야심이라고는 없는 한 AI는 테트리스 게임을 하라는 과제가 주어지자 지는 위험을 감수하기보다는 무한정 게임을 멈추어 두는 편이 낫다는 판단을 내렸다.

- 아이디어, 실체, 추상, 초월에 관해서라면 나는 그들의 머리에 그런 개념을 도무지 집어넣을 수가 없었다. (조너선 스위프트 Jonathan Swift, 《걸리버 여행기》 중에서)
- 소립자들이 단순하고 보편적인 법칙을 따르리라고 기대하는 것과 인간이 같은 것을 따르리라고 기대하는 것은 전혀 다른 문제다. (자비네 호젠펠더sabine Hossenfelder, 수학의 함정 중에서)
- 딥러닝은 어떤 원리로 작동하는 것일까? 딥러닝은 두 가지 근 본적인 아이디어를 기반으로 한다.
첫 번째 핵심 아이디어인 '계층적 패턴 인식'hierarchical pattern recognition은 1950년대에 이루어진 일련의 뇌 연구 실험에서 비롯됐다. 신경생 리학자 데이비드 허블David Hubel과 토르스텐 비셀rorsten Wiesel은 이 실험 으로 1981년 노벨 생리의학상을 수상했다. 허블과 비셀은 시각 시스템 에 존재하는 여러 뉴런들이 시각적 자극에 뚜렷이 다른 방식으로 반응 한다는 점을 발견했다. 어떤 뉴런은 특정한 방향의 선과 같은 단순한 자 극에 대단히 활발하게 반응하는 반면, 어떤 뉴런은 보다 복잡한 자극에 격렬한 반응을 보였다. 그들이 제안한 이론은 복잡한 자극이 선에서 문자, 단어로 추상성이 증가하는 계층 구조를 통해 인식될지 모른다는 것이었다.
- 1980년대에 AI 역사에서 획기적이라고 할 만한 사건이 벌어졌다. 일본의 신경망 분야 선구자인 후쿠시마 구니히코福島邦彦가 허블과 비셀의 이론을 계산학적으로 구현한 신인식기 Neocognitron를 만들어 컴퓨터 시각의 일부 측면에서도 이 이론이 유효하다는 점을 보여준 것이다(이후 제프 호킨스 Jeff Hawkins와 레이 커즈와일의 책들도 같은
아이디어를 옹호했다. 신인식기는 (직사각형처럼 보이는) 일련의 층으로 이루어져 있었다. 다 음 페이지에 나오는 그림 왼쪽 첫 번째에 있는 것이 자극이 표시되는 입력층으로, 그 본질은 디지털 이미지의 픽셀들이다. 이후 오른쪽으로 이어지는 층들은 이미지를 분석하면서 명암이나 모서리 등의 차이를 찾으며, 끝에는 입력된 정보가 속하는 범주를 찾는 출력층이 있다. 층들 사 이의 연결을 통해 모든 관련 처리 과정이 일어난다. 이 모든 아이디어, 즉 서로 연결된 입력층, 출력층, 내부층이 현재 딥러닝의 중추다. 이런 시스템을 '신경망'이라고 부른다. 각 층이 뉴런에 비견될 수 있는(인간에 비하면 대단히 단순화됐지만) 노드node라는 요소들로 이루어져 있 기 때문이다. 이들 노드 사이에는 연결 가중치connection weight 혹은 가중치weight라고 불리는 연결부가 있다. 노드 A에서 노드 B 사이의 가중치 가 클수록 A가 B에 미치는 영향은 커진다. 네트워크가 하는 일은 이런 가중치의 함수다.
딥러닝의 두 번째 핵심 아이디어는 바로 학습tearning이다. 예를 들어 입력의 특정한 배열이 특정한 출력에 가하는 가중치를 강화하면 네트워 크가 특정한 입력과 그에 상응하는 출력의 연관성을 학습하도록 훈련’시킬 수 있다.
- 딥러닝 시스템은 전반적으로 내용을 이해하는 것이 아니라 그저 '연관성'에 의존하기 때문에 질문이 끝나기도 전에 임의적인 추측으로 버저를 누른다. 예를 들어 당신이 “얼마나 많은?”이라고 질문하면 “2”라는 답을 얻고 “어떤 스포츠?”라고 물으면 "테니스" 라는 답을 얻게 된다. 이런 시스템들을 몇 분만 다루어 보면 진짜 지성이 아닌 정교한 속임수로 상호작용이 이루어지고 있다는 느낌을 받을 것이다.
기계 번역에서는 같은 문제가 좀 더 기괴한 버전으로 나타난다. 구글번역에 dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog dog'를 입력하고 나이지리아 요루바어(와 다른 몇 가지 언어)에서 영어로 번역을 요청하면 이런 번역 결과가 나온다. 
지구 종말을 알리는 시계는 12시 3분 전을 가리키고 있다. 우리는 세상에서 극적인 발전과 개성을 경험하고 있다. 이는 우리가 점점 종말의 시간과 예수의 재림에 가까워지고 있다는 것을 시사한다.
- 이러한 결과에서 보듯이 딥러닝은 그리 심층적이지가 않다. 딥러닝이라는 용어에서 '딥deep(심층)이라는 단어는 신경망에 있는 층의 숫자를 의미할 뿐임을 알아야 한다. 그 맥락에서의 답은 그 시스템이 입력된 데이터에 대해 개념적으로 특별히 의미 있는 어떤 '지식'을 배웠다는 뜻이 아니다. 
- 본트리올대학교의 조슈아 벤지오 교수는 최근 “심층 신경망은 높은 수준의 추상적인 개념이 아니라 데이터 세트 내의 표면 통계적 규칙성 Surface statistical regularities 을 학습하는 경향이 있다.”고 인정했다. 마간가 지로 2018년 말의 인터뷰에서 제프리 힌턴과 딥마인드 개발자인 데미 스 허사비스Demis Hassabis 도 범용 인공지능은 현실과 거리가 멀다고 이 야기했다.
이는 일종의 '롱테일' 문제로 귀결된다. 데이터 수집만을 놓고 봤을 때 배우기 쉬운 흔한 예들도 있지만 배우기가 아주 어려운 희귀한 항목 (롱테일)들도 대단히 많은 것이다. 딥러닝이 한 무리의 아이들이 프리스비를 가지고 논다고 말하게 만드는 일은 쉽다. 그런 라벨이 붙은 사례가 매우 많기 때문이다. 하지만 다음 페이지의 그림 13처럼 평범함에서 벗어난 것들에 대해서 이야기하게 만들기는 훨씬 더 어렵다. 
- 그렇다고 딥러닝 시스템이 지능적인 일들을 아예 할 수 없다는 말은아니다. 우리는 딥러닝 자체에 완전한 지성이라면 갖춰야 할 유연성'과 '적응성이 부족하다는 말을 하고 있는 것이다. 우주선 설계의 에이킨 법칙Akin's Laws of Spacecraft Design에서 31번째 법칙은 불후의 명언으로 부족함이 없다. “높은 나무에 성공적으로 올랐다고 해서 달에 이를 수 있는 것은 아니다.”
- 인지과학자인 더글러스 호프스태터Douglas Hofstadter는 《디 애틀랜틱》에 실린 훌륭한 기사를 통해 구글 번역의 한계를 설명했다.
우리 인간은 부부, 집, 개인 소지품, 긍지, 경쟁, 질투, 사생활을 비롯해 결혼한 부부가 그녀의 것', 그의 것'이라고 수놓인 수건을 갖 고 있는 것과 같은 기이한 일에 이르기까지 다양한 무형적인 것들에 대한 지식을 갖고 있다. 구글 번역은 그런 상황에 익숙하지 않다. 오로지 글자로 이루어진 단어들의 문자열에만 친숙하다. 구글 번역은 조각 글을 초고속으로 처리하는 데 능수능란할 뿐 생각하거나, 상상하거나, 기억하거나, 이해하는 일은 전혀 못 한다. 심지어 단어들이 대상을 상징한다는 것조차 알지 못한다.
- 대개의 경우 기계 번역 프로그램은 전체 단락의 의미는 이해하지 못한 채 한 번에 하나의 문장씩을 바꾸어 나가면서 유용한 것을 만들어낸다. 그러나 인간인 당신이 어떤 이야기나 에세이를 읽을 때는 이와 완전히 다른 일을 한다. 당신의 목표는 '통계적으로 그럴듯한 쌍의 조합을 만들어내는 것이 아니라 '작가가 당신과 공유하려는 세상을 재구성하는 것이다. 
- 어떤 글을 읽을 때 당신이 하는 일은 인지심리학에서 사용하는 표현을 빌리자면 그 글이 전하는 말의 의미에 대한 인지 모델cognitive model을 구축하는 것이다. 이 일은 대니얼 카너먼 Daniel Kahneman과 작고한 앤 트라이즈먼 Anne Treisman이 목적 파일object file이라고 불렀던 것(개별 객체 와 그 특징의 기록)을 편집하는 일만큼 간단할 수도 있고 복잡한 시나리 오를 완벽하게 이해하는 일만큼 복잡할 수도 있다.
- ANI의 전형인 구글 번역에는 인지 모델을 구축하고 이용하는 과정 자체가 없다. 구글 번역은 추론을 하거나 추적할 필요가 전혀 없다. 꽤 나 잘하는 일이 있기는 하지만 구글 번역이 다루는 것은 진짜 독해가 의 미하는 바의 아주 작은 일부일 뿐이다. 구글 번역은 이야기의 인지 모델 을 구축하지 않는다. 할 수가 없기 때문이다. 딥러닝 시스템에게는 “톰 슨 씨가 지갑이 있는지 더듬어 보고 지갑이 있을 거라고 생각한 곳이 불 룩했다면 어떤 일이 생겼을까?”라는 질문을 할 수가 없다. 그것은 패러 다임의 일부가 아니기 때문이다.
통계는 실제적 이해의 대체물이 아니다. 문제의 핵심은 단지 여기저 기에서 무작위적으로 오류가 나타난다는 점이 아니다. 번역에 요구되 는 유형의 통계적 분석, 그리고 시스템이 읽은 것을 실제로 이해하기
위해 필요한 인지 모델의 구축 사이에 근본적인 부조화가 존재한다는 점이다.
- 자연어 이해 분야는 지금껏 두 마리 토끼를 잡으려다 한 마리도 잡지 못한 셈이다. 한 마리 토끼인 딥러닝은 학습에는 뛰어나지만 합성성과 인지 모델 구축에서는 형편없고, 다른 한 마리 토끼인 클래식 AI는 합성 성과 인지 모델 구축을 통합하지만 학습에서는 좋게 말해도 그저 그런 정도다. 그리고 이 둘 모두가 우리가 이 장 내내 강조해온 중요한 부분, 즉 상식을 놓치고 있다. 세상이 어떻게 돌아가는지에 대해서, 사람과 장소와 대상에 대해서, 그들이 상호작용을 하는 방식에 대해서 많은 것을 알지 못하는 한, 복잡 한 글에 대한 믿을 만한 인지 모델을 구축할 수 없다. 상식이 없으면 아 무리 많은 글을 읽어도 이해할 수가 없다. 컴퓨터가 글을 읽지 못하는 진짜 이유는 그 시스템들에게는 세상이 어떻게 돌아가는지에 대한 기본적인 이해조차 없기 때문이다. 불행히도 상식을 쌓는 것은 생각보다 훨씬 더 어려운 일이다. 앞으로 보게 되겠지만 기계가 상식을 쌓아야 하는 필요성은 대개 보편적이고 전반적인 이유에서 비롯된다. 그리고 그 필요성은 언어 영역에 있어서 도 긴급한 문제지만 로봇공학 영역에 있어서는 더욱 시급하고 중요한 문제로 작용한다.
- 지능을 가진 존재(로봇, 인간, 동물)로서 룸바보다 수준이 높기를 바란다면 몇 가지 갖추어야 할 것이 있다. 우선 지능이 있는 모든 존재는 다 섯 가지 기본적인 일을 계산할 수 있어야 한다. 자신이 어디에 있는지, 주변 세상에서 어떤 일이 일어나는지, 당장 무슨 일을 해야 하는지, 계 획을 어떻게 실행해야 하는지, 주어진 목표를 달성하기 위해서는 장기 적으로 어떤 일을 해야 할지 계산해야 하는 것이다.
단일한 과제에 집중하는 수준이 낮은 로봇은 이런 계산을 할 줄 모른다. 룸바의 초기 모델은 자신이 어디에 있는지 전혀 몰랐고, 자신이 돌아다니는 영역의 지도를 추적하지 못했고, 계획을 세우지 못했다. 이 첫 모델은 자신이 움직이고 있는지, 최근에 어디에 부딪쳤는지 이상은 거의 알지 못했다(최근의 룸바 모델들은 지도를 만들어 보다 효율적으로 움직이 고 무작위적인 탐색 과정에서 오염 부분을 놓치지 않으려 한다). 그다음으로 무슨 일을 해야 할 것인가의 문제는 제기된 적이 없다. 룸바의 유일한 목표는 청소다. 하지만 룸바의 이런 명쾌한 단순성에는 한계가 있다. 더 다양한 기능을 수행해야 하는 가정용 로봇이라면 일상생활에서 대단히 많은 선택과 마주하게 되며 따라서 의사결정이 좀 더 복잡해진다. 세상에 대한 훨씬 더 정교한 이해에 의존해 의사결정을 내려야 하는 것이다. 목표와 계획 은 언제든 변할 수 있다. 주인이 식기세척기에서 그릇을 꺼내라고 지시 했더라도 좋은 가정용 로봇이라면 무조건 그 일만 해서는 안 된다. 상황이 변하면 거기에 적응해야 한다.
유리 접시가 식기세척기 옆 바닥에 떨어져 있다면 로봇은 식기세척기 로 가는 또 다른 길을 찾거나(단기 계획의 변화) 기왕이면 우선 깨진 접시를 치우고 그러는 동안 그릇 꺼내는 일은 보류해야 한다고 인식해야 한다. 가스레인지 위의 음식에 불이 붙었다면 로봇은 불을 끌 때까지 식기 세척기에서 그릇 꺼내는 일을 미뤄야만 한다. 하지만 우리의 불쌍한 로 봇청소기 룸바는 5급 허리케인이 들이닥친 와중에도 청소를 계속할 것이다. 우리는 로지에게 그보다 더 나은 것을 기대한다.
- 어떤 마법이 있기에 우리 인간은 지능을 갖게 되는 것일까? 이 경우에는 '비법이 없다는 것이 비법이다. 지능의 힘은 어떤 단일하고 완벽한 원리가 아닌 우리의 방대한 다양성에서 비롯된다. (마빈 민스키, 《마음의 사회》 중에서)
- 신경과학 연구가 우리에게 가르쳐준 것이 있다. 두뇌는 엄청나게 복잡하다는 점이다. 지구상에서 가장 복잡한 시스템으로 묘사될 정도다. 평범한 인간의 두뇌에는 대략 860억 개의 뉴런이 있다. 뉴런의 유형은 수천까지는 아니더라도 수백 개를 가뿐히 넘어선다. 시냅스는 수조 개 이며 각 개별 시냅스 내에는 수백 가지 다른 단백질이 있다. 4 모든 차원마다 그 복잡성이 엄청나다. 뚜렷하게 식별할 수 있는 150개 이상의 두뇌 영역이 있고 그들 사이에는 방대하고 복잡한 연결망이 있다. 선 구적인 신경과학자 산티아고 라몬 이 카할은 1906년 노벨상 수상 연설에서 이렇게 표현했다. “불행히도 자연은 편의성과 통합성에 대한 우리의 지적 욕구에 대해서 알지 못하며 매우 자주 복잡성과 다양성 안에서 즐거움을 느끼는 것 같습니다. 
정말로 지능적이고 유연한 시스템이라면 두뇌처럼 복잡성으로 가득 할 가능성이 높다. 그래서 지능을 단일한 원리, 혹은 단일한 마스터 알고리즘으로 수렴시키려는 이론은 헛다리를 짚기 마련이다.
- 사람이 두뇌의 10퍼센트만을 사용한다는 이야기는 사실이 아니다. 하지만 두뇌 활동이 대사적으로 소위 '가성비가 떨어지 기에 우리가 한 번에 두뇌 전체를 사용하는 경우가 거의 없다는 것만은 사실이다. 우리가 하는 모든 일에는 두뇌 자원의 다른 하위 집합이 필요하며, 따라서 주어진 순간에 두뇌의 일부 영역은 활성화되는 반면 일부 영역은 빈둥거리고 있을 것이다. 후두 피질은 시각에 대해 활성화되는 경향이 있으며 소뇌는 신체 움직임에 활성화되는 식이다. 두뇌는 대단 히 구조화된 장치이며 정신적 역량의 대부분은 적절한 때에 적절한 신 경 도구들을 사용하는 데에서 나온다. 우리는 진정한 인공지능이라면 고도로 구조화되어 있을 것이라고 예상한다. 그들이 가진 힘의 대부분은 주어진 인지 과제에 대해서 그 구조를 적절한 시기에 적절한 방식으로 활용하는 능력에서 나올 것이다.
- 아이러니하게도 이는 현재의 추세와는 정반대다. 현재 머신러닝은 가능한 한 작은 내부 구조를 가진 단일한 동질의 기제를 사용하는 종단종모델에 치우쳐 있다. 그 예가 엔비디아 Nvidia의 2016년 운전 모델이다. 이 모델은 인식, 예측, 의사결정과 같은 전형적인 모듈 구분을 저버리고, 인풋(픽셀)과 아웃풋 한 세트(조종과 가속에 대한 지시) 사이의 더욱 직접적인 연관관계를 학습하기 위해 상대적으로 획일적인 단일 신경망을 사용했다. 이런 종류의 일에 열광하는 사람들은 여러 모듈(인식, 예측 등)을 별개로 훈련시키는 대신 전체 시스템을 공동으로 훈련시키는 장점을 강조한다.  그런 시스템들은 개념적으로는 어느 정도 단순하다. 인식, 예측, 그리 고 그 나머지에 대해 별개의 알고리즘을 고안할 필요가 없다. 더구나 언뜻 보기에는 효과가 좋다. 인상적인 동영상들이 이를 증명하는 것처럼 보인다. 하나의 큰 네트워크와 적절한 훈련 세트를 두는 것이 훨씬 편한 데 왜 귀찮게 인식과 의사결정과 예측을 별개의 모듈로 취급하는 하이브리드 시스템을 사용해야 하는가? 문제는 그런 시스템에는 유연성이 거의 없다는 점이다. 엔비디아의 시스템은 인간 운전자의 개입을 크게 요구하지 않고 잘 작동한다. 몇 시 간 동안은 말이다. 그러나 수천 시간을 기준으로 볼 때는 잘 작동한다고 볼 수 없다. 조금 더 모듈식에 가까운 웨이모 시스템은 A지점에서 B지점까지의 운행에 효과적이고 차선 변경과 같은 일을 잘 처리하는 반면, 엔비디아 시스템이 할 수 있는 일은 차선을 그대로 유지하는 것뿐이다. 차선 지키기도 물론 중요한 일이지만 그것은 운전과 관련된 일의 아주 작은 부분에 불과하다.
복잡한 문제를 풀 때 다른 대안이 없는 경우라면 최고의 AI 연구자들은 종종 하이브리드 시스템을 사용한다. 우리는 이런 사례가 더 많아질 것으로 예상한다. 딥마인드는 픽셀과 게임 점수부터 조이스틱 움직임에 이르기까지 종단종 시스템 훈련을 통해 하이브리드 시스템 없이도 아타리 게임의 문제를 (어느 정도) 해결할 수 있었다. 하지만 바둑에는 이와 유사한 접근법이 먹히지 않았다. 바둑은 여러 면에서 1970년대부터 1980년대까지의 저해상도 아타리 게임들보다 훨씬 더 복잡했기 때문이다. 예를 들어 바둑에서는 게임에서 가능한 위치가 너무나 많고 하나의 수가 훨씬 더 복잡한 결과를 낸다. 순수 종단종 시스템이여 이제 안녕! 반갑다 하이브리드.
바둑에서 승리하기 위해서는 두 가지 다른 접근법을 종합해야 했다. 딥러닝과 몬테카를로 트리 탐색Monte Carlo Tree Search 이라고 알려진 기법으로, 게임이 펼쳐질 수 있는 방식으로 가지가 뻗어 나간 나무 사이에서 가능성을 샘플링하는 것이다. 몬테카를로 트리 탐색 자체도 두 가지 다른 아이디어가 합성된 것이다. 두 아이디어, 즉 게임 트리 탐색과 몬테카를로 탐색 모두 그 유래는 1950년대로 거슬러간다. 게임 트리 탐색은 선수의 가능한 움직임을 내다보는 교과서적인 AI 기법이며, 몬테카를로 탐색은 다수의 임의적 시뮬레이션을 진행하고 그 결과로 통계를 내는 일반적인 방법이다. 딥러닝이는 몬테카를로 트리 탐색이든 어떤 시스템도 그 자체만으로는 세계 챔피언을 배출할 수 없다. 여기에서의 교훈은 딱 하나다. AI가 인간의 정신과 마찬가지로 구조화되어야 한다는 점이다. 즉 문제의 서로 다른 측면에 서로 다른 종류의 도구로 대응하는 방식으로 작동해야 한다
- 데미스 허사비스가 최근 말했듯이 “진정한 지능은 딥러닝이 뛰어난역량을 보였던 분야인 개념적 분류를 훨씬 넘어서는 것이기 때문에 그것을 1980년대에 클래식 AI가 다루려고 노력했던 많은 것들, 즉 더 높은 수준의 사고와 상징적 추론에 다시 연결시켜야만 한다.” 광범위한 지능, 궁극의 범용지능에 이르기 위해서는 오래된 도구와 새로운 도구들을 비롯해 많은 다양한 도구들을 우리가 아직 발견하지 못한 방식으로 통합해야 할 것이다.
- 형식 논리 시스템의 목표는 모든 것을 정확하게 만드는 것이지만 현실 세계에서는 우리가 대처해야 하는 많은 것들이 모호하다는 데 더 큰 문제가 있다. 1939년 소련의 핀란드 침공이 제2차 세계대전 발발에 영향을 끼쳤는지 판단하는 것은 논리적 표기의 면에서도 분류법에서만큼이나 어려운 문제다. 더 넓게 보면 우리가 이야기해온 형식 논리가 잘하는 일은 딱 하나다. 우리가 확신하는 지식에 유효한 규칙을 적용해서 마찬가지로 확실한 새로운 지식을 연역할 수 있게 해준다. 우리가 아이다가 아이폰을 소유하고 있다는 점을 완벽하게 확신하고, 애플이 모든 아이폰을 만든다는 점을 확신한다면, 다음으로 우리는 아이다가 애플이 만든 것을 갖고 있다고 확신할 수 있다. 하지만 도대체 '완벽한 확신이란 무엇인가? 버트런드 러셀이 말했듯이 “인간의 모든 지식은 불확실하고, 부정확하고, 불완전하다. 그런데도 인간은 용케 살아가지 않는가?
기계가 이 같은 일을 하게 되면, 즉 인간과 같은 유동성을 가지고 불확실하고, 부정확하고, 불완전한 지식을 표상하고 추론할 수 있게 되면 유연하면서도 강력한 범용지능의 시대가 다가올 것이다.
- 역사적으로 AI는 수동 코딩과 머신러닝이라는 양극단 사이를 오갔다. 칼의 작동 방법에서 유추해 잔디 깎기 작동법을 학습하는 일은 라벨이 붙은 많은 사진을 집어넣어 개의 종을 분류하는 시스템을 개선하는 일과는 전혀 다르다. 지나치게 많은 연구가 전자를 배제하고 후자에만 몰두했다. 칼 그림에 라벨을 다는 것은 픽셀의 공통 패턴에 대한 학습의 문제일 뿐이다. 칼이 무슨 일을 하는지' 이해하기 위해서는 형태와 기능, 그들이 어떤 연관을 갖는지에 대한 훨씬 더 심층적인 지식이 필요하다. 칼의 용도와 위험성을 이해하는 것은 많은 사진을 축적하는 것이 아 닌 인과관계의 이해(그리고 학습)에 대한 문제다. 결혼식을 계획하는 디지털 비서라면 결혼식에는 전형적으로 칼과 케이크가 필요하다는 것만 알아서는 안 된다. 이 디지털 비서는 그 칼이 케이크를 자르기 위해서 거기에 있다는 이유를 알아야만 한다. 케이크가 결혼식용 특별 밀크셰 이크로 대체되면 이전 데이터에서 칼과 결혼식의 상관관계가 아무리 높다 해도 칼은 필요하지 않다. 신뢰할 수 있는 디지털 비서는 칼은 집에두고 빨대를 잔뜩 가져가야 한다는 것을 인식할 만큼 밀크셰이크에 대해 충분히 이해하고 있어야 한다. 거기에 이르기 위해서는 학습을 완전히 새로운 수준으로 끌어올려야 한다.
- 결국 인간 정신의 연구에서 얻은 교훈은 모든 일에 타협이 필요하다는 것이다. 우리에게 필요한 것은 0에서부터 모든 것을 학습해야 하는 백지 상태의 시스템도, 생각할 수 있는 모든 우발적 상황을 미리 완전히 시뮬레이션한 시스템도 아니다. 그보다는 개념적이고 인과적 수준에서 새로운 것을 학습할 수 있게 해주는 강력한 본유의 토대를 갖춘 주의 깊 게 구조화된 하이브리드 모델이다. 즉, 단순히 분리된 사실들만이 아니라 이론을 학습할 수 있는 시스템을 추구해야 하는 것이다.
- 상식, 궁극적으로는 '범용지능에 이르는 우리의 레시피는 이렇게 요약할 수 있다. 첫 번째 단계에서는 인간 지식 그러니까 시간, 공간, 인과 성, 물리적 사물과 그들의 상호작용에 대한 기본적 지식, 인간과 그들의 상호작용에 대한 기본적 지식의 핵심 체계를 나타낼 수 있는 시스템을 개발한다. 둘째, 추상성, 구상성, 개별 추적에 대한 중심 원리를 항상 염 두에 두면서 이런 것들을 온갖 종류의 지식으로 자유롭게 확장될 수 있 는 아키텍처에 집어넣는다. 셋째, 복잡하고 불확실하고 불완전한 지식 을 다룰 수 있고 하향식, 상향식으로 모두 자유롭게 작동할 수 있는 강 력한 추론 기법을 개발한다. 그리고 이들을 인식, 조종, 언어와 연결한다. 이들을 이용해서 세상에 대한 강화된 인지 모델을 구축한다. 그 후 마지막 단계에 이르러 인간에게 영감을 받는 종류의 학습 시스템을 만드는 것이다. 이 시스템은 AI가 가지고 있는 모든 지식과 인지역량을 이용하고, 학습한 지식을 이전 지식에 통합하고, 아이들처럼 모든 가능한 정보로부터 탐욕스럽게 학습하고, 세상과 상호작용하고, 사람과 상호작용하고, 책을 읽고, 비디오를 보고, 가르침을 받는다. 이 모든 것이 합쳐지면 거기에서 딥 언더스탠딩을 얻을 수 있다. 분명 무리한 요구다. 하지만 반드시 해야 할 일이다.
- 신들은 언제나 그들을 만든 사람들과 똑같이 행동한다. (조라 닐 허스턴zora Neale Hurston, 《내 말에게 말하라》Tell My Horse 중에서)
- 제2차 세계대전 중에 실존주의 철학가 장 폴 사르트르의 수업을 듣던 한 학생은 인생의 두 갈래 길에서 갈피를 잡지 못하고 있었다. 이 학생은 프랑스군에 입대해서 참전해야 한다고 생각했지만 어머니가 감정적 으로 그에게 대단히 의지하고 있었다(그의 아버지는 어머니를 버렸고 형은 사망한 상황이었다). 사르트르는 그 학생에게 이렇게 말했다. “어떤 보편적 윤리 규범도 네가 무엇을 해야만 할지 정해주지 않는다. 먼 미래 의 언젠가는 그런 것들을 걱정하는 기계를 만들 수 있을 것이다. 하지만 그보다 긴급한 문제들이 있다.
- 지금 우리는 일종의 공백기에 있다. 네트워크화됐고 자율성을 가졌으나 힘의 결과에 대해서 추론할 진정한 지능은 거의 없는 좁은 지능의 상 태에 있는 것이다. 머지않아 AI는 더욱 정교해질 것이다. 자기 행동의 결과에 대해 추론할 수 있게 될 날은 빨리 올수록 좋다.
이 모든 것이 이 책의 큰 주제와 매우 직접적으로 연관된다. 우리는 지금의 AI연구가 대체로 잘못된 길을 가고 있다고 주장해왔다. 기존 연구와 노력의 대부분은 한정된 과제를 수행하고 우리가 딥 언더스탠딩이 라고 부르는 것이 아닌 빅데이터에 주로 의존하는, 비교적 지적이지 않 은 기계를 만드는 데 집중되고 있다. 우리는 그것이 큰 실수라고 생각한다. 그 방향이 일종의 '사춘기 AI로 이어질 가능성 크기 때문이다. 자신 의 장점이 무엇인지 모르고 자기 행동의 결과를 심사숙고할 수단을 갖 지 못한 기계로 말이다.
단기적인 해법은 우리가 만드는 AI에게 입마개를 씌우는 것이다. 심각한 결과가 따르는 일은 할 수 없게 하고 발견되는 개별적 오류를 수정하는 것이다. 하지만 지금까지 살펴보았듯이 이것은 장기적으로 실행할 수는 없는 방법이며 단기적으로도 포괄적인 해법이 아닌 반창고를 붙이는 수준일 뿐이다.
이런 난장판을 벗어나는 유일한 방법은 상식, 인지 모델, 강력한 추론도구들을 갖춘 기계를 만드는 일을 하루빨리 시작하는 것이다. 이 모든 것을 합치면 딥 언더스탠딩에 이를 수 있다. 딥 언더스탠딩은 자신의 행 동 결과를 예측하고 평가할 수 있는 기계를 만드는 전제 조건이다. 이 프로젝트는 이 분야가 통계나 빅데이터에 대한 심각한, 그러나 피상적 인 의존으로부터 탈피해야만 비로소 시작될 수 있다. 위험한 AI에 대한 치료제는 더 나은 AI이며 더 나은 AI로 가는 가장 올바른 길은 세상을 진정으로 이해하는 AI를 통해서만 가능하다.

- 머신러닝이 모든 문제의 해결책은 아니다.
먼저 꼭 짚어야 할 점은 산업 현장에서 겪는 모든 엔지니어링 관련 문제를 해결하기 위한 가장 적합한 방법이 머신러닝이 아닐 수 있다는 사실이다. 머신러닝은 특정 문제를 해결하기 위한 수단일 뿐이며, 머신러닝이 목적이 되어 끼워 맞추는 식으로 활용할 경우 오히려 안 좋은 결과를 초래할 수 있다. 만약 휴리스틱heuristic (간단한 규칙)을 써서 높은 성능으로 문제 를 해결할 수 있다면, 머신러닝을 쓰기 위해 들여야 하는 자 원을 아낄 수 있다.
가령 뉴스 관련 미디어 회사에서 스포츠 팀별 하이라이트 유튜브 영상을 분류하고 싶다고 하자. 스포츠 팀은 팀별로 특정한 이름이 있고, NBA와 같은 스포츠 리그는 팀이 30개밖에 안 된다. 따라서 각 팀 이름을 놓고 NBA 공식 플레이리스트의 영상 제목에서 간단한 고유명사 매칭 및 필터링을 거치면 꽤 높은 확률로 빠르게 팀별 게임 영상을 분류할 수 있을 것이다.
하지만 휴리스틱은 복잡해지거나 새로 유입된 데이터에 따라 규칙을 추가하거나 기존 규칙을 업데이트하기 어렵다. 는 문제가 있다. 가령 소셜미디어 회사에서 악성 댓글을 감지 하는 모델을 만들고 싶다고 하자. 특정 비속어 단어 키워드를 매칭하는 규칙을 쓴다면, 새로운 비속어가 등장할 때마다 단 어를 추가해야 하기 때문에 이를 유지하는 비용이 엄청나다.
이 경우에는 머신러닝이 비용을 줄이는 효과적인 방법일 수 있다. 딥러닝 모델에 문장 전체를 하나의 입력값으로 넣고, 출력값으로 그 문장의 혐오 종류와 수위 등을 분류하도록 학습시킬 수 있기 때문이다. 그럼 특정 키워드뿐만 아니라 악성 댓글의 문맥 패턴까지 학습하여 새로운 비속어가 등장하더라도 문맥이 혐오적이라면 이를 올바르게 감지하는 모델을 만들 수 있을 것이다.
- 첫 모델을 빨리 출시하라
평가 지표를 골랐다면 첫 모델을 빨리 개발하여 테스트 환경에 배포해보는 것이 좋다. 머신러닝 모델은 가장 간단한 기준 모델baseline model’부터 시작해서 계속 개선해나가는 것이 중요하기 때문이다. 처음부터 성능이 뛰어난 모델을 디자인 하고 학습시키려 한다면 너무 많은 시간을 허비할 수 있으며, 전체적인 파이프라인도 소홀하게 구축될 수 있다. 사실 머신 러닝 프로젝트에서는 모델링도 중요하지만, 어떻게 학습된 모델을 테스트하고 배포하는지, 배포한 모델을 어떻게 모니 터링하는지, 추론에 오류가 있다면 어떻게 피드백을 받아 재학습시키는지 등도 그만큼 중요하다. 그래서 가장 간단한 모델, 심지어 규칙성 휴리스틱 모델을 먼저 만들어 서비스해보면 전체적인 그림을 그릴 수 있고, 어느 부분이 부족한지 정확히 알 수 있다.
그렇다면 학습된 모델을 어떻게 서비스화할 수 있을까? 여기에는 크게 세 가지 방법이 있다. 첫째는 REST API' 라는 형태다. 클라이언트(유저)가 서버(모델)에 웹상으로 입력값을 보내 요청하면 서버에서 출력값을 다시 클라이언트에 전달하는 방식이다. 둘째는 오프라인에서 모델을 활용하는 방식이 다. 예를 들어 검색엔진에서 음란물 사이트를 감지하는 모델 을 학습했다고 하자. 이미 데이터베이스에 사이트에 관한 방대한 정보가 쌓여 있기 때문에, 오프라인 상태에서 이 모델에 데이터베이스에 있는 웹페이지 데이터를 입력해 추론한 결과 값을 도출해낼 수 있다. 셋째는 유저의 휴대 기기(핸드폰, 태블 릿 PC 등)에 모델을 배포해 기기에서 직접 모델을 돌리는 방 법이다. 이는 여러 최신 카메라 애플리케이션이 장면 인식, 얼굴 인식, 비디오 화질 개선 등을 위해 사용하는 방법 중 하 나다. 이미지 및 비디오를 서버로 보내 처리하여 다시 모바일 기기로 받아내는 시간이 너무 오래 걸리기 때문에 모바일 기기에서 직접 모델을 돌리는 경우 레이턴시를 효과적으로 줄일 수 있다.
- 이렇듯 게임 속 플레이어의 행태는 인간의 심리나 사회 메커니즘을 이해하는 데 좋은 단서가 될 수 있다. 효과적인 조직 관리에 대한 힌트를 게임 세계에서 잘나가는 길드의 특 징을 분석함으로써 찾을 수 있지 않을까? 현실 세계에서 최 저 임금을 높이거나 기초 소득을 제공했을 때 경제에 미치는 영향을 추정하기 위해 게임 세계에서 재화 획득량을 높였을 때 게임 경제가 어떻게 바뀌는지 분석하는 건 어떨까? 또는 게임 속에서 사람들이 아이템을 서로 거래할 때 어떻게 가격 이 수렴하는지 분석하면 현실 세계에서 시장 가격이 형성되 는 원리를 이해하는 데 도움이 될지도 모른다.
물론 게임은 현실과 다르다. 대신 현실에서는 확보하기 불 가능한 수준의 세밀한 데이터를 분석할 수 있다. 사실 게임과 현실의 차이가 더 클지 아니면 현실 세계에서 관측할 수 있는 정보의 한계가 더 클지는 아무도 모른다. 다만 여기서 중요한 것은 이 둘이 갖는 한계가 다르기 때문에 서로를 보완할 수도 있다는 점이다. 바로 이 점이 사회과학 분야에서 게임 데이터 에 관심을 가져야 할 큰 이유가 아닐까 싶다.  게임 분야에서는 플레이어의 행태를 세밀하게 기록한 데 이터를 이용해서 여러 가지 분석이 진행되고 있다. 다른 어떤 분야보다 풍부한 데이터를 토대로 폭넓은 분석이 가능하며, 심지어 현실에서 관측하기 힘든 사건들까지 세밀하게 분석할 수 있다. 그래서 게임에는 단지 게임 플레이어뿐만 아니라 데 이터 분석가의 마음까지 빠져들게 하는 매력이 있다.
- 현상을 완벽하 게 설명하는 통계모형은 존재하지 않는다. 또한 이는 통계학 의 목적에도 부합하지 않는다. “모든 모형은 틀렸다. 하지만 어떤 것은 유용하다 All models are wrong, but some are useful.” 13 통계학 을 진지하게 공부한 독자라면 아마 한 번은 들어봤을 유명한 인용구다. 이 인용구의 핵심은 이렇다. 유용한 모형이란 복잡한 사회 현상을 이해하는 최대한 간결한 틀을 제공한다는 말이다. 불필요한 디테일은 무시하되 관심 현상을 특정 맥락에 서 의미있게 이해할 수 있다면 설령 '틀린' 모형일지라도 충분히 유용하다는 것이다. 우리는 충분한 객관적인 데이터와 엄밀한 모형 설계를 통해 머니볼 가설을 다차원적으로 검정했다. 즉 머니볼 효과는 실재했다고 결론 내릴 수 있다.
- “Adapt or Die.” '적응하지 못하면 죽는다'는 뜻의 이 대사는 영화 〈머니볼>에서 빌리 빈이 데이터 기반 선수 선발에 반 발하는 스카우터들과 대립할 때 자신의 관점을 관철시키려 한 말이다. 언더독 신화라는 영화적 서사 이면에 머니볼 효과가 갖은 함의는 궁극적으로 현대 데이터 과학이 지향하는 바와 같다. 그것은 방대한 데이터 사이에서 연관성 혹은 유의미한 패턴을 발견하고 이를 의사 결정에 반영하는 것이다. 데이터 기반 의사 결정의 가장 큰 도전은 직관이나 경험을 배반하는 분석 결과를 대하는 의사 결정자의 태도라고 할 수 있다. 익히 알려졌듯 머니볼의 핵심 가설들은 이미 1970년대 야구광이자 야구 분석의 선구자라 불리는 빌 제임스 Bil James 에 의해 제시된 해묵은 아이디어였다. 하지만 이 흥미로운 분석 결과가 경기에 반영되기까지는 무려 30여 년이 걸렸다. 스포츠는 다른 분야에 비해 상대적으로 객관적 데이터를 수집하기가 쉽다. 하지만 스포츠만큼 경험과 직관이 지배하는 분야또한 드물다. 결국 이 치열한 경쟁에서 살아남기 위해서는 스포츠 경기력 데이터의 한계와 가능성을 이해하고, 의사 결정 과정에 이를 유연하게 적용하는 능력이 있는지가 관건일 것이다.