책정리

- 조직문화가 분석 지향적으 로 변화하려면 경영자의 압력, 즉 경영자가 의사결정의 근거가 되는 데이터를 만들라고 구성원을 독려하고 그 분석결과를 잘 활용하도록하는 압력이 절대적으로 필요하다.
구글, 아마존, 넷플릭스 등 글로벌 수준에서 최고 기업의 공통점은 무엇일까? 이들은 바로 데이터 분석적 경영으로 최고 경쟁력을 구가하는 기업이라는 사실이다. 그리고 그 성공의 배후에는 언제나 분석 지향적 조직문화를 구축하고 강요한 경영자가 있다. 이들 경영자의 공통된 신념은 “우리는 신을 믿는다. 하지만 (신이 아닌) 모든 다른 사람은 (그 근거가 되는)데이터를 가져와라 In God we trust, but all others must bring data" 라는 유명한 문구다.
- 1960년대 중반에 고무 발포로 만들어진 매트가 모래나 톱밥 대신 사용되기 시작했다. 이 매트는 부드러울 뿐만 아니라 모래나 톱밥보다 높이 쌓을 수 있었다. 따라서 착지할 때 선수들이 받는 충격 은 거의 없었다. 포스베리는 이런 환경 변화에 맞추어 과감한 기술을 시도했다. 다른 선수들은 관성에 젖어 기존 방법을 답습할 때 그는 머리로 착지하는 새로운 배면뛰기를 시도한 것이다. 그리고 그의 시도는 높이뛰기 역사를 바꾸는 엄청난 성공으로 이어졌다.
포스베리의 사례가 시사하는 바는 명확하다. 이미 우리 곁에 와 있는 기술과 환경 변화, 즉 빅데이터와 인공지능을 기업이 혁신의 도구 로 활용해야 한다는 것이다. 빅데이터 시대의 5대 핵심기술인 소셜, 모바일, 사물인터넷, 클라우드, 인공지능을 자기 사업을 혁신하는 새로운 도구로 활용하는 디지털 전환은 이제 선택이 아니라 필수다.
- 메일이 왔을 때 이 메일이 스팸인지 정상 메일인지 구분하는 스팸 필터 프로그램을 만든다고 하자. 규칙기반으 로 만들려면 스팸이 아닌지 스팸인지 고르는 규칙(조건문)을 나열해 야 한다. 하지만 예를 들어 대박, 할인, 공짜 등 스팸 필터는 최소한 1만 개 단어를 고려하는데 메일에 각 단어가 들어 있는지 확인하려 면 프로그램이 1만 줄 필요하다. 만약 두 단어 조합을 고려하는 규칙을 만들려면 프로그램이 약 5천만 줄이 더 필요하다. 규칙을 나열하는 것만도 수작업으로는 불가능한 것이다. 기계학습은 수작업으로 규칙을 만들기가(프로그래밍하기가) 불가능한 문제를 컴퓨터 알고리즘이 데이터에 내재하는 패턴을 스스로 학습 하는 것이다. 기계학습의 종류는 다음과 같이 구분할 수 있다.
* 데이터 마이닝 센서 데이터, 클릭기록, 의료기록, DNA 분석 등
*수작업으로 프로그래밍할 수 없는 것들: 글자 인식, 이미지 인식, 스팸 제거, 자율운행차, 헬기) 등
* 개인 최적화 추천 알고리즘
* 강화학습
- 기계학습의 문제는 데이터에 내재하는 패턴을 찾기 위해 정답이 붙은 많은 데이터가 필요하다는 것이다. 예를 들어 스팸 필터는 스팸과 메일 각각 몇천 개로는 학습의 정확성이 매우 낮으므로 최소한 각각 수십만 개 메일과 스팸이 필요하다. 또한 패턴을 찾으려면(예를 들어 스팸과 메일이 얼마나 다른지를 계산하려면) 엄청난 계산을 빠르게 수 행해야 하므로 고성능 컴퓨팅 파워도 필요하다. 데이터의 폭증과 함 께 컴퓨터 계산 능력과 알고리즘이 비약적으로 발전한 빅데이터 시대 에 기계학습이 안성맞춤의 궁합으로 눈부신 성과를 내는 이유가 바로 여기에 있다.
- 개리 매커스Gary Marcus는 딥러닝은 “많은 훈련 데이터가 필요하므로 탐욕적이고, 문제의 맥락이 달라지면 적용할 수 없으므로 불안정하며, 과정을 설명할 수 없으므로 불투명하고, 인지 기억 추론 등 실질적 지능이 없으므로 피상적이다"라고 비판했다. 
- 전통적으로 롤스로이스가 엔진을 항공사에 판매하면 항공사는 엔진에 대한 정비와 부품 조달 등의 모든 것을 책임졌다. 하지만 항공사는 이런 책임에서 벗어나 승객 서비스에만 전념하기를 원했 고 롤스로이스는 토털케어라는 인공지능 솔루션으로 응답했다. 토털 케어의 핵심은 엔진의 소유와 관리에 대한 리스크를 항공사가 아니라 롤스로이스가 책임지고 항공사는 엔진을 사용한 시간만큼만 power by the hour 비용을 내는 것이다. 따라서 롤스로이스는 엔진 정비와 부품 조달 등 모든 것을 책임지고 엔진의 신뢰성과 유용성을 최대로 보장 해야 했다. 그러려면 롤스로이스는 가능한 한 고장 나지 않는 엔진을 만들어야 하고, 운항중인 엔진의 상태도 실시간으로 측정하고 이상 을 조기에 탐지해 즉각 대응할 수 있어야 했다. 또한 정비도 신뢰성을 유지하면서 동시에 신속하게 해야 했다. 항공기가 운항중일 때 엔진에 장착된 센서는 주요 부품의 성능과 관련된 진동, 오일 압력, 온도 등의 데이터를 실시간으로 데이터 센터 에 전송한다. 전 세계 세 지역에 있는 데이터 센터에서는 엔진 상황을 실시간으로 모니터한다. 즉 실시간으로 유입되는 엔진 데이터를 인공 지능이 자동으로 분석해(부품 고장이나 교체 필요성 예측) 엔진의 이상을 조기에 탐지하는 것이다. 또한 이상이 탐지되는 경우 찾아가는 서비스를 제공한다. 즉 해당 항공기의 도착지에 미리 정비요원을 대기 시켜서 승객이 내리는 동안 정비를 완료함으로써 비가동시간downtime 을 최소화한다.
토털케어는 엔진뿐만 아니라 항공기 전체의 모든 시스템에 대한 주요 작동 데이터도 수집한다. 인공지능을 활용해 항공기의 운항 성 능과 관련된 데이터를 종합적으로 분석함으로써 연료 소비의 효율을 최적화하는 서비스도 제공하는데 이로써 연료비용이 1~2% 절약된 다. 이렇게 해서 절약되는 비용이 항공사 규모에 따라 2천만 달러에 서 2억 달러에 달한다.
현재 40여 개 대형항공사의 4천여 개 엔진이 토털케어 서비스에 가 입되어 있으며, 최신의 트렌트Trent 엔진은 95%가 가입되어 있다. 지난 10여 년간 롤스로이스 주가는 지속적으로 상승했는데 롤스로이스의 서비스 매출은 2003년에는 10%에 불과했지만 2012년부터는 50%를 초과했다. 롤스로이스에서 가장 큰 변화는 고객을 위한 기술과 서비스 개발, 즉 부품 고장이나 교체 필요성을 예측하는 예방 정비predictive maintenance, 신속한 정비를 위한 부품 공급망의 최적화, 자산관리asset management 의 효율 증대에서 철저하게 데이터 분석을 바탕으로 한 조직 문화가 자리 잡았다는 것이다. 사내에 서비스 개발 관련 석사학위 과정도 만들었다.
- 세계적으로 가장 창의적 기업이 데이터 분석에 기반을 두고 경쟁 우위를 구가하는 사실은 다음 두 가지를 시사한다. 첫째는 빅데이터 시대에 기업 창의성의 원천은 새로운 원유'라고 일컬어지는 데이터 분석에 있다는 것이다. 아마존 CEO 제프 베조스는 이런 흐름에 대해 "이 세상의 미래 주인은 분석에 뛰어난 기업들, 즉 사물들이 관련되어 있다는 것을 알 뿐만 아니라 왜 그리고 어떤 패턴으로 관련되어 있는 지 아는 기업들이다”라고 표현했다. 둘째는 개인의 창의성 또한 분석 능력을 키우려는 노력으로 기를 수 있다는 것이다. 즉 기업은 직원들을 대상으로 분석능력을 향상하는 프로그램을 운영하거나 분석이 일상화된 기업문화를 조성함으로써 창의성을 높일 수 있다.
- 디지털 혁신을 위해 가장 중요하고 비용도 들지 않는 출발점이 있다. 경영자가 직원들에게 숫자를 요구하는 것이다. 데이터에 근거하지 않은 보고는 받지 말고 그냥 던져버려라. 경영자가 매일매일 받는 보고(서)에는 종종 문제해결 대책이나 제안이 들어 있다. 하지만 그 제안이 데이터에 근거하지 않았다면 아예 보고서를 읽지도 마라. 정확한 증거에 입각해 보고와 의사소통을 하는 환경을 조성하려면 경영자가 먼저 데이터를 요구해야 하기 때문이다.

- 인공지능을 강한 AI와 약한 AI로 구분하듯이 메타버스를 광의와 협의의 개념으로 구분해 볼 수 있습니다. 넓게 는 웹 생태계 전체를 아우르는 개념이고, 좁게는 포트나이트, 로블록 스, 제페토, 디센트럴랜드 등 소위 메타버스 플랫폼을 지칭합니다.
'메타버스' 라는 용어는 학술용어나 공식적으로 합의된 명칭이 아 닙니다. 이전부터 사이버, 온라인, 멀티버스 다중우주, 디지털 트윈, 거울 세계, 가상현실, 증강현실, 혼합현실 MR 등등 다양한 이름으로 불 렸었지요. 2021년부터 '메타버스'가 대중적 용어로 자리 잡으면서 장르 명칭이 되고 있습니다. 그러다 보니 아직 범위나 개념 정의가 불명확하다는 문제가 남아 있긴 합니다.
- 2021년 말, 실리콘밸리에서 '웹3.0'이 뜨거운 감자로 부상했습니 다. 잭 도시와 일론 머스크가 웹3.0을 벤처캐피털들이 독점하려 한다고 비난하자, 마크 앤드리슨이 트위터 계정을 차단해 버리면서 설전이 일어난 겁니다. 웹3.0은 탈중앙화decentralized 거버넌스 구조를 가져야 하는데 소수 자본가가 소유하려 한다는 주장과 비즈니스 생태계의 현실을 고려해야 한다는 주장이 맞붙었지요.  일론 머스크 말대로 웹3.0은 본 사람이 없습니다. 시각적으로 보 이게 하려면 웹3.0에 형체를 만들어 씌워야 하겠지요. 웹3.0에 형체 를 입힌 것이 메타버스입니다. 뒤집어 말하면, 메타버스의 본질과 원 리가 웹3.0입니다. 1990년대 시작된 웹은 21세기 들어 웹2.0으로 진화했고, ICT와 과학기술의 발달로 입체적이고 역동적으로 변해 왔습니다. 거기에 지능 inteligence까지 얹어지면서 웹3.0시대로 진입하고 있 습니다.
나는 메타버스를 한마디로 웹3.0이라고 정의합니다. 1990년대 만들어진 웹 생태계가 입체적, 역동적, 그리고 지능화된 것이 메타 버스입니다. 이 책에서 논의하는 메타버스는 정확히 표현하자면, 웹 3.0 메타버스’ 입니다. 그리고 웹3.0 메타버스의 두 기둥은 NFT 대체불가토큰와 ARGAtternate Reality Game, 대체현실게임입니다. NFT는 메타버스의 경제를 떠받치고, ARG 는 메타버스를 역동적으로 만듭니다. 이 책의 부제처럼 NFT와 ARG 가 비즈니스의 법칙을 바꾸고 있습니다.
- 1990년대 대중에게 확산되기 시작한 인터넷이 웹이라는 가상의 땅field을 만든 것이고, 웹2.0 환경에서 플랫폼platform 으로, 그리고 디지털과 ICT 기술의 진화로 플랫폼이 입체적이고 다이내믹하고 지 . 능적인 모습으로 진화한 생태계가 메타버스 metaverse다. 그래서 메타버 스를 웹3.0이라 하는 것이다.
- '함께' DNA : 함께 만들라, 그러면 그들이 머물 것이다. 비트 세대, 히피 운동, 사이버펑크, 자유 소프트웨어 운동, 사이퍼펑크와 블록체인으로 이어지면서 유전된 웹3.0 메타버스의 DNA는 크게 두 단어로 요약할 수 있다. '함께'와 '거꾸로다.
첫째, 웹3.0 메타버스는 함께 만드는 세상이지 1% 리더들의 무대 가 아니다. 현실세계는 1%에게 권력과 이익을 누리게 해 주고 그들 이 연출하는 무대를 관전하는 구조지만, 메타버스는 99%의 집단지 성으로 함께 만들고 함께 즐기는 세상이다. 이것이 웹3.0 메타버스 게임의 법칙이다. 또 현실세계의 비즈니스가 “잘 만들라. 그러면 그들이 올 것이다.” 였다면 웹3.0 메타버스 비즈니스의 법칙은 “함께 만들라. 그러면 그 들이 머물 것이다.” 로 바뀐다.
- '거꾸로 DNA : 보이는 세상은 실재가 아니다.
두 번째 DNA는 '거꾸로'다. 웹3.0 메타버스는 현실세계의 물리법 칙이 적용되지 않는 이상한 나라 wonderland다. 시공간도 초월적이고, 패 러다임도 다르다. 메타버스에서는 거꾸로 생각해야 한다. 또 상식과 통념에도 저항해야 하고, 비즈니스도 다른 방식으로 해야 한다. | 물리학자 카를로 로벨리의 책 제목처럼 보이는 세상은 실재가 아 니다 Reality is not what it seems.” 그는 이 책에서 시간과 공간에 대한 일반인 들의 통념을 깨뜨린다. 시공간은 양자量子, quantum이며, 시간은 흐르지는 않는다고 역설한다.
- 블록체인은 공유경제의 끝판왕이다. 1%의 빅 브라더나 미들맨 없이 99%가 P2P 연결과 융합을 통해 집단지성을 발현할 수 있도록 만드는 알고리즘이다. 흔히 블록체인을 분산원장기술이라 정의하지만 그건 금융과 일부 분야에 국한된 단면일 뿐이다. 또 코인이나 토큰 등 가상화폐는 시스템을 유지하기 위한 부수적인 요소다. 본질은 공유 경제와 마찬가지로 집단지성의 발현이다. 이처럼 집단지성은 메타버 스에 피를 만들어 공급하는 심장과 같은 역할을 한다.
정리하자면 집단지성이라는 DNA가 공유경제, 블록체인, 그리고 메타버스로 이어지면서 유전되고 있다. 이것이 왜 웹3.0 메타버스에 는 생산자와 소비자의 경계가 없고, 협업을 통해 가치를 창출하는 위 키노믹스가 구현되는지를 알 수 있는 대목이다. 앞 장에서 강조했듯 이 웹3.0 메타버스의 유전자는 '함께' 즉, 집단지성이다.
- 메타버스의 역사를 돌이켜 보자. 1990년대 인터넷 이 지구를 거미줄Web처럼 연결시켰고, 집단지성이 생기면서 웹 환경 은 2.0으로 진화했다. 여기에 스마트폰이 혁명의 트리거를 당겼고, 2010년대 들어 인공지능과 블록체인, 그리고 VR 기술과 햅틱 인터 페이스, 센서 기술, 3D 데이터 처리기술, 유니티 Unity와 언리얼 등 쉽 게 게임을 구현할 수 있도록 도와주는 게임 엔진의 보급 등이 가세하 면서 생태계는 다시 웹3.0이라는 새로운 차원으로 도약할 수 있게 된 것이다. LTE나 5G 등 초고속 네트워크와 반도체 등 컴퓨팅 파워의 발달이 메타버스로 가는 인프라를 깔아 준 것은 말할 나위 없는 일이다. 
- 앞으로 기업들은 홈페이지나 앱 대신 봇 제작에 박차를 가할 것이다. 브랜드 봇 하나씩은 키워야 한다. 또 개인들도 비서 봇을 갖게 될 것이다. 일반인들이 봇을 만들 수 없으니 분양하거나 제작을 지원하는 소프트웨어들이 많아진다. 마치 개인 홈피나 블로그 저작도구들 이 생겨났었듯이. 봇은 메타버스 안에서는 아바타avatar로 불린다. 과거 웹2.0 환경으로 변하면서 웹에서 앱으로 중심이 이동했듯이, 웹3.0 메타버스 생태계에서는 앱에서 아바타 봇으로 이동할 것이 다. 앱의 시대가 가고 아바타 봇의 시대가 오는 것이다. 그리고 아바타는 단지 상징적인 그림 파일이 아니라 지능을 장착한 AI 로봇이다.
- 메타버스는 AI 아바타의 영역이다. 이 말은 인간이 개입하기 어려 워진다는 뜻이다. 자율주행차가 거리를 질주하는 시점이 되면 인간이 운전하는 차는 다닐 수 없게 된다. 신호체계나 거리가 운전 봇에 맞게 설계되어 있고 봇들끼리 정보를 주고받으면서 운행하는 가운데, 인간이 낄 수 없기 때문이다. 마찬가지로 아바타들이 활동하는 메타버스는 인간이 개입할 수 없는 영역이 될 수도 있다.
- 왜 페이스북은 사명까지 메타로 바꿔 가며 VR 웨어러블에 전력투구하는 것일까? 애플과 구글이 장악하고 있는 스마트폰 생태계에서 벗어나기 위함이다. 2021년 애플과 페이스북이 크게 한판 붙었다. 애플이 청천벽력 같은 선언을 했기 때문이다. 개인정보보호 정책 차 원에서 아이폰에 내장된 광고 IDIDFA : ID for advertisers를 통해 수집·제공해 온 사용자 트래킹 데이터를 모바일 앱 사업자들에게 제공하지 않겠 다는 내용이었다. 사용자에게 동의를 받아 오면 주겠단다. 이건 애플의 iOS 운영체제 위에서 만들어진 페이스북으로서는 사형선고다. 왜냐면, 페이스북의 주 수익은 사용자 데이터를 활용한 개인맞춤형 광고인데, 애플이 페이스북에게 아이폰 사용자들의 기본정보를 제공해 주지 않는다면 리타겟팅retargeting (페이스북을 보다 보면 조금 전 검색했던 상품광고가 계속 따라오는데 그게 리타겟팅 광고다) 이 불가능해지기 때문이다. 구글도 애플의 개인정보보호 정책에 동조하고 있다. 건축물에 비유하자면, 건물주가 전기를 끊겠다는 얘기다.
- 구글과 애플도 눈이 좋은 기업이다. 넥스트 스마트폰 시대를 대비 하고 있다. 2013년 AR 글래스를 발표했으나 당시에는 호응을 얻지 못했던 구글은 '구글 글라스 에디션2'로 재도약을 준비하는 한편 AR 스타트업 매직리프 Magic Leap에 대규모 투자를 하기도 했다. 애플은 아 이폰, 아이패드를 메타버스에 연결하려는 노력을 경주하고 있다. 특 히 증강현실 기술에 집중하고 있는데, 개발자들이 쉽게 AR 앱을 만 들 수 있는 AR 툴킷을 개발, 지속적으로 업그레이드하고 있다. 또 2022년 AR 글라스를 출시한다고 발표했다.
모바일 시대로 변하면서 왕좌의 자리를 빼앗겼던 마이크로소프트 는 메타버스로 재탈환을 노리고 있다. 2016년 혼합현실R 기반 웨어 러블 기기 홀로렌즈 Microsoft Hololens를 출시했고, 2014년 스웨덴 게임사모장Mojang 스튜디오로부터 인수한 마인크래프트는 메타버스행의 디 딤돌 역할을 하고 있다.
마이크로소프트는 윈도 오피스와 같은 사무용 애플리케이션을 활용하여 협업 메타버스 부문에서 비교우위점을 가질 수 있다. 2021년 에는 메타버스 협업 플랫폼인 메시Mesh를 출시했는데, 홀로렌즈를 착용하면 메시에서 물리적으로 다른 지역에 있는 사용자들이 한 방에서 회의하는 것처럼 느낄 수 있다.
- 누가 메타버스 왕좌의 게임 승자가 될까? 승자의 조건은, 현실세계와 메타버스를 융합할 수 있는 기술력technology과 세계관을 만들 수 있는 철학philosophy이다. 기술과 철학은 양대축이다. 기술만으로는 세상을 변화시킬 수 없다. 철학이 없는 기술은 사상누각처럼 오래가지 못하기 때문이다. 웹3.0 메타버스 게임은 세계관 전쟁이다. 〈왕좌의 게임) 시즌8에서 티리온 라니스터가 이런 말을 던진다. "무엇이 사람들을 하나로 만들unite 수 있을까요? 군대? 황금? 깃발? 아니, 스토리입니다.” 그가 의미하는 스토리는 단순한 서사가 아니라 삶의 철학이 융합된 히스토리 history다. 어느 세상이건 히스토리만큼 재미있는 게임은 없다.
- 메타버스 왕좌를 노리는 자들의 야심은 국가를 대체하겠다는 것이다. 2003년 미국 린든랩이 만들었던 세컨드라이프 Second Life도 국가를 가상현실로 옮기려는 시도였다. 창업자 필립 로즈데일은 “우리는 게임을 만드는 것이 아니라, 새로운 나라 country를 건설하고 있다.”라 는 말로 비전을 설명했다.
30억의 인구 최강국 메타前 페이스북가 메타버스를 향하는 이유도 이 런 맥락이다. 페이스북은 2018년부터 블록체인 프로젝트인 '리브 라Libra' 를 추진했지만, 미국 정부의 강한 반대에 부딪혔다. 왜 반대하 나? 리브라는 페이스북 플랫폼에서 통용되는 화폐이기 때문이다. 이 건 화폐발행권을 쥐고 있는 국가라는 체제를 근본부터 뒤흔드는 일이다. 페이스북 플랫폼에서 리브라는 자유롭게 국경을 넘나들 수 있고, 개별국가들의 통제권을 벗어난다. 리브라 프로젝트에 놀란 중국이 CBDC Central Bank Digital Currency를 서둘러 도입한 이유도 리브라에 대
비해 만리장성을 쌓아야 했기 때문이다.
페이스북은 2019년 메타버스 플랫폼 '호라이즌Horizon' 베타 버전 을 발표했다. 평면적인 페이스북, 왓츠앱, 인스타그램 등의 SNS 플랫 폼을 3D 메타버스로 업그레이드하고, 그 안의 콘텐츠도 보강해서 새로운 월드를 구축하겠다는 계획이다. 메타는 출전 채비를 차렸다. 리브라 프로젝트는 2021년 '디엠Diem’ 으로 개명해서 재추진하고 있고, AR 선글라스와 VR 디바이스 오큘러스 퀘스트를 출시했다. 만일 30억의 기존 사용자들이 호라이즌으로 이동한다면 메타는 국경 없는 세계최대의 커뮤니티가 될 수 있다. 메타의 야심은 글로벌국가다.
- 이더리움이 제공하는 ERC-20 표준을 따르면 누구나 쉽게 토큰대 체가능토큰을 민트할 수 있고, NFT와 같이 고유의 식별정보가 필요한 토 큰은 ERC-721이나 ERC-1155 표준을 따라 민트된다. 또 NFT를 판 매할 수 있는 관련 인프라도 잘 구축되어 있다. 예를 들어, 현재 NFT 의 최대거래소는 오픈시 opensea.io인데, 오픈시는 이더리움 블록체인의 메인넷 main network에서 돌아가는 애플리케이션이다.
또 여기서 잠깐, 코인과 토큰의 차이점을 알고 가야 한다. 대개는 혼용해서 쓰는 경우가 많지만 다른 차원의 개념이다. 메인넷을 운영 하는 블록체인은 블록 생성에 참여하는 노드들에게 작업에 대한 인센티브를 지급하는데, 그게 코인coin이다. 이 과정을 채굴이라 부른다. 마치 광부들이 노동해서 금을 채굴mining하듯이, 블록이 생성될 때마 다 노동의 대가로 가치가 창출되는 것이다. 코인은 대부분 발행되지 않고 채굴된다.
토큰token은 메인넷 운영체제상에서 만들어지는 애플리케이션들이 자신의 앱에서 사용할 수 있도록 발행하는 것이다. 일종의 유틸리티 토큰의 성격이다. 그러니까 코인과 토큰은 부모와 자식의 관계라 할 수도 있겠다.
또 메인넷OS을 도시에 비유한다면 앱pp은 건물이나 아파트, 도로 등이다. 인구가 늘고 건물들이 많이 들어서야 도시가 활성화되어 땅 값도 올라가듯이 메인넷 위에서 작동되는 앱들이 많아져야 해당 블록체인 생태계가 커진다.
- 이더리움 생태계에서 거래될 때에는 이더ETH로 결제가 이루어지는데, 이더의 사용량이 많아지면 가격도 올라간다. 현재로서는 이더리움이 가장 유리한 위치를 점하고 있지만, 이더리움의 처리속도TPS가 느려 실생활 사용에 한계가 있고 가스비 거래수수료가 높다는 약점을 파고들면서 경쟁 프로젝트들이 블록체인계의 안드로이드와 iOS 자리에 도전하고 있다. 이처럼 블록체인은 웹3.0 메타버스 경제의 운영체제다.
- 왜 스마트폰이 나오면서 ARG 열기가 식고 세컨드라이프는 몰락 했을까? ARG는 대체현실게임이고, 세컨드라이프는 가상현실게임이 라는 차이점은 있지만, 둘 다 소셜 게임이라는 공통점이 있다.
스마트폰 생태계가 조성되면서 소셜 미디어인 SNS 플랫폼들이 급격히 늘어났다. 페이스북, 트위터, 유튜브 등 외에 ARG의 원리가 접목된 포스퀘어나 옐프와 같은 위치기반 SNS도 나왔고, 왓츠앱이나 카톡 등의 메신저 기반의 SNS, 핀터레스트나 인스타그램 등의 이미 지 기반 SNS, 틱톡 같은 짤방 위주의 SNS 등 형태나 방식도 다양화 되면서 봇물 터지듯 쏟아져 나왔던 것이다.
SNS도 소셜 게임이다. 기업 입장에서는 별도의 ARG를 기획하는 것보다는 소셜 플랫폼을 활용하는 것이 비용이나 효과 측면에서 유리했을 것이다. 제1부 3장에서 언급했던 세컨드라이프의 실패도 스마트폰으로 인한 SNS의 활성화에서 직접적인 원인을 찾을 수 있다.
그러나 메타버스 시대가 본격화되면 양상이 달라지게 된다. SNS 와 같은 소셜 미디어들은 위기감을 느끼고 있다. 사람들의 SNS에 대한 피로도가 늘고 있고, 평면적인 형태에 흥미를 잃어 가고 있기 때문이다. 페이스북이 메타로 사명까지 바꾸면서 메타버스에 올인하는 이유도 여기에 있다.
세컨드라이프는 포트나이트, 로블록스, 제페토 등의 모습으로 부 활했다. 세컨드라이프가 문을 닫은 지 10년도 되지 않아 꺼진 줄 알았던 불씨가 2019년경부터 다시 지퍼진 것이다. 그럴 수밖에 없는 게 세컨드라이프와 이들의 심층구조 deep structure는 동일하기 때문이다.
- 광고의 역사는 길지 않다. 광고는 산업혁명의 산물이다. 광고는 산업혁명 이후 신문, 잡지, 라디오, TV 등 미디어media가 만들어지면 서 고안된 대량커뮤니케이션 수단이다. 그러나 무차별적이고 일방통 행식인 광고는 더 이상 유효하지 못하다. 그것은 이미 웹2.0 시대 들 면서부터 나타났던 조짐이고, 웹3.0 메타버스 시대가 본격화되면 광 고는 종말을 맞이할 수도 있다. | 이는 플랫폼기업들에게 위협요인이다. 플랫폼기업의 주 수익원은 광고이기 때문이다. 페이스북이 회사명을 바꾸면서 메타버스로 향하 는 속사정도 이것이다. 메타는 사용자들의 데이터를 기반으로 한 맞 춤형 광고로 돈 버는 회사다. 그런데 광고에 대한 기대감은 갈수록 식어 가고, 광고효과도 급하락하고 있다. 광고주들은 브랜드 이미지 높 이는 막연한 광고보다 직접적이고 현실적인 성과형performance 광고를 선호한다.
커뮤니케이션은 인류의 본능이기 때문에 광고의 심층구조는 변 하지 않는다. 그러나 메타버스에서 광고의 표피구조는 달라진다. 미디어 container를 구매해서 거기에 메시지 contents를 담아 송출하는 광고는 곧 사라질 것이다. 그런 분리적이고 순차적인 방식은 메타버스 게임 의 법칙에 위배되기 때문이다. 미디어와 메시지의 경계도 사라지면서 융합이 일어나고, 물리적 현실과 대체현실을 넘나드는 역동적이고 입체적인 미래모습을 ARG에서 엿볼 수 있다.
- 마케팅3.0 전략
'광고' 라는 용어 자체가 사라질 수도 있다. 메시지는 상품에 융합 되어 광고인지 아닌지 헷갈리게 되고, 생산자와 소비자의 경계도 사 라져 함께 어울리면서 게임을 벌이는 방식으로 변한다. 여기서 중요 한 포인트는 소비자도 경제적 이익을 얻을 수 있어야 한다는 점이다. | 이 과정에서 광고와 유통의 경계도 사라진다. 유통도 산업혁명의 결과, 생산자와 소비자가 분리되면서 생긴 개념이다. 시장market의 역 사도 길게 봐야 200~300년밖에 되지 않는다. 산업시대의 가치사슬 이 해체되면서 시장, 미디어 등의 존재 이유가 없어지고 플랫폼으로 융합되는 추세가 지속되고 있다.
메타버스에는 미디어도 시장도 존재하지 않는다. 거기는 우리가 알던 세상이 아니다. 게임의 법칙이 다르고 가치방정식도 고차 함수다. 비즈니스 생태계가 메타버스로 변하고 있는 시점에서 기업들이
체질을 바꿔 가야 한다. 달라진 룰을 숙지하고, 새로운 고차방정식 풀 이에 도전해야 한다. 또 실패가 권장되어야 한다. 현실세계에서의 실 패가 메타버스에서는 성공이기 때문이다.
대체현실에 주목해 보시라. 대체현실은 가상현실로 가는 가교이 고, 거기에 비밀를 푸는 열쇠가 숨겨져 있다. 대체상품을 기획하고, ARG를 설계해야 한다. 게임화gamification는 마케팅의 트렌드다.
메타버스는 상품과 스토리를 곳곳에 분산시켜 놓고 고객과 함께 그것을 찾는 게임을 벌이는 시공간이다. 웹3.0 메타버스 시대, 마케 팅3.0 전략으로 전환해야 한다. 마케팅3.0은 입체적이고 역동적인 3 차원 방식이다. 현실과 가상의 경계를 넘나들며 trans-media, 집단지성을 활용하는wiki 지능형 마케팅이다.
- '블루오션'의 저자 김위찬 교수는 한 인터뷰에서 이런 화두를 던졌다.
“전략을 짤 때 대개의 경우 경쟁과 기존 산업을 분석하고 전략 그룹을 살펴본 뒤 집중 공략할 고객을 정한다. 이런 과정을 무의식적으로 거친다면 당신은 레드오션에 빠져있는 것이다.” (한국경제, 2005.10.11)

- 인공지능은 언제, 어디서, 누구로부터 만들어졌나요?

역사적으로 보면 인공지능이라는 말은 1956년까지 거슬러 올라갑니다. 1956년 여름, 미국 다트머스 대학에서 <인공지능에 관한 다트머스 여름 연구 프로젝트 Dartmouth Summer Research Project on Artificial Intelligence>라는 워크숍이 열립니다. 이 워크숍은 1955년 당시 다트머스 대학에서 조교수로 일하던 존 매카시를 주축으로 마빈 민스키 Marvin Minsky, 나다니엘 로체스터 Nathaniel Rochester, 클로드 섀넌 Claude Shannon 등 당대 최고의 인공지능 전문가들이 모여 인공지 능의 미래를 토론하기 위한 자리로, 제안서에는 이렇게 쓰여 있습니다.

“우리는 1956년 여름 뉴햄프셔 주 하노버에 있는 다트머스 대학에서 2개월 동안의 인공지능 연구 수행을 10인에게 제안하는 바입니다. 이 연구는 학습의 다양한 측면과 지능의 특징을 매우 정확하게 설명할 수 있다는 전제하에 진행되며, 연구 내용을 바탕으로 한 시뮬레이션 기계를 만들 것입니다. 이 기계는 언어를 사용하고 추상화와 개념화를 할 수 있으며, 현재 인간에게 주어진 다양한 문제를 해결하는 것은 물론, 기계가 자신을 향상하는 방법 또한 찾을 것입니다. 선택된 10인의 과학자들이 함께 작업한다면 여러 과제 중 하나 이상에서 상당한 진전을 이룰 수 있다고 생각합니다.”

- 고객이 와서 신용대출을 해달라고 요청합니다. 은행에서 이미지정한 질문에 따라 데이터를 입력하면 전문가 시스템에 있는 추론 엔진이 돌아가면서 대출 여부를 결정합니다. 만약 대출이 거부되었다고 가정해 봅시다. 고객이 왜 대출이 안 되는지 물으면 전문가 시스템은 그런 의사결정 을 하게 된 과정과 어떤 규칙에 의해 대출 거부 결정을 하게 되었는지를 설 명해 줍니다. 상당히 좋아 보이지요.? 이러한 이론은 질병 진단 및 치료 방법, 대기오염 분석, 군사 작전, 광석 매장지를 찾는 지질탐구 분야 등에서 많이 사용되었습니다. 문제는 시간이 지나면서 규칙이 변경되고 늘어나 관계를 명확하게 정의하는 것이 어려워 지는 것은 물론, 새로운 규칙도 계속해서 다시 입력해야 합니다. 입력한 새 로운 규칙이 기존에 입력한 규칙과 충돌을 일으킬 수도 있습니다. 따라서 규칙을 유지보수할 때마다 각 분야의 전문가들이 필요합니다. 전문가 시스템 스스로가 데이터를 학습하여 규칙을 변경하는 능력이 있으면 좋을 텐데 그렇지 못합니다. 또한 많은 규칙을 추론하는 엔진을 돌리면 컴퓨터가 매우 느려집니다. 그래서 전문가 시스템은 초기에 성공을 거두었음에도 불구하고 점차 사용하지 않게 되었습니다.

뉴럴 네트워크는 전문가 시스템과는 달리 데이터를 학습해서 의사결정을 하는 방법으로, 데이터가 많아지고 복잡해지면서 엄청난 컴퓨팅 계산 능력이 필요했습니다. 그런데 1990년대에 그렇게 빠 른 컴퓨터는 너무 비쌌습니다. 그래서 인공지능이 약속한 원래 목적을 현실 적인 비용으로 감당할 수 없게 되자 또다시 인공지능 두 번째 겨울이 온 것입니다.

- 인간은 아주 뜨거운 것을 만지면 무의식중에 손을 급히 빱니다. 이것은 손에서 감각 뉴런에 전달된 뜨겁다' 라는 신호를 연합 뉴런에 전달하지 않 고 척수 반사 신경에서 바로 운동 뉴런에 전달한 것입니다. 또한 사람은 보 지 않고 듣지 않아도 본 것처럼 느끼고(환영), 들은 것처럼 느낄 수 있습니 다(환), 이것은 감각 뉴런을 통하지 않고 뇌의 작용만으로도 보고 들은 것 처럼 느끼는 것이죠. 매우 신비한 일입니다. 인간의 뇌만이 할 수 있는, 입력 데이터도 없이 무엇을 보거나 들은 것 같은 느낌을 어떻게 수학적인 모델로 구현할 수 있겠습니까?

- 사람이 일일이 학습 알고리즘을 짜는 것이 아니라 '알고리즘을 자동으 로 짜주는 인공지능' 도 개발되고 있습니다. 이것이 AutoML (자동화 머신러 닝)로, 앞에서 이야기한 메타 러닝 meta learning 분야 중 하나입니다. 사람이 학 습 모델을 만들고 학습시키려면 매우 많은 시간이 소요되고 컴퓨팅 시간도 오래 걸리므로 '인공지능이 인공지능을 학습시키는 모델'을 짜도록 한 것입 니다. 이것도 인공지능 모델의 여러 학습 방법 중 하나입니다.

- 2019년 3월, 딥러닝의 최고 선구자 중 한 사람인 요슈아 벤지오 교수는 다음과 같이 말했습니다.

“딥러닝이 기존의 상관관계만을 파악하는 수준을 넘어서서 원인과 결과에 대해 설명하지 못한다면 딥러닝의 잠재력을 충분히 발휘하지 못하고 진정한 AI 혁명을 일으키지 못할 것입니다. 다시 말해 딥러닝은 '왜 이런 결과가 나왔는지’, ‘원인이 무엇이었는지' 답할 수 있어야 한다는 것이죠. 딥러닝은 학습된 많은 데이터와 레이블(정답) 간의 상관관계를 알아내는 것은 잘하지만, 인과관계에 대한 추론은 잘하지 못합니다. 또한 딥러닝은 학습 데이터가 인공지능 시스템이 현실에 적용될 때의 데이터와 동일하다고 가정합니다. 그러나 실제로는 그렇지 않을 수도 있습니다.”

- 머신러닝과 딥러닝의 차이는 학습하는 데이터의 양입니다. 보통 머신러에서 학습하는 데이터의 양은 수만 건 이하입니다. 반면 딥러닝은 거의 한계가 없지요. 최근에 만들어진 GPT-3는 학습하는 데이터가 4,990억 건이나 됩니다. 이렇게 데이터 규모부터 큰 차이가 나기 때문에 딥러닝이 머신러닝 보다 더 많은 하드웨어가 필요합니다. GPT-3는 마이크로소프트에서 제공하 는 클라우드를 사용했는데, 학습할 때 사용한 클라우드 사용료만 160억 원 정도가 됐다고 합니다. 또 하나 중요한 차이점이 있습니다. 다음 페이지의 그림을 보겠습니다. 머신러닝은 은닉층 hidden layer 이라고 부르는 중간층이 하나밖에 없지만, 딥러닝은 은닉층이 2개 이상 있습니다. 딥러닝 알고리즘은 히든 레이어가 보통 10개 이상입니다. 레이어가 많고 구조가 복잡할수록 학습 시간은 더욱 길어지죠.

- 수학과 컴퓨터 공학 지식 중 어떤 게 더 많이 필요한가요?

그래도 다행인 것은 실제로 기업에서 딥러닝을 구현할 때에는 기존에 잘 정 리되어 있고 검증된 모델의 소스 코드를 변경해서 사용하는 경우가 대부분 이라는 것입니다. 소스 코드는 깃허브 (github.com)에서 쉽게 찾을 수 있기 때문에 파이썬, 리눅스, 셸 프로그래밍 등을 수학보다 잘 아는 것이 훨씬 중 요합니다. 다시 말해 컴퓨터 공학 지식이 더 많이 필요합니다. | 또한 딥러닝을 구현하기 위해서는 인공지능 프레임워크를 반드시 알아 야 합니다. 인공지능 프레임워크에는 구글이 개발한 텐서플로 TensorFlow와 페 이스북이 개발한 파이토치 PyTorch 가 있습니다. 둘 중 하나만 잘해도 됩니다.

- 인공지능 분야에서는 데이터를 만드는 일이 대단히 중요합니다. 실제 기업에 있는 시스템에서 데이터를 모으고, 합치고, 내용을 조사하고, 값이 없는 것은 채우고, 값이 틀린 것은 고쳐야 합니다. 그리고 데이터를 모두 숫 자로 바꾸어 학습 데이터를 만들어야 합니다. 이 과정이 시간이 많이 걸리 고 인내심이 필요한 부분입니다. 이때는 데이터베이스, SQL, 파이썬 등에 대한 지식이 필요합니다. 이것도 컴퓨터 공학 분야의 지식입니다.

요약하자면 보통 기업에서는 인공지능을 처음부터 개발하지 않고 이미 개발된 것을 상황에 맞게 변형해서 사용하기 때문에 수학 지식이 꼭 필수는 아닙니다. 그러나 대학원이나 연구기관 등에서 인공지능 모델을 처음부터 만들어 보겠다고 하면 수학은 당연히 필요합니다. 이는 논문에서 인공지능 모델의 원리와 구조를 밝히는 데 필요하기 때문입니다.

- 꼭 비싸고 좋은 사양의 컴퓨터가 필요한가요?

인공지능을 공부하는 데 반드시 고성능의 컴퓨터가 필요하지는 않습니다. 구글에서 무료로 제공하는 코랩(Colub이라는 클라우드 기반의 AI 개발 도구 가 있는데, 여기에서 모든 AI 프로그램을 파이썬으로 코딩하고 실행해 볼 수 있습니다. AI를 실행하려면 대단히 복잡하고 많은 프로그램을 설치해야 하지만, 코밭에는 이미 설치가 되어 있어서 그 사용하기만 하면 됩니다. 보통 딥 러닝 프로그램을 자신이 컴퓨터에서 돌리려면 비싼 GPU 카드를 구입해이 하는 데, GPU 카드가 탑재되어 있는 노트북은 보통 게이밍 노트북이라고 해 서 일반 노트북이나 데스 그톱 컴퓨터보다는 비니다. 그러니 구글 코램을 사용하면 GPU를 무료로 빌리주기 때문에 일반 컴퓨터에서도 AI를 코딩하고 실행할 수 있습니다. 물론 무료 비전에서는 한 번에 한 개의 프로그램만 실행할 수 있어 다소 불편할 수 있지만, 구글 코랩 프로를 신청하면 월 $10 정도를 내고 동시에 세 개의 프로그램을 실행할 수 있습니다. 게다가 무료 버전은 한 개의 프로그램을 최장 12시간까지만 돌릴 수 있지만, 코랩 프로 는 24시간 내내 돌릴 수 있습니다. 우리가 학습할 때에는 학습 시간이 대단히 오래 걸리는 편이기 때문에 코랩 프로를 쓰는 것이 더 낫습니다.

- 인공지능을 공부하려면 가장 먼저 파이썬 Python 을 충분히 공부해두는 것이 좋습니다. 파이썬은 인공지능을 실제로 컴퓨터에서 돌릴 수 있는 컴퓨터 언어입니다. 컴퓨터 언어는 수백 가지가 존재하는데, 인공지능은 대부분 파이썬에서만 돌아갑니다. 인공지능 소스 코드 또한 파이썬을 대단히 잘 알아야 이해할 수 있습니다. 특히 클래스와 데이터 핸들링 방법 및 파이썬의 대표 라이브러리인 판다스 Pandas, 넘파이 NumPy, 맷플로립 Matplotlib 등을 능숙하게 다룰 수 있어야 합니다. 인공지능 이론이나 수학을 먼저 공부하는 것보다는 파이썬을 고급 레벨까지 충분히 익히는 것을 권장합니다. 파이썬을 공부하는 방법은 매우 많습니다. 유튜브, 코딩 사이트, 온라인/오프라인 학원, 대학 등 넘쳐납니다. 기억하십시오. 인공지능의 첫걸음 은 파이썬입니다. 그래서 파이썬을 아주 잘하면 인공지능을 반쯤은 이해한 것입니다. 파이썬은 그만큼 중요합니다. 이미 파이썬을 잘 알고 있다면 인공지능 공부는 매우 수월할 것입니다.

그다음으로 인공지능 이론, 즉 머신러닝과 딥러닝을 배우면서 이를 실제로 텐서플로나 파이토치로 구현해봅니다. 

- 2017년 구글의 인공지능 전문가들이 트랜스포머 Transformer 라는 언어 모델을 발표했습니다. 기존의 인공지능은 영어 문장을 순서대로 한 단어씩 읽고 학습하느라 속도가 매우 느렸습니다. 또한 앞에서 읽은 단어들과 현재 읽고 있는 단어와의 상호관계를 기억할 수 없어 긴 문장이 들어오면 아예 이해를 하지 못했습니다. 이 문제를 해결하기 위해 나온 것이 트랜스포머입 니다. 트랜스포머는 단어마다 번호를 매겨 순서를 정하기 때문에 한꺼번에 수백 단어를 읽어도 순서를 헷갈릴 일이 없었습니다. 이로 인해 학습 속도 가 비약적으로 발전하면서 수천억 개나 되는 거대한 양의 문서들을 동시에 읽을 수 있게 된 것입니다.

또 하나의 이슈는 단어와 단어 사이의 의미를 어떻게 기억하게 만드냐 하는 문제였습니다. 트랜스포머는 단어와 단어 사이의 의미도 숫자로 표시 해 컴퓨터가 빠르게 계산할 수 있도록 했습니다. 예를 들어 한 문장에 20개 의 단어가 있다면 각 단어마다 20개의 숫자를 부여하고, 다른 단어 사이의 의미를 갖게 하는 숫자도 20개를 부여합니다. 이렇게 하면 20개×20개=400 개의 숫자가 존재합니다. 이것을 하나의 세트, 즉 어텐션 벡터 attention vector 라고 합니다. 이러한 숫자의 세트인 벡터 여러 개를 결합해 단어들 사이의 의 미를 그대로 보전하게 되는 것이죠. 이것으로 트랜스포머는 속도의 문제까지 함께 해결했습니다.

언어 모델의 성능을 겨루는 시험 중 BLEU Blingual Evaluation Understudy Score는 사람이 번역한 것과 비교해 인공지능 언어 모델이 얼마나 정확하게 번역했는가를 측정하는 테스트입니다. 트랜스포머는 이전에 나왔던 여타의 언어 모델이 성취하지 못했던 결과를 완전히 뛰어넘었습니다. BLEU에서 1등한 모델을 보통 '쏘타 SOTA; State of the Art' 라고 하는데, 이 말은 언어 분야뿐만 아니라 다른 분야의 인공지능 테스트에서도 1등한 모델을 지칭하는 말로 자리잡 았습니다. 인공지능에서 ‘쏘타'를 달성했다는 말은 곧 최고의 칭찬이 된 것 입니다.

- 트랜스포머가 개발된 이후 언어 모델은 획기적으로 발전합니다. 2018년 에 구글이 만든 BERT, 오픈AI가 만든 GPT가 나왔습니다. BERT는 번역에, GPT는 문장 생성에 강점을 둔 모델입니다. BERT는 또 무수한 업그레이드 버전을 내놓는데 ROBERTa는 페이스북이 만든 업그레이드 버전, ALBERT 는 BERT를 경량화한 버전입니다. 구글은 영어권 나라에서만 통용되는 BERT를 각 나라말로 번역할 수 있는 Multilingual BERT도 만듭니다. 우리나라에도 SKT가 개발한 코버트 KOBERT 와 한국전자통신연구원 ERTI이 개발한 한국어 버트 KorBERT가 있습니다. 트랜스포머 이후 또 한 번의 획기적인 변화가 찾아왔습니다. 2020년에 오픈AI에서 개발한 GPT-3입니다. GPT-3는 기존 모델 크기의 100배 이상인데다 학습하는 문서의 수도 100배가 넘었습니다. 따라서 학습시키는 하 드웨어의 크기 또한 어마어마했습니다. 결과물 또한 놀라웠습니다. 다음 내용은 커크 외멧 Kirk Ouimet 이라는 사람이 GPT-3와 대화한 내용을 재구성한 것입니다. GPT-3는 2019년 10월까지의 데이터를 학습했는데, 대화 시점은 2020년 7월이라 GPT-3가 코로나 팬데믹에 대해 학습하지 못한 상태입니다. 여기서 '연구원은 커크 외멧이고 현명한 존재'는 GPT-3입니다. GPT-3의 통찰력 있는 답변을 한번 보시지요.

- 이 대결에서 인공지능이 사용한 기술은 공개되지 않아 정확하게 평가하기는 어렵지만, 켄쇼와는 달리 전통적인 과거 주가와 거래 내용을 주로 학습한 것으로 추정됩니다. 앞서 살펴본 트로트 작곡 대결과 마찬가지로 사람은 급변하는 상황에 따라 민감하고 빠르게 대응하는 반면, 인공지능은 전반적으로 수익 위주의 안전한 거래를 한 것으로 보입니다. 이를 바탕으로 인공지능을 주식 거래에 활용한다면 순간의 감정에 휩쓸려 충동적으로 매매하는 일은 없겠지만 일반 투자자가 원하는 큰 수익률은 올리기 힘들 것이라는 평가가 나옵니다.

- 인공지능을 기업에서 어떻게 구현할까요?

이제 인공지능을 기업에서 실제로 구현하는 방법을 알아보겠습니다. 인공 지능 전문 업체의 방식도 이와 유사하므로 반드시 차이점을 이해하여 구현 하는 데 도움이 되었으면 합니다.

첫째, 인공지능 모델을 자체적으로 개발합니다. 사실 기업에서 처음부터 모델을 만드는 사례는 그리 많지 않습니다. 왜냐 하면 지금까지 유명한 학자나 구글, 오픈AI, 페이스북 같은 유명 기업들 이 이미 구현해놓은 모델이 많기 때문입니다. 구글의 텐서플로나 페이스북 의 파이토치 등이 이런 라이브러리입니다. 페이퍼위드코드 사이트(https://paperswithcode.com)에 가면 각 분야마다 어떤 모델을 어느 정도로 구현 했는지가 순위별로 나열되어 있고, 해당 논문과 소스 코드까지 전부 올라와 있습니다. 따라서 목적에 잘 맞는 모델을 선택해 소스만 조금씩 고쳐서 사 용하는 것이 일반적입니다.

그리고 파이썬의 패키지 저장소(https://pypi.org)나 깃허브(https:// github.com)에는 전 세계의 개발자들이 이미 만들어놓은 소스 코드가 모 여 있습니다. 여기에서 검색하면 활용할 수 있는 코드가 분명히 있을 것입 니다. 요즘은 백지부터 소스 코드를 작성하는 사람은 거의 없는 상황이죠.

둘째, 인공지능의 전이 학습 방식을 사용합니다. 인공지능에는 전이 학습 방식이 있습니다. 만일 우리가 ERPEnterprise 를 도입한다고 할 때 원하는 기능이 없다면 기업별로 커스터마이징을 통해 필요한 부분을 추가 개발합니다. 인공지능, 즉 딥러닝에도 이러한 커스터마 이징이 가능합니다. 이 역시도 유명 인공지능 학자들과 개발자들이 전이 하 습을 할 수 있도록 잘 만들어 놓았습니다. 이것은 다음과 같은 장점이 있습니다.

* 검증된 모델은 이미 많은 데이터를 가지고 학습이 완료된 것으로, 전이 학습을 위해 준비해야 하는 데이터 수도 훨씬 적습니다.

* 이미 검증된 모델을 사용하기 때문에 학습 속도가 빠르고 정확도도 높습니다.

* 추가로 고쳐야 하는 소스 코드도 수십 줄 미만 정도로 많지 않습니다. 

그리고 다음 사이트에서는 이미 만들어진 모델을 다양하게 찾아볼 수 있습니다.

* 텐서플로우 허브(tthub.dev) 

* 파이토치 허브 (pytorch.org/hub) · 

* 허깅페이스(huggingface.co/models)

이러한 전이 학습을 많이 이용하면 처음부터 인공지능 모델을 새로 개 발해야 하는 수고를 덜 수 있습니다.

셋째, 자동화 머신러닝 패키지를 활용합니다. 자동화 머신러닝 AutoML 이란 인공지능이 스스로 모델을 만들고 테스트하면 서 가장 성능이 좋은 모델을 골라주는 패키지입니다. 말로만 들으면 인공지 능 전문가가 따로 필요 없을 것 같지요. 그러나 이 방법을 쓴다 해도 인공지 능에 대한 기초 수준의 지식과 통계를 알아야 하고 패키지 사용법도 따로 배워야 합니다. 물론 텐서플로나 파이토치로 직접 코딩하는 것보다는 쉽습니다. 유명한 것으로는 구글 GCP의 AutoML, AWS SageMaker, Microsoft Azure ML, DataRobot, H2O 등이 있습니다. 각 패키지마다 장단점이 있고 유료이므로 잘 비교해보고 선택해야 합니다. 사용할 데이터는 당연히 자체 적으로 준비해야 합니다.

넷째, 다양한 인공지능 API를 활용합니다. 구글이나 네이버는 다양한 인공지능 모델을 만든 후 API로 연결만 하면 고 객이 서비스를 바로 이용할 수 있도록 했습니다. 이는 자체적으로 서비스를 개발하는 것보다 훨씬 노력이 적게 들고, 요금도 API를 통해 처리하는 데이 터 건수에 따라 부과하면 됩니다. 대표적으로 네이버의 클로바 API와 구글AI API가 있습니다. 이 방법을 활용하면 인공지능 전문가가 없어도 API와 프론트 엔드 개발자만으로 구현 가능합니다.

* 네이버 클로바 API(https://clova.ai): 음성 인식, 음성 합성, OCR, 챗봇, 이미지 분석, 텍스트 분석, 얼굴 분석, 동영상 인식 등으로 자체 서비스를 만들 수 있습니다.

* 구글 AI API(https://cloud.google.com/products/ai): STT, TTS, 챗봇, OCR, 번역 등으로 가게 서비스를 만들 수 있습니다.

- 케임브리지 애널리티카와 그 회사의 정치적 성격 분석 기법을 더 자세히 살펴본 결과, 나는 알고리즘의 정확도에 근본적 한계가 있다는 사실을 발견했다. 그 한계는 내가 인간 행동을 모형화하면 서 경험해온 바와 일치했다. 나는 응용수학 분야에서 20년 넘게 일했다. 회귀 모형, 신경망neural network, 기계학습, 주성분 분석, 그 밖에 지금 미디어에서 점점 더 많이 거론되는 많은 기법들을 사용해왔 다. 그리고 그 오랜 경험을 통해서, 나는 우리 주변의 세계를 이해하는 것이 과제일 때는 대개 인간이 수학적 모형보다 더 우수하다는 사실을 깨달았다.
- 나는 수학을 사용하여 세계를 예측하는 일을 하는 사람이므로, 나의 견해가 의아하게 느껴질 법도 하다. 현재 나는 이 책을 쓰고 있을 뿐 아니라 회사를 경영하고 있다. 그 회사는 모형들을 사용하 여 축구 경기의 결과를 이해하고 예측한다. 또한 나는 인간, 개미, 물고기, 새, 포유동물의 집단행동을 수학을 사용해서 설명하는 연 구팀의 지휘자다. 요컨대 모형들이 유용하다는 생각은 나의 이익을 위해 대단히 중요하다. 따라서 수학의 유용성에 대한 의심을 너무 많이 제기하는 것은 아마도 내 입장에서는 이롭지 않을 것이다. 하지만 정직할 필요가 있다. 축구에 관한 사업을 하면서 나는 최고의 팀들에서 일하는 분석가들과 만난다. 내가 특정 선수의 찬 스 만들기 chance creation 실적이나 경기 기여도에 관한 수치들을 그들 에게 말해주면, 그들은 그런 수치들이 나온 이유를 직관적으로 설명하여 나를 깜짝 놀라게 하곤 한다. 예컨대 나는 X 선수가 같은 포지션을 맡은 Y 선수보다 위협적인 패스를 34% 더 많이 했어요” 라고 말한다.
그러면 분석가는 이렇게 대꾸하곤 한다. “그렇군요. 그럼 수비기여도를 한번 봅시다. 그쪽에서는 Y 선수가 더 낫죠? 지금 상황에 서는 수비를 하라고 감독이 Y에게 지시하고 있어요. 그래서 Y가 찬 스를 만들 기회가 줄어드는 거예요.” 컴퓨터는 방대한 통계 수치들을 수집하는 일을 아주 잘하는 반면, 인간은 그 수치들의 바탕에 깔린 이유를 식별하는 일을 아주 잘한다.
- 회사들이 사적인 메시지들을 활용한다는 취지의 음모론은 옳을 개연성이 낮다. 더 그럴싸한 설명은, 데이터 연금술사들이 우리의 행동에서 발견한 통계학적 관련성을 이용하여 우리를 겨냥한다는 것이다. 이를테면 게임 마인크래프트Minecraft〉와 〈오버워치 Overwatch) 의 플레이 영상을 즐겨 보는 아이들은 저녁에 샌드위치를 먹는다는 식의 관련성이 이용된다. '으스스한 표적 광고의 또 다른 주요 원천은 '재조준'이다. 우리 는 알가르브 여행을 검색한 다음에 그 사실을 그냥 잊어버리지만, 웹브라우저는 그 사실을 기억하여 투이에 알려준다. 그러면 그 회사는 우리에게 알가르브의 최고급 호텔방을 예약하라고 제안한다.
우리는 엄청나게 많은 광고에 노출되고, 엄청나게 오랫동안 스 마트폰이나 컴퓨터 스크린을 들여다본다. 바로 그렇기 때문에 때때로 광고들이 우리의 마음을 읽었다고 느끼는 것이다.
실은 알고리즘이 영리한 것이 아니다. 영리함은 데이터 연금술 사들에게서 나온다. 그들은 데이터를 고객에 대한 자기네의 지식과 결합한다. 요한과 동료들의 전략은 영리하다. 왜냐하면 결과들을 산출하고 때로는 매출을 10배나 증가시키니까 말이다. 그러나 그 전략은 잘 정의된 과학적 방법론을 따르지는 않는다. 그들의 전략은 엄밀하지 않다. 요한이 내게 해준 말에 따르면, 고객들에 관한 상세한 모형을 연구한 경력이 10년에 달하는 아주 영리한 데이터 과학자가 어떤 전략을 제안했다고 하더라도, 그 전략에 투자할 가치가 있다고 확신할 수 없다. “우리의 전략은 대규모 인구 집단에서 타당 해야 해요. 데이터에만 의지해서 특정한 소집단들을 표적으로 삼는 것은 충분히 신뢰할 만한 방법이 아닙니다."
- 나는 인간의 행동과 성격을 측정하는 데 쓰이는 모든 알고리즘을 체계적으로 검사할 수 없다. 기본적으로 그럴 시간이 없다. 그러나 내가 비교적 자세히 탐구한 모형들 - 축구에서 골이 나올 확률, 음악적 취향, 범죄 확률, 정치적 성격을 예측하는 모형들에 대해 서 말하자면, 나는 다음과 같은 동일한 연구 결과에 도달했다. 알고 리즘의 정확도는 기껏해야 인간의 정확도와 대등하다.
그렇다고 해서 알고리즘이 무용한 것은 아니다. 비록 정확도는 인간과 대등하다 하더라도, 알고리즘은 속도의 측면에서 엄청나게 유용할 수 있다. 스포티파이는 수백만 명의 사용자를 보유하는데, 그들 각각의 음악적 취향을 파악하기 위해 인간 직원을 한 명씩 고용한다면 엄두도 못 낼 만큼의 비용이 들 것이다. 투이의 데이터 연금술사들은 우리에게 가장 잘 맞는 여름휴가 상품을 우리의 눈앞에 띄우기 위해 알고리즘을 사용한다.
알고리즘의 성능이 인간과 대등하다면, 컴퓨터가 인간을 이긴 다. 왜냐하면 컴퓨터는 인간보다 훨씬 더 빠르게 데이터를 처리할 수 있기 때문이다. 요컨대 모형들은, 전혀 완벽하지 않지만 확실히 매우 유용하다.
데이터 처리 규모의 확대를 옹호하는 이 논증을 피고인들의 재 범 성향 측정에 적용할 경우에는, 논증의 타당성이 감소한다. 콤파스 알고리즘의 작동에 필요한 데이터를 수집하는 작업은 복잡하고 비용이 많이 들며, 그 알고리즘이 처리해내는 사례의 수는 비교적 적다. 따라서 인간을 알고리즘으로 대체하는 것을 옹호하는 논증은 설득력이 약해진다. 게다가 알고리즘의 침습성invasiveness과 개인의 프 라이버시에 관한 중대한 질문도 있다. 머캐니컬 터크에서 모집한 일꾼들의 도움으로 수행한 연구에서, 일꾼들은 피고인들에 관한 공 개된 정보만 제공받았음에도 알고리즘과 대등한 정확도로 판단했 다. 강제로 면담과 알고리즘의 평가를 받는 일은 많은 피고인에게 굴욕적일 것이 틀림없다. 그럼에도 재범률 예측에서 그 일이 추가로 제공하는 혜택은 없는 것으로 보인다.
- 예측 결과들을 몇 개의 범주로 분류할 것을 강조하는 모나의 뜻 을 이어서 나는 모든 모형 예측 발표에 경고문을 덧붙이는 것을 의 무로 정하자고 제안한다. 경고문은 누구나 이해할 수 있게 작성되 어야 하며, 예측의 정확도를 알려주는 범주에 따라 이를테면 아래 와 같이 세분될 수 있을 것이다.
* 무작위 예측: 이 예측들은 다트를 던지는 침팬지를 능가하지 못함.
* 정확도가 낮은 예측: 이 예측들은 머캐니컬 터커에서 활동하는 저임금 일꾼들을 능가하지 못함. 
* 정확도가 중간인 예측: 이 예측들은 도박업자들을 능가하지 못함.
- 서던 캘리포니아 대학교 정보과학센터의 연구원 크리스티나 러먼Kristina Lerman이 나에게 해준 말에 따르면, 우리의 뇌는 '좋아요 추 가'를 아주 좋아한다. 그녀는 우리의 온라인 행동을 모형화할 때 한 가지 어림규칙을 사용한다. 그녀는 이렇게 말했다. “기본적으로 사 람들은 게으르다고 전제하세요. 그러면 사람들의 행동을 거의 다 예측할 수 있습니다.” 크리스티나는 매우 다양한 웹사이트를 연구한 끝에 그 결론에 도달했다. 어떤 웹사이트냐면, 페이스북과 트위터를 비롯한 사회연결망들, 스택 익스체인지Stack Exchange'를 비롯한 프로그래밍 사이트들, 야후 온라인 쇼핑, 학술 문헌 검색엔진 ‘구글 스칼러 Google Scholar 온라인 뉴스 사이트들이었다. 뉴스 기사들의 목록을 제공받으면 우 리는 목록의 꼭대기에 위치한 기사들을 읽을 개연성이 매우 높다. 3 프로그래밍 관련 문답 사이트인 스택 익스체인지'에 대한 연구에 서, 크리스티나는 사용자들이 답변을 받아들일 때 답변의 질에 대 한 평가에 기초해서가 아니라 그 답변이 웹페이지에서 얼마나 높은 곳에 있는지, 또 (얼마나 많은 단어들로 이루어졌는지가 아니라) 얼마나 큰 공간을 차지하는지에 기초해서 받아들이는 경향이 있음을 발견 했다.4 그녀는 나에게 이렇게 말했다. “이런 사이트에서 선택지들을 더 많이 보여줄수록, 사람들은 더 적은 선택지들을 주목하게 돼요." 우리에게 너무 많은 정보가 제공되면, 우리의 뇌는 그 정보를 그냥 무시하는 것이 최선이라고 판단한다.
- '블랙 햇'이라는 용어는 원래 사적인 이익을 위해 컴퓨터 시스템에 침입하여 그것을 조작하는 해커를 가리켰다. 그러나 '블랙 햇 월드'에 모이는 블랙 햇 제휴회사들은 구글에 침입하지 않는다. 대신에 그 회사들은 구글의 검색 알고리즘을 악용하여 돈을 벌기 위해 가능한 모든 수단을 동원한다. CCTV 사이먼은, 만일 구글의 검색 결과 가운데 제휴 웹사이트를 맨 위에 뜨게 만들 수 있다면 많은 트래픽이 아마존으로 향하는 도중에 그 사이트를 거칠 것이라는 사실을 깨달았다. 크리스티나 러먼이 보여주었듯이, 우리의 게으른 뇌는 검색 결과의 맨 윗부분에 관심을 기울인다. '블랙 햇 월드' 에 올라온 게시물들의 도움으로 사이먼은 한 전략을 개발했다. 그는 CCTV 카메라에 집중하기로 했다. 왜냐하면 영국에서 CCTV 시장은 한창 성장 중이며 수수료로 돈을 벌기에 충분할 만큼 크기 때문이다. 그는 '구글 애드워즈 Google AdWords' (현재는 '구글 애즈Google Ads')를 연구한 끝에 자신의 페이지에 집어넣을 핵심 검색 문구 몇 개를 고 안했다. 그는 한 페이지의 제목을 “CCTV 카메라를 살 때 범할 수 있는 최고의 실수 10가지"로 정함으로써 시장의 틈새를 선점했다. 그 검색 문구를 사용한 블랙 햇 제휴회사는 그때까지 없었다.
- 다음 단계는 구글 알고리즘을 속여서 사람들이 자신의 제휴 사이트에 정말로 관심이 있다고 믿게 만드는 것이다. 사이먼은 이 단 계를 “링크 주스link juice 창조하기”라고 부른다. 구글의 원조 알고리 즘인 '페이지랭크 PageRank'에서 한 사이트의 순위는 그 사이트를 통과 하는 클릭들의 흐름을 기준으로 매겨졌고, 그 흐름은 사이트를 오가는 하이퍼링크의 개수에 의존했다. 구글 알고리즘의 기본적인 원리는 '좋아요 추가 모형과 똑같다. 인기 있는 페이지일수록 검색 결 과에 뜰 확률이 더 높다. 한 페이지의 순위가 상승하면, 그 페이지 로 향하는 트래픽이 증가하고, 순위는 더욱 상승한다.
특정 페이지의 순위를 올리고자 할 때 블랙 햇 페이지로 향하는 링크들을 만들어낸다. 그러면 구글의 알고리즘은 그 페이지가 연결망에서 핵심적이라고 생각하면서 검색 결과에서 순위를 높인다. 일단 링크 주스가 흐르고 특정 사이트가 검색 결과 의 상위로 올라가기 시작하면, 진짜 사용자들의 클릭이 유발되면서 더 많은 링크 주스가 생산된다. 이때부터 블랙 햇 제휴회사들은 돈 을 벌기 시작하는데, 그 돈은 구글이 아니라 수수료를 지불하는 아 마존과 기타 제휴 사이트에 입력되는 클릭으로부터 나온다. | 구글이 가짜 링크를 식별하는 방법을 차츰 개발함에 따라, 구글 의 알고리즘을 속이기 위한 블랙 햇의 수법은 더 복잡해졌다. 현재 인기 있는 방법은 '사설 블로그 연결망private blog network, PBN'을 창조하 는 것이다. 그 연결망 안에서 한 개인은 예컨대 와이드스크린 TV에 관한 사이트 10개를 개설하고, 유령 저자들을 동원하여 그 주제를 다루는 다소 무의미한 글로 사이트들을 채운다. 그런 다음에 10개 의 사이트를 한 제휴 사이트와 연결하여 그 제휴 사이트가 최신 TV 를 다루는 가장 권위 있는 사이트인 것처럼 보이게 만든다. 외톨이 블랙 햇- 페이스북 '좋아요'들과 트위터 공유까지 완비한 - 이 온 라인 커뮤니티 전체를 창조하고 있다. 단지 구글의 알고리즘을 속이기 위해서 말이다.  사설 블로그 연결망이나 블랙 햇 아마존 제휴 사이트가 성공하 려면 일부는 진짜 문서 콘텐츠를 보유해야 한다. 구글은 단지 다른 사이트들을 베낄 뿐인 사이트를 차단하기 위해 표절 알고리즘을 사용하며, 게재된 글이 기초적인 문법 규칙을 따르는지 여부를 자동언어분석을 통해 확인한다. 사이먼이 내게 해준 말에 따르면, 그는 처음에 CCTV 카메라를 구입하고 진짜 리뷰를 썼다. 그러나 머지 않아 무언가를 깨달았다. “내가 카메라를 사건 말건, 구글은 사이트 의 순위를 바꾸지 않아요. 구글의 알고리즘이 하는 일은 키워드를 점검하는 것, 독창적인 내용을 찾아내는 것, 내 사이트에 그림이 있 는지 보는 것, 주스의 양을 측정하는 것이 전부죠.” 사이먼은 대학교 에서 공부한 덕분에 그 알고리즘이 어떻게 작동하는지 알고 있었지 만, 트래픽에 대한 구글의 접근법이 정말 얼마나 단순하고 엉성한지 실감하고는 깜짝 놀랐다. 그의 사이트는 금세 수십만 건의 방문을 유발하고 있었다.
- 상업적 이해관계가 끼어들 경우, 아마존과 구글의 집단적 신뢰성은 극적으로 추락할 수 있다. '좋아요 추가가 양의 피드백positive feedback을 창출하고 구글이 트래픽을 중시한다는 사실은, 실제로 모 든 와이드스크린 TV나 CCTV 카메라를 체계적으로 검토하는 진짜 화이트 햇 제휴 사이트가 그저 주스를 뿜어낼 뿐인 온갖 블랙 햇 사이트들 사이에서 금세 사라진다는 것을 의미한다. 사용자들이 더 우수한 예측을 하도록 독려하는 프리딕팃 알고리즘의 금전적 보상 과 달리, 온라인 쇼핑을 둘러싼 금전적 보상의 메커니즘은 소비자 들의 불확실성을 증가시키는 방향으로 작동한다.
온라인 쇼핑을 뒤덮은 온갖 왜곡을 보면서 나는 나 자신의 개인 적 성공에 대해서 잠깐 생각하지 않을 수 없었다. 이 책이 출판되면 잘 팔릴까? 나는 수많은 봇들을 만들어서 아마존 링크를 클릭하게 하거나, 사람들로 공동체를 꾸려 이 책을 추천하는 글을 웹사이트 굿리즈 Goodreads'에 올리게 할 생각이 없다. 내 책이 베스트셀러가 될 가망이 조금이라도 있을까?
- 애덤 모세리의 말마따나 처음에 사용자는 “아무것도 적혀 있지 않은 서판과 같다.” 그러나 사용자가 서판에 첫 메시지를 써넣자마자, 가시성과 관여 사이의 피드백이 시작된다. 가시성은 관여의 제 곱에 비례하므로, 서판은 사용자가 처음에 우연히 관심을 보인 신문의 기사들로 신속하게 채워진다. 필터’ 알고리즘은 버블(거품 방 울)을 창출한다. 심지어 처음에 편향이 없었던 사용자의 뉴스피드에 서도 그러하다.
이미 좌파 성향의 미디어나 우파 성향의 미디어를 선호하는 상태에서 페이스북을 사용하기 시작하는 사람들에게는 이 효과가 더 강력하게 나타난다. 필터' 알고리즘은 초기의 작은 차이를 포착하고 부풀려 약간 열등했던 한쪽 진영이 결국 사라지게 만든다. 사용자는 자기확증적 생각과 소규모 친구들과의 상호작용 안에 갇힌다.
- 구글 검색, 페이스북 필터링, 트위터 유행 목록은 문제점들을 안고 있다. 그러나 우리는 이것들이 정말로 경이로운 도구들이라 는 점도 잊지 말아야 한다. 때때로 검색 알고리즘은 공격적이며 틀 린 정보를 검색 결과의 상위에 올릴 것이다. 그것이 싫을 수도 있겠지만, 우리는 그것이 불가피한 현상이라는 점도 인정해야 한다. 그것은 구글 검색의 작동 방식 - ‘좋아요 추가'와 '필터링을 조합한 방식에 내재하는 한계다. 개미들이 원을 그리며 맴도는 것은 녀석들이 엄청나게 많은 먹이를 수집하기 위해 발휘하는 경이로운 능력의 부작용이다. 이와 마찬가지로 구글 검색 알고리즘의 실수들은 정보를 수집하여 우리에게 제공하는 그 알고리즘의 경이로운 능력에 내재한 한계다.
현재 구글, 페이스북, 트위터가 사용하는 알고리즘들의 가장 큰 한계는 우리가 주고받는 정보의 의미를 제대로 이해하지 못한다는 점이다. 그렇기 때문에 그 알고리즘들은, 독창적이며 문법도 올바르지만 결국 쓸모없는 텍스트로 채워진 CCTV 사이먼의 사이트에 지금도 계속 속고 있다. 결국 회사들은, 우리의 게시물을 감시하면서 게시물의 참된 의미에 대한 이해에 기초하여 그것들을 공유하는 것 이 적절한지 또 누구에게 전달해야 할지를 자동으로 판단할 수 있 는 알고리즘을 보유하기를 원할 것이다.  바로 이것이 지금 회사들이 추구하는 바다. 모든 회사들은 우리의 말을 이해하는 알고리즘을 개발하는 중이다. 목표는 인간 관리자에 대한 의존을 줄이는 것이다. 이를 위해 구글, 마이크로소프트, 페이스북은 미래의 알고리즘이 우리와 더 비슷해지기를 바란다.
- 하버드 대학교의 연구자들이 암묵적 연상 검사를 고안하고 대중화한 것은 우리 모두가 인종차별주의자이며 편견이 심함을 폭로 하기 위해서가 아니라, 우리의 무의식적 선입견들에 관하여 교훈을 주기 위해서였다. 암묵적 연상 검사의 기회를 제공하는 웹사이트는 연구자들의 취지를 이렇게 설명한다. “우리는 사람들에게 암묵적 선입견을 줄이는 전략을 권장하는 것이 아니라 암묵적 선입견이 작 동할 기회를 주지 않는 전략을 권장한다.” 알고리즘 세계의 언어로 번역하면, 알고리즘을 비판하는 것이 아니라 알고리즘이 지닌 선입 견을 제거할 길을 찾아내는 것에 집중해야 한다는 뜻이다.
- 알고리즘의 편견을 제거하는 어떤 전략은 알고리즘이 우리를 공간적 차원들로 표현하는 방식을 이용한다. 글로브는 수백 차원의 공간에서 작동하므로, 그 알고리즘이 단어들에 대해서 형성한 이해 를 온전히 가시화하는 것은 불가능하다. 그러나 알고리즘의 차원들 가운데 어떤 것들이 인종이나 젠더와 관련이 있는지 알아내는 것은 가능하다. 그래서 내가 연구해보기로 했다. 나는 글로브의 100차원 버전을 내 컴퓨터에 설치하고 어떤 차원들에서 남성 이름과 여성 이 름 사이의 거리가 가장 먼지 조사했다. 그런 다음에 간단한 조치를 취했다. 무슨 말이냐면, 그 젠더 관련 차원들을 0으로 설정했다는 뜻 이다. 그리하여 그 차원들에서는 수전, 에이미, 세라가 존, 데이비드, 스티브와 똑같은 점으로 나타나게 되었다. 이어서 나는 남성 이름과 여성 이름 사이의 거리가 꽤 먼 차원들을 추가로 찾아내어 그것들까지 총 10개의 차원을 모두 0으로 설정했다. 요컨대 나는 글로브 알고리즘에 내재한 성차별적 선입견의 대부분을 제거했다.
나의 조치는 유효했다. 젠더 차원 10개를 제거한 다음에 나는 알고리즘에게 나(데이비드)와 수전에 관한 질문들을 던졌다. 첫 질문은 '데이비드와 지능이 높음 사이의 관계는 수전과 무엇 사이의 관계와 같을까?'였다. 계산식으로 표현하면 '지능이 높음 - 데이비드+수전'의 결과를 물은 것이다. 대답은 명확했다. 영리함. 이와 유사하게 '영리함 - 데이비드 +수전의 결과는 '지능이 높음'이었다. 서로 비슷한 말인 '영리함'과 '지능이 높음'은 양방향으로 연결되어 있었다. 내가 데이비드인지 수전인지는 중요하지 않았다. 마지막으로 시험한 계산의 결과는 나를 놀라게 했다. '똑똑함 - 데이비드 + 수전 = 분방함Rambunctious.’ 나는 'Rambunctious'라는 단어를 몰라서 사전에서 찾아봐야 했다. 그 단어는 '통제할 수 없을 정도로 활기가 넘침'을 뜻한다. 새로운 수전은 데이비드에 못지않게 영리할뿐더러 새삼 발견한 자신의 지능에 뚜렷이 고무되어 있었다.
보스턴 대학교의 박사과정 학생 톨가 볼루크바시 Tolga Bolukbasi는 알고리즘의 공간적 차원들을 조작함으로써 성차별주의적 성향을 줄이는 방법을 더 본격적으로 연구했다. 구글이 사용하는 워드투벡 알고리즘은 글로브처럼 단어들을 다차원 공간에 배치하는데, 톨가 는 그 알고리즘이 다음과 같은 계산 결과를 내놓는 것에 충격을 받 았다. 남성 - 여성 = 컴퓨터 프로그래머 - 주부. 그리하여 그는 무언가 개선책을 강구하기로 했다.
- 톨가와 동료들은 여성 특유의 단어들(예컨대 ‘그녀’ ‘그녀의 여성’ '메리')의 위치에서 남성 특유의 단어들(그’ ‘그의' '남성' '존')의 위치 를 뺌으로써 체계적으로 차이들을 찾아냈다.10 이 방법으로 그들은 워드투벡 내부의 300차원 단어 공간에 내재한 편견의 방향을 알아 냈다. 그런 다음에 그들은 모든 단어들을 편견의 방향과 반대되는 방향으로 옮김으로써 그 편견을 제거하는 데 성공했다. 이 해법은 우아하면서도 효과적이다. 이렇게 젠더 편견을 제거하더라도 그 알고리즘이 구글의 표준 유추 검사에서 나타내는 전반적인 성능은 거의 그대로임을 연구자들은 보여주었다. 톨가가 개발한 방법은 단어에 관한 젠더 편견을 줄이거나 없애는 데 쓰일 수 있다. 그 방법이 만들어낸 새로운 단어 공간에서 모든 젠더 단어들은 모든 비젠더 단어들로부터 똑같은 거리만큼 떨어져 있다. 예컨대 '아기 돌보미’와 ‘할머니' 사이의 거리는 아기 돌보미’와 ‘할아버지’ 사이의 거리와 같다. 최종 결과는 완벽한 '정치적 올바름이다. 특정 동사나 명사에 한 젠더가 다른 젠더보다 더 가까이 위치한 경우는 전혀 없다.
우리가 알고리즘에게 요구해야 마땅한 정치적 올바름에 대해서 사람들은 다양한 견해를 가지고 있다. 개인적으로 나는 우리의 언어를 공간화하는 알고리즘에서 아기 돌봄'이 '할머니와 할아버지’로부터 똑같은 거리만큼 떨어져 있어야 한다고 생각한다. 할머니와 할아버지는 손주를 돌볼 능력을 동등하게 지녔으므로, 아기 돌봄'과 '할머니'와 '할아버지'가 그렇게 배치되는 것이 논리적으로 옳다.
하지만 어떤 이들은 '아기 돌봄'이 '할아버지'보다 '할머니'와 더 가 깝게 위치해야 한다고 주장할 것이다. 할머니가 손주를 돌보는 경 우가 더 많다는 현실을 부정하는 것은 경험적 관찰을 부정하는 것 이기 때문이라면서 말이다. 이 차이는 세계를 논리적 형태로 보는 사람과 경험적 형태로 보는 사람 사이의 차이다. 

- '메타버스Metaverse’는 ‘이후 또는 '그 너머'를 의미하는 그리스어 'Meta'와 '우주'를 의미하는 'Universe 의 합성어입니 다. 닐 스티븐스의 소설 '스노우 크래시 (1992)'에 처음으로 등장한 개념으로, 현실의 우주Universe를 넘어선 가상의 세계를 가리키는 말이지요. 그런데 여기서 '가상 세계'라는 함정에 빠져서는 안 됩니다. '가상 세계'는 곧 영어 Virtual world'에 대응하는 말입니다. 우리말에서의 가상假像은 '가짜’, ‘거짓’과 통하는 단어지만, 영어의 virtual은 '실제와 매우 유사한’, ‘실질적인' 이라는 뜻을 담고 있 습니다.
'virtual ruler'는 '가상의 통치자가 아니라, '거의 통치자의 역 할을 하고 있는 실질적 통치자'를 의미하지요. 가상 세계' 또한 실존하지 않는 가짜 세계'가 아닌, ‘거의 현실 세계와 유사한, 또 하나의 세계'인 것이지요. 그렇기에 머리로 공상만 한다고 해 서 그런 가상 세계'가 만들어지는 것이 아닙니다. 그 가상 세계는 어디까지나 '실재'합니다. 무엇을 통해서냐고요? 바로 컴퓨터나 스마트폰과 같은 디지털 매체를 통해서죠.
- 메타버스는 넓은 의미에서 인 터넷을 기반으로 한 SNS, 커뮤니티, 게임 등에 모두 해당된다고 도 할 수 있습니다. 실제로 미국의 기술 연구단체 ASFAcceleration Studies Foundation는 메타버스를 증강현실AR, 라이프 로깅 Life Logging, 거울 세계Mirror Worlds, 가상 세계Virtual World라는 네 가지 의 지표로 구분하면서 우리가 일상적으로 사용하는 SNS나 구글 어스 따위를 모두 메타버스의 범주에 포함시키고 있습니다.
하지만 단순히 메타버스가 '디지털 가상 세계'와 동일한 의미 를 가진다면, 이토록 주목받을 이유는 없었겠지요. 좁은 의미에 서의 메타버스는 조금 더 특별한 의미를 가집니다. 이 책에서 다 루는, 지금부터 다룰, 그리고 여러분들이 흔히 생각하는 메타버 스는 대개 좁은 의미의 메타버스입니다. 단순히 디지털 가상 세 계 전반을 가리키는 것은 아니란 거죠.
- 좁은 의미의 메타버스는 네 가지의 차별화된 요소로 설명할 수 있습니다. '아바타Avatar'와 '오픈월드Open World', '샌드박스 Sandbox' 그리고 '사회적 상호작용Social Interaction' 이죠. 이것들은 모두 메타버스 연구자들이 공통적으로 지적하는 메타버스의 핵심 개념입니다. '모든 사람들이 아바타를 이용하여 사회, 경제, 문화적 활동을 하게 되는 가상의 세계(손강민), '나를 대변하는 아 바타가 생산적인 활동을 영위하는 새로운 디지털 지구(김상균, 신병호)’가 대표적이지요. 
- 모든 장점을 갖춘 '궁극의 메타버스’는 존재하지 않습니다. 그렇기에 단일한 플랫폼으로 모든 것을 실현하겠다는 생각에서 도 벗어날 필요도 있습니다. 보조 플랫폼을 사용한다고 그것이 메타버스가 아니게 되는 것은 아닙니다. 보조 플랫폼의 사용은 메타버스에 더 많은 가능성과 체험의 기회를 열어줍니다. 가령, 마인크래프트의 경우 자체적으로 음성을 중개해주는 시스템을 제공하지 않습니다. 마인크래프트만 사용한다면 텍스트 채팅 정도의 소통만 가능하죠. 여기에 디스코드라는 음성 중개 플랫폼을 함께 사용함으로써 더 큰 시너지 효과를 발휘할 수 있습니다. LG전자 메타버스의 경우, 마인크래프트와 함께 Webex 회의 플랫폼을 사용하기도 했습니다. 보조 플랫폼이 필요한 이유가 그저 단점을 극복하기 위해서 만은 아닙니다. 일례로, 영남대 메타버스 캠퍼스에 들어온 한 학생은 절대로 '채팅 기능을 사용하지 않았습니다. 디스코드를 통한 음성 중개는 잘만 사용하면서도 글자로 치는 채팅은 단 한 마디도 하지 않았던 거죠. 의아하게 생각했는데, 나중에 물어보니 ‘채팅은 기록이 남을 것 같아 찝찝하다”고 말하더군요.

- 데이터를 현금화하는 데는 크게 2가지 방법이 있다. 하나는 기업의 내부에서 데이터를 활용해 효율적으로 운용함으로써 비용을 최적화 하거나 매출이나 이익을 최대화하는 '간접적 현금화 방식'이다. 또 하 나는 데이터에서 찾은 인사이트 insight를 상품·서비스에 탑재해 가치 를 추가로 높이거나 데이터 자체를 상품화해 거래하는 '직접적 현금화 방식'이다. 데이터를 현금화하기 위해서는 기업의 데이터를 상품화 하는 과정과 데이터 기반의 사업 모델을 수립하는 전략이 필요하다. 데이터 상품화는 다음과 같이 4단계로 이뤄진다.
1단계: 전혀 가공되지 않은 원천 데이터
2단계: 정제돼 단순히 연결 · 통합된 데이터
3단계: 데이터 융합으로 만들어진 데이터
4단계: 분석 알고리즘을 활용한 지수 또는 추정 데이터

- 페이스북 - 케임브리지 애널리티카 정보 유출 사건 
이 사건은 2018년 초에 케임브리지 애널리티카가 수백만 명의 페 이스북 가입자 프로필을 사전 동의 없이 수집하고 정치적 선전목적으로 사용했다는 사실이 밝혀지면서 일어난 정치적 논쟁이다.
2015년과 2016년에 미국 공화당 소속 상원 의원인 테드 크루즈Ted Cruz의 선거 캠페인에서 케임브리지 애널리티카에 불법 데이터 사용 료를 지불했다는 사실이 보도됐다. 이에 크루즈 선거 본부 측에서는 해당 데이터들이 적법하게 수집된 것이라 생각했다고 주장했다.
더욱이 케임브리지 애널리티카가 수집한 해당 데이터들은 2016년 미국 대통령 선거와 영국의 브렉시트 국민투표뿐 아니라 인도, 이탈리아, 브라질 등 여러 나라에서 투표자들에게 영향을 미치는 데 사용됐다는 것도 밝혀졌다.
이후 페이스북에서는 정보 유출로 피해를 입었다고 생각하는 사용 자들에게 메시지를 보내, 수집된 정보는 아마도 그들의 공개된 프로필'과 '좋아요'로 반응한 페이기들, 생일과 현주소지 정도일 것이라고 안심시켰다. 하지만 그 이후에 페이스북의 일부 사용자들의 뉴스피드, 타임라인, 메시지까지 수집됐다는 사실이 추가로 밝혀졌다. 케임브리지 애널리티카가 페이스북을 이용해 수집한 데이터들은 해당 데이터 주인들의 성격 특성도 psychographic Profiles까지 뽑아 낼 만큼 자세했으며, 심지어 위치까지 파악할 수 있었다. 이렇게 유출된 데 이터들은 여러 나라에서 정치 캠페인 목적으로 활용됐다. 예를 들어 어떤 종류의 정치 광고가 특정 장소에 있는 누구에게 효과적인지를 선별하는 데도 쓰였다.
결국 페이스북의 CEO 마크 저커버그는 2013년 미 의회 청문회에 출석해 케임브리지대학의 연구원 알렉산드르 코간이 페이스북 사용자뿐 아니라 그들의 페이스북 친구들의 정보까지 빼낼 수 있는 퀴즈 앱을 만들었고, 30만 명의 페이스북 사용자가 그 앱을 설치했다고 시 인했다. 그리고 2019년 7월 미국의 연방거래위원회는 투표를 시행 해 페이스북에 50억 달러의 벌금을 부과했다.

- 데이터와 정보는 시간이 지나면 가치가 떨어지는 속성을 지니고 있기 때문에 이들의 가치를 재생시키기 위한 데이터 가공·관리 기술과 가공한 데이터에서 인사이트를 찾기 위한 데이터 분석 기술이 필요하다. 또한 데이터 분석으로 찾은 인사이트를 현장에 적용 하기 위해 현장을 설득하는 과정도 필요하다. 이런 과정을 거쳐 해당 인사이트를 현업 프로세스에 적용하면 기업의 기존 수익 모델을 바 꾸는 등과 같은 파급 효과를 얻을 수 있다.
물론 기업의 모든 문제를 데이터만으로 해결할 수는 없다. 하지만 현재의 불확실성을 줄이고 미래를 준비하는 최선의 방법은 사실을 기반으로 한 데이터와 정보를 기준으로 기업의 의사결정을 하는 것이다.
- 웹 1.0은 월드 와이드 웹의 창시자인 팀 버너스 리rim Berners Lee가 인터넷에 첫 번째 웹 페이지를 쓴 1990년에 시작됐다. 이 초창기 웹은 주로 읽기만 할 수 있는 홈페이지 위주의 HTML 형식이었다. 주로 기업에서 홍보나 배너 형식의 광고에 활용했으며, 얼마나 많은 방문 객이 웹 페이지를 봤느냐가 관심의 대상이었다.
웹 2.0 시대는 2004년에 정보 기술 전문 출판사인 오라일리미디어 의 CEO인 팀 오라일리rim O'Reily가 ‘웹 2.0 컴퍼런스’라는 회의를 주 최하면서 시작됐다. 웹 2.0에서는 주로 사용자 위주의 내용, 쌍방향 접촉, 협력을 강조한다. 쓰기와 읽기가 가능한 커뮤니티 중심의 소셜네트워크 사이트, 블로그, 비디오 사이트, 웹앱, 위키피디아 등이 이에 해당한다. 기업에서는 웹 2.0을 이용해 다양한 장소에서의 실시간 보고서 및 모니터링 공유가 가능해졌다. 웹 2.0의 중요성은 웹을 기업의 마케팅 이나 고객 관리에 적극 활용하기 시작했다는 데 있다. 상품과 관련된 고객 커뮤니티 활동을 도와줌으로써 충성 고객을 관리하고, 자사 상 품의 의견 불만을 수렴하는 소셜 고객 관리가 가능해진 것이다. 웹 3.0은 웹 국제표준화단체인 월드 와이드 웹 컨소시엄W3C에서 만든 웹 표준을 따르는 시맨틱 웹semantic Web의 시대다. 이 시대에는 데이터의 '연결'뿐 아니라 '의미'도 중요해졌다. 이는 웹에서의 공통된 데이터 형태나 프로토콜 교환으로 데이터 공유를 가능하게 함으로써 커뮤니티, 기업, 앱 간에 데이터를 재사용하기 쉽게 만드는 것이다. 따라서 웹 표준을 지켜 데이터를 제작하는 게 중요하다. 2013년 기준 4,000만 개의 웹 페이지가 이 시맨틱 웹 표준을 따르고 있다.
웹 1.0이 내부 기업 중심이고, 웹 2.0이 커뮤니티 중심이라면, 웹 3.0은 외부 산업 간의 연결 중심으로 4차 산업혁명을 가능하게 하는 단계에 해당한다.

- 대표적인 고객 관리 시스템의 종류는 다음과 같다.
1) oCRM: 고객 서비스, 영업, 마케팅을 통합 · 자동화하는 영 차원의 고객 관리 시스템 
2) aCRM: 수집 · 통합된 데이터 분석 · 예측 · 활용을 강조한 고객 관리 시스템 
3) gCRM: 지리 정보를 활용한 고객 관리 시스템 
4) eCRM: 인터넷과 모바일을 연결한 고객 관리 시스템
5) sCRM: 소셜 네트워크를 활용한 고객 관리 시스템
-특히 aCRM은 기존 세그먼트 중심의 고객 관리 시스템에서 심화된 데이터 마이닝과 예측 분석 기술을 발전시킴으로써 타깃 마케팅에 커다란 공헌을 했다. 거의 1990년대 말부터 시작된 CRM은 웹 2.0 시대를 지나면서 2005년쯤에는 소셜 CRM으로 발전했다. 소셜 CRM은 다음 그림과 같이 전통 CRM에 고객들의 온라인 커뮤니티 및 소셜 네트워크 관련 데이터를 포함시켜 기업의 수익 창출에 기여하는 고객 서비스 · 영업·마케팅에 활용하는 모든 활동을 의미한다. 구글 트렌드에서 소셜CRM'을 검색해 보면 2008년부터 상승세를 나타내고 있다는 것을 알수 있다.
전통 CRM은 기업의 고객 관리 사업부에서 기존 고객 위주의 정해진 채널로(전화 상담 또는 방문) 거래 및 접촉 활동과 이력에 따른 정보를 고객에게 일방향으로 전달하는 의사 소통방식이었다.
반면, 소셜 CRM은 철저히 고객 중심의 프로세스로 운영된다. 즉, 기업과 관련된 모든 사람이 다양한 채널(이메일, 모바일, 웹 등)을 이용해 고객이 선택한 시간에 정보를 양방향으로 소통·공유하는 방식으로 운영된다. 또한 고객들이 상호 파트너로서 정보를 공유하는 협력체를 만들기도 하며, 기업에서는 이런 활동과 관계를 지원한다. 기업은 이 런 과정에서 기업 정보 시스템에 쌓이는 정보를 재가공해 고객 및 협력 기업들과 공유하며 발전해 나간다.
최근에는 다양한 채널을 뛰어넘는 옴니 채널 마케팅이 주목받고 있다. 옴니 채널의 '옴니'는 '모든 것'을 의미하는 라틴어 '옴니omi'를 의미한다. 옴니 채널 마케팅은 전통적인 고객 소통 채널(전화, 방문 등) 과 디지털 채널(인터넷, 모바일 등)을 통합해 최적의 마케팅 효과를 만들 어 내는 전략이다. 이러한 마케팅을 이용하면 기업은 온·오프라인 스 토어, 모바일, 전화, 인터넷 등과 같은 모든 채널을 하나로 연결해 고객이 필요로 하는 정확한 정보를 전달할 수 있다.
결국 정보 시스템에 따른 데이터의 전사적 통합이 기업이 데이터 기반의 운영 체계로 변신하는 터닝포인트가 된다는 사실을 알 수 있다.

- (1) 효율성 모델
지속적 저비용 기반의 수행 성과를 제공하는 모델로, 일상의 상시 업무를 주로 수행한다. 잘 정의되고 쉽게 이해되는 규칙이나 프로세 스가 장점이다. 대표적인 예로는 자동 신용 결정, 드론의 물건 배달 등을 들 수 있다.
(2) 효과성 모델  
유연한 통합과 협력을 지원하는 모델로, 다양한 영역을 상호 연결 하는 업무를 주로 수행한다. 의사소통과 상호 협조에 의존하는 경향 이 있다. 대표적인 예로는 소비자나 전사 고객 서비스 가상 에이전트, 협력적 업무 프로세스 관리 등을 들 수 있다.
(3) 전문성 모델
특정 전문 기술이나 영역 지식을 활용하는 모델로, 전문가의 상황 판단이 필요한 업무를 주로 수행한다. 전문적인 기술과 경험에 의존 한다는 장점이 있다. 대표적인 예로는 의료 진단 시스템, 법률 또는 금융 리서치 등을 들 수 있다.
(4) 혁신성 모델
창의력과 새로운 아이디어를 실현하는 모델로, 원천 기술을 다루거 나 혁신적인 업무를 주로 수행한다. 전문성, 실험, 탐구 그리고 창의성에 의존하는 경향이 있다. 대표적인 예로는 바이오 메디컬 연구, 패션 디자인, 음악 창작 등을 들 수 있다.
- 데이터 기반 비즈니스 모델 - 빌 슈마르조 모델
대표적인 비즈니스 모델인 '빌 슈마르조 모델'은 미국의 스토리지업체 델 EMC의 CTO(최고 기술 책임자)인 빌 슈마르조Bill Schmarzo가 구 상했다. 기업 내부의 데이터 활용 혁신 과정을 고려해 만든 데이터 기 반 비즈니스 모델이다. 이 모델을 살펴보면 성공적인 데이터 기반의 사업 모델은 프로젝트 방식으로 단번에 만들어지는 것이 아니라 점진적으로 이뤄진다는 사실을 알 수 있다.

- (1) 모니터링 단계
모니터링 Monitoring 단계에서는 비즈니스 인텔리전스BI를 활용해 현 재 진행되는 비즈니스의 성과를 측정한다. 기본적인 분석으로 비즈니 스 목표에 따른 성과를 달성 또는 미달로 표시하고, 해당 결과와 함께 그에 따른 조치 · 가이드를 담아 각 부서의 담당자에게 자동으로 경고 메시지를 보낸다. 이 단계에서는 이전 기간의 캠페인 또는 다른 산업 을 벤치마킹해 브랜드 인지도나 고객 만족도, 상품 품질, 수익 등과 관련된 지수를 산정한다. 또한 비즈니스 의사결정 중에서 데이터 분석이 가능한 영역을 선정하고, 분석 환경sandbox을 구성하며, 분석 지수에 대한 프로파일을 만든다. 이와 함께 기업의 데이터 사용자들을 대상으로 데이터 활용에 대한 내용을 교육한다.
(2) 인사이트 단계 
인사이트.insights 단계에서는 통계, 예측 분석, 데이터 마이닝을 활용 해 실현 가능한 비즈니스 인사이트를 찾아 내고, 이를 진행 중인 비즈니스에 접목한다. 예를 들어 마케팅 부문이라면 특정 캠페인이 더 효과적이라 추천하고, 구매 횟수가 평소보다 줄어든 우수고객에게는 할인 쿠폰을 보내라고 추천한다. 또 제조 부문이라면 표준 범위를 벗 어난 생산 라인의 기계를 예측해 알려 준다.
이 단계에서는 데이터의 활용이 부서별로 이뤄진다. 비즈니스 인사이트 단계가 성숙기에 접어들면 분석을 최적화하기 위해 데이터 레이크 Data Lake와 같은 빅데이터 플랫폼을 구축해 데이터 중심의 의사 결정과 운영에 대한 효과성을 측정한다.
(3) 최적화 단계
최적화optimization 단계에서는 프로세스를 자동화하기 위해 고급 분석을 조직 내부에 내재화Embeded하는 애플리케이션을 사용한다. 이 단계에서는 데이터를 전사적으로 활용할 수 있게 된다. 따라서 각 지방의 날씨나 구매 이력 등을 기반으로 재고 및 자원 배분과 인력을 최적화하 는 등 전사적인 효율화가 완성된다. 예를 들어 소셜 미디어 데이터에서 얻은 인사이트를 이용해 적정 재고를 관리하고 최적의 상품 가격 을 책정하기도 한다.
내부의 데이터 활용이 성과를 내고 경험이 쌓이면 새로운 상품이 나 서비스를 창출할 기회도 만들 수 있다. 예를 들면 소매 유통 분야 에서 상품을 분석하고 분류하는 작업에 인공지능을 이용한 자동 분류 엔진을 사용할 수 있다. 이런 자동 분류 엔진은 제품화할 수도 있다. 즉, 내부 문제를 해결하기 위한 분석 인사이트를 개발해 기업 내 프로세스에 적용하고 최적화한다.
(4) 데이터 현금화 단계 
데이터 현금화 Data Monetization 단계에서는 기업 내부를 뛰어넘어 다 른 기관이나 기업을 대상으로 한 외부 비즈니스에 주목한다. 이 단계에 진입한 기업은 분석 인사이트를 포함한 데이터를 패키지화해 다른 기관이나 기업에 판매한다. 이 예를 들어 맵마이런닷컴MapMyRun.com은 모바일 앱을 이용해 사람의 이동 장소와 활동 이력을 관리해 주는데, 이러한 데이터에서 찾아 낸 고객 취향과 관련한 데이터를 패키지화해 스포츠 의류 제조 기업이나 스포츠 용품 소매상, 보험회사, 의료 관련 기관에 판매한다. 이와 같이 데이터 현금화 단계에서는 데이터와 분석 인사이트를 활용 해 새로운 시장 · 상품 고객을 창출한다.
(5) 모델 혁신 단계 
모델 혁신Metamorphosis 단계에서는 데이터를 바탕으로 새로운 시장 을 창출하기 위한 혁신적 비즈니스 모델을 구축한다. 대표적인 사례는 다음과 같다.
* 가정용 기기 제조사가 예측 분석을 활용해 교체 시기를 추천하거나 비용과 환경 등을 고려해 적절한 브랜드를 추천하는 서비스 비즈니스 모델을 창출
* 항공사에서 고객의 여행 패턴, 선호도를 바탕으로 고객이 여행하고 싶어하는 지역의 쇼핑 정보, 스포츠 이벤트, 렌터카, 호텔 등을 찾아 추천하는 비즈니스 모델을 창출

- 데이터를 자산으로 인식하기 위해서는 '데이터 거버넌스적인Data Governance 접근이 필요하다. 데이터 거버넌스는 데이터 활용을 중심으로 한 인력, 프로세스, 정책에 관련된 일련의 시스템적 접근을 말한다. 즉, 기업 스스로 어떤 데이터를 보유하고 있으며, 필요한 데이터가 어디에 있고, 데이터를 이용해 무엇을 하고 있으며, 접근성과 데이터 품질은 어떤지, 추가로 어떤 데이터를 새로 더 수집해야 하는지 등에 관한 전사 차원에서의 운영 가이드나 정책을 세우는 것을 말한다. 데 이터 거버넌스는 데이터 관리 기능 중 중요한 영역이다. 
- 데이터 기획은 데이터의 속성과 프로세스를 전체적으로 정의하고 찾아내는, 데이터 활용을 위한 첫 번째 작업이다. 이러한 작업을 통해 만들어진 정확한 데이터 구조와 프로세스는 지속적이고 단계적으로 진행된다. 또한, 잘 정의된 데이터 기획은 데이터에 쉽게 접근할 수 있게 해주고, 데이터를 잘 관리하게 해주며, 미래에 데이터 보강을 수 월하게 해준다.
데이터 기획은 비즈니스 규칙을 적용한 저장 시스템 및 데이터 통합에도 관여한다. 초기 데이터 생성을 위한 주체는 주로 사물, 사람, 현상들을 시간상 또는 공간상의 패턴이나 흐름을 관찰한다. 관찰된 데이터 현상이나 경험은 주로 크게 시간, 공간, 대상의 변수들 조합으 로 이뤄진다. 이는 데이터를 기획할 때 주체가 육하원칙에 따라 생성 가능하다는 의미다. 예를 들면 고객이 오늘 온라인으로 운동화를 샀다면 고객의 이름, 구매한 시간, 구매한 위치, 구매 상품 그리고 구매 여부가 변수들의 조합이다.
- 데이터 시대에서 기업을 성공적으로 이끌기 위한 최우선 과제는 모든 수단을 동원해 내·외부데이터를 연결 · 통합·융 합할 수 있는 환경을 만드는 데 있다. 빅데이터 역시 그냥 그 자체로 존재하기도 하지만, 대부분은 분산된 데이터를 연결 · 통합함으로써 만들어진다.
- 기업의 데이터 사일로silos 효과로 인해 데이터가 분산되어 있다는 것은 데이터가 존재하기는 하지만 정보로서의 연관성이 없거나, 필요 시점에 활용할 준비가 되어 있지 않은 상태임을 의미한다.
예를 들어 사람의 모양이나 특성을 알아야 한다고 가정해 보자. 그 런데 팔이나 손에 관한 데이터는 A 저장소에 있고, 다리와 발에 관한 데이터는 B 저장소에 있는 등 신체 각 부위에 관한 정보가 각기 다른 곳에 있다면 어떻게 될까? 이런 경우 각 신체 부위별 정보는 알 수 있 겠지만, 신체 전체의 모양이나 특성에 대한 정보는 알 수가 없다. 이 처럼 데이터가 분산되어 있거나, 정제되어 있지 않아 데이터 활용을 어렵게 하는 '데이터의 병목 현상Bottleneck'이 생긴다.
- 데이터 세트와 데이터 세트 간의 연결은 연결의 최소 단위일 뿐이고, 기업의 운영이 복잡해질수록 정보 시스템의 데이터베이 스 간의 연결이나 서로 다른 기종의 데이터베이스 간의 연결도 필요 하다. 나아가 기업 내·외부의 서로 다른 플랫폼이나 채널 간의 데이터 연결도 필요해진다.
- 연결된 데이터는 분산된 데이터보다 낫기는 하지만, 필요한 정보를 뽑아내기 위해서는 여전히 더 많은 작업이 필요 하다. 바로 '데이터 통합'이 그러한 작업 중 하나이다. 여러 개의 데이 터 세트들을 식별자로 연결한 후 중복 식별자들을 걸러내서 단독 식 볼가들만으로 데이터 세트를 구성하고, 필요한 내용에 대해 중복 정 보를 게거하거나 잘못된 포인트 값을 수정하거나 빠진 포인트 값을 캐워 넣는 등의 정게 작업을 하는 것이다. 예를 들어 여러 날짜로 된 동일한 경보가 있으면 최근 날짜의 가장 정확한 내용으로 변환하거나 잘못 기입된 포인트 값을 수정하는 작업이다.
- 리서치 기업인 누스타Neustar에서 조사한 바에 따르면, 원천 데이터 는 2~3년 정도 지나면 20~30%의 가치만 남고 가치 대부분이 소멸 한다고 한다. 예를 들어 어떤 기업이 나에 관한 데이터를 가지고 있다. 고 생각해 보자. 처음에는 그 기업이 내가 사는 곳, 직장 등 나에 관한 정확한 데이터를 가지고 있지만, 2년 뒤 내가 이사를 하고 직장을 옮 긴 사실을 그 기업에 알려주지 않으면 그 기업에는 처음에 수집한 정 확하지 않은 데이터만 남게 된다. 이는 결국 데이터를 다시 사용Data Reusable 하려면 '정제Data Refinery'가 필요하다는 의미이다. 데이터 정제 는 주소 업데이터와 같이 시간의 흐름에 따라 데이터를 업데이트도 하 지만 데이터의 오류를 수정하는 것, 데이터의 단위를 일관성 있게 맞 추는 것 등 다양한 데이터 품질에 관련된 일련의 업무들을 포함한다.

- 데이터 관리 플랫폼은 전사적으로 통합된 데이터에 외부에서 구매 한 데이터를 추가하는 방법으로 데이터를 수집하고, 이를 가공 · 신호 생성 · 분석 · 접근 조치하는 과정을 거쳐 기업에서 중요한 의사를 결 정하는 데 필요한 정보를 제공한다. 최근 들어 이 과정이 더욱 중요해 지면서 DMP가 데이터를 기반으로 비즈니스를 영위하는 기업의 필수 조건이 됐다. DMP는 크게 개별 기업의 내·외부 데이터를 가공하는 프라이빗 데이터 관리 플랫폼Private DMP'과 산업 간 또는 기업 간 데이터의 연결과 광고나 마케팅의 활용을 돕는 '퍼블릭 데이터 관리 플랫폼Public DMP 으로 구분한다. 
- 데이터 분석으로 데이터 모델을 개발한 후에는 이를 비즈니스 서비스(미디어나 채널)에 적용하기 위해 '의사결정 엔진Decision Engine'이 필 요하다. 의사결정 엔진은 알고리즘 기반의 분석 모델이나 룰들을 보 관하는 저장소와 이벤트가 생겼을 때 조건을 검색하는 엔진으로 구 성되는데, e커머스에서 흔히 사용하는 추천 엔진이 이에 해당한다. 의사결정 엔진들은 추천이나 룰 기반의 엔진, 신경망 네트워크, 빅 데이터와 강력해진 컴퓨팅 파워를 바탕으로 여러 기능을 조합해 AI를 플랫폼화하고 있다. AI 플랫폼은 인지 서비스cognitive Services, 봇Bot 도구를 사용한 대화형 AI 등 사전에 구축된 API에서 머신러닝 Machine Learning을 사용한 사용자 맞춤형 모델의 구축에 이르기까지 포괄적인 AI 서비스 세트를 제공한다.
예를 들어 고객의 구매 여정, 즉 상품 인지, 판단 그리고 구매에 이 르기까지 각 단계별로 고객의 성향을 분석하거나 예측 모델 등과 같 은 인공지능을 활용하는 AI 서비스를 세트로 제공한다.
- AI 플랫폼은 알고리즘 개발자 및 데이터 과학자가 AI 도구를 활용해 AI 솔루션을 쉽게 만드는 데 도움을 준다. 이를 이용하면 데이터 연결, 분석 모델 구축 및 학습, 모델 배포와 성과를 추적할 수 있다. 대표적인 상업용 AI 플랫폼으로는 구글의 클라우드 머신러닝 엔진 Cloud Machine Learning Engine, 아마존의 세이지메이커 sageMaker, 마이크로 소프트의 애저 머신러닝 스튜디오 Azure Machine Learning, 세일즈포스의 아인슈타인Einstein, IBM의 왓슨 스튜디오 Watson Studio 등이 있다.
- 매켄지의 조사에 따르면, 2019년과 2020년 미국 기업의 50~60% 가 데이터 활용에 실패했다고 한다. 데이터 활용에 실패한 이유에는 데이터 기술 인력 부족, 경영진의 지원 부족, 데이터 사일로 현상 등이 있겠지만, 거의 대부분 데이터 거버넌스와 관련된 이슈들 때문이다.
데이터를 다양한 업무에 활용하려면 누군가는 데이터를 정리해 야 하고, 데이터를 가공하는 프로세스를 만들어야 하며, 새로운 데이 터 룰을 정의해 동기화하고 데이터의 생명 주기를 관리해야 한다. 이 와 같이 데이터 자산을 관리하는 일련의 업무를 '데이터 거버넌스path Governance'라고 한다. 데이터 거버넌스에는 데이터를 관리하는 데 필요한 프로세스, 역할, 책임, 정책도 포함된다.
- 데이터 거버넌스에 관련된 인식은 어느 한순간이 아니라 시대를 거치면서 발전했다. 미국의 경우, 데이터 거버넌스에 관한 논의가 처음 이뤄졌던 1980~1990년대에는 주로 단순 데이터 분석이 관심의 대상이었다면, CRM이 기업의 주요 관심사였던 1990년대 말부터 는 데이터의 품질을 포함한 데이터 통합이 주요 관심의 대상이 됐다. 2000년대 후반으로 넘어오면서부터는 데이터 관리, 프로세스, 정책 을 포함한 데이터 거버넌스에 중점을 두면서 현재와 같은 형태로 진화했다. 그리고 2010년대 이후 데이터 거버넌스 체계가 확립되면서 빅데이터 활용의 성공 가능성이 높아졌다.
- 메타데이터는 데이터의 잠정적인 가치를 높이는 것이므로 반드시 관리해야 한다. 메타데이터는 데이터를 설명하는 데이터, 즉 데이터에 관련된 정보를 포함하고 있는 데이터다. 메타데이터는 데이터에 관련된 등급, 구조, 내용 정보를 제공함으로써 데이터를 쉽 게 관리하고 검색할 수 있다. 메타데이터 저장소 Metadata Repository는 기업의 메타데이터를 저장하 는 장소로, 데이터를 자동으로 수집하기 위한 기능과 요청 · 승인·확 인 등의 데이터 관리 업무 프로세스를 효율적으로 수행하기 위한 워크 플로 기능을 제공한다.
특히 데이터의 보안 및 위험 관리를 위한 데이터 등급 체계도 메타데이터 시스템에서 관리된다. 데이터 등급 체계는 기업마다 달리 적 용하지만, 데이터 거버넌스 차원에서 이를 관리하는 정책이나 프로세 스가 필요하다. 특히 데이터를 공개해야 하는 공공 기관에서는 정보 공개의 안전성과 투명성을 확보하기 위해 반드시 데이터 등급 체계를 전사적으로 관리해야 한다.
- "데이터의 품질 측면'을 관리하려면 비즈니스 규칙, 품질 모니터링, 품질 대시보드, 이슈 관리, 데이터 연계 등과 같은 데이터 관리 시스 템을 확인해야 한다. 데이터의 품질은 데이터의 품질 수준은 다음과 같이 다양한 요소에 따라 결정된다.
* 완전성: 필요한 데이터를 얼마만큼 보유하고 있는가? 
* 적시성: 적정한 시간에 데이터가 존재하는가?
* 유효성: 비즈니스에 가치가 있는가?
* 일관성: 시스템 간의 데이터가 일치하는가? 
* 정확성: 데이터가 실제 현상을 정확히 반영하는가? 
* 연관성: 데이터 객체(Entity) 간 내용의 관련성이 있는가?
* 최신성: 최근 데이터로 갱신됐는가?
- 데이터 거버넌스 구현의 3단계
데이터 거버넌스는 단기간에 완성되기 어려우므로 기업이나 기관에서는 다음과 같이 단계적으로 접근해야 한다. 
1단계, 운영적 접근 단계에서는 여러 부서의 협력 없이 주로 IT 부서에서 데이터 정책·보안·보호를 담당한다. 이 단계에서는 데이터가 기업의 전략적 자산으로 취급되지 않으며, 조직 내에 데이터를 전적으로 담당하는 실무자나 관리자가 없다.
2단계, 전술적 접근 단계에서는 현재 직면하고 있는 이슈에 중점을 두고, 데이터 거버넌스를 수행한다. 주로 데이터 거버넌스에 관련된 책임, 역할, 정책에 신경쓰며, 데이터에 관련된 메타데이터, 비즈니스 용어를 표준화한다. 이 단계에서도 여전히 최고 의사결정자의 지원이나 관여는 없다.
3단계, 전략적 접근 단계에서는 데이터를 기업의 자산으로 인식하고, 기업 내 데이터의 성장에 도전이 되는 환경에 적극적으로 대처하면서 데이터 거버넌스를 장기적 · 미래지향적으로 바라본다. 기업은 이 단계에서 데이터 거버넌스 위원회와 데이터 최고 책임자Data Chief Oficer, 데이터 위험 관리 최고 책임자Data Risk Officer를 두고, 데이터에 서 최대의 가치를 뽑아 내기 위한 전사적 노력을 아끼지 않는다. 이 단계에서는 데이터 가치를 주기적으로 확인해 회계적으로도 적용한 다. 또한 주로 프런트엔드Front-End 위주로 고객의 관점에 관심을 둔 다. 그리고 전사적으로 비정형 데이터에 관련된 개념이나 기술에 관해 논의하거나 새로운 단어를 표준화하는 데도 적극적이다.

- 서비스 아키텍처는 시대별로 발전하면서 진화해 왔다.
(1) 모놀리식 아키텍처
과거 모놀리식 아키텍처 Monoliths Architecture는 문제가 생겼을 때 원인을 추적해 수정하기가 어려웠을 뿐 아니라 유지 관리도 힘들었다. 즉 공통된 라이브러리를 사용해 서로 연결돼 있으므로 데이터를 주가하거나 갱신할 때 시스템 전체를 부팅해야만 했고, 구조상 확장성이 제한적이었다. 물론 모놀리식 아키텍처가 나쁘다고 말할 수는 없다. 애플리케이션이 간단하고 다른 애플리케이션 모듈과의 연결성이 부족할 때, 예를 들어 기업의 웹 서비스나 간단한 운영 모니터링 서비 스는 여전히 모놀리식 아키텍처를 사용한다.
(2) 서비스지향 아키텍처
서비스지향 아키텍처service-Oriented Architecture, SOA는 소프트웨어를 재사용할 수 있도록 서비스 단위나 구성 단위로 분리해 구축하는 방식 의 아키텍처를 말한다. 데이터의 구조상 캐노니컬 데이터 모델canonical Data Model을 따른다는 점에서 모놀리식 아키텍처와는 다르다.
캐노니컬 데이터 모델의 장점은 단일 구조의 데이터 모델이라는 것이지만, 구조상 하나의 변화만 생겨도 시스템 전체의 개발이나 운영에 문제를 일으킬 수도 있다는 단점이 있다. 그리고 신기술이나 추 가 구조 확장을 적용하기 어렵다. 이 모델은 기업의 전체 데이터로 구 성돼 있지 않고, 통합 데이터 단계에 필요한 여러 도메인의 데이터를 공유한다. 클라우드 시스템을 아직 도입하지 않은 대부분의 기업이 이 서비스지향 아키텍처를 사용한다.
(3) 마이크로 서비스 아키텍처
빠르고 지속적인 변화에 대응해야 한다면 마이크로 서비스 아키텍 처를 고려해 볼 만하다. 마이크로 서비스 아키텍처는 시스템 간에 메 시지를 주고받을 수 있도록 최소한으로만 연결되고, 나머지는 독립적인 프로세스로 구성된 분산 아키텍처다. 따라서 새로운 환경에서 테 스트하기 쉽고, 확장하거나 운영하기도 쉽다는 장점이 있다.
마이크로 서비스 아키텍처는 서로 독립된 여러 도메인으로 나뉘어 있기 때문에 시스템의 일부에 문제가 생겨도 전체 애플리케이션으로 확산되지 않는다는 장점이 있지만, 기술적으로 복잡하다는 단점이 있다.
마이크로 서비스 아키텍처를 사용하는 대표적인 기업으로는 넷플릭스'를 들 수 있다. 넷플릭스는 데이터 서비스를 약 500개 이상의 마이크로 서비스 아키텍처를 활용해 지원하고 있다. 이로써 매일 100~1,000개의 새로운 서비스가 적용되거나, 바뀌거나, 없어진다고 하는데, 그런데도 거의 모든 서비스를 사용할 수 있다고 한다.
또 다른 기업 사례로는 '이베이eBay'를 들 수 있다. 이베이는 초기에 펄Perl 기반의 모놀리식 아키텍처를 활용하다가 이를 하나의 C++ 라이브러리로 바꿨고, 지금은 마이크로 서비스 아키텍처를 사용하고 있다. 트위터 역시 이와 비슷한 변화 과정을 거쳐왔다. 

- IoT 플랫폼에서 데이터 서비스의 가장 큰 이슈는 수집되는 데이터 속도에 맞게 처리하는 일이다. 센서에서 수집되는 데이터의 속도에 따라 크게 3가지 주기로 구분된다.
* 일일 또는 시간 단위의 배치(Batch Process) 
* 분 또는 초 단위의 마이크로 배치(Micro Batch) 
* 마이크로 초 단위(Milisecond)의 실시간 이벤트 프로세스(Event Process)
- 마이크로 초 단위의 실시간 이벤트는 전기 공급 서비스나 공장의 생산 라인 셧다운Shutdown과 같은 산업 재해를 막기 위해 필요한데, 이 경우에는 클라우드 시스템만으로는 너무 늦고 수천, 수백 개의 디 바이스에서 모은 수십 테라바이트TB의 데이터를 전송하기도 어렵다. 이때 포그rog 또는 엣지 컴퓨팅 Edge Computing 기술을 사용한다. 이들은 데이터의 저장 및 전송 지점을 데이터를 생성하는 디바이스에서 처리할 수 있게 도와준다. 즉, 생산 공장의 라인, 전봇대의 꼭대기, 기찻길, 자동차 등에서 바로 데이터를 저장 및 전송하는 것을 말한다. 이로써 데이터 전송이 지연Latency 되는 것을 줄일 수 있다. 엣지 컴 퓨팅이 물리적 디바이스에서 데이터를 수집·분석 · 프로세스하는 통제 시스템이라면, 포그 컴퓨팅은 데이터가 발생하는 지점의 로컬 네트워크 Local Area Network, LAN 안에서 데이터를 처리하는 시스템을 말한다. 이렇게 데이터를 감지하는 디바이스에서 데이터를 빠르게 처리해 IoT 플랫폼에 센서 데이터를 전송하는 것이다.

- 글로벌 기업들은 수십 년 동안 그 시대에 맞는 기업의 핵심 역량을 강화하고 위기를 극복하기 위해 데이터를 생성 · 수집·분석해 비즈니스에 적극적으로 활용해 왔다. 초기 제품의 품질과 다양성 시대에는 주로 데이터 생성에 관심을 갖게 됐고, 유통·가격 시대에는 데이터 분석 · 통합에 관심을 갖게 됐으며, 광고·마케팅 시대에 접어들어서는 많은 정형 데이터를 분석 · 확장해 활용하게 됐다. 이로 인해 웹 2.0 시대 이전까지는 주로 경제학 · 통계학·수학 전공 자들처럼 숫자나 통계에 익숙한 인력을 고용해 실무자들에게 각 비 즈니스 영역에 맞는 분석 방법을 가르쳤다. 예를 들면 마케팅 분석가 에게는 마케팅 믹스 모델이나 가격 결정 모델을 가르치고, 금융·재정분석가에게는 신용 위험 관리 분석이나 사기 감지 모델을 가르치는 식이었다. 이러한 인력들은 주로 데이터 분석가, 비즈니스 분석가, 비 즈니스 인텔리전스BI 또는 리포트 분석가라 부르기도 했다. 그리고 이러한 분석가들이 지속적으로 경험을 쌓으며, 기업의 일정 영역이 아닌 고객, IT, 신사업, 신상품 등과 같은 다양한 영역으로 확장해 나갔다. 웹 2.0 시대 이후에는 비즈니스 환경이 더욱 복잡해지고 업계Domain지식의 중요성이 강조됨에 따라 기업에서 단순 분석가보다는 업계에 관한 깊은 지식과 경험을 보유한 고급 분석가, 즉 데이터 과학자를 선호하게 됐다. 이에 따라 기업들은 데이터를 활용하기 위해 단순 분야 별 데이터 분석가뿐 아니라 심리학, 물리학, 경영학, 엔지니어 영역의 전문가들까지 영입하기 시작했다. 2010년대로 넘어오면서 실시간 웹 3.0으로 데이터 과학이라는 영역이 더 유명해지면서 전통 비즈니스 분석 분야보다 훨씬 성장 발전했다. 이로 인해 데이터 과학 영역이 소셜 네트워크에서 발생하는 비정형 데이터의 분석까지 확장됐고, 최근에는 각 영역별 기업 내부 데이터를 다른 산업 영역으로 연결해 활용하는 단계로 발전하게 됐다.
이러한 과정을 분석 정보 시스템 측면에서 살펴보면, 초기에는 ERP를 통해 데이터를 생성 · 수집하는 데 집중하다가 이후에는 데이터 마이닝으로 발전했다. 그리고 비즈니스 인텔리전시와 관련된 소프트웨어 개발 시대에 접어들어 분야별 분석가들의 역량이 점차 성장하고, 영업·마케팅 · 인사 등의 운영 부서와 IT 부서 간 협력 과정에서 현업의 경험을 기반으로 인문적 요소, IT 기술, 공학적 지식을 결합해 성과를 거두는 단계로 성장했다. 
- 데이터 활용을 실패하게 만드는 요소들이 있는데, 그중에서 특히 중요한 항목은 다음과 같다.
1 데이터에 관련된 사용자의 이해(Data Literacy)와 접근의 어려움: 데이터의 사일로, 보안, 개인 정보 관련 
2 데이터로부터 충분하지 않은 패턴이나 신호의 생성 또는 생성 전문 기술 부족 
3 비즈니스 목표에 충분히 부합하지 않는 분석 인사이트: 시장 트렌드, 고객 서비스, 상품의 경쟁력 부족 
4 개발된 분석 모델이 운영상(Production) 전체 데이터에 관련된 확장성 부족 
5 현업 사용자에 관련된 교육 부족이나 불편함에 따른 미사용
6 사업을 진행하기 위한 적절한 예산이나 인력 부족

- 택사노미Taxonomy는 데이터를 활용하기 위한 인사이트를 찾는 데 유용한 툴이다. 택사노미는 교육, 비즈니스, 과학 등과 같은 다양한 분야에서 사용하는 일종의 데이터 분류 시스템으로, 최근에는 대량의 디지털 비정형 데이터를 관리하는 데 널리 사용되고 있다.
택사노미는 데이터들의 내용상 유사성이나 관계를 고려해 그룹을 분류하고 체계를 만든다. 기업은 비즈니스의 목적과 사업 전략에 따 라 다양한 택사노미를 구성하고, 지속적으로 관리 · 업데이트해야 한다. 최근에는 광고나 마케팅의 DMP 데이터 서비스 영역에서도 택사노미를 많이 사용하고 있다.
다만 택사노미는 톱다운Top-down 및 중앙 집권 방식으로 구성돼 있어서 생성의 정확성은 보장하지만, 시 시때때로 변화하는 다양한 지식과 경험을 반영하지 못하는 단점이 있다. 이런 이유로 최근에는 포크소노 미Folksonmy, 즉 기존 택사노미에 사용자 누구나 자유롭게 분류 키워드를 선택하고, 구성원이 함께 정보 를 체계화해 나가는 시스템을 결합한 하이브리드 택사노미 모델을 제시했다.
대표적인 하이브리드 택사노미인 포크소노미는 분류 체계를 중앙 에서 관리하기는 하지만, 사용자가 정보를 지속적으로 제공함으로써 현장의 정보와 경험을 반영할 수 있다는 것과 사용자가 익숙한 용어 를 사용할 수 있다는 장점이 있다.

- 인공지능은 알고리즘 지능 Artificial Intelligence is Algorithmic Inteligence 이다. 알고리즘이란 어떠한 문제를 해결하기 위해 정해진 일련의 절차나 방법을 말한다. 이 알고리즘이 발전하여 기계가 스스로 문제를 해결하기 위한 절차나 방 법을 개발할 수 있는 능력이 생기는 것이 인공지능이다. 인공지능이 잘 하 는 일은 추천이나 분류, 또는 예측이다 보니 인간의 지능과는 차이가 있다. 인공지능만 있으면 뭐든지 척척 해내야 하는데 실상은 그렇지 못하다. 바둑 두는 인공지능은 바둑을 인간보다 잘 두고, 기상관측 인공지능은 지진이나 태풍 예측을 인간보다 먼저 감지할 뿐이다.
- 데이터 마이닝 과정은 일반적으로 SEMMA라는 5단계 프로세서를 거친다. 수많은 데이터에서 샘플 데이터를 추출하는 Sampling(샘플링) 단계가 첫 번째이다. 두 번째는 데이터의 상관 관계를 분석하는 Explore(탐구) 단계이고, 세 번째는 데이터 마이닝을 위한 최적의 데이터로 Modify(변환) 하는 단계이다. 데이터 마이닝 과정에서 가장 중요한 단계는 문제 해결을 위한 방법과 알고리즘을 적용하는 Modeling(모델링) 단계이다. 마지막 단계는 모델의 결과를 평가한다. 시각화 도구를 이용하여 의사 결정에 적용하는 Assessment(평가) 단계이다.
이 중 가장 중요한 단계인 모델링은 연관성 분석, 군집분석, 의사결정 트리와 같은 문제 해결 방법이 있다. 연관성 분석Association Analysis은 맥주와 기저귀와의 연관성을 밝혀 낸 분석 방법으로 유명하다. 대형 마트의 소비자 구매 분석을 통해 사람들이 맥주와 기저귀를 함께 사는 것을 발견하였 다. 이를 토대로 두 개의 상품을 묶어서 팔거나 매장의 같은 위치에 배치 하자 매출이 증가하였다. 군집 분석clusturing Analysis은 군집 내에 속한 개체들 은 집단 내 동질성을 갖고, 서로 다른 군집에 속한 개체들은 집단 간 이질 성을 갖는다. 즉, 군집분석은 군집 내 동질성은 최소화하고, 집단간 이질성은 최대화하는 알고리즘이다.
의사결정 트리는 분류classification와 회귀Regression가 모두 가능한 방법으로 문제를 해결하기 위한 방법 중 가장 강력하여 널리 쓰이는 방법이다. 의사결정 트리는 스무고개 하듯이 질문을 이어가며 선택의 기로에서 두 가지 경로 중 하나를 선택하는 방법이다. 트리 구조를 가지고 있기 때문에 결정 트리라고 부른다. 의사결정 트리를 이용하여 다리가 없고 바다에 사는 동물은 돌고래'라는 것을 알 수 있다. 이런 식으로 기업의 부도 예측이나 신용평가 결정 등 다방면에 사용되고 있다.
과거 SNS에서 하는 대화와 지금의 대화는 분명 다르다. 40대 성인의 대화와 10대 청소년의 대화가 다르다. 빅데이터는 40대와 10대의 서로 다 른 대화의 패턴을 읽어낸다. 이를 통해 지금을 살아가는 사람들의 관심사 나 사회 현상의 방향성을 미리 예측하도록 돕는 기술이다. 이런 의미에서 스스로를 '마인드 마이너 Mind Mine'라고 소개하는 빅데이터 전문가 송길영은 “우리가 빅데이터에 주목해야 하는 이유는 일어날 일은 일어나기 때문입니다. 내가 하는 모든 일이 데이터가 되는 세상에서는 앞으로 어떤 일이 일어날지 미리 알고 대비해야 합니다. 빅데이터가 주는 힌트를 잘 관찰하면 사람들의 진짜 욕망을 발견할 수 있습니다”라고 이야기 한다.
- 데이터 크롤링이 클라우드 상에 있는 데이터를 단순히 수집하는 것이라면 데이터 마이닝은 분류, 추정Estimation, 예측 Prediction, 연관성 규칙Association Rule, 군집화 등의 여러 방법을 통해 데이터를 채굴하는 것이다. 채굴된 데이터는 미래 사회에 귀중한 자원이 된다. 채굴할 데이터를 알아보는 눈이 필요하다. 이런 능력을 타고난다면야 행운 이지만 대부분은 노력을 통해 길러진다. 데이터 분석가가 가져야 할 역량은 데이터를 바라보는 관점이다. 관점의 차이는 창의력에서 나오고 남들과 다른 생각, 다른 관점을 갖기 위한 노력을 가져야만 미래 사회의 경쟁력을 갖게 된다. 결국, 인간이 할 수 있는 능력에 집중해야 하는 이유이다.- 서포트 벡터 머신 Support Vector machine은 주어진 데이터를 2개의 영역으로 분류하는 이진 분류기이다. 마찬가지로 기존 데이터를 바탕으로 새로운 데이터가 어느 영역에 속할지 분류하는 알고리즘이다. 서포터 벡터 머신 을 이용하여 사과와 배를 분류해보자. 우선, 사과와 배를 분류하는 직선을 하나 긋는다. 마진 최소화는 직선과 사과, 직선과 배와의 거리가 최소가 되는 선을 찾는 방법이다. 그림에서 보이는 것처럼 분류는 잘 될 수 있지 만, 새로운 사과 데이터가 입력되었을 때 오차가 발생한다. 반면, 마진 최 대화'는 직선과 사과, 직선과 배와의 거리가 최대가 되는 선을 찾는다. 이 방법으로 새로운 사과 데이터 분류가 잘 되는 것을 볼 수 있다.
2진 트리와 같이 '네/아니오'로는 결정하기 어려운 데이터의 경우에도 제대로 자료를 분류할 수 있다. 또한 선형으로 분류하기 어려운 경우도 거리를 최대화하면서 주어진 자료를 분리하는 평면이 존재하는 알고리즘이다. 지금까지와는 다르게 선이 아닌 평면으로 데이터를 분류한다는 점이다. 이를 '초 평면'이라 한다. SVM은 얼굴 인식, 이미지 분류, 단백질 염기서열, 생물 정보학을 포함하여 2010년 신경망 이론이 나오기 전까지 머신러닝의 성능을 입증했다.
- 최근접 이웃 분류 K-NN
최근접 이웃 분류K-NN, K-Nearnest Neighbor Classification에 대해 알기 전에 분류와 군집화의 차이를 알아야 한다. 분류는 말 그대로 라벨이 있는 데이터를 지도학습기계에게 데이터와 정답을 함께 학습시키는 방법을 통해 분류하는 것을 이야기한다. 군집화는 라벨이 없는 데이터를 클러스터링하는 방법이다. K-NN 알고리즘은 라벨이 있는 데이터의 분류 사이에서 라벨이 없는 데이터를 어느쪽 로 분류할 것인지를 찾는 분류 방법이다. K-NN 알고리즘은 데이터로부터 가까운 거리의 다른 홀수 개의 데이터를 참조하여 분류하는 알고리즘 방법이다. 거리를 측정할 때는 유클리디안 계산법을 사용한다.
K-NN은 간단한 알고리즘이지만 이미지 처리, 영상에서 글자 인식 및 얼굴 인식, 영화나 음악 상품의 추천 서비스를 포함한 개인 선호도 예 측 및 의료, 유전자 데이터의 패턴 인식 분야 등에서 널리 응용되고 있다. K-NN은 단순하고 효율적이면서 수치 기반 데이터 분석에서 성능이 우수 하다는 장점이 있다. 예로 인접한 K개의 데이터 라벨을 보고 새로운 데이 터 A를 판단한다면 A는 사과를 선호하는 것으로 분류된다. K개는 동점을 방지하기 위해 반드시 홀수개로 설정되어야 하며 적절한 수의 K개의 데이터 선택이 중요한 알고리즘이다.
- 예측은 미래에 발생할 데이터를 대상으로 분류, 분석하는 방법이다. 개체 들을 유사한 특징이 있는 여러 개의 그룹이나 클래스로 나눌 때 클래스들 을 클러스터 Custer라 하고, 나누는 작업을 클러스터링 Custering이라고 한다. 이 렇게 개체들을 그룹으로 나누는 과정을 통해 클러스터 내부 멤버들 사이 는 서로 가깝게, 서로 다른 두 그룹 사이의 멤버 간에는 서로 멀리 떨어지 도록 군집화하는 방법이다.
K-means 클러스터링은 간단하면서도 많이 사용되는 방법 중 하나이 며 K-평균 군집화 방법이라 불린다. 원리는 첫째, 군집 내 응집도 최대화 이다. 즉, 같은 군집 내 객체 간의 거리는 최소화하는 것이다. 둘째, 군집 내 분리도 최대화이다. 다른 군집과의 거리를 최대화하는 방법이다. 즉, 같은 군집 내에서는 객체들이 가까이 붙어있고, 다른 군집과는 멀리 떨어져 있도록 하는 방법이다.
기본적으로 K-means 클러스터링은 Expoetallion 알고리즘과 MMaxinlization 을 사용한다. 클러스터의 수를 2로 정하고, 2개의 클러스터의 중심점(b) 을 무작위로 설정한다. 그 후 모든 데이터와 중심점과의 유클리디안 거리 를 구해 가장 가까운 중심점에 할당한다. 이를 Expectation 단계라고 한다. 두 개로 나눠진 클러스터들에서는 각 중심점이 중심에 오도록 업데이트 해준다. 이 단계가 Maximization이다. 중심점은 클러스터된 데이 터들의 평균값으로 계산한다. 계산된 결과로 중심점의 위치를 바꾼다. 이 중심점에 맞게 또 다시 데이터 세트들을 클러스터링한다. E-M-E-M을 반복 학습해 결과가 바뀌지 않을 때까지 한다.
- 군집화는 클러스터링 clustering이라 하며 유사한 것들을 찾아 그룹을 만드는 것을 의미한다. 얼핏 보면 분류와 같은 개념처럼 보인다. 군집화는 아직 분류되지 않은 데이터를 끼리끼리 묶어주는 것이다. 분류는 새로운 데이터가 어떤 그룹에 속하는지를 판단하는 것이다. K-평균 군집화k-means 클 러스터링 방법을 이용하여 군집화하는 방법을 앞서 설명하였다.
연관 규칙 학습Association rule learning은 장바구니 학습Market Basket Analysis이라고도 불린다. 이는 기저귀를 사는 사람들이 맥주도 함께 산다는 규칙에서 나온 이름이다. 온라인 쇼핑 시 라면과 계란, 식빵과 우유, 샐러드와 소스 등 함께 구매할 확률이 높은 상품을 추천해 주는 시스템이다. 훈련 데이터에 서 데이터 특성 간 관계를 그룹으로 묶어주는 모델이라 할 수 있다. 대량 의 데이터에서 인간이 표를 보고 관련성을 찾기란 매우 어렵다. 이런 경우 연관 규칙학습을 이용하면 효율적인 예측이 가능하다. 훈련 데이터를 그 룹화하는 것은 군집화이고, 훈련 데이터의 연관된 특성을 그룹화하는 것 은 연관 규칙 학습이라 할 수 있다.
- 합성곱 신경망은 인간의 시각을 흉내낸 것으로 이미지 인식과 분류에서 탁월한 성능을 발휘한다. 지금까지 이미지 인식은 이미지의 픽셀Pixel 값을 그대로 저장하여 분류하고 인식했다. 픽셀이란 이미지를 구성하는 최소 단위의 점을 말한다. 따라서, 픽셀 정보가 바뀌면 이미지를 제대로 인식하지 못했다. 같은 사물이라도 이미지는 다양한 형 태를 띠고 있으며 필기체 역시 사람마다 서체가 다르다. CNN은 픽셀 정보를 행렬값으로 받아 저장하여 이미지가 손상되는 문제를 방지하였다. 이미지의 픽셀값을 그대로 저장하는 것이 아니라 특징을 추출하는 사전 훈련 과정을 거친 후 신경망을 통해 학습시킨다. CNN은 데이터로부 터 특징을 학습하고 출력층에서는 물체의 종류를 인식하는 대표적인 모델이다.
CNN은 크게 세 가지 종류의 층으로 구성된다. 컨볼루션 충convolution Layer은 이미지로부터 특징을 추출한다. 풀링 층Pooling Layer 은 이미지에서 추출한 샘플로 신경망을 학습시킨다. 완전연결계층은 학습을 통한 최종적인 분류 작업을 담당한다.
입력 이미지에 필터 처리를 해서 이미지의 가장자리edge나 곡선과 같은 저차원적인 특징을 추출한다. 점차 높은 층으로 올라갈수록 질감, 물체 일부분 object parts과 같은 고차원 High Level의 특징을 도출한다. 그 결 과 이동이나 변형에 무관한 이미지의 최종 특성을 얻게 된다. 
- 순환 신경망 RNN Recurrent Neural Network 알고리즘은 현재의 학습이 과거의 학습과 시간적으로 연결되어 학습하는 알고리즘이다. 인간이 사용하는 자 연어 처리에 주로 사용되며, 반복적이고 순차적인 데이터 sequential Data 학습 에 잘 어울린다. 순환이라는 말처럼 앞서 입력된 데이터를 참조하여 순환하는 특징을 가지고 있다. 이는 인간이 언어를 이해하는 방식이다. “I love apples.”라는 문장에서 love'는 동사이지만, “Love is a feeling."에서 'Love'는 명사이다. 이렇듯 단어의 위치에 따라서 품사가 바뀌는데 이를 찾아 적용할 수 있는 알고리즘이 RNN이다.
- RNN 알고리즘은 입력층과 출력층 사이에 CNNConvolutional Neural Network과 마찬가지로 은닉층이 존재한다. 그런데, 중간에 있는 은닉층은 앞에서 처 리한 데이터의 가중치 값을 기억하고 이를 다음 단계의 은닉층에 반영하여 조금씩 수정하면서 전체를 학습한다. 잘 이해가 되지 않는다면 아래 그림을 보자. 각 단계의 색상은 시간이 지남에 따라 유지되는 정보의 양을 나타낸다. RNN은 인간이 사용하는 언어인 자연어를 컴퓨터가 인식할 수 있도록 도와주는 자연어 처리 시에 유용하다.
RNN은 이전에 저장한 정보를 보유하여 정보가 지속되도록 해주는 순환 알고리즘을 가진다. 마치, 인간의 단기 기억과 유사한 모양이다. 이 순차적인 데이터 학습은 반복되면서 조금씩 바뀌는 상태를 보존하여, 이전 입력을 기반으로 출력 텍스트를 결정한다. 따라서, 동일한 입력도 이전 입 력에 따라 다른 출력을 생성할 수 있다. 순환 신경망은 “그는 그녀에게 사 과의 의미로 빨간 사과 한 바구니를 건내주며 미안하다고 말했다”와 같은 문장에서 앞에 나온 사과는 apologize로 뒤에 사과는 apple로 인식할 수 있다. 즉, 단순히 사전적 의미뿐만 아니라 앞뒤 문장의 요소들을 종합적으로 판단하여 의미를 파악한다.
RNN은 검색창에 글자를 입력하면 연관 검색어가 자동으로 뜨는 자동 완성 기능, 스마트폰에서 음성인식을 통한 문장 입력 기능, 각종 언어의 통역과 번역, 인간과 기계가 채팅하는 챗봇, 영상의 자동 자막 입력 기능, 구글의 마젠타 프로젝트처럼 인공지능 작곡, 작가, 아티스트도 모두 RNN 에 해당한다. 꽃 그림은 구글의 스케치-RNN'이다. 모델에서 garden을 선택하고 꽃 그림을 하나 그리면 RNN이 앞으로 그릴 꽃 그림을 예측하여 그려준다. 필자가 그린 꽃은 왼쪽이고, 스케치-RNN이 그린 꽃은 오른쪽 이다.
- 진짜 같은 가짜 이미지를 본 적 있는가? 포토샵을 이용해 정교하게 이미 지를 합성하면 가능한 일이다. 사람의 눈을 속이기 위해서는 정교한 포토 샵 작업이 많이 필요하다. 인간의 눈은 이미지를 평면으로만 보는 것이 아 니라 3차원으로 뇌에서 인식하기 때문에 단순히 오려 붙인 이미지는 금방 알아챌 수 있다. 이 정교한 작업을 대신 해주는 알고리즘이 생성적 적대 신경망 GANGenerative Adversarial Network이다.
GAN은 진짜 데이터를 학습하여 진짜 같은 가짜 데이터를 생성하는 모 델이다. 훈련 데이터와 유사한 이미지를 생성자가 만든다. 수많은 강아지 사진으로 훈련한 후, 실제로 존재하지 않지만 존재할 법한 강아지 사진을 만들어낸다. 또 다른 신경망은 진짜 데이터와 가짜 데이터를 감별하는 감별자Disciminatior 이다. 감별자는 실제 강아지 이미지와 생성된 강아지 이미지를 판단하기 위한 분류 모델로 사용되며, 생성자는 다시 더 정교한 이미지를 생성해 낸다. 생성자와 감별자는 마치 경쟁하듯이 이 과정을 반 복하다가 맞추는 확률이 50%에 이르면 학습을 끝낸다. 마치 포토샵으로 이미지를 점차 정교하게 바꿔 구분이 어려워지면 작업을 멈추는 것처럼 말이다.
많은 양의 강아지 이미지로 훈련된 생성 모델은 진짜 같은 가짜 강아지 이미지를 생성하고 분류 모델은 이를 판별한다. GAN에는 최대한 진짜 같 은 이미지를 생성하려는 생성 모델이 있다. 또, 진짜와 가짜를 판별하려는 분류 모델이 있다. 이 둘은 서로 적대적으로 반복 학습하며 성장한다. 여 기에 이미지를 생성하는 과정에서 새로운 특징을 추가할 수 있다. 특징이 란 이미지의 특성을 의미하는데 사람의 표정, 헤어스타일, 인물의 나이 등이 해당된다. 2017년 워싱턴 대학교 연구팀은 오바마 전 미국 대통령 연 설 영상에서 GAN을 이용해 입 모양을 합성해냈다.  또 다른 방법으로는 화가의 화풍을 따라서 그릴 수도 있다. 입력한 사진을 특정 화가의 해당 화풍으로 변환하는 것이다. 2017년 UC 버클리에서 GAN 모델에 원본 이미지의 형태를 유지할 수 있는 조건을 추가한 모 델을 적용하였다. cycleGAN 모델은 모네의 그림을 사진으로 변환하거 나, 사진을 모네 화풍으로 만들어 낼 수 있다. 
- 인공지능 기술은 발전했지만, 알고리즘 편향성이라는 문제점을 안고 있다. 따라서, 인공지능의 신뢰성을 확보하기 위해 설명 가능한 인공지능' 이 탄생한 것이다. 설명 가능한 인공지능에 대한 연구와 개발은 금융, 보 험, 교육, 광고, 군사 등 다양한 분야에서 신뢰를 얻고 있다. 사회적 수용 을 위한 공감대 형성과 더불어 더 나은 경험을 제공하기 위한 서비스로 향상되고 있다. 설명 가능한 인공지능은 법적 책임과 준수 확인 등의 효과면에서 크게 기대된다. 인공지능 시스템의 잘못된 결과로 분쟁이 발생하면 기존 모델에서는 이유를 알 수 없었다. 하지만 설명 가능한 인공지능'에서 는 결과의 근거를 제시하여 원인 파악이 가능해진다. 무엇보다 중요한 건 인간과 인공지능 간 상호작용을 효율적으로 높일 수 있다는 점이다. 인공 지능 기술이 알고리즘 편향성에 갇히기보다는 인간의 풍요로운 삶과 행복 을 위한 도구로 사용되도록 발전하고 있다.
- 수천 년 동안 본디 백조는 '하얀 새'를 의미했다. 그런데, 하얀 고니를 의미하는 백조라는 의미가 깨진 사건이 발생했다. 1697년 네덜란드 탐험가 윌리엄 드 블라밍Willem de Varmingh 이 서부 오스트레일리아에서 '흑 고니'를 발견한 것이다. 그 후 전혀 예상할 수 없었던 일이 실제로 나타나는 경우 를 '블랙 스완black swan'이라고 부르게 되었다. 위키백과 또, '방안의 코끼리 elephant in the room'는 누구에게나 확연하게 보이는 커다란 문제임에도 불구하고 모 두가 모른 척하는 상황을 말한다. 예를 들면 지구 온난화를 일으키는 환경 오염 문제와 같은 상황이다.
몇 년 전 〈뉴욕타임즈>의 칼럼니스트 토머스 프리드먼 Thomes L Firecaman은 블랙 스완과 방안의 코끼리를 합한 '검은 코끼리 black elephani'를 제시했다. 검은 코끼리란 전혀 예상할 수 없었던 일로 인해 엄청난 변혁이 일어날 것을 알면서도 아무도 해결하려 하지 않는 문제를 가리킨다. 그러면서 지금 인 류는 가속의 시대를 살고 있으며, 지구상에 검은 코끼리들이 떼 지어 나타 나고 있다고 이야기했다. 바로 눈앞에 있는데 손으로 눈을 가리고 외면하 고 있다고 말이다. 그중 하나가 기술의 발전으로 인한 인공지능 사회의 도 래이다. 무어의 법칙에 따라 기술은 기하급수적으로 변화하고 인간은 도저히 그 속도를 따라잡을 수 없다. 이 변화의 속도를 따라잡지 못하는 인간은 도태되어 힘든 삶을 살게 될 것이라 예견하고 있다.

- 데이터 분석이 우리에게 줄 수 있는 가치가 무엇인지에 대한 기대치를 우선 먼저 정확하게 수립해야 한다. 데이터 분석에 대한 사전 지식이 없거나 관련 경험이 없다면 데이터 분석 프로젝트의 효용 자체에 오해를 가질 수 있다. 예를 들어, 경영진은 데이터 분석을 조직 내에 모든 영역에 적용할 수 있다고 오해할 수 있다. 또는 데이터 분석 결과가 개인이나 조직의 의사결정에 항상 긍정적인 영향을 준다고 생각할 수 있다. 하지만 적용 영역, 성과 및 영향의 범위는 조직이 보유한 인력, 프로세스, 보유 기술(소프트웨어, 기반 시설)에 따라 달라질 수 있는 것이다. 그런데도 현실에서는 조직과 개인의 환경과 보유 역량을 고려하지 않은 채 무리하게 일을 추진하기도 한다.
중요한 것은 각 조직과 개인의 환경 및 상황을 고려하지 않는 상태에서 무리하게 높은 기대치를 가질 경우 기대한 만큼의 성과를 얻기 힘들다는 점이다.
- 데이터 분석을 수행하기 위해서는 여러 투자가 필요하다. 예를 들어, 필요에 따라 데 이터를 유료로 구매해야 하는 경우도 있고, 분석과 관련된 여러 도구(소프트웨어 등) 를 구매하는 경우, 그리고 대규모 데이터 분석에서는 다양한 인력이 필요하다. 또한, 데이터 확보에도 데이터의 종류, 기간, 용량에 따라 비용에 따른 투자가 발생하고, 대용량의 데이터를 보관하기 위해서는 저장 비용(디스크 구매 또는 클라우드 저장 공간 비 용) 등이 필요하다. 철저한 사전 분석과 체계적 관리 없이 프로젝트가 진행될 때는 예 상치 못한 추가적인 비용이 발생할 가능성이 크다. 데이터 분석으로 얻는 효익을 넘어서는 비용이 발생한다면 명백한 투자 실패이기에 데이터 분석 프로젝트의 의미 자체가 퇴색된다.
- 데이터 분석은 의외로 많은 시간이 요구된다. 기술적인 부분에 있어 컴퓨터의 연산 능력과 관련 장비가 발달하면서 데이터의 처리 속도가 과거에 비해 빨라졌지만, 그만큼 우리가 다룰 수 있는 데이터의 양 또한 급격하게 증가했다. 개인의 1년치 카드 사 용 내역은 수백 줄, 많아야 수천 줄 정도이기 때문에 엑셀로 처리할 수 있지만, 수십 만 명의 1년치 카드 사용 내역은 엑셀로 다루기 힘든 엄청난 용량의 데이터다. 잘못 된 로직으로 데이터를 분석하여 원하는 결과를 얻지 못하면, 데이터를 내려받아 분석하는 모든 과정을 처음부터 다시 수행해야 한다. 작게는 몇 시간, 길게는 며칠에 걸쳐 재작업을 해야 할 수 있다. 그뿐만 아니라 담당자와의 비효율적 의사소통, 데이터 누락 및 오류로 인한 데이터 검증, 필요시 데이터 재확보 과정은 추가적인 시간이 많이 필요해서 프로젝트 관리 측면에서는 큰 손실이다.

- 목표 및 작업의 범위와 더불어 작업의 초기에 프로젝트의 구체적인 결과물이 무엇인지 를 정해야 한다. 프로젝트의 목표와 작업의 범위에 따라 그 결과물이 결정될 것이다. 다음과 같은 결과물이 프로젝트 수행 결과로 제시될 수 있다.
* 결과 리포트 또는 프레젠테이션
* 분석 결과를 시각화한 차트 또는 대시보드
* 분석과 관련된 로직 및 설계도
* 분석에 사용된 소프트웨어 또는 분석 도구의 코드 또는 스크립트
- 데이터 수집 단계에서는 프로젝트 목표를 달성하는 데 필요한 데이터 세트pata set의 식별, 수집에 집중하여야 한다. 가장 가까운 주변에서 활용 가능한 데이터가 있는지 확인하면서 데이터 수집 단계는 시작된다. 가깝게는 나의 컴퓨터, 그리고 회사나 팀 에서 사용하는 공용 폴더, 또는 클라우드 공간 등에서 활용할 수 있는 데이터가 있 는지 확인하고 수집한다. 때로는 남이 가지고 있는 대용량의 데이터나 전문기관에서 제공하는 데이터보다 오히려 내가 가지고 있거나 조직 내에서 생산, 가공한 데이터가 더욱 가치 있기도 하다. 그렇기 때문에 우선 내 주변에서 사용 가능한 데이터를 확인 한 후에 공공 데이터 또는 구매하여 사용하는 유료 데이터를 활용한다.
- 구조에 대한 전처리는 데이터 추출, 결합, 집약에 대한 내용을 주로 다룬다. 예를 들어, 매출 데이터와 상품 데이터를 확보하였다면 이 두 데이터 세트 구조와 데이터들을 어 떻게 결합할지 등에 관한 부분이다. 두 데이터를 결합하여 매출 정보와 상품 정보를 모두 포함한 데이터를 생성한 후 작업을 실시한다면, 이는 데이터 결합을 통한 전체 리 과정이다.
내용에 대한 전처리는, 예를 들어 일별 데이터를 월별 또는 연간 데이터로 변환하거나, 확보한 기존 데이터 중 숫자 데이터 간에 계산(매출과 비용 데이터를 이용하여 수익 데 이터를 새롭게 계산)을 통해서 새로운 데이터의 열을 조합하여 만드는 작업이 이에 해당한다.
- 본격적인 분석에 앞서 데이터 사전 준비 단계는 일반적으로 데이터 프로젝트에 드는 시간의 최대 80% 가 소요되는 단계다. 그렇기 때문에 체계적이고 면밀한 검토를 통해 사전 준비를 수행해야 시행착오를 최소화하고 정확한 데이터를 준비할 수 있다.
우선, 데이터를 수집하면 수집한 데이터 간의 관계를 이해하자. 관계를 이해하면서 현재 가지고 있는 것 이 무엇인지, 그리고 원래 목표를 달성하기 위해 추가로 필요한 것이 무엇인지를 파악할 수 있다.
다음 단계(그리고 가장 두려운 단계)는 데이터를 정리하는 것이다. 예를 들어, 수집된 데이터가 수만 건이 모 여 있는 데이터 세트라고 생각해 보자. 중간중간에 데이터가 누락되어 있거나 잘못된 데이터가 있는 경 우가 많다. 데이터가 동질적이고 깨끗한지 확인하기 위해 모든 열을 살펴봐야 하는데, 이 과정에는 상당 히 많은 시간과 에너지가 필요하다. 이것은 아마도 데이터 분석 프로젝트에서 가장 길고 성가신 단계일 수도 있다.
마지막으로, 데이터 준비에서 간과해서는 안 되는 중요한 요소 중 하나는 수집 과정에서 데이터 개인 정보 보호 규정을 준수하는지 확인하는 것이다. 많은 데이터 분석 프로젝트에서 활용되는 소스 데이터들이 개인으로부터 수집된 민감한 정보일 가능성이 크다. 그러므로 개인 정보 보호는 사용자, 조직 및 관련 기관 모두에게 높은 우선순위로 다뤄져야 한다. 개인 정보 보호 규정을 준수하면서 프로젝트를 실행하려 면 모든 데이터 작업, 소스, 데이터 세트를 중앙 집중화하여 관리하는 것이 필요하다. 그런 후에 개인 및 (또는) 민감한 데이터가 포함되었는지 확인, 관리, 처리해야 한다.
- 분석 결과 평가 데이터 분석 결과 자체를 평가 및 검토한다.
데이터 결과가 정확하고 오류가 존재하지 않는가? 
더 데이터 분석 결과가 프로젝트 초기에 세웠던 목표에 부합하는 결과인가? 
상식과 일반적인 관점에서 수용 가능한 결과인가?
결과가 의사결정에 도움이 되는가?
- 결과를 도출하기 위해 거친 과정 자체를 평가 및 검토한 후 필요하면 수정 및 반영하도록 한다. 
분석 과정에서 간과하거나 누락된 것이 있는가? 
분석 과정에서 계획했던 모든 단계를 제대로 실행하였는가?
분석 결과 검증, 검토 후 재분석이 필요하다면 추가 및 수정이 필요한 과정은 무엇인가?

- 데이터 분석의 오류는 대략 다음과 같은 원인으로 발생할 수 있다.
* 잘못된 분석 대상 데이터의 선정.Input Data Error 분석에 사용한 데이터를 잘못 수집하였거나 수집된 데이터가 분석 목적에 적합하지 않은 경우 
* 분석 대상 데이터의 오염pata Corruption 수집된 데이터 세트에 포함된 데이터에 문제가있거나 잘못된 정보가 포함된 경우 또는 기술적 문제로 데이터 자체가 오염된 경우 
* 분석 로직 또는 모델링의 오류Analysis Logic & Modeling Error 분석에 사용된 로직 또는 분석모델을 잘못 설계하여 결과가 나온 경우
* 결과물 해석의 문제 분석결과를 해석하는 과정에서 데이터를 바라보는 관점, 입장 차이, 그리고 해석자의 이해관계 등으로 결과를 왜곡되게 해석하는 경우
- 데이터의 형태와 관리 기본 규칙을 유지하는 것을 데이터 무결성이라고 한다. 일반적으 로 사용하는 데이터베이스 시스템에서는 규칙에 어긋나거나 부적절한 형태의 데이터 가 입력되는 경우와 필수 데이터가 누락되는 경우에 시스템이 이를 자체적으로 검사 하고 문제를 해결하여 데이터의 품질에 결점이 없도록 유지한다. 즉, 무결성을 유지 한다'라고 표현할 수 있다.
데이터 무결성은 데이터의 신뢰와 정확성을 나타내기 때문에 중요하다. 하지만 여러 소스로부터 데이터를 확보하였을 때 모든 데이터 세트에 무결성이 보장될 수 없다. 예를 들어, 조직 내의 데이터베이스로부터 매출 데이터를 확보하고 외부 소스로부터 소셜 네트워크 데이터를 확보하여 이를 종합하여 분석을 수행하고자 할 때 외부 소스에서 확보한 데이터에 무결성 문제가 있을 수도 있는 것이다.
- 왜 데이터 품질에 문제가 있을까(무결성 오류의 편) 
일반적으로 다음과 같은 이유로 데이터 품질, 즉 무결성에 문제가 발생할 수 있다.
* 사람에 의한 오류 데이터 자체의 입력 오류
* 신종 오류 데이터를 전송하는 과정(인터페이스)의 기술적인 문제로 데이터가 손상되거나 오류가 발생하는 경우
* 버그, 바이러스/악성 프로그램, 해킹 및 기타 사이버 위협
* 장치 또는 디스크 충돌과 같은 하드웨어적 손상
이 중 위에서 처음으로 언급한 사람으로 인한 오류로 발생하는 데이터 누락 및 입력 오류의 원인은 다음과 같은 세 가지 일반적인 이유로 구분할 수 있다.
* 개인 정보 제공을 꺼리는 경우(예 소득 수치, 연락처 등)
* 데이터 포맷 자체가 데이터를 보관할 수 없어서 데이터가 입력되지 않은 경우(예 필수 필드가 없어서 정보 입력 자체가 불가능했던 경우)
* 데이터 수집 시 수집 대상과 관련이 없는 필드가 있는 경우(예 대부분의 응답자가 은퇴한 경우 소속 회사 정보는 대부분 비어 있을 것이다.)
- 데이터 품질 검증과 전처리 
(1) 무결성 테스트를 통해 데이터 품질을 확인한다.
* 필드 확인
* 전체 행 개수 및 값 합계 확인 
* 데이터 유형 불일치, 값 입력 방식의 변형 및 누락된 값 확인 
* 데이터 범위 확인 
* 중복, 누락 값 및 이상 데이터 확인
(2) 데이터 품질을 확인 후 필요에 따라 데이터 전처리를 수행한다.
* 과도하게 벗어난 값과 중복 데이터 제거 
* 기술적, 형식적 오류 수정 
* 누락된 데이터의 적절한 처리
- 데이터 분석 유형에 따른 데이터 도구 
선택 본인이 수행하고자 하는 프로젝트의 분석 유형에 따라서 적합한 도구를 선택해 볼 수 있다. 앞서 언급했 던 바와 같이 네 가지의 데이터 분석 유형인 설명적 분석, 진단 분석, 예측 분석, 처방적 분석으로 구분해 볼 수 있다.
(1) 설명적 분석 
설명적 분석은 지나간 과거 데이터를 분석해서 과거의 현상을 파악하는 행위인데, 앞에서 언급한 모든 통계 분석 도구들(엑셀, R, SAS, SPSS)과 비즈니스 인텔리전스 도구들(파워 비아이, 클릭 센스, 태블로)을 사 용할 수 있다. 프로그래밍 언어 도구들(파이썬, 매트랩, SQL)을 사용하면 데이터 수집의 효율성을 높일 수 있다.
(2) 진단 분석
진단 분석은 과거 데이터를 토대로 인과 관계를 파악해 내는 것으로, 모든 통계 분석 도구들(엑셀, R, SAS, SPSS)과 비즈니스 인텔리전스 도구들(파워 비아이, 클릭 센스, 태블로)을 사용할 수 있다.
(3) 예측 분석 
예측 분석은 통계적 지식을 바탕으로 미래에 발생할 일들을 확률적으로 계산하는 것으로, 통계 분석 도구들(엑셀, R, SAS, SPSS)의 사용을 우선적으로 고려할 수 있다.
(4) 처방적 분석 
처방적 분석은 앞서 언급한 기술적 분석, 진단적 분석, 예측 분석의 자료를 토대로 미래를 대비할 수 있는 처방을 고찰하는 것이다. 효과적인 의사결정을 위해 비즈니스 인텔리전스 도구들(파워 비아이, 클릭 센스, 태블로)의 사용을 우선적으로 고려할 수 있다.

- 과거의 통신망(유선 전화망 등)은 비용을 염두에 두고 만들어졌다. 비용을 누가 부담할지, 시간당 비용은 얼마로 할지, 사용 시간은 어떻게 측정할지는 중요한 문제였다. 하지만 아르파넷은 사용료를 정부가 부담했기 때문에, 비용을 고려하지 않아도 괜찮았다.

비용을 산정하지 않아도 된다는 점은 텍스트, 이미지, 음성, 비디오 등 데이터의 형식과 관계없이 모든 데이터를 작은 단위 (패킷)로 나누어 전송하는 데 큰 영향을 미쳤다. 인터넷은 데이터를 한꺼번에 보내는 것이 아니라, 패킷 단위로 나누어 보낸다. 도착한 패킷이 어떤 데이터의 일부인지 알아내고 합치는 일은 컴퓨터가 맡는다. 패킷 전송 방식의 장점은 네트워크에 서로 운영체제가 다른 다양한 기기를 연결할 수 있다는 것이다. 이런 네트워크를 비종속적 네트워크라고 부르는데, 아르파넷 이전에는 비종속적 네트워크가 존재하지 않았다.

당시 아르파넷을 만들던 연구자들에게 40-50년 뒤에는 그 기술로 음성과 비디오를 주고받게 될 거라고 말해줘도 놀라지 않았을 것이다. 크로커는 당시 그런 생각을 한 사람이 몇 명 있었다고 말했다.

- 인터넷이 현대인의 삶에 너무 자연스럽게 녹아들었기 때문 에 사람들은 현재의 인터넷을 마치 자연물처럼 당연하게 받아들이는 경향이 있다. 하지만 현재의 인터넷은 사람들이 내린 다양한 결정과 어쩔 수 없는 타협과 현실적 해결책이 합쳐져 만들어진 결과물이다. 예를 들어 현대 인터넷의 기본적인 작동 방식은 1974년 12월 빈트 서프가 이끄는 개발자들이 정한 것으로, RFC 675 에 기록되어 있다.

- RFC 675는 전송제어프로토콜 Transmission Control Protocol, TCP 이라 는 데이터 전송 프로토콜에 대한 규정으로, 여전히 인터넷은 이 프로토콜을 사용해 데이터를 전송한다. 앞서 말했듯 인터넷에 서는 데이터를 패킷'이라는 작은 단위로 나누어 보낸다. TCP는 패킷이 빠짐없이 순서대로 도착하도록 관리해 전송 오류를 최소화하는 역할을 하는 프로토콜로, 인터넷 같은 패킷 전송 네트 워크를 구현하는 데 꼭 필요하다.  패킷 전송 방식은 과거 전화망에서 쓰던 데이터 전송 방식과는 완전히 다르다. 전화망의 경우 수신자와 발신자를 직접 잇는다. 과거 전화 교환원들이 하던 일이 바로 발신자와 수신자 사이를 회선으로 잇는 것이었다. 통화하는 동안 수신자와 발신자는 둘 사이에 연결된 회선(예를 들어 보스턴의 사무실과 애틀랜타의 사무실 사이를 잇는 전화선)을 단독으로 사용한다. 둘 다 말을 하지 않을 때도 다른 사람이 그 회선을 사용할 수는 없다. 이와 달리, 패킷 전송 방식에서는 데이터를 받는 사람과 보 내는 사람을 회선으로 직접 잇지 않는다. 패킷 전송을 하는 과정 은 다음과 같다. 일단 데이터(음성, 문자, 파일 등)를 '패킷'이라는 작은 단위로 쪼갠 뒤, 패킷마다 발신지, 목적지, 총 패킷 수, 해당 패킷의 순번을 기록한다. 그다음 패킷을 전송하면, 각 패킷은 각자 자유로운 경로를 택해 목적지로 이동하고 순서에 상관없이 무작위로 목적지에 도달한다. 도착한 패킷들은 목적지에서 다시 순서에 맞게 재조립된다. 패킷 전송 방식을 쓰면, 수신자와 발신자 사이를 단일 회선 으로 이을 필요도 없고, 모든 패킷을 같은 경로로 보내야 할 필 요도 없기 때문에 네트워크를 훨씬 효율적으로 사용할 수 있다. 또 패킷을 다양한 경로로 보낼 수 있기 때문에 네트워크 연결이 일부 끊어지더라도 문제없이 데이터를 전달할 수 있다.

- 인터넷은 패킷 전송을 위해 TCP와 함께 인터넷프로토콜Internet Protocol, IP이라는 프로토콜도 사용한다. 나중에 정식 프로토콜로 인정되어 TCP와 함께 TCP/IP라고 불리게 된 IP는 목적지를 더 쉽게 찾을 수 있도록 각 컴퓨터(또는 각 네트워크)에 고유 의 숫자열을 부여한 것이다. 인터넷에는 사이트의 웹 주소(예컨 대 www.jamesrball.com)에 대응하는 IP 주소(이 경우 198.185.159.14 인데, 이 주소가 가리키는 곳은 캔자스 위치토에서 그리 멀지 않은 곳 에 있는 스퀘어스페이스 SquareSpace의 데이터센터다)가 있다. IP가 주 소라면, TCP는 우리가 사이트와 정보를 주고받을 때 패킷이 제 대로 배달되었는지 확인하고 관리하는 일을 한다.

- 루카식은 다음과 같이 썼다. “사전에 모든 가능성을 따져 보거나 부정적인 결과를 막으려고 하지는 않았다. 일을 시작하 기도 전에 그렇게 했다면, 긍정적인 결과를 낼 수 없을 거라는 생각에 사로잡혀 앞으로 나아가지 못했을 것이다. 어떻게 보면 ARPA와 개발자들은 하나의 기술적 기습으로부터 나라를 지키 는 과정에서 또 다른 기술적 기습을 만들어냈다고 할 수 있다.”

정리하자면, 인터넷은 세 집단의 복잡한 합작으로 생겨났다. 하나는 국방 연구 자금을 지원하는 정부 기관(ARPA)으로, 지휘 통제 시스템에 적용할 신기술을 시험하고 국방 연구에 사용할 네트워크를 만들고자 했다. 두 번째 집단은 연구를 중요시한 명문 대학의 저명한 교수들로, 대개 자금과 네트워크를 다른 연구에 더 쓰고 싶어 했다(네트워크 구축 자체에 관심이 있던 클라인록은 예외적인 경우였다). 세 번째 집단은 실제로 네트워크를 구축하는 일을 맡은 대학원생들로, 대개 자신들이 잡무를 처리하 고 있다고 생각했지만, 흥미롭게도 훨씬 대단한 일을 해냈다.

아무도 예상치 못한 결과가 나온 건 당연한 일이었다.

- 웹주소의 구성을 살펴보면 DNS가 실제로 어떻게 동작 하는지 감을 잡는 데 도움이 된다. 모두에게 익숙할 https:// www.google.com을 예로 들어보자. 이 주소는 네 부분으로 이루어져 있다. 그중 'com' 부분은 최상위 도메인이라 불리는데, 해당 웹사이트를 소유한 기관의 종류 또는 위치를 대략적으 로 알려준다. 예를 들어 .com은 상업용commercial이라는 뜻이고, .org organisation는 비영리 기구, gov'는 미국 정부, 'edu’는 미국 대학만 쓸 수 있다. 또 프랑스의 fr'처럼 나라마다 자체 도메인이 있다.

인터넷에는 이들 최상위 도메인을 보고 길을 알려주는 소수의 DNS 주소록 서버가 있다(이들 서버는 DNS 시스템의 루트root 서버로 불리며, 앞서 소개한 행사에서 갱신한 암호는 이 루트’ 서버에 접근하기 위한 암호다). 이들은 같은 최상위 도메인을 가진 사이트들의 주소를 모아놓은 하위 주소록 서버로 사용자를 인도한다.

주소에서 가장 주가 되는 부분은 'google' 이라는 이름으로, 하위 주소록 중 어딘가에 저장되어 있을 구글의 IP 주소를 찾게 해준다. 서브도메인이라고 불리는 'www’ 부분은 구글이 자사 네트워크 내 어떤 부분으로 사용자의 요청을 전송할지 결정하 는 데 사용된다. 구글의 경우, google' 앞에 www'가 붙으면 검색, mail'이 붙으면 이메일, maps가 붙으면 지도서비스로 각 각 사용자를 인도한다. 'https' 부분은 사용자가 웹 서핑, 이메일, 파일 공유 같은 여러 인터넷 서비스 가운데 어떤 서비스를 요청 했는지 알리는 역할을 한다.

이처럼 기본적으로 인터넷 주소 시스템은 사용자의 요청이 들어오면 컴퓨터들이 연쇄적으로 길을 인도해 목표 지점에  달하게 하는 방식으로 작동한다. 당연하게도 이런 방식을 사용하면 중간에 있는 컴퓨터가 잘못된 답을 알려줄 경우 잘못된 곳으로 향할 위험이 있다. 물론 이런 문제가 발생하는 것을 막기 위한 예방책도 존재한다. 그 예방책이란, 쉽게 설명하면 999 대

의 컴퓨터가 한 곳을 가리키는데 한 대만 다른 곳을 가리킬 때 더 다수가 가리키는 쪽을 택하는 방식이다. 하지만 국가 기관 등이 조직적으로 조작에 나서서 사용자가 요청한 사이트로 향하 는 트래픽을 중간에 빼돌려 자신들이 운영하는 서버를 지나게함으로써 로그인 정보를 빼내거나 트래픽을 감시할 가능성은 여전히 남아 있다.

- 벤처 캐피털은 과거 인터넷 산업의 승자들이 다음 세대의 승자를 뽑아 자신의 돈과 다른 유명 투자자들의 돈을 지원한다는 면에서 그야말로 닫힌 집단이다. 현재의 벤처 캐피털 체제는 극소수의 손에 너무 많은 권한을 쥐여준다. 지금까지 이 체제는 적어도 이윤을 내는 쪽으로는 잘 동작해왔다. 그리고 오랫 동안 이윤을 좇는 데만 집중해도 괜찮은 것처럼 보였다. 그러나 그건 과거의 인터넷이 신생 기업과 혁신 기업의 무대였기 때문 이다. 하지만 이제 그 기업들은 기득권을 쥔 기업이 되었다. 우리는 최근 들어서야 그 사실을 깨닫고 인터넷의 수익 모델과 투자 모델을 재고하고 속도를 늦춰야 할 필요가 있다고 생각하기 시작했다.

- 웽거는 거의 모든 사람이 지구상의 다른 슈퍼컴퓨터에게 말을 걸 수 있는 슈퍼컴퓨터를 들고 다니게 되면서, 사람이 거대 인터넷 기업의 도구로 전락하고 있다고 말했다.

"아이폰은 완벽한 슈퍼컴퓨터입니다. 40년 전에는 지구상 의 돈을 다 끌어모아도 그 정도 연산 능력을 갖춘 컴퓨터를 살 수 없었습니다. 존재하지 않았으니까요. ... 우리가 화면의 아이콘을 클릭하는 순간부터 그 슈퍼컴퓨터는 우리가 아니라 페이스북, 트위터, 아마존 같은 앱 제작자를 위해 일합니다. 그때부터 우리는 세계의 다른 모든 슈퍼컴퓨터와 소통할 수 있는, 엄지 손가락과 두 귀 사이의 생체 컴퓨터만 남은 존재가 됩니다.”  웽거는 시민이자 소비자인 우리가 이 상황을 기꺼이 용납하기 때문에 온라인 권력이 집중된다고 말한다. 이런 상황이 용납되는 한, 이를 이용해 돈을 벌려는 사람도 존재하기 마련이다.

“이런 상황이 독점 기업들에게 지금과 같은 엄청난 권력을 주었습니다. 그들은 서버 수백만 대를 운영하는데 우리가 움직 일 수 있는 건 사실상 엄지손가락뿐이니까요. 너무 비대칭적인 상황입니다. 이런 (정보의 비대칭성을 해결하지 않는 한, 계속해서 누군가는 어마어마하게 큰 독점 기업을 만들 기회를 잡을 것이고, 또 누군가는 그 사업에 자금을 지원할 것입니다."

- 전문가들은 종종 난해한 전문용어와 기술적 세부사항을 방패 삼아 다른 사람이 내부 사정을 자세히 들여다보지 못하게 막는다. 이 수법은 인터넷 산업에서도 자주 사용된다. 영어 약자와 기술 용어로 뒤덮인 글은 몇 초만 들여다봐도 머리가 멍해진다. 특히 온라인 광고업계는 일부러 어려운 말(기술 전문용어, 금융 전 문용어, 해당 분야 사람들만 아는 약자)을 많이 쓰는 경향이 있다.  무언가 이상함을 알리는 또 한 가지 신호는 업계 종사자들 이 자기가 만든 상품을 쓰지 않는다는 것이다. 그런데 이 두 가 지 특징을 모두 만족시키는 산업이 하나 있다. 바로 온라인 광고산업이다.

- 광고 대상을 정할 때, 일반적으로 가장 먼저 참고하는 데이터는 최근 고객 목록이나 메일링 서비스 가입자 목록이다. 각 브랜드는 기존 고객과 연령, 성별, 사회적 지위, 수입 등이 비슷한 사람을 대상으로 광고하고 싶어 한다. 이들이 고객 정보를 데이터관리플랫폼data management platform, DMP에 넘기면, DMP는 대개 수 십 수백 군데의 정보원으로부터 소비자 데이터를 사 모으는 데 이터 브로커에게 연락해 데이터를 보강' 한다. 예를 들어 어떤 브랜드로부터 우편번호를 받았다면, 거기에 지역별 평균 소득 정보를 더해 누가 소득 수준이 높은지 파악하고 주 공략 대상을 정하는 것이다.

이제 DMP는 이상적인 소비자의 데이터를 수요측플랫폼demand side platform, DSP에 전달한다. DSP가 하는 일은 DMP로부터 받은 목록에 있는 사람과 비슷한 부류의 사람을 찾아내 적절한 광고비를 지불하고 그들에게 광고를 보여주는 것이다. DSP는 받은 소비자의 데이터를 그 브랜드를 광고하는 데만 쓰지 않고 다른 수천 개 브랜드를 광고할 때도 참고한다. 그리고 인터넷에 는 이런 DSP가 수천 개 존재한다.

다음 단계는 타깃으로 삼은 특성을 가진 소비자가 인터넷 에 접속하느냐에 달려 있다. 온라인 광고는 소비자가 인터넷을 할 때만 보여줄 수 있기 때문이다. 누군가 웹사이트를 클릭하는 순간, 웹사이트는 (광고를 제외한) 콘텐츠를 준비하는 동시에 광고를 띄우기 위해 공급측플랫폼Supply side platform, SSP에 연락한다.

그러면 SSP는 사용자의 컴퓨터에 깔린 웹브라우저에 요청을 보내 쿠키, 브라우저 정보, IP 주소 등을 최대한 수집한다.

이제 DSP는 어떤 소비자에게 광고를 보여줘야 하는지 알 고 있고, SSP는 자신이 광고를 공급하는 웹사이트를 방문한 사 람(즉 사용자)이 어떤 사람인지 알고 있다. 이제 두 플랫폼은 광고거래소ad exchange에서 만나 거래한다. 광고거래소는 SSP가 가 진 사용자의 데이터를 DSP 수십, 수백 곳에 전송한다. 데이터를 받은 각 DSP는 여러 광고 중 사용자에게 가장 잘 맞을 것 같은 광고를 고른 뒤, 그 광고를 그 웹사이트의 그 자리에 게재하기 위해 얼마까지 낼 의향이 있는지 알려준다. 그러면 가장 높은 광고비를 제시한 DSP의 광고가 사용자의 눈에 보이게 된다.

- 평범한 인터넷 사용자가 이 말을 들으면 아마 말도 안 된다고 생각할 것이다. 대다수 사용자는 웹사이트에서 정보를 수집 한다는 것과 그 사이트에서 보여주는 서너 개의 광고가 맞춤형 광고라는 것까지만 알고 있다. 썩 기분이 좋지는 않지만, 대개 이 정도는 콘텐츠를 보는 대가로 지불해도 괜찮다고 생각한다.

하지만 실제로 일어나는 일은 그 정도 수준이 아니다. 링크 를 클릭하고 페이지를 불러오는 1초도 안 되는 시간 동안, 사용 자의 데이터는 수백, 아니 수천 군데로 전송된다. 그러면 데이터 를 받은 기업은 기존에 모아 놓은 소비자 데이터(그중 일부는 분명 우리의 데이터일 것이다)를 활용해 그가 어떤 사람인지 추측해서 그가 얼마나 가치 있는 소비자인지 판단한다. 즉 인터넷에서 링크를 클릭할 때마다 우리의 데이터는 수천 군데로 전달되고, 그 수천 개의 기업에서 모두 데이터를 분석해 우리가 누구인지 알아낼 수 있다. 이 모든 과정이 그렇게 짧은 시간 안에 완료된다는 사실이 믿기지 않겠지만, 실제로 일어나는 일이다.

오켈리는 기술 용어 없이 60초 만에 이 과정을 설명했다.

- 더블클릭을 인수하기 전까지 구글이 썼던 광고 기법은 사 생활 침해 정도가 훨씬 덜했다(여전히 일부 광고는 과거 방식을 따르고 있다). 현재의 방식이 데이터를 조합해 사용자가 어떤 사람인지 추측한 다음 그와 비슷한 사람들이 선호하는 브랜드의 광 고를 보여주는 방식이라면, 예전의 방식은 사용자의 검색 기록 을 바탕으로 광고를 보여주는 훨씬 단순한 방식이었다. 검색 기 록을 바탕으로 광고할 때는 사용자의 개인정보를 알 필요가 없다. 예를 들어 사용자가 '저렴한 마요르카 휴가 상품'이라는 검색어를 입력했을 때 저렴한 휴가 상품 광고를 보여주기만 하면 된다.

- 더블클릭을 인수하면서 구글은 시의적절하게 광고 시장을 장악할 수 있었다. 이제 구글은 자사 사이트뿐 아니라 인터넷 전 반에 광고를 공급하는 대형 광고 네트워크 회사가 되었다.  구글은 크롬(인터넷 익스플로러나 파이어폭스 같은 웹 브라우저 소프트웨어)과 안드로이드(모바일 운영 체제) 등을 만들어 데이터풀을 계속 넓혔고, 이 데이터 덕분에 점점 더 유리한 고지를 차지했다. 그러는 동안 규제기관은 이들의 수익에 아주 작은 흠집 을 냈을 뿐이다. EU 개인정보보호법 같은 매우 강력한 규제가 있는데도 광고 수익을 기반으로 한 인터넷의 사업 모델은 전혀변하지 않았다.

오켈리는 말했다. “사실 정부는 인터넷을 규제하는 일을 겁내고 있습니다. 하지만 적어도 제가 속한 광고업계에서는 자체규제만으로는 한계가 있습니다. 구글의 힘이 너무 크기 때문입 니다. 좌절감이 들 정도로요. ... 사실 구글은 비교적 올바로 행 동하려는 기업입니다만, 독점이 너무 심해서 구글과 경쟁하는 것 자체가 불가능합니다. 구글에게는 심지어 '브라우저'가 있다. 고요! 제가 경쟁할 상대가 아닌 거죠. 경쟁이 없는 상황은 소비 자에게도 좋지 않습니다. 정부는 구글이 이렇게 큰 권력을 모으는 상황을 용인하고 제대로 된 책임을 묻지 않고 있습니다. 이건 여러모로 안 좋은 일이죠."

- 현재 워싱턴DC에 있는 브루킹스연구소 방문연구원으로 자리를 옮긴 톰 휠러는 인터넷 혁명을 장기적 시각으로 파악하기 위해 노력하고 있다. 벨과 마찬가지로 휠러도 이전의 기술혁명과 인터넷 혁명 사이에 닮은 점을 발견했다. 하지만 그는 다른점에도 주목해 인터넷이 과거의 철도보다 더 큰 영향을 미칠 가능성이 있다고 말했다.

휠러는 이렇게 설명했다. “역사적으로 네트워크는 중앙집중 화를 촉진했습니다. 산업혁명의 상징인 철도는 대량 생산에 유 리한 지역으로 원자재를 실어 나르고 완성품을 여러 곳으로 퍼 뜨리는 일을 수월하게 했습니다. 생산을 중앙집중화한 거죠."

휠러는 웽거와 마찬가지로 철도를 사례로 들었지만, 다른 점에 주목했다. 휠러는 철도를 놓을 때는 돈이 많이 들지만, 일단 철도를 깔고 나면 기차 한 대를 운행할 때 드는 추가 비용은 그리 많지 않으며, 이미 있는 기차에 차를 한 량 더 붙이는 비용은 더더욱 싸다는 점에 초점을 맞췄다. 기차의 이런 특징 때문에 원자재를 대량으로 공장까지 실어나른 다음, 그곳에서 대량 생산을 하는 것이 비용 면에서 효율적인 선택이 되었다. 이전에는 생각하지도 못한 생산 방식이었다. 전에도 마차로 원자재를 나를 수는 있었지만, 원자재의 양이 느는 만큼 마차 한 대당 지불 해야 하는 운송비가 똑같이 늘었기 때문이다.

휠러는 산업혁명 시대에 관한 이야기를 이어나갔다. “모든 것이 중앙집중화되었습니다. 철강 산업의 중심지는 왜 피츠버그 일까요? 자동차는 왜 디트로이트에서 만들까요? 농축산물은 왜 시카고에서 가공할까요? 처음에 철도가 그렇게 놓였기 때문입 니다. 철도가 중앙집중화를 촉진한 거죠. 어차피 다른 곳으로 물 자를 보내려면 일단 시카고를 거쳤다가 가야 하는데, 시카고에 머무는 동안 가공하면 좋지 않겠어요?"  겉으로 보기에 인터넷은 철도처럼 중앙집중화를 촉진하지는 않는다. 앞서 여러 차례 언급했듯이 인터넷은 분산적으로 설 계되었기 때문에, 이론적으로는 물자가 모일 수밖에 없는 중간 지점이 존재하지 않는다.

문제는 데이터와 데이터의 소유권에 관해 우리가 내린 결정 때문에 플랫폼 사업자들(각국의 구글과 페이스북에 해당하는 기업들)이 가상의 시카고처럼 되어버렸다는 것이다. 데이터가 모이는 이들 지점이 중심지가 된 것이다. 그리고 이제는 인터넷의 물리적 네트워크를 소유한 기업들까지 그 세계에 뛰어들 방법을 찾고 있다. 우리는 온라인 세계의 땅이 무한히 넓다고 생각하지만, 온라인에서도 좋은 자리를 선점하기 위한 각축전이 벌어진다. 텔레비전 시대에 대형 케이블 회사들은 엄청난 시장 지배력을 가지고 있었고, 사람들에게 어떤 콘텐츠를 보여줄지 결정할 수 있었다. 그러나 인터넷이 등장하면서 케이블 회사의 사업모델이 흔들리기 시작했다. 이들은 분산된 구조로 설계된 인터넷에 새로 등장한 거대한 중앙집중적 플랫폼 사업자들이 돈을 버는 모습을 지켜봐야 했다.

- 현재 상황은 금융위기 때와 많이 닮았다. 금융위기 직전 전 세계적으로 자산 거품이 형성되었다. 돈의 값어치는 낮았고, 대출을 쉽게 받을 수 있었으며(심지어 일정한 소득이 없거나 소득이 적은 사람도 받을 수 있었다) 시장은 과열되었다.

그러나 아무도 불편한 질문은 하지 않았다. 왜 그런 일이 벌 어지고 있는지, 왜 집값이 월급보다 훨씬 빨리 오르는지 묻지 않 았다. 간간이 기사나 토론에서 복잡한 금융 공학의 문제점을 다 루기는 했지만, 너무 복잡하고 지루하다는 이유로 묻혀버렸다. 부채담보부증권이 뭔지, 합성포지션거래가 뭔지, 우리가 왜 알 아야 한단 말인가? 그런 금융 상품으로 어떻게 돈을 버는지야 수학자들이 잘 알 테고, 은행에서는 똑똑한 사람들이 일하고, 정부도 걱정 없어 보이고, 모두 잘살게 되었는데, 왜 사서 걱정을 해야 하는가?

인터넷에 대한 우리의 태도도 마찬가지다. 어려운 금융용어를 들으면 흥미를 잃는 사람이 많은 것처럼, 기술 용어를 써가 며 네트워크 기반 구조를 상세하게 설명하는 걸 재미있어 하는 사람은 거의 없다. 우리가 어렵다고 생각하고 피하려 하기 때문 에, 힘 있는 사람들은 불편한 질문을 받을 걱정 없이 결정을 내 릴 수 있다.

브라이언 오켈리는 매우 복잡한 분야로 악명 높은 온라인 광고 산업도 일상적인 용어로 설명하면 근본적인 문제가 무엇 인지 곧 드러난다는 사실을 보여주었다. 다른 분야도 마찬가지 다. 우리는 굳이 자세히 알 필요 없으니 걱정하지 말라는 말을 들을 때마다 의심하는 습관을 길러야 한다.

대규모 재앙을 일으키는 것은 우리가 만든 시스템이지 이따금씩 등장하는 악당이 아니다. 그런데도 문제가 생기면 우리는 본능적으로 나쁜 사람을 찾아 모든 죄를 그에게 뒤집어씌우려고 한다.

페이스북의 사생활 침해 문제가 터질 때마다, 사람들은 마크 저커버그의 잘못을 비난한다.

- 인터넷 시대의 시스템이 권력과 부를 어떻게 분배하는지 살피다 보면, 한 가지 사실이 눈에 띈다. 권력과 부를 거머쥐는 데 성공한 사람들이 대부분 백인이고 대부분 남성이고 대부분 인터넷 시대가 시작되기 전부터 부자였다는 것이다.

이 사실은 인터넷이 지닌 여러 맹점을 설명해준다. 어쩌면 그래서 인터넷의 문화적 감수성이 낮고, 초기 소셜 네트워크에서 협박과 희롱이 아무렇지도 않게 행해졌는지도 모른다. 인터넷이 기득권층에 권력과 부를 몰아준 것은 우연이 아니다. 인터 넷이 부와 명예를 좇는 사람들의 장이 되면서부터, 전 세계 기득 권층이 인터넷으로 고개를 돌리리라는 건 쉽게 예상할 수 있는 일이었다. 그리고 예상대로 기득권층은 인터넷으로 몰려들었다.

- 머신러닝의 주류로는 지도학습, 비지도 학습, 강화학습이 있다. 장점과 단점이 각각 존재해 어떤 것이 정 답이라고 할 수는 없다. 지도학습을 하려면 정답이 있는 데이터가 충분히 있어야 한다. 는 것이 큰 단점이다. 정답이 있는 데이터가 있어야 하므로 때에 따라서는 사람들이 직접 레이블을 붙여야 하는 경우도 있다. 반면에 원하는 작업을 비교적 정확하게 할 수 있다는 것이 장점이다. 그래서 일이 정해져 있고 데이터가 풍부한 경우에는 지도학습을 이용한다. 그에 비해 비지도학습은 데이터만 있으면 된다. 대신 적은 양의 데이터로는 학습이 잘 안 된다. 이는 곧 데이터가 많아야 한다 는 말이다. 그렇지만 학습을 위해 정답을 부여하지 않아도 되므 로 쓸모 있는 데이터가 많다면 쉽게 적용할 수 있다.
문제는 지도학습과 비지도학습을 무처럼 잘라서, 여기에는 이 것을 쓰고 저기에는 저것을 쓰는 경우가 거의 없다는 사실이다. 상황에 따라 적절하게 섞어 사용하는 것이 가장 바람직하다. 예 를 들면, 비지도학습으로 적당한 클러스터를 찾고 그다음에 이름 을 붙인 뒤 지도학습을 다시 하는 식으로 학습할 수도 있다.
- 현재 확보한 데이터가 거의 없는 경우라면 강화학습이 유일한 방법이다. 강화학습의 경우에는 에이전트가 실패나 성공을 할 때 마다 학습하므로 계속 반복하면서 데이터가 저절로 생성된다.
즉, 데이터가 저절로 생성된다는 의미다. 어린아이가 넘어지면서 걷는 것을 배우는 것과 비슷하다. 강화학습은 반응에 적응하는 방식으로 배우기 때문에 모델만 잘 만들면 다양한 곳에 활용 할 수 있다. 딥마인드 같은 회사가 강화학습을 통해 일반지능 기술을 개발하는 데 활용하겠다고 하는 것도 이런 이유다. 하지만 데이터가 별로 없을 때 반복적으로 어떤 작업을 할 수 있도록 환경과 에이전트를 정의하는 작업, 많은 수의 시행착오를 거칠 수 있도록 하기가 그렇게 쉽지만은 않다. 그래서 실제로 적용할 수 있는 영역이 상당히 적다. 게임과 같은 환경에서는 반복 적인 시도와 실수를 쉽게 할 수 있어서 강화학습을 쉽고 효율적 으로 적용할 수 있다. 일단 환경에 들어가서 이것도 해보고 저것도 해보면서 학습하는 데 큰 부담이 없기 때문이다. 게임이 아니라 실제 자동차 주행 데이터로 강화학습을 하는 상황이라면 이는 더욱 불가능하다. 큰 사고가 여러 차례 생겨야 학습할 수 있는 상황을 누가 허용할 수 있겠는가.
- 인터넷의 발전 역사를 살펴보면, 초기에는 웹브라우저와 웹서 버 소프트웨어가 포문을 열어 시장을 주도했고, 그다음으로 이들 소프트웨어 보급이 확대되자 포탈과 검색 서비스를 제공하는 기 업으로 주도권이 넘어갔다. 그러다가 모바일시대가 열렸다. 모바 일시대에서는 스마트폰을 이용하는데, 스마트폰은 기본적으로 소통하는 기계이기 때문에 메신저 플랫폼이 모든 것의 중심이 되 었다. 한국의 카카오, 일본의 라인, 중국의 위챗이 전체 모바일 비 즈니스의 주도권을 쥐었다고 해도 과언이 아니다. 그렇다면 그다. 음 인공지능 시대의 주인공은 누가 될까??
이는 사람들의 행태를 보면 어느 정도 짐작할 수 있다. 웹과 메 신저, 이메일, 모바일 앱을 비롯해 전반적인 소프트웨어를 제어 하고 활용할 때 여러 가지를 따로따로 배우기보다는 적은 수의 인터페이스로 일관되고 통일적으로 쓰고 싶어 하는 것이 인지상정이다. 인간은 그렇게 복잡하고 많은 것을 쓰고 관리하기를 좋아하지 않는다. 그렇다면 무엇으로 여러 가지 서비스나 제품을 활용하고자 할까? 대부분의 사람은 음성이나 챗봇을 사용할 가능성 크다고 말한다. 여기에 AI 기술이 접목되고, 기술 편의성과 익숙함이 많이 향상되면 과거의 포탈이나 검색, 메신저 등의 포지션을 차지하게 될 것으로 전망된다.
- 이렇게 하기 위해서는 자연어처리와 자연어 생성 기술도 중요 해진다. 그리고 여기에 다양한 비즈니스 로직을 처리할 수 있는 클라우드 서비스까지 연계한다면 과연 어떻게 될까? 이때 챗봇 음성 플랫폼이 모든 것의 문지기 역할을 할 수 있다. 인터넷과 웹 시대에는 검색이 문지기 역할을 하고, 모바일시대에는 메신저 플랫폼이 그 역할을 했다. 지금은 AI가 중심이 되는 시대이다. 개인이 활용해야 하는 데이 터와 디바이스의 종류가 많은 지금 시대에는 챗봇이나 음성 에이전트가 문지기 역할을 할 가능성이 크다. 결국 이들이 정보를 찾고, 고객을 응대하고, 교육하고, 여러 기기를 컨트롤도 하고, 워크플로우를 관리한다면 이 문지기를 장악하는 것이 미래 가장 중요한 비즈니스 주도권을 가질 것이다. 수많은 기업이 이 시장을 놓고 경쟁하는 이유이다.
- 한 가지 중요하게 살펴볼 부분은 'AI 스피커로 무엇을 할 것인가'이다. 그동안에는 타이머를 맞추고, 음악을 플레이하고, 뉴스를 읽고, 알람을 설정하고, 전등과 같은 사물인터넷 기기를 조종하고, 쇼핑에 도움을 주는 등의 일반적인 사용 형태를 보인다. 하지만 최근에는 보이스 앱 형태로 구매할 수 있는 것들이 점점 많이 등장하면서 앱스토어처럼 다양한 생태계가 만들어지고 있다. AI 스피커로 인지기능을 높여주는 전용 앱을 통해 초기 인지장애 에 도움을 주는 시도도 있으며 명상과 같이 건강이나 치료 목적의 시도도 늘어나고 있다.
- 실제 상황에서는 대부분 데이터 세트의 양은 많지만 정답이나 레이블이 제대로 달려 있는 데이터 세트가 적은 경우가 많다. 이 런 경우에는 양질의 답이 있는 소수 데이터 세트를 이용해서 답 이 없는 데이터에 답을 붙이는 작업을 할 수 있는데, 이런 방식의 학습을 준지도학습(Sermi-Supervised Learning)이라 부른다.  또한 답은 있지만 답이 명쾌하지 않은 경우도 있다. 예를 들어 인스타그램 이미지에는 해시태그가 많이 달리는데, 사실 이 해시태그들이 인스타그램 해당 사진을 제대로 설명하지 못하는 경우가 많다. 그러나 전혀 관계가 없다고 할 수는 없는 약한 연관성을 가지고 있는데 이런 정답 또는 레이블을 약한 레이블(Weak Label)'이라 부른다. 이런 레이블들은 이미지나 데이터를 완벽하 게 설명하지 못한다. 그렇지만 이런 경우에도 데이터가 충분히 많으면 학습을 잘 시킬 수 있는 알고리듬을 만들 수 있는데, 이런 알고리듬을 약지도학습(Weakly-Supervised Learning)이라 한다. 최근에는 이들 두 가지 알고리듬의 장점만을 적절하게 섞은 것도 나오고 있는데 대표적인 것이 페이스북이 2019년 발표한 준약지도학습(Semi-Weakly Supervised Training)이다. 준지도학습 방 식인 스승-제자(Teacher-Student) 모델과 대량의 약지도 데이터 세트에서 최고의 답이 달린 일부 샘플을 구성하고 강화하는 방 식을 동시에 활용하면, 양질의 데이터가 상당히 좋은 성능을 낼 수 있다는 것이 이 연구의 결과이다. 즉 언제나 양질의 데이터가 많아야만 학습시킬 수 있다는 가정은 이제는 틀렸다고 말할 수 있다. 여기에 더해 최근 다양한 연구 성과를 내고 있는 대형모델(Big Scale AI)을 가능하게 만든 자가지도학습(Self-Supervised Learning) 기술의 발전도 빼놓을 수 없다. 항상 정답을 제공해야 하지만 빠 른 학습이 가능한 지도학습이나, 데이터만 제공하면 되기 때문에 학습 가능한 데이터를 쉽게 공급할 수 있는 비지도학습의 장점을 적절하게 섞은 기술이다. 기술에 대한 자세한 설명은 이 책의 범위를 넘기 때문에 생략하지만 자가지도학습' 이라는 용어의 중요성 정도는 알고 넘어가는 것이 좋다.
- 흔히 딥러닝을 이야기할 때 가장 중요한 것 중 하나가 데이터라고 한다. 그렇지만 이 부분에 대해서는 좀더 세심히 봐야 할 필요가 있다. 신경망의 크기나 알고리듬에 따라서 데이터 크기의 중요성이 달라지기 때문이다. 일반적으로 전통적인 머신러닝 알고리듬이나 통계학적 학습의 경우 데이터가 적어도 비교적 좋은 결과를 빠르게 내는 것으로 알려져 있으며, 데이터 양이 많아진다고 해서 성능이 반드시 좋아지는 것은 아니다. 이에 비해 신경망의 경우에는 크기가 크면 클수록, 데이터가 많으면 많을수록 대체로 결과가 좋아지며 성능이 향상되는 경향을 보인다. 단순히 데이터의 양이 많아야만 한다고 이야기하는 것은 옳지 않다. 물론 최근 신경망의 경우, 모델의 크기가 커지면서 데이터 크기가 커지면 성능이 좋아진다고 말하는데, 이것이 완전히 틀렸다고는 할 수 없다. 그렇지만 이런 경우에도 상용화를 할 때는 요구되는 컴퓨터의 연산양이 많아지고 그것이 속도에도 영향을 미치기 때문에, 적절한 신경망의 크기와 데이터의 크기는 상황에 따라 달라질 수 있다는 사실을 잊어서는 안 된다. 그림 7-4는 최근 구글이 공개한 머신러닝 코스 워크 중에서 문제의 프레임을 정의하는 부분이다. 머신러닝 기술 자체를 익히는 것도 중요하지만 상용화를 위해서는 그 밖의 다른 부분을 많이 이해해야 한다. 무엇보다 중요한 것이 머신러닝으로 풀어야 하는 문제를 정의하고, 어떤 종류의 정답이 달린 데이터가 있는지를 확인하며, 모델에 적합한 데이터를 디자인하고, 어디서 데이터를 얻을지 결정하며, 쉽게 얻을 수 있는 입력과 정량적 측정이 가능 한 출력 등을 잘 정의하는 일이다. 이런 과정을 거쳐 데이터 세트를 먼저 만든 후 데이터를 적절하 게 변형해서 모델을 학습시킨 다음에 AI 모델을 적용해 예측한다. 이런 프로세스가 AI 기술을 현업에 적용하는 전형적인 방식이다.
- 때때로 기대와 현실은 무척 다르다. 연구자들처럼 최적의 AI 모델을 테스트하고 최신의 이론을 적용할 것 같지만, 실제 현실에서 하는 일은 어떻게 데이터를 모을 것인지부터 시작해서 설정값을 바꾸고, 데이터가 정확한 것인지 확인하고, 사용할 수 있는 컴퓨터가 얼마나 되는지 기다리거나 컴퓨터에서 발생한 문제를 해결하며, 지속적으로 모니터링하면서 이상한 문제는 없 는지 기다리며 시간을 보낸다. 이런 작업을 효과적으로 하기 위 해 다양한 분석 도구, 프로세스 관리 도구, 서비스 인프라 등을 잘 정하고 활용하는 것이 현실 서비스에서는 머신러닝 모델을 잘 만드는 것보다 중요할 수 있다.
이 중에서도 가장 귀찮으면서도 중요한 것이 데이터를 모으고, 데이터에 좋은 레이블을 붙이는 작업이다. 이는 생각보다 쉽지 않 은 일이라서 이 작업만 전담하는 플랫폼 기업들이 등장하기도 한- 데이터를 모으고 적절한 레이블을 붙이는 작업자와 이들의 작 업을 관리하고 검수하는 시스템을 오픈 플랫폼으로 만들어 양질의 데이터를 기업에 공급한다. 물론 이 작업에도 AI 기술이 활용 되기도 하지만 AI 기술을 제대로 활용하기 위해서는 데이터에 대 해 이해도를 높이고, 좋은 데이터를 만들고 확보하기 위한 노력 을 게을리하면 안 된다. SK C&C가 만든 인공지능 에이브릴을 기억하는가? 이것은 IBM의 인공지능 기술인 왓슨을 라이센싱해서 한국어 버전으로 만든 서비스이다.  이 경우에도 왓슨의 서비스를 제대로 돌리기 위해 한국어 학습 을 위한 데이터 수집이 필요했다. 이때도 크라우드웍스와의 협력다. 국내에서는 크라우드웍스가 대표적이다.
- 에이브릴 서비스의 탄생은 단순히 AI 기술만 있다고 탄생할 수 있는 것이 아니다. 데이터가 중요하다면 스마트폰을 활용해서 사진도 찍을 수도 있고 위치 정보와 거래 정보도 활용할 수 있다. 이렇게 고급 데이 터를 잘 활용해서 학습한다면 생각보다 많은 일을 할 수 있다. 중 국의 위챗은 이런 데이터를 잘 활용한 기술을 많이 사용하는 것으로고 알려졌는데, 중국이 AI 슈퍼파워라고 불리는 이유가 데이터를 마음대로 활용하고 학습할 수 있는 기회가 많아서이다(최근에는 중국에서도 강력한 개인정보보호법이 시행되기 시작했다), 이에 비해 한국은 개인정보보호법이 강력해서 실제 작업할 때 어려움이 만만치 않다. 그렇다고 새로운 학습을 하지 못하도록 해서 AI 기술의 발전이 저해된다면 손해가 막심할 것이다.