데이터의 보이지 않는 손

- 통계학 책을 보면 정규분포를 전제로 서술한 내용이 많음. 통계학을 공부하다 보면 삼라만상을 정규분포로 설명할 수 있으며, 그 이외의 분포는 예외라고 생각하기 쉬움. 정규라는 이름 자체에 그런 어감이 내포됨. 그런데 현실 사회의 빅데이터에 등장하는 통계분포는 우하향하는 U자형 분포가 압도적으로 많음. 우하향 분포에선 변수값이 0일 때 빈도가 가장 높고 변수가 커질수록 빈도가 일방적으로 줄어듬. 정규분포와 U분포는 그래프 모양이 완전히 다르다. 하나는 종모양이고 다른 하나는 오른쪽으로 갈수록 기울기가 계속 낮아진다. 약간의 차이가 아닌 것이다.
- 우리는 어떤 사물과 사건이 그렇게 된 데에는 원인이 있다고 생각하기 쉬움. 부자에게는 분명 평범한 사람에게는 없는, 무언가 다른 점이 있을 거라며, 그 이면에 숨은 원인을 캐고 싶어함. 그러나 실제로는 교환을 여러차례 반복하면 뚜렷한 원인이 없어도 편중이 생겨남. 자원이 한쪽으로 쏠리는 현상은 결코 능력이나 노력 때문이 아니라 교환의 반복 때문에 생긴 통계의 힘이라는 사실을 잊지 말아야 함. 현실사회에서는 자연발생적 분배의 불균형과 더불어 능력의 차이도 있으므로 빈부의 차가 더욱 커짐
- 우리는 대개 좋은 배우자를 만나 결혼하고 새집을 사고, 보너스를 많이 받으면 더 행복해진다고 생각. 그러나 류보머스키 교수의 정량적 연구에 따르면, 이런 요인이 행복감에 미치는 영향은 의외로 적음. 반대로 우리는 인간관계가 어긋나고 일에서 실패하면 불행해진다고 생각. 그러나 연구결과는 그렇지 않음. 인간은 우리가 상상하는 것보다 훨씬 빨리, 좋은 쪽으로든 나쁜 쪽으로든, 자신을 둘러싼 환경요인의 변화에 익숙해짐. 이 환경요인에 속하는 요소는 매우 다양. 인간관계, 돈, 건강이 모두 환경요인에 포함됨. 그런데 놀랍게도 이런 환경요인을 모두 만족시켜도 행복을 느끼는데 환경이 차지하는 비율은 10%에 불과
- 행복한 사람은 창의성, 업무실적, 소득수준, 결혼 성공률 등이 높고 사교적이며 건강하고 장수한다는 사실이 밝혀짐. 정량적 수치로 나타내면 행복한 사람은 그렇지 않은 사람보다 생산성이 평균 37%, 창의성이 300%나 높다. 중요한 일을 잘하는 사람이 성공해서 행복한 것이 아니라 행복한 사람이 일을 잘한다는 것. 그리고 행복수준은 성공여부에 상관없이 오늘의 사소한 행동만으로도 끌어올릴 수 있다는 것. 물론 행복수준을 끌어올린다고 해서 반드시 성공을 거두는 것은 아니다. 그러나 성공확률은 한층 높아짐. 행복한 사람은 창의적 사고로 생산적 일을 즐기고, 행복한 결혼생활을 누리며, 건강과 장수를 얻을 수 있는 확률이 높아짐
- 행복은 가속도 센서로 측정 가능. 행복이란 사람마다 고유하고 다른 것이라 생각하는 사람들이 많음. 하지만 실험에서 드러난 것은 '행복한 사람은 신체를 잘 움직인다'는 단순하고 공통된 사실이다. 물론 하는 일이 다르면 그에 따라 움직이는 양도 달라짐. 그러나 같은 사람인 경우 행복수준이 높으면 움직이는 빈도가 더욱 늘어난다는 것은 의외의 발견이다. 일의 조건이 다른 사람끼리 비교해서 움직이는 양의 많고 적음에 따라 어느쪽이 행복한지 논하는 것은 의미가 없음. 그렇지만 행복할수록 움직임이 더 많아진다는 것은 사실이다. 이것은 행복이 적극적인 행동과 밀접하게 연결되어 있다는 내용과도 부합함
- 대화가 활발한 조직에서는 생산성이 올라가는 한편, 그렇지 않은 조직에서는 생산성이 내려감. 이것은 보편적, 일반적 현상이다. 그리고 조직원 전체의 신체 움직임을 가속도 센서로 검출하면 조직의 활발도를 정량화할 수 있으므로 다양한 산업분야에서 조직의 활발도가 생산성과 어떤 관련이 있는지 확인가능. 여기서 흥미로운 점은 이 실험에서 전화를 받는 업무는 오로지 개인적 업무이지 팀플레이 일이 아니라는 것. 이처럼 개인적 성격이 강한 업무조차 대화 활발도라는 집단적 요소가 생산성과 비용에 큰 영향을 미치고 있다
- 누군가 마지막으로 만난 뒤 다시 만날 때까지 걸리는 재회 간격, 이메일을 받은 뒤 답신할 때까지 걸리는 시간, 안정상태에서 활동상태로 전환할 때까지 걸리는 시간, 움직임이 있는 행동의 지속시간은 모두 1/T의 법칙을 따름 이것은 제너레이터가 다양한 인간행동에서 기본적으로 작용하고 있음을 보여줌. 이 법칙을 다른 말로 표현하면 '행동은 계속할수록 멈추지 못하게 된다'이다. 그 사람과 만나지 않는 상태, 이메일에 답신하지 않는 상태, 조용히 쉬는 상태, 움직임이 있는 행동은 무엇이든지 계속할수록 멈출수 없는 성질이 있다는 것. 이 네가지 행동에 공통적으로 나타나는 1/T의 법칙을 더 설명하고자 한다면 여러가지 설명이 가능. 재회 간격에 대해서는 누군가와 헤어진 뒤 시간이 흐를수록 다른 일이 끼어들 가능성이 높기 때문에 그 사람과 다시 만나기가 점점 더 어려워진다고 설명할 수 있음. 그리고 이메일에 대해서는 간단히 답신하기 어렵거나 까다로운 안건에 대한 메일이라서 점점 더 답신하기 어려워진다고 설명할 수 있다.
- 사람이 가장 제어하고 싶지만 제어하기 어려운 대상이 바로 자신의 마음이고 특히 중요한 것은 '즐기고 있는가' 여부가 아닐까. 몰입이란 주관적인 느낌으로서 즐기고 있는지 그렇지 않은지를 나타내지만 이를 자주 경험하는지 그렇지 않은지는 센서로 측정가능한 신체움직임과 크게 관련 있음이 증명됨. 일이나 일상에서 즐거움과 충족감을 느끼는 사람은 신체 움직인의 계속성이 높다는 사실이 밝혀짐. 즐거움과 충족감이라는, 모든 사람이 바라지만 좀처럼 손에 잡을 수 없는 감정이 눈에 보이는 구체적 대상으로 변한 것이다. 이로써 몸을 계속적으로 약간 빠르게 움직이는 상황을 만들면 일이나 일상에서 즐거움과 충족감을 느낄 수 있을 것으로 기대할 수 있음. 더욱이 이 움직임은 특별한 것이 아니라 1/T방정식이 보여주듯이 인간의 가장 자연스러운 상태이다
- 적극적 문제해결과 창의적 사고를 지향할수록 대화 중에 기준치를 넘는 빠른 신체 움직임이 많아짐. 즉 대화활발도가 올라감. 상대가 하는 말에 고개를 끄덕이거나 다시 묻기도 하고 자신의 생각을 밝히기도 하면서 빠른 신체 움직임이 증가하는 것이다. 따라서 질 높은 대화가 오가면 신체 움직임이 늘어날 수밖에 없다. 대화의 질이라고 하면 우리는 보통 대화내용이나 주고받는 단어에 주목하기 쉬움. 하지만 앞서 설명한 대로 대화의 질은 신체의 움직임을 통해서 드러난다고 볼 수 있음. 따라서 웨어러블 센서로 신체 움직임을 측정하면 대화의 질을 평가할 수 있음.
- 기존의 데이터 분석은 연역적 처리에 강한 컴퓨터를 이용하여 분석가가 직접 해왔다. 이처럼 데이터 분석을 전문적으로 하는 이들을 데이터 과학자라고 하며 현재 가장 주목받는 새로운 직종 중 하나로 급부상 중. 그러나 여기에는 큰 문제가 있다. 데이터 분석은 본래 귀납적인 일인데 연역용으로 만들어진 컴퓨터를 쓸 수밖에 없다는 것. 이 간극을 메우려면 사람이 데이터 분석에 필요한 적절한 가설을 세우지 않으면 안됨. 그런데 실제로 사람이 적절한 가설을 세울 수 있을까. 슈퍼마켓에서 데이터는 고객, 점원, 진열대, 상품, 시간, 행동 등 그 종류와 수가 방대하고 다양함. 데이터 항목상 선택지가 너무 많아서 가설을 어떻게 세우면 좋을지 짐작할 수 없음. 방대한 데이터에 어떤 현상과 법칙성이 숨어 있는지 인간으로서는 도저히 상상할 수 없음. 사실 가설 따위를 세울수가 없는 것이다. 사람이 세울수 있는 가설은 이미 매장 관계자가 쉽게 가정할 수 있는 것이거나 이미 알려진 것뿐이었다. 실험에서 유통 전문가가 한 것처럼 기껏해야 매장 관계자를 인터뷰하거나 그동안 쌓은 경험과 직감으로 가설을 세울 수 밖에 없다. 그것을 데이터로 검증하는 수순이 될 수밖에 없음. 게다가 분석가에 의한 가설검증방식에는 엄청난 노력이 들어감. 가설을 세우기 위해 관계자의 말을 듣거나 현장조사를 해야 할 필요도 있음. 이런 일도 포함하면, 경험상 분석재료가 되는 데이터를 정리하기까지 분석작업의 90%이상이 소요됨. 그 뒤에 컴퓨터를 활용한다 하더라도 90% 이상이 사람의 수작업과 시행착오의 연속이다. 이쯤 되면 장인의 수공업에 가까움. 그동안 빅데이터 분석현장을 보노라면 가내수공업에 종사하는 장인의 공방시절로 돌아간 듯한 착각마저 든다. 언뜻 최첨단 기술직으로 보이는 애널리틱스와 데이터 과학자라는 직업은 실상 스승과 제자의 직감과 경험에 의존하는 전적으로 수공업의 한계인 것이다. 정작 가장 중요한 부분, 시간과 노력이 요구되는 부분에는 공업화도 컴퓨터화도 되어 있지 않은 것이다. 이만큼 많은 일손을 들이고도 미리 세운 가설에 따라 분석작업을 하면 당연한 결과밖에 나오지 않는 경우가 많음. 비용대비 효율성이 너무 낮다. 그런데 이것은 역사적으로 보면 과학자들이 늘 해온 방식이다. 과학자들이 하는 일이란 관측 데이터의 이면에 숨은 법칙성을 발견하는 것. 과학사를 돌이켜보면 뉴턴, 볼츠만, 아인슈타인, 슈뢰딩거 등 몇몇 천재만이 법칙을 발견했다. 그리고 그런 발견은 극히 드물게 일어남. 빅데이터를 손에 넣었다고 해도 기존 수공업적인 방법을 사용하는 한 상황은 크게 달라지지 않음. 스스로 학습하는 기계인 인공지능 H는 이런 비효율적인 애널리틱스를 더이상 필요없게 만든다
- 빅데이터로 이익을 내기 위한 세가지 원칙은 다음과 같음
* 1원칙 : 향상시켜야 할 실적을 명확히 한다
* 2원칙 : 향상시켜야 할 실적과 관련된 사람, 사물, 돈에 관한 데이터를 널리 수집한다
* 3원칙 : 가설에 의존하지 말고, 컴퓨터가 실적 향상 대책을 데이터로부터 역추정하도록 만든다
- 슈퍼마켓 사례에서는 처음부터 이 세가지 원칙을 의식하고 실험에 나섰다. 그중 가장 중요하면서도 잘 지켜지지 않는 3원칙은 간단히 말해 '컴퓨터가 가설을 세우게 하는 것. 이 원칙이 잘 지켜지지 않는 이유는 데이터 분석은 사람이 가설을 세우고 컴퓨터와 데이터를 활용해서 그 가설을 검증하는 것이라는 고정관념이 퍼져 있기 때문
- 가설을 세워 검증하는 것은 문제해결의 올바른 길이다. 그러나 빅데이터가 존재하는 문제일 경우 가설을 세우는 일은 사람이 아니라 컴퓨터가 해야 함. 사람이 가설을 세워야 한다는 고정관념을 버릴 필요가 있다. 거듭 말하지만 인간이 대량의 데이터의 전모를 이해하기란 불가능하다. 전모는 커녕 그 개요조차 파악할 수 없는 것이 빅데이터의 특징. 이런 한계 때문에 사람이 세운 가설은 대량의 데이터의 은혜를 입지 않은(대량의 데이터를 무시한) 경험과 직감에 의존하는 가설일 수 밖에 없다. 다양한 종류의 대량의 데이터가 존재하는 문제만큼은 컴퓨터에게 가설을 세우게 하는 시대가 오고 있는 것이다.
- 그동안에는 업무의 표준화와 매뉴얼화가 업무를 향상시키기 위한 바람직한 모습이라는 사고방식이 뿌리를 내려 고객이나 종업원은 정해진 매뉴얼과 기계에 맞추어 움직였음. 그러나 업무공정을 표준화하고 컴퓨터로 철저하게 관리했음에도 실상 매뉴얼대로 잘 이루어지지 않고, 오히려 매뉴얼이 걸림돌이 된다는 우려도 있음. 제3세대 세상에서는 인간이 기계와 공저에 맞추어 일하는 것이 아니라 기계와 컴퓨터가 인간에 맞추게 됨. 이들이 환경변화 속에서 자율적으로 판단하여 결과에 책임지는 한사람 한사람을 지원하게 될 것이다. 앞으로 컴퓨터는 데이터를 통해서 스스로 학습하며 이 책에서 서술한 인간의 신체, 사회적 법칙성과 그 제약도 이해하는 쪽으로 발달할 것. 이런 학습하는 기계로 무장된 지식 노동과 서비스에서는 언제나 데이터에 의거해서 역사와 현재로부터 배우고, 변화에 유연하게 적응하며, 변화를 능동적으로 만들어낼 것이다.
- 슈퍼마켓 사례를 들면, 우리는 매출을 올린다는 목적을 정하고 대량의 데이터를 입력해서 스스로 학습하는 인공지능에 실적향상 모델을 역추정 시켰다. 그 결과를 바탕으로 점원을 고감도 장소에 더 많이 배치했고 결국 매출이 15% 향상됨. 이 회사가 점원을 늘려 배치한 이유는 이익을 많이 내기 위해서였음. 그러나 이 배치변경이 불러온 효과는 실상 매출향상만이 아니었다. 점원과 고객의 활발도도 높여줌. 활발도가 올라가면 행복수준이나 적극성이 함께 올라감. 매장의 매출이 오른 이유는 신체활동이 활발해져서 점원의 적극성과 고객의 활발도가 올라갔기 때문이라 볼 수 있음. 데이터를 봄니 아마도 배치 변경에 의해 매장내 고객의 흐름이 바뀌었기 때문에, 고객에 대한 응대시간이 전반적으로 늘어났음을 알 수 있음. 그러나 흥미로운 점은 고객이 점원의 응대를 받은 시간이 길든 짧든 고객 자신의 구매금액에는 직접적인 상환이 없었다는 것. 그런데 매장에서 점원이 고객을 상대하는 일이 많아지니까 그 장면을 본 다른 고객의 구매금액이 늘어나는 효과가 일어난 것이었다. 고객에 대한 응대는 고객이 궁금해하는 정보를 제공한다는 직접적 효과보다는 다른 고객과 점원이 활발하게 교류하고 있는 모습을 보여줌으로써 매장이 성황이라는 느낌을 갖게 하는 간접적 효과가 매출에 더 큰 영향을 주었다고 볼 수 있음. 실제로 가속도 센서로 측정한 데이터를 보면 고객 상대시에 점원의 활발도가 올라감. 또 그 모습을 본 다른 고객이 머무는 시간도 길어져서 구매금액이 증가. 데이터를 보면, 매장 내 고객 응대 빈도가 10%만 올라가도 고객단가는 92엔이나 늘어났고, 고객응대시 고객활발도가 10%만 올라가도 고객단가는 68엔이나 증가.