책정리

---

빅데이터 마케팅 데이터는 답을 알고 있다

저자

문석현 지음

출판사

휴먼앤북스 | 2014-05-09 출간

카테고리

경제/경영

책소개

빅데이터는 마법이다! 21세기 데이터 경영 시대의 승부수, 빅데...

---

- 출루율을 기초로 타자를 평가하는 방식은 빌리 빈이 처음 만들어낸 것은 아님. 이런 움직임은 오히려 아마추어 마니아들 사이에서 먼저 생김. 열광적 야구팬이었던 빌 제임스는 77년 야구를 통계적으로 분석한 1977년 야구개요: 18개 항목의 야구통계 독점제공이라는 68페이지 책을 자비로 출간. 이 책은 단 75명 밖에 구입하지 않았지만 이후 매년 시리즈를 내면서 독자가 늘어남. 마침내 전문적인 과학자들도 여기에 참여하면서 야구통계를 과학의 영역으로 끌어들이게 됨. 빌리빈의 접근 방법 자체는 대부분 이 시리즈에 담긴 내용에서 유리. 하지만 이런 접근 방법을 현실세계에 적용하기까지는 오랜 세월이 걸렸음. 왜냐하면 기존 야구전문가들이 이를 받아들이지 않았기 때문. 90년대 초반까지 이런 일을 하는 사람들은 야구 구단 내부의 의사결정이 거의 영향을 미치지 못했음. 텍사스 레인저스에서 이 일을 했던 크레이그 라이트는 이런 말을 했다. "내가 만든 자료를 한번이라도 활용하려면 그 팀의 단장이 되는 수밖에 없습니다. 하지만 그런 제의는 들어오지 않더군요."
- 제프 베조스는 책에 대한 기호는 사람들마다 다르지 않을까? 고객 개개인의 구매선호에 맟춰 책을 추천할 수 있다면 어떻게 될까? 하는 생각을 했음. 아마존은 당시 이미 고객들이 어떤 책을 샀는지 어떤 책을 보는지에 관한 데이터를 보관하고 있었음. 대부분은 데이터를 이용할 좋은 아이디어가 떠올라도 데이터가 없어서 못하는 경우가 많은데 아마존의 경우에는 이 부분은 문제가 없었다. 다음은 데이터로부터 개개인을 위한 추천목록을 계산해내는 것인데 이부분 또한 전통적인 사용자 기반의 협업적 필터링이라고 하는 방법이 알려져 있었음. 현대의 추천엔진에서 사용하는 협업적 필터링이라고 하는 기술은 개념상으로는 그다지 어려운 것이 아님. 사용자 기반의 협업적 필터링에서는 먼저 사람간의 유사성을 계산. 가령 A라는 사람에게 뭔가 상품을 추천해주려고 한다고 하자. 이때 먼저 과거에 구매한 상품의 목록을 바탕으로 A와 성향이 비슷한 B라는 사람을 찾는다. 그런 다음 B는 구매를 했지만 A는 아직 구매하지 않은 상품을 A에게 추천해주는 방식이다. 다만 이 과정에서 군데군데 고등수학이 들어간다. 예를 들면 고객간의 유사성을 어떻게 계산할 것인가 하는 문제이다. 가령 A는 7개의 상품을 구입했고, B는 5개를 구입했는데 그중 3개가 서로 일치했다. 그러면 A와 B의 유사성은 얼마로 해야 하나? 여기에는 몇가지 방법이 있으며, 그중에서 상황에 맞는 적절한 방법을 찾아 사용해야 함. 예를 들어 구매정보처럼 예/아니오로 표현되는 경우와 별 하나부터 별 다섯개까지 평점을 매기는 경우에는 유사성을 계산하는 방식이 다를 수 있음. 하지만 이 사용자 기반의 협업적 필터링이 아마존의 경우에는 적절하지 않았다고 한다. 계산에 시간이 너무 많이 걸려 고객전체에 대해 계산을 할 수 없기 때문에 샘플링을 통해 일부 고객에 대해서만 계산을 했다. 아마 이 부분은 오늘날이라면 컴퓨터 성능이 많이 향상되어 별로 큰 문제가 되지 않았겠지만 당시로서는 기술적으로 어려웠음. 게다가 추천결과도 형편없었음. 예를 들면 폴란드에 관한 책을 사면 동유럽 요리책을 추천한다거나 육아서적을 한권 사면 똑같은 종류를 잔뜩 추천하는 식이었음. 아마존의 추천기술을 만든 그레그 린든은 이 문제에 대해 새로운 해결책을 찾아냄. 바로 상품기반의 협업적 필터링이라고 하는 방법. 이 방법에서는 사람들간의 유사성을 계산하는 대신 상품간의 유사성을 계산함. 예를 들어 A상품을 산 사람과 B상품을 산 사람이 많이 겹치면 A와 B는 유사한 상품이라는 식으로 규칙을 만드는 것. 계산은 아마 이 방법을 통해 많이 빨라졌을 것임. 그 이유는 대개 사람의 숫자보다 상품의 숫자가 훨씬 적기 때문. 예를 들어 사람이 100만명이고 상품이 1만개라 치자. 이 경우 모든 사람들 간의 유사성을 계산하기 위해서는 약 5천억번의 계산을 해야 함. 하지만 모든 상품들 간의 유사성을 계산하기 위해서는 약 5천만번의 계산만 하면 됨. 이런 방식을 도입하면서 샘플링을 하지 않고 전체 데이터를 이용해서 상품간 유사성을 계산할 수 있었고 이 방법으로 훌륳나 추천결과를 얻을 수 있었음. 이제 아마존은 사이트에 어떤 것을 띄울지 결정해야 했다. 기계가 만든 개인별 추천목록을 내보낼 것인가. 아니면 사내 편집팀이 작성한 리뷰를 내보낼 것인가 하는 경쟁이다. 판매량을 비교해본 결과 데이터에서 나온 자료들이 훨씬 더 많은 판매량을 기록했다. 눈으로 보았을 때 추천결과가 잘 이해가 되지 않는 경우도 많음. 하지만 그런 것은 중요하지 않았다. 결국 편집자들의 리뷰를 웹사이트에 올렸을 때 아마존이 포기해야 하는 매출이 정확히 계산되었고 편집팀은 해체됨
- 사용자 기반의 추천엔진은 "당신을 위한 추천상품은 A,B,C입니다"라고 소개하는 방식. 이 방식은 사용자가 누구인지를 알아야 한다는 어려움이 있다. 상품기반의 추천은 A라는 상품을 보고 있는 사람에게 "A를 산 사람들은 B,C,D도 샀으나 한번 보세요"라고 권해주는 방식. 이것은 사용자가 누구인지도 알 필요가 없고, A를 봤다는 사실이 중요함. 이 방식은 누구인지를 알 필요는 없는 대신 사용자 행동에 관한 정보가 필요하다는 점이 차이. 이런 차이 때문에 두가지 방법은 적용할 수 있는 영역이 다름. 사용자 기반 추천의 경우에는 처음에 인터넷 사이트에 접근해서 메인화면을 보고 있따거나 할 때 보다 적합한 기술인 반면, 상품기반 추천은 이미 관심이 있는 상품을 클릭해서 상세내용을 보고 있을 때 적용하기 좋은 기술. 이런 차이때문에 티켓몬스터는 두가지 기술을 적당히 섞어 필요한 곳에서 사용하고 있음.
- 지금까지 여러 회사에서 쿠폰을 이용해서 매출을 올리는 일을 하는마케터들을 만나서 이야기를 들어본 바로는, 비록 엄밀한 실험까지 안했더라도 쿠폰은 처음에는 확실히 효과가 있지만 계속하면 할수록 약발이 떨어지는 것 같다는 직관적 감을 공통으로 갖고 있음. 하지만 그만두지도 못함. 첫번째 이유는 명확하게 손해가 난다는 것을 입증하기 어렵기 때문이며, 두번째는 하던 쿠폰 프로모션을 중단하게 되면 당장에 매출이 줄어들 가능성이 높기 때문. 마지막은 자신들이 하는 일이 쿠폰 프로모션이기 때문에 그것이 효과가 없다는 것을 인정하기 어렵다는 점도 있음. 쿠폰이 쓸모없다고 이야기하는 것은 아니다. 설계하기에 따라서 얼마든지 결과가 달라질 수 있다. 가령 쿠폰을 받을 대상자를 좀더 신경써서 선정한다면 결과가 달라질 수 있다. 쿠폰의 내용이나 기한을 바꾸면 또 달라질 수 있다. 그리고 어떤 경우에는 손해보는 줄 뻔히 알면서도 이런일을 해야하는 경우도 있다. 가령 경쟁사에서 공격적으로 쿠폰 프로모션을 진행하면 이쪽에서도 시장점유율 때문에 손해보는 줄 알면서도 진행해야 함. 가격경쟁이 붙었을 때 경쟁사에서 가격을 내리면 이쪽도 가격을 내리지 않을 수 없는 것과 같은 원리. 하지만 생각해 봐야 하는 것은 할인 쿠폰과 같이 직관적으로는 당연히 매출을 끌어올릴 수 있을 것 같은 수단도 오히려 매출을 감소시키는 요인을 작용할 수도 있음.