빅데이터 사용 설명서

- 조직문화가 분석 지향적으 로 변화하려면 경영자의 압력, 즉 경영자가 의사결정의 근거가 되는 데이터를 만들라고 구성원을 독려하고 그 분석결과를 잘 활용하도록하는 압력이 절대적으로 필요하다.
구글, 아마존, 넷플릭스 등 글로벌 수준에서 최고 기업의 공통점은 무엇일까? 이들은 바로 데이터 분석적 경영으로 최고 경쟁력을 구가하는 기업이라는 사실이다. 그리고 그 성공의 배후에는 언제나 분석 지향적 조직문화를 구축하고 강요한 경영자가 있다. 이들 경영자의 공통된 신념은 “우리는 신을 믿는다. 하지만 (신이 아닌) 모든 다른 사람은 (그 근거가 되는)데이터를 가져와라 In God we trust, but all others must bring data" 라는 유명한 문구다.
- 1960년대 중반에 고무 발포로 만들어진 매트가 모래나 톱밥 대신 사용되기 시작했다. 이 매트는 부드러울 뿐만 아니라 모래나 톱밥보다 높이 쌓을 수 있었다. 따라서 착지할 때 선수들이 받는 충격 은 거의 없었다. 포스베리는 이런 환경 변화에 맞추어 과감한 기술을 시도했다. 다른 선수들은 관성에 젖어 기존 방법을 답습할 때 그는 머리로 착지하는 새로운 배면뛰기를 시도한 것이다. 그리고 그의 시도는 높이뛰기 역사를 바꾸는 엄청난 성공으로 이어졌다.
포스베리의 사례가 시사하는 바는 명확하다. 이미 우리 곁에 와 있는 기술과 환경 변화, 즉 빅데이터와 인공지능을 기업이 혁신의 도구 로 활용해야 한다는 것이다. 빅데이터 시대의 5대 핵심기술인 소셜, 모바일, 사물인터넷, 클라우드, 인공지능을 자기 사업을 혁신하는 새로운 도구로 활용하는 디지털 전환은 이제 선택이 아니라 필수다.
- 메일이 왔을 때 이 메일이 스팸인지 정상 메일인지 구분하는 스팸 필터 프로그램을 만든다고 하자. 규칙기반으 로 만들려면 스팸이 아닌지 스팸인지 고르는 규칙(조건문)을 나열해 야 한다. 하지만 예를 들어 대박, 할인, 공짜 등 스팸 필터는 최소한 1만 개 단어를 고려하는데 메일에 각 단어가 들어 있는지 확인하려 면 프로그램이 1만 줄 필요하다. 만약 두 단어 조합을 고려하는 규칙을 만들려면 프로그램이 약 5천만 줄이 더 필요하다. 규칙을 나열하는 것만도 수작업으로는 불가능한 것이다. 기계학습은 수작업으로 규칙을 만들기가(프로그래밍하기가) 불가능한 문제를 컴퓨터 알고리즘이 데이터에 내재하는 패턴을 스스로 학습 하는 것이다. 기계학습의 종류는 다음과 같이 구분할 수 있다.
* 데이터 마이닝 센서 데이터, 클릭기록, 의료기록, DNA 분석 등
*수작업으로 프로그래밍할 수 없는 것들: 글자 인식, 이미지 인식, 스팸 제거, 자율운행차, 헬기) 등
* 개인 최적화 추천 알고리즘
* 강화학습
- 기계학습의 문제는 데이터에 내재하는 패턴을 찾기 위해 정답이 붙은 많은 데이터가 필요하다는 것이다. 예를 들어 스팸 필터는 스팸과 메일 각각 몇천 개로는 학습의 정확성이 매우 낮으므로 최소한 각각 수십만 개 메일과 스팸이 필요하다. 또한 패턴을 찾으려면(예를 들어 스팸과 메일이 얼마나 다른지를 계산하려면) 엄청난 계산을 빠르게 수 행해야 하므로 고성능 컴퓨팅 파워도 필요하다. 데이터의 폭증과 함 께 컴퓨터 계산 능력과 알고리즘이 비약적으로 발전한 빅데이터 시대 에 기계학습이 안성맞춤의 궁합으로 눈부신 성과를 내는 이유가 바로 여기에 있다.
- 개리 매커스Gary Marcus는 딥러닝은 “많은 훈련 데이터가 필요하므로 탐욕적이고, 문제의 맥락이 달라지면 적용할 수 없으므로 불안정하며, 과정을 설명할 수 없으므로 불투명하고, 인지 기억 추론 등 실질적 지능이 없으므로 피상적이다"라고 비판했다. 
- 전통적으로 롤스로이스가 엔진을 항공사에 판매하면 항공사는 엔진에 대한 정비와 부품 조달 등의 모든 것을 책임졌다. 하지만 항공사는 이런 책임에서 벗어나 승객 서비스에만 전념하기를 원했 고 롤스로이스는 토털케어라는 인공지능 솔루션으로 응답했다. 토털 케어의 핵심은 엔진의 소유와 관리에 대한 리스크를 항공사가 아니라 롤스로이스가 책임지고 항공사는 엔진을 사용한 시간만큼만 power by the hour 비용을 내는 것이다. 따라서 롤스로이스는 엔진 정비와 부품 조달 등 모든 것을 책임지고 엔진의 신뢰성과 유용성을 최대로 보장 해야 했다. 그러려면 롤스로이스는 가능한 한 고장 나지 않는 엔진을 만들어야 하고, 운항중인 엔진의 상태도 실시간으로 측정하고 이상 을 조기에 탐지해 즉각 대응할 수 있어야 했다. 또한 정비도 신뢰성을 유지하면서 동시에 신속하게 해야 했다. 항공기가 운항중일 때 엔진에 장착된 센서는 주요 부품의 성능과 관련된 진동, 오일 압력, 온도 등의 데이터를 실시간으로 데이터 센터 에 전송한다. 전 세계 세 지역에 있는 데이터 센터에서는 엔진 상황을 실시간으로 모니터한다. 즉 실시간으로 유입되는 엔진 데이터를 인공 지능이 자동으로 분석해(부품 고장이나 교체 필요성 예측) 엔진의 이상을 조기에 탐지하는 것이다. 또한 이상이 탐지되는 경우 찾아가는 서비스를 제공한다. 즉 해당 항공기의 도착지에 미리 정비요원을 대기 시켜서 승객이 내리는 동안 정비를 완료함으로써 비가동시간downtime 을 최소화한다.
토털케어는 엔진뿐만 아니라 항공기 전체의 모든 시스템에 대한 주요 작동 데이터도 수집한다. 인공지능을 활용해 항공기의 운항 성 능과 관련된 데이터를 종합적으로 분석함으로써 연료 소비의 효율을 최적화하는 서비스도 제공하는데 이로써 연료비용이 1~2% 절약된 다. 이렇게 해서 절약되는 비용이 항공사 규모에 따라 2천만 달러에 서 2억 달러에 달한다.
현재 40여 개 대형항공사의 4천여 개 엔진이 토털케어 서비스에 가 입되어 있으며, 최신의 트렌트Trent 엔진은 95%가 가입되어 있다. 지난 10여 년간 롤스로이스 주가는 지속적으로 상승했는데 롤스로이스의 서비스 매출은 2003년에는 10%에 불과했지만 2012년부터는 50%를 초과했다. 롤스로이스에서 가장 큰 변화는 고객을 위한 기술과 서비스 개발, 즉 부품 고장이나 교체 필요성을 예측하는 예방 정비predictive maintenance, 신속한 정비를 위한 부품 공급망의 최적화, 자산관리asset management 의 효율 증대에서 철저하게 데이터 분석을 바탕으로 한 조직 문화가 자리 잡았다는 것이다. 사내에 서비스 개발 관련 석사학위 과정도 만들었다.
- 세계적으로 가장 창의적 기업이 데이터 분석에 기반을 두고 경쟁 우위를 구가하는 사실은 다음 두 가지를 시사한다. 첫째는 빅데이터 시대에 기업 창의성의 원천은 새로운 원유'라고 일컬어지는 데이터 분석에 있다는 것이다. 아마존 CEO 제프 베조스는 이런 흐름에 대해 "이 세상의 미래 주인은 분석에 뛰어난 기업들, 즉 사물들이 관련되어 있다는 것을 알 뿐만 아니라 왜 그리고 어떤 패턴으로 관련되어 있는 지 아는 기업들이다”라고 표현했다. 둘째는 개인의 창의성 또한 분석 능력을 키우려는 노력으로 기를 수 있다는 것이다. 즉 기업은 직원들을 대상으로 분석능력을 향상하는 프로그램을 운영하거나 분석이 일상화된 기업문화를 조성함으로써 창의성을 높일 수 있다.
- 디지털 혁신을 위해 가장 중요하고 비용도 들지 않는 출발점이 있다. 경영자가 직원들에게 숫자를 요구하는 것이다. 데이터에 근거하지 않은 보고는 받지 말고 그냥 던져버려라. 경영자가 매일매일 받는 보고(서)에는 종종 문제해결 대책이나 제안이 들어 있다. 하지만 그 제안이 데이터에 근거하지 않았다면 아예 보고서를 읽지도 마라. 정확한 증거에 입각해 보고와 의사소통을 하는 환경을 조성하려면 경영자가 먼저 데이터를 요구해야 하기 때문이다.