빅데이터만 아는 기상천외의 비밀들

허리케인이 오기전엔 맥주를 많이 산다고?

백우진 디지털뉴스룸 선임기자

[아시아경제 백우진 기자] 빅데이터는 무소불위인가. 빅데이터가 그 힘을 정치ㆍ경제ㆍ사회 등 여러 분야에서 보여주고 있다.

2012년 미국 대통령 선거에서 버락 오바마 후보는 빅데이터를 분석해 적절히 활용했다. 오바마 후보 진영은 유권자를 다섯 가지 성향으로 나누고 자기편을 지지할 가능성이 있는 대상을 설득하는 데 힘을 기울였다.

빅데이터는 사회 문제에도 적용된다. 통계를 분석해보니 스포츠 경기가 치러진 이후 경기장 주변 지역에서 범죄가 증가하는 것으로 나타났다. 또 범죄를 저지른 적이 있는 사람을 일정 기준에 따라 평가해, 재범률이 20%인 그룹과 50% 이상인 그룹으로 분류할 수 있었다.

빅데이터가 가장 많이 쓰이는 곳은 기업이다. 유통업체 테스코는 빅데이터로부터 개별 고객이 어느 품목을 구매할지 예상하고 이를 바탕으로 할인쿠폰을 발급했다. 그 결과 할인쿠폰 사용률이 이전보다 3.6배로 높아졌다. 할인쿠폰 마케팅의 효과가 그만큼 커진 것이다.

다른 유통업체 타깃은 빅데이터로 여성 고객의 임신 여부를 예측한 결과 임신한 고객을 이전보다 30% 더 찾아내 이 리스트를 마케팅에 활용하게 됐다. 데이터 마이닝 전문가인 에릭 시겔이 책 '빅 데이터 다음 단계는 예측 분석이다'에서 든 사례들이다.

◆ 만병통치 묘약은 아냐= 그러나 '빅데이터는 (만병통치의) 묘약은 아니며 조직을 대체하는 게 아니라 보완한다'고 기술전문가 필 사이먼은 말한다. 사이먼은 책 '당신의 흔적에 기회가 있다'에서 빅데이터를 골프채 중 하나로 비유한다.

그는 "빅데이터는 여러 골프채 중 하나로, 단지 점점 더 활용도가 높아지는 채 정도로 생각하면 된다"고 설명한다. 나아가 "빅데이터가 이미 사양길에 접어든 사업체를 부활시킬 수 있다거나 서투른 경영의 결과를 뒤바꿀 수 있다거나 망가진 기업 문화를 고칠 수 있다거나 하는 기대를 가져서는 안 된다"고 조언한다.

사이먼은 또 "기업은 빅데이터의 도움으로 소비자를 더 잘 이해할 수 있지만 조직 내의 여러 필수적인 기능을 수행해줄 수는 없다"고 말한다. 다시 골프채로 비유하면 빅데이터라는 드라이버로 공을 멀리 보낼 수는 있어도 퍼팅을 잘 할 수는 없다.

빅데이터로 큰 기회를 열려면 우선 빅데이터라는 개념을 이해해야 한다. 사이먼은 우선 무엇이 빅데이터인지 아닌지를 알아야 한다고 말한다. 트위터에서 나온 데이터는 빅데이터지만, 인구조사 결과는 빅데이터가 아니다. 통신회사의 세부 통화내용 기록, 웹 로그, 소셜 데이터 등은 모두 빅데이터가 될 수 있다. 그러나 고객ㆍ직원ㆍ제품 목록은 빅데이터에 해당하지 않는다.

◆ 양상을 예측하는 데 유용= 빅데이터로 할 수 있는 일과 하지 못하는 일을 분별할 줄 알아야 이것에 휘둘리지 않는다. 빅데이터를 아무리 처리해도 뾰족한 답이 나오지 않는 영역이 있다. 예측을 벗어나는 외생 변수가 많고 사람이 상호작용하면서 결과가 나오는 금융시장과 거시경제 같은 영역이다.

시겔은 주가 빅데이터로부터 향후 주가의 움직임을 찾으려는 시도를 소개했다. 그는 주가지수에 선행하는 불안지수에 대한 연구를 전했다. 불안지수가 낮을 때 주가가 오르고 높을 때 주가가 떨어진다면 이 지수를 활용해 투자해 높은 수익률을 올릴 수 있다. 그러나 연구는 '불안지수가 높아지면 지수 상승률이 낮아지는 경향이 있다'는, 의미가 별로 없는 결론에 그쳤다.

사이먼은 서브 프라임 모기지 론(비우량 주택담보대출) 부실로 인한 금융위기를 예로 들며 "빅데이터를 통해 트렌드를 포착해내는 능력을 키울 수 있을지는 몰라도 일관되고 정확하게 미래를 예측할 수 있는 건 아니며 빅데이터 세계에서조차 우리는 여전히 다층적인 불확실성과 공존해야 할 것"이라고 말한다.

빅데이터는 일정한 조건이 주어질 때 특정 개인이나 집단이 어떤 의사결정을 내리고 행동하는지 그 양상을 예측하는 데 유용하다. 예컨대 태풍이 언제 닥칠지는 예측하지 못하지만 태풍이 덮치면 사람들이 어떤 행동을 보이는지 보여준다.

월마트는 2004년 빅데이터를 분석해 허리케인의 영향권에 있는 지점들이 특정 제품을 더 많이 판매했음을 발견했다. 그러나 흔히들 생각하는 제품들만 많이 나간 것은 아니었다. 월마트 관계자는 "과거에 허리케인을 앞두고 딸기맛 팝타르트가 평상시보다 7배나 더 많이 판매됐다는 사실은 모르고 있었다"고 들려줬다. 또 허리케인이 다가오는 시점에 가장 많이 팔린 것은 맥주였다.

사이먼은 이 사례를 들어 "빅데이터의 이용을 극대화하려면 열린 마음을 가질 필요가 있다"고 조언한다. 그는 "빅데이터를 이용한 결과 놀랍고도 반직관적이기까지 한 사실들이 종종 밝혀지고 있다"고 설명한다.