1

빅데이터; 막연하게 큰 데이터를 떠올리곤 했다. ‘크다’라는 단어에서 느껴지는 내연과 외연은 ‘작다’라는 단어에 직접적인 영향을 받는다. 내연과 외연이 상대적인 단어에 영향을 받기 떄문에 기술적인 의미 자체로도 ‘모호’하다. 얼마나 커야 ‘빅데이터’일까? 빅데이터 아닌 데이터는 작아서 의미없나? 뭐 이런 생산적이지 않은 질문에 휩싸여 렛츠 파이어 하곤 했다.

그렇지만 생산적일 수 없는 질문만 남발하게 만드는 빅데이터를 우리는 그토록 목 놓아 부르짖고 있다. 우리의 삶이 ‘저문강에 삽을 씻고’ 집으로 향하기 보다는 ‘저문강에 셀카를 찍는’ 삶을 살아가고 있으며, 하루의 4~5시간 이상을 비트의 흐름에 몸을 맡기고 있는 걸 봐서는 ‘빅데이터’를 목 놓아 부르짖고 있는게 무의미한 짓은 아닌듯 싶었다.

가을도 아닌데 이 책을 통해 빅데이터가 뭔지 어렴풋한 감은 잡을 수 있었다. 그러나 먹을 수 있는지 그리고 그것이 얼마나 가치있는지는 모르겠다. 최소한 내가 하고자 하는 일을 세상에선 어떻게 생각하고 어떻게 바라보고 있는지에 대해서 고민해 볼 수 있는 기회를 가질 수 있었다.

2

혹여나 나처럼 개발자 출신이면서 빅데이터 업무에 투입된 사람이 있다면 이 책은 매우 훌륭한 책이다. 왜냐하면 첫째, 빅데이터 기업에 대한 소개가 많이 나오고 있어서 자신이 하는 일과 유사한 업종을 찾아서 해당 자료를 찾다보면 ‘아키텍처’같은 좋은 케이스 스터디 자료가 나온다. 둘쨰, 생각보다 많은 곳에서 빅데이터를 사용하고 있다는 점을 깨닫게 됨과 동시에 어떤 기술셋을 갖춰야 하는지에 대한 ‘영감’을 얻을 수 있다. 마지막으로 매우 고맙게도 매우 쉽게 쓰여진 책이라 읽기 쉽다. 쉬운걸 떠나거 그냥 하루에 30분씩 출퇴근 시간에 읽으면 1주일(여기서 1주일은 5일을 뜻 함)이면 충분히 읽을 수 있다.

그렇지만 여전히 손오공이 타고다니는 근두우 친구인 뜬구름 잡는 것 같은 느낌같은 느낌이 내 몸을 사로잡아 가오가이거 골디머 해머로 호두까먹는것 같다는 점은 어쩔 수 없는 현실이다.

---

그렇다면 최종적으로 ‘기계’들끼리 경매를 한다는 말인데, 튜링 테스트를 인공지능 기계들끼리 시키면 어떻게 될까? 기계적일까? 인간적이띾?

더욱이 최근에는 사람을 대신해 자동 알고리즘이 실시간으로 데이터를 분석해 사람들이 몰려드는 미디어(디스플레이, 비디오, 모바일, SNS 등)을 찾아내고 인기 미디어를 통한 광고를 그때그때 경매 형식으로 입찰하여 확보(구매) […] 이런 방식을 실시간 입찰(RTB, Real-Time Bidding)이라 한다.

먹고 살아야 하는 입장에서 기술변화는 기회다.

기술의 변화는 인력의 변화를 요구한다.

데이터는 어쩌면 자신을 세상에 존속시키고 싶어하는 DNA의 발현이 아닐까? 하는 개드립을…

‘주어진 것(things given)’이라는 어원에서 보듯 데이터는 ‘세상의 흔적’이라고 할 수 있다.

좋은 문제다. 최소한 내가 먹고 사는데 도움이 되는….

빅데이터는 새로운 해결책이지만 동시에 새로운 문제(니즈)이기도 하다.

효과적으로 제공하는 방법이 디지털이 아니라는 점이 중요하다. 결국은 고객이 원하는 것을 줘야한다. 그런데 그 고객이 ‘자동화된 매매 시스템’이라면?

비즈니스 모델은 결국 “고객이 원하는 것이 무엇이고 이를 어떻게 제공할 것인가?”, “고객에게 제공하는 것과 돈 버는 것을 어떻게 연결할 것인가?”에 답하는 문제다. 여기서 고객이 원하는 것을 효과적으로 제공하는 것을 보통 “고객가치를 충족시킨다”라고 표현한다.

주어진 것에서 우린 무엇을 얻어야 하는가? ‘인사이트?’

빅데이터 비즈니스 모델과 기존 비즈니스 모델의 차이점은 이익 실현 대상이 데이터와 데이터로 파생되는 가치에 있다는 것이다.

‘아마존, 구글, 애플, MS, 오라클, 코카콜라, 맥도날드…’ 이 정도는 떠오른다. 그런데 플랫폼 덕분에 웬만한 기업은 추풍낙엽…

[…] 디지털 시대에는 콘텐츠, 플랫폼, 고객 경험 3가지 요소가 결합되어 고객가치를 창출하는 비즈니스 모델이 유효하다고 주장했다.

빅데이터 응용가는 뭔가 애매한데 그렇다고 아니라고 하기에도 애매하다.

[…] 데이터 과학자(data scientists)의 기술, 경력, 경험, 과업 등을 분석해 이들을 데이터 비즈니스맨(data business poeple), 데이터 창출자(data creatives), 데이터 대리인(data developer), 데이터 연구가(data researchers) 4가지로 구분했다. […] 이러한 4가지 유형에 하나 더 추가할 수 있는 비즈니스 모델이 있다. 바로 기존 서비스를 빅데이터를 이용해 차별적인 스마트 서비스로 변모시키는 빅데이터 응용가다.

논어는 깊이, 사기는 길이, 화엄경은 폭, 사서삼경은 시점…. 흠… 아닌것 같아.

[…] 데이터가 가지는 고유 특성을 간과할 수도 있다. 데이터는 필요에 따라서는 매우 상세하고(깊이), 과거로부터 현재까지 어떤 변화가 있었는지 자세히 보여주며(길이), 관심 주제 혹은 의사결정 사안에 대한 모든 이슈를 다뤄야 한다(폭). 마지막으로 데이터 이용자가 필요로 하는 특정 시점의 데이터가 있어야 한다.(시점)

잘 접근해보자.

[…] 그렇지 않은 기업들이 빅데이터를 활용해 신사업을 계획하려면 어떤 접근법이 필요할까? 이와 관련해서 5가지 접근법이 있다. 1) 기존 제품으로부터의 데이터 수집 2) 자산의 디지털화 3) 산업 내외의 데이터 통합 4) 다른 기업과의 제휴나 파트너십 5) 서비스 능력의 코드화

마켓팅, 기획이 중요한 이유라 할 수 있다.

[…] 이에 대해 JR동일본은 판매 정보에는 개인 식별이 가능한 항목은 포함되지 않으며, 요청하는 고객의 경우 판매 정보에서 제외하겠다고 발표했다. […] 결국 JR동일본은 2013년 9월 스이카 데이터 판매를 보류한다고 발표했다. ; […] 대중의 반발이 빚어질 것으로 예상한 NTT 도코모는 오랫동안 수집한 데이터들을 먼저 대학 등 연구기관 및 지방자치단체들과 함꼐 공익 및 공공사업에 활용해 데이터 사용의 안정성을 입증하고 대중의 공감대를 형성하는 데 주력했다.

“지식인”의 성공사례

[…] 빅데이터 창출자는 고객이 평소에 빈번하게 부딪히는 문제를 해결하는 데 데이터를 통해 도움을 준다.

개인에 대한 조심스럽고 깊은 탐구가 필요하다.

[…] 개인에 관련된 데이터는 생각보다 매우 다양한다. […] 개인의 신상, 소통 방식, 사회적 관계, 정부와의 관계, 재산 상태, 건강, 사회활동, 창작물, 상확, 맥락 등 다양한 데이터가 개인과 관련돼 있다.

음…. 서비스 만들때 참고해보자.

푸드 지니어스의 수익은 기업을 상대로 한 메뉴 정보 제공으로 창출된다. 식당 위치별 정보 검색 기능이나 지도와 가격 데이터를 제외한 전체메뉴에 대한 단순 데이터의 제공 가격은 사용자당 한 달에 2,000달러 정도고, 모든 기능이 포함된 가격은 1만 달러 정도다.

정치적인 요소도 반영될까?

[…] 단순히 웹상의 부동산 가격을 찾아 모으는 게 아니라 관련 데이터를 통해 부동산 가격을 추정하는 것이 이 모델의 특징이다. 예를 들면, 지역 땅값과 평균 주택 가격을 매치한 데이터로 특정 주소의 부동산 가격을 정확히 예측해낸다.

‘커뮤니티!’가 중요하다.

«포보스»의 분석에 따르면 구글이 웨이즈를 인수한 이유는 웨이즈의 끈끈한 사용자 커뮤니티, 웨이즈가 페이스북이나 애플로 넘어갈 경우의 위험성, 구글 맵의 보완 또는 대체를 염두에 둔 것으로 보인다.

여튼, 데이터에 쏘울을 담아보자!

데이터 저장공간 제공업체인 ECM의 빌 슈마르조(Bill Schmarzo)는 데이터가 돈이 되는 경우를 3가지로 정리했다. 첫 번째는 자신이 보유한 데이터(분석한 결과와 함께)를 잘 포장해 다른 기관에 판매하는 것이다. 두번째는 자신의 상품이나 서비스에 분석기법을 적용해 인텔리전트한 제품을 창출하는 것이다. 세 번째는 유용한 정보를 추천해 고객과의 관계를 긴밀히 하고 고객의 경험을 높은 수준으로 재구현하는 것이다.

덕심을 공략해 보는건 어떨까?

빅데이터 대리인 플랫폼에는 2가지 유형이 있는데, 하나는 범용 플랫폼을 제공하는 형태이고, 다른 하나는 특정 분야의 전문 플랫폼을 제공하는 형태이다.

그 나라는 어떤 나라인가?

[…] 그런데 최근 들어 기업들에 유용한 정부, 공공기관의 데이터 공개가 늘어나면서 오픈 데이터를 활용해 기업 업무를 지원하려는 사업들이 등장하고 있다.

인간의 통찰력을 보조해주는 것일까? 아니면 통찰력을 제한하는 것일까?

[…] 소셜미디어 데이터 분석을 원하는 기업들의 시간과 노력을 크게 줄여주는 데 그치지 않고 의사결정을 돕는 서비스를 제공할 수도 있다. 이를 ‘서비스화된 데이터(DaaS, Data as a Service)’라고 부른다.

연예인에게 “악풀은 관심이 아닙니다”와 같은 말이지….

[…] 불필요한 정보를 걸러내는 것도 경쟁력이다.

그런 ‘연구자’를 내 생에 볼 수 있을까?

[…] 데이터 처리 역량 면에서 보면 수집, 저장, 분류, 분석 등 활용을 제외한 모든 과정을 잘 알아야 성공적인 모델을 구축할 수 있기 때문에 빅데이터 연구자형은 구현하기가 쉽지 않은 비즈니스 모델이다.

난 왓슨이 좋은 것 같다. 이제 셜록이만 만들면 될 것 같아?!

시리와 왓슨은 모드 사람의 말을 이해하는 자연어 처리가 가능하다는 공통점이 있지만 출발점이 다르다. 시리자 다양하고 간단한 일반적인 질문에 상싱적인 답을 하는 것을 목표로 개발되었다면 왓슨은 특정 분양의 전문가로서 정확하고 적절한 답을 제시하는 것이 목표였다. 즉, 문제 해결에 대한 상향식 접근법(시리)과 하향식 접근법(왓슨)의 차이가 있다.

토폴로지 혹은 또모르지!

[…] 즉, 더욱 정밀한 데이터 분석 방법이라기보다는 아무 종류의 데이터 세트에나 적용해 그 속에서 의미를 찾을 수 있는 융통성 있는 방법으로 위상수학이 주목받고 있다.

이토규에몬은 필히 케이스 스터디 해 볼 것!

[…] 이토규에몬; 다만 IT나 데이터와는 무관해 보였던, 역사가 오래된 지역의 작은 기업이 시장에서 경쟁에서 살아남기 위해 점차 빅데이터 비즈니스 모델을 수용하는 과정을 보여준다는 점에서 시사하는 바가 크다.