모두 거짓말을 한다

"가설을 시험하기에, 독백은 이상적인 데이터 세트가 아니다."

시장조사든 설문이든 다수의 응답을 모아 함의를 찾는 일을 해본 분들은 바로 와닿는 이야기입니다. '자기 보고'는 언제든 오류의 가능성을 내포하고 있기 때문이지요.

 

이유는 다양합니다. 설문조사자 또는 응답내용을 들을수 있는 근처 사람을 의식해서 그럴수도 있습니다. 하지만 프라이버시가 보장된 응답에도 이런 경향성이 보입니다. 트럼프 대통령의 설문된 지지율 응답과 실제 투표율간 괴리를 정밀히 조사해 보면, 일관되게 2%의 과소평가가 관찰되었으니까요.

즉, 허영(vanity)이건 정치적 올바름(PC)이건 어떤 항목은 스스로가 스스로를 속이는 셈이기도 합니다. 그래서 책 제목이 모두가 거짓말을 한다는겁니다. 악의가 없을지라도, 진실을 말하지 않는다는 의미에서의 거짓말입니다.

 

그런데, 신도 모르고 부모님도 모르고, 심지어 나조차 모르는 은밀한 진심을 아는 존재가 있습니다. 바로 구글 같은 빅데이터이지요. 전문가는 물론, 친구에게도 묻기 힘든 내밀한 궁금증을 우리는 구글에 묻습니다. 성적취향을 반영한 포르노를 검색하거나, 플루의 증상이 될지도 모르는 고통을 물어보기도 합니다.

 

SethStephens-Davidowitz

(Title) Everybody lies

이 책이 파고드는 부분이 바로 이 지점입니다. 빅데이터로 파악하는 진솔한 시대정신이지요. 실은 구글 검색이 이 지식을 사용자에게 공개한 첫 서비스 이름이 시대정신 (zeitgeist)였습니다. 지금은 구글 트렌드로 변경이 되었지만요.

 

저자는 구글 검색의 빅데이터 측면을 연구하여 논문을 발표했고, 다소간의 논란 끝에 유명세가 생긴 후 구글에 취직하여 데이터에 몰입합니다. 그렇게 회사의 전폭적 지원하에 연구한 다양한 결과가 소개된 책입니다.

 

처음 트럼프 사례를 조금 더 보면 데이터는 다소 끔찍합니다. 여러가지 상관관계 및 인과관계를 찾다가 저자는 트럼프 지지가 오바마 전임 대통령에 대한 반 흑인 감정임을 알아냅니다. 이게 설문에 안 잡히는건데요. 오바마가 당선되었을 때, 미국 국민은 국가적인 진보성과 개방성을 자축했고 여러 설문에도 그렇게 잡힙니다. 그러나, 구글에서 인종차별적 검색이 나오는 시점과 지역이 이후 트럼프 지지 및 투표의 축이 되어가는게 구글 검색으로 드러납니다.

 

물론 이런 음울한 결과만 있는건 아닙니다.

스포츠의 팬덤이 생성되기 가장 좋은 나이는 8세입니다.  이건 구글이 아니라 페이스북의 좋아요와 연령을 분석하고 팀별 최빈 연령과 우승시기를 매칭하면 바로 잡혀 나옵니다. 빅데이터 분석의 전형적 사례이지요.

 

정치적 입장이 형성되는 시기는 18세입니다. 그 언저리 시기 대통령의 인기도에 따라 정치적 견해가 형성되는 것이 데이터로 보입니다. 세월호 세대가 촛불집회에 많이 나온 것은 미래 한국 정치에 대단한 변곡점을 만든것이지요.

 

경제적인걸 볼까요. 같은 소득이라도 부자동네와 가난한 동네 사는 것은 평균 수명에 차이가 있습니다. 부자동네 사람이 통계적으로 의미있게 더 오래 삽니다. 이유는 행동양식의 전염성입니다.

 

그 외에도, 섹스, 동성애, 편견, 아동학대 등에 대한 데이터는 놀랍게 솔직하거나, 놀랍게 반직관적이기도 합니다. 저자는 디지털 자백 약(truth serum)이라고 표현할 정도지요.

 

이 책의 진가는 이러한 빅데이터 사례를 나열함에 있지 않습니다. 저자 스스로도 인정하듯, 아직도 한계가 많고 시작 단계에 머무는 빅데이터 분석에서, 먼저 경험한 자로서 취했던 접근법, 겪었던 시행착오를 찬찬히 적어두고자하는 자세가 인상적입니다. 커지기전 괴물의 힘을 알아보고 같이 길들여가자는 초대장 같습니다. 사회과학이 진짜 과학이 되는 의미깊은 순간이니까요.

Inuit Point ★★★★★

읽다 보면 괴짜경제학 같은 느낌이 납니다. 매우 학문적인 저자가 꽤나 대중적으로 흥미롭게 쓴 책입니다. 읽다보면, 저자가 괴짜경제학의 빅데이터 버전을 쓰고 싶었다고 이야기 합니다. 그랬다면 성공이라고 말해주고 싶습니다. 깊이와 재미 둘 다 놓치지 않았으니까요. 별 다섯 줍니다.