신호와 소음

Nate Silver

워낙 유명한 책이지만, 분량이 많고 사뭇 기술적인 내용 아닐까 싶어 마음 한켠에 치워뒀던 책입니다. 대량의 데이터를 다루는 기계학습 관련해서 공부를 하다 보면 이 책이 종종 언급되길래 최근에야 손이 갔습니다. 글이 너무 재미나고 통찰도 풍부해서 여러 주말 동안 잘근잘근 읽었습니다.

 

모든 신호는 소음이었다.

 

제 나름대로 뽑아낸 이 책의 한 줄 요약입니다. 우리는 매일, 매분, 수없이 많은 패턴을 접합니다. 나와 주변의 물리적 움직임, 도박과 경기, 정치적 함의, 경제의 변화, 날씨와 재해 등 시간 속에 흘러가는 모든 것들이 대상입니다. 그 의미는 알수 있거나 모르거나 오해하거나 짐작할 따름입니다. 그러다 어떤 사건이 벌어지고 의미가 생기면 우린 과거의 패턴들을 되짚어 봅니다. 그리고 아, 이게 신호였구나 느끼지요.

모든 신호는 소음이었다

하지만, 진행 과정에서는 어느게 소음이고 어느게 신호인지 알기가 어렵습니다. 즉 신호는 사후적으로 발견되고 그 이전까지는 '소음'에 불과합니다. 종종, 어떤 이는 소음을 신호라고 착각하고 행동하고 대가를 치르기도 합니다.

 

이 신호와 소음 문제는 너무도 미묘한게 매직아이 같습니다. 한번 보이면 계속 보이고 안보이면 절대로 안보입니다. 또 이 신호와 소음 문제는 상당히 허탈한게 신기루 같습니다. 가짜지만 한번 눈에 들어오면 진짜 같습니다.

 

그래서 전문가라는 사람들을 바보로 만듭니다. 소위 전문가는, 항상 일 끝나고 나타나서 '이런 신호가 이미 있었어'라고 죄책감을 심어주거나, '지금 이게 위험의 징조야'라고 겁박합니다. 대개는 두 경우 다 옳진 않습니다. 본질적으로 소음의 수가 압도적으로 많아 신호를 포착하는게 쉬운 일은 아닙니다.

 

또한 사회는 '맞은 전문가'만 기억하며 소음에서 신호를 포착하는게 쉽게 가능하다고 믿고 싶어합니다. 그렇게 새로 나타나고 용도 폐기되는 전문가를 딛고 예측놀이를 하며 세상은 흘러갑니다. 사실 놀이란 말도 어폐가 있는게 집합적인 공황상태로 단순한 해답을 간절히 찾는 마음의 반영일 따름입니다.

 

네이트 실버가 공들여 주장하는 책의 첫머리는 바로 이 부분입니다. 비교적 예측이 가능한 자연현상을 대상으로 볼까요. 번영하는 현대 과학의 도구로 지진이나 날씨를 예측하는게 불가능해 보이지 않습니다. 그러나 이미 수많은 과학자가 달려들었고, 거의 실패했고, 몇몇은 대실패를 합니다.

 

소음 속 신호 포착, 또는 예측의 어려움은 본질적으로 어떤 현상의 진행과정이란게 선형적이지 않고, 초기조건과 경로에 의존적인 복잡계적 성질이 있기 때문입니다. 자연과학만 해도 그러한데, 사회과학은 더 합니다. 같은 정도의 복잡성에 더해 사람들의 인식과 판단에 따른 결과가 다시 시스템으로 되먹임되기 때문에 한층 예측이 어렵습니다. 즉 소음에서 신호를 잡았다고 생각되어도 허튼 소음이라 실제 틀렸을수도, 그때까진 맞았지만 보이는 순간 계의 성질이 바뀌어 이후에는 안맞을 수도 있기 때문입니다.

 

그렇다면 모든게 소음이니 그냥 시끄러운 아우성만 듣고 말아야 하는걸까요.

 

이 책의 진수는 소음을 대하는 우리의 바람직한 자세입니다. 저자는 이를 베이즈적 사고방식으로 함축합니다. 선험적 인식 또는 사전확률을 갖되, 새로 발견하는 사실에 따라 품었던 가설을 보정하는 방법론입니다. 즉 신호를 지목하되 내가 틀릴수도 있음을 열어두는 것이고, 소음을 소음으로 간주하되 신호로 발전할 가능성을 모니터링 하는겁니다.

 

책은 이러한 맥락으로 다양한 분야의 데이터를 기반으로 신호와 소음의 경계선을 논합니다. 저자 자신이 탐닉한 도박, 정치적 투표, 야구의 내용은 사례 자체만 읽어도 매우 흥미롭고 통찰적입니다.

 

Inuit Points ★★★★★

사례가 풍부하면서 많은 인터뷰를 거친 쫀득쫀득한 책입니다. 데이터와 예측을 보는 제 관점에도 많은 깨달음이 있었습니다. 특히 베이즈 정리를 단순히 '조건부' 확률 따위로 알았던 제게, 선험적 인식을 보완해가며 진리를 향해 나가는 '탐구과정'으로 생각하게 해준 점은 큰 배움이었습니다. 마지막으로 요즘 말 많은 얼치기 멘토와 학자적 전문가에 대해서도 시사하는 점이 많습니다. 전 이렇게 정리했습니다.

 

모든 가능성을 열어 두고 모호하게 말하는 사람은 핵심이 없어 지루하지만

단 하나를 집어 인과를 명확히 설명하는 사람은 기만적이라 믿기 힘들다.