최근에는 뇌의 작동 원리에 대한 책을 많이 읽고 있다. 인공 신경망의 연구자로서 실 세계에서 일어나는 뇌 활동과 컴퓨터 속에서 시뮬레이션 되는 인공 신경망의 활동이 유사하다는 것에 놀랄 때가 많다. 학습과 예측, 그리고 결과 되먹임이 뇌에서 일어나는 대부분의 일이며, 이는 인공 신경망 구조에서도 동일하다. 최근 나의 몇 가지 발견 중 인상 깊은 것을 기록한다.
놀람은 예측의 실패이다. 예측의 실패는 인공 신경망에서는 Loss 가 높다고 표현된다. 뇌는 예측(Prediction) 기계이다. 가능하면 많은 행동과 추론을 거의 기계적으로 이루어지는 예측에 의존한다. 뇌는 예측을 신속하게 하도록 진화했다. 예측은 사전 확률과 수집 된 데이터 샘플로 이루어진다. 여기서의 데이터 샘플이란 우리의 감각 기관에서 들어오는 다양한 형태의 데이터이다. 데이터 샘플이 사전 확률 분포, 즉 예측에서 벗어날 경우 뇌는 끊임없이 사전 확률을 업데이트 한다. 사전 확률을 얼마나 업데이트 할지, 어느 주기로 업데이트 할지 등이 사람마다 다르다.
전례 없던 경험을 하면 새롭게 예측을 해야 한다. 모든 감각 기관에서 들어오는 정보들을 최대한 받아들이고, 새롭게 분석을 하며 어떤 예측 모델을 써야 할지 결정해야 한다. 내 행동이 어떤 반응을 불러 일으키는지 세심히 관찰해야 한다. 이 경우 뇌는 신체를 ‘긴장’ 시킨다. 감각 기관을 예민하게 하고, 안정적인 환경에서 주로 수행하던 언어 처리 기능을 약화 시킨다. 사람이 많은 군중 앞에서 드문 발표 기회를 얻었을 때의 신체 반응을 생각해보라.
예측이 실패하려면 끊임없이 새로운 환경에 노출되어야 한다. 늘 같은 것을 먹고, 같은 행동을 한다면 예측이 실패할 일이 별로 없다. 이 경우 점점 더 예측 의존성이 높아지며 우리가 완고하다, 고집이 세다라고 부르는 성격 특징이 나타난다. 세상을 몇 가지 확신으로 설명하려 시도 한다. 나이가 들면 들 수록 이러한 현상이 더 강해지는 것을 흔히 볼 수 있다. 뇌는 최소한의 에너지만 쓰게 된다. 뇌의 기능이 약화되었기 때문에 결과적으로 이런 현상이 나타날지도 모른다. 결국 확신 몇 가지로 인생을 살아가게 된다.
반면 어린이는 예측이나 확신에 많이 의존하지 않으며 고도로 민감한 감각에 의존한다. 자극과 수용된 감각이 훨씬 많으므로 뇌에서는 지속적인 사전 확률 수정이 일어나며 세계에 대한 새로운 상(Model)이 형성된다. 인공 신경망에서 Learning Rate 라고 불리는 수치가 굉장히 높다. 그들에게는 예측의 정확도를 높이는 것 보다는 정확도는 낮지만 예측을 할 수 있게 만드는 기능을 구성하는 것이 훨씬 시급한 일이다. 바스락 거리는 네 발 달린 커다란 동물을 근처에서 느꼈을 때, 사자와 호랑이를 구분하는 것이 중요한 것이 아니라 사자나 호랑이 비슷한 것이라도 나타나면 도망가야 한다는 사실을 먼저 배우는 것이 중요한 것이다.
예측의 정확도는 객관적인 세상의 사실과 부합하느냐로 평가하는 것이 아니다. 가능하면 나의 생존에 유리하도록 판단하는 것이 예측의 목적이다. (Objective Function) 이 과정에서 객관적 현실과의 괴리가 발생하기도 하며, 감각을 다르게 왜곡하여 해석하기도 한다. 뇌는 세상의 진실에는 관심이 없다. 유명한 ‘사람은 그들이 믿고 싶은 것을 믿는다.’라는 말을 다시 해석해보면 ‘사람은 자신의 뇌에 생성된 확신에 부합하는 형태로 감각을 해석하는 경향이 있다.’로 말할 수 있다. 우리는 에너지의 30% 이상을 뇌의 활동에 쓴다. 이러한 뇌의 목적이 진리 탐구나, 세상에 대한 이해의 폭을 넓히는데 있다고 생각하면 순진한 것이다. 뇌도 마찬가지로 개체의 생존을 위해 존재한다.
한마디로 표현하면, 뇌는 적응적인 예측 기계이다. 뇌가 기계와 다른 점은 끊임 없이 수정되는 예측 모델이 존재한다는 점이다. 뇌는 세상을 보는 눈이 없고, 만질 수 있는 감각이 없다. 뇌는 오직 생리학적인 신호로 외부와 소통한다. 생명이 탄생한 이래 극도로 제한적인 정보만을 취하며 살아 남았다. 예측이 틀렸을 때의 유연한 업데이트, 모든 자극을 취합해 순식간에 결론을 내리는 고도의 병렬 프로세싱, 감각과 예측 사이의 가중치 벨런싱, 언어와 시각, 청각 모두에 예민한 멀티모달리티 등은 인간의 뇌, 인공 신경망 모델 양쪽을 서술하는 말이다.
따라서 인공 신경망에서도 어느 순간 우리가 인격의 특징이라고 여기는 의지와 감정이 창발 되리라. 이와 함께 인간 사회도 그 생존을 위해 전혀 다른 방향으로 진화할 것이다.