인공지능을 만드는 엔지니어로서, 나는 모델의 파라미터 수만큼이나 많은 난관에 부딪히곤 한다. 그럴 때마다 내가 해법을 찾는 곳은 의외로 공학 교과서가 아닌 심리학이나 인문학의 영역이다. 복잡한 시스템이 문제를 해결하는 원리는 결국 하나로 통하기 마련이고, 특히 인간의 뇌를 모사한 언어모델은 인간의 마음이 겪는 증상과 놀라울 정도로 닮아 있기 때문이다.
1. Loss(손실)라는 이름의 간극
언어모델 학습은 본질적으로 ‘모방’의 과정이다. 모델이 기존에 학습한 데이터를 바탕으로 다음 문장을 ‘상상(예측)’해보고, 실제 데이터와 비교하여 그 차이를 계산한다. 이 차이를 우리는 ‘Loss(손실)’이라고 부른다. 학습은 이 손실을 점차 줄여 나가는 과정이다.
우리의 예측이 실제와 달랐을 때 발생하는 잠재적인 손해를 지칭하는 이 용어는, 우리가 삶에서 느끼는 ‘기대와 현실의 괴리’와 무척 닮아 있다. 아주 조금 다르다면 “아, 요만큼만 고치면 되겠구나” 하며 성장의 발판으로 삼지만, 감당할 수 없을 만큼 큰 차이를 마주하면 시스템은 비명을 지르기 시작하며, 더 이상 작동할 수 없게 된다.
2. Loss Spike와 마음의 패닉
언어 모델을 학습하다보면 가끔 학습 그래프가 천장을 뚫을 듯 솟구치는 ‘Loss Spike’가 발생한다. 한국어만 배운 모델에게 갑자기 영어를 쏟아붓는 것처럼, 기존의 분포와 완전히 동떨어진 자극이 들어올 때 모델은 갈피를 잡지 못하고 수렴이 아닌 발산을 해버린다.
이 상태가 지속되면 모델은 정교하게 쌓아온 지식마저 잊어버리는 ‘Catastrophic Forgetting(치명적 망각)’ 상태에 빠진다. ‘치명적’이라는 공학 교과서나 논문에서 찾아보기 힘든 이 강력한 감정적 단어는, 우리 인간이 극심한 불안과 우울 속에서 겪는 ‘패닉’과 동일한 메커니즘을 설명한다.
-
- 사회 초년생의 낯선 이주
- 언어가 통하지 않는 곳으로의 홀로 유학
- 준비되지 않은 상태에서의 단절된 독박 육아
이런 상황들은 우리 인생의 ‘Loss Spike’이다. 이성적 판단은 마비되고, 과거의 경험은 무용지물이 되며, 그저 하루하루 임기응변으로 버티는 상태. 이것이 장기화되면 우리는 ‘우울’이라는 깊은 늪으로 빠져들게 된다.
3. 우리는 어떻게 수렴(Convergence)하는가
다행히 언어모델이나 사람이나, 기본적으로는 평온한 상태(낮은 Loss)로 수렴하도록 설계되어 있다. 일시적인 Spike는 시간이 지나면 다시 우하향 곡선을 그리며 안정화된다. 하지만 문제는 이 ‘비정상적 고통’이 지속될 때이다. 엔지니어로서 내가 Loss Spike에 대처하는 방식은 우리 삶에도 유효한 처방전이 될 수 있다고 생각한다.
첫째, 유해한 자극으로부터의 격리 학습 데이터에 비정상적인 ‘Outlier(이상치)’가 너무 많이 섞여 있다면 과감히 제거한다. 삶에서도 나를 망가뜨리는 환경이나 해석 불가능한 부정적 자극이 지속된다면, 잠시 그 유입을 차단하고 스스로를 보호하는 것이 우선 필요하다. 도저히 ‘악’이 아니면 설명할 수 없는 동료의 행동이나 지구 반대편의 끔찍한 뉴스들은 명백히 유해하다.
둘째, 학습률(Learning Rate) 조정과 루틴의 힘 모델의 변화 폭을 강제로 제한(Gradient Clipping)하듯, 삶의 조급함을 내려놓아야 한다. 우리 모두는 모두 도달하고자 하는 상태가 있다. 언어모델 학습에서 이는 최적점 ‘Optima’라고 한다. 여기 도달하기 위한 경주 속에서 “반드시 해내야 한다”는 압박에서 힘을 빼고, 변하지 않는 일상의 루틴을 지키며 심리적 안정감을 확보하는 것이 필요하다.
셋째, 가장 건강했던 ‘Checkpoint’로의 회귀 내가 가장 중요하게 생각하는 방법이다. 모델 학습이 완전히 망가졌을 때 언젠가는 다시 정상으로 돌아오겠지 하는 기대로 이를 고집스럽게 이어가는 대신, 가장 견고했던 이전의 상태(Checkpoint)로 되돌아가 다시 시작해야 한다. 사람도 마찬가지로, 최근의 성취나 노력이 아까울 수 있겠지만, 마음의 상실감이 높아지기 시작한 그 지점이 어디인지 복기하고 삶을 그곳으로 돌려놓아야 한다. 모델 학습에서 돌아가기에 너무 늦은 때란 없는 것처럼, 우리 인생도 다시 시작하기에 늦은 때란 결코 없기 때문이다.
언어모델을 학습하는 과정은 인간의 학습과 성장 과정과 놀랄만큼 닮아 있다. 그래서 인간의 성장이 아무 복잡한 매커니즘에 의해 이루어지는 것이 아닐 수 있다는 생각이 든다. 이를 관찰하는 과정에서 나는 오히려 나의 마음을 다스리고 성장하는 법을 배운다. 마음 속 Loss 그래프가 요동치고 있다면, 그것은 내 내면의 무엇이 잘못되어서가 아니라 잠시 감당하기 어려운 데이터를 마주했기 때문일지 모른다.
잠시 멈추고, 체크포인트를 확인하고 복기한다. 나는 언제든 다시 시작할 수 있고, 결국 다시 평온한 상태로 수렴할 수 있는 존재로 만들어졌다.