*이 글은 논문 저자인 Saxe 교수의 랩(The Thinking Lab, University College London)에서 연구 중인 이진화 연구원 Jin Hwa Lee 와 함께 작성하였습니다.
지난 편에서는 AI의 학습 동역학을 수식으로 풀었더니, 인지과학이 수십 년간 관찰해 온 현상들이 일관되게 설명됐다는 이야기를 했습니다.
이번 편에서는 이 논문이 각 분야에 어떤 영향을 미쳤는지 알아보겠습니다. 마지막에는 공동 집필자 이진화 연구원과 나눈 문답을 실었습니다.
🔬 뇌과학: 관찰에서 계산/예측으로
피아제의 단계 이론, 범주 학습의 순서 등 각각 별도로 정립된 실험과 이론들을 단일 원리로 통합했다는 것만으로도 이미 엄청난 성과입니다.
이 논문의 또 다른 성과는 바로 인지과학에 정량적 분석가능성과 예측력을 부여했다는 것입니다. 이전의 인지과학은 이미 일어난 현상을 사후에 해석하는 것에 그쳤습니다. 그러나 이제는 수식을 바탕으로 어떤 조건에서 어떤 현상이 나타날지를 미리 계산하고, 어떤 변수를 조정해야 할지 알게될 가능성이 열린 것입니다.
🤖 AI: 결과중심적 발전에 설명을 더하다
논문은 AI 분야가 대개 결여하는 '왜'에 대한 답을 제공했습니다.
'왜'를 아는 것은 단순한 지적 만족의 문제가 아닙니다. 왜 작동하는지 모르면, 언제 실패할지 예측할 수 없고, 어떻게 개선해야 할지 설계할 수도 없습니다. 지금까지의 AI 발전이 상당 부분 시행착오에 의존해 온 이유이기도 합니다.
특히, 이 논문은 왜 깊은 네트워크가 얕은 네트워크보다 잘 작동하는지를 잘 설명해냅니다. 깊은 네트워크에서만 이전 글에서 설명했던 모든 학습 양태가 발생한다는 것이 드러났기 때문입니다.
⚖️ 선천론 vs 경험론
이 논문은 인지과학 희대의 난제, '지능의 선천성' 논쟁에 다시 불을 지핍니다. 즉 "인간은 백지(tabula rasa)로 태어나는가?"에 관한 것입니다.
선천론은 인간의 인지 구조, 즉 개념과 범주를 조직하는 방식이 태어날 때부터 뇌에 내재되어 있다는 주장입니다. 실제로 아이들은 불완전한 경험만으로도 놀랍도록 빠르게 언어와 개념을 습득하는데, 이는 경험만으로는 도저히 설명되지 않을 만큼 효율적입니다.
선천론의 대표주자 촘스키는 이를 언어 습득에 적용해, 아이가 불완전한 입력만으로도 올바른 문법을 습득하는 건 경험만으로는 설명이 불가능하다고 했습니다. 선천적인 언어 습득 장치가 뇌에 내재되어 있다는 것이죠.
반면, 경험론은 태어날 때 우리 뇌는 백지 상태이고, 모든 구조는 경험에서 나온다는 주장입니다. 그러나 오랫동안 경험론은 "그렇게 작동하더라"는 시뮬레이션 수준에 머물렀고, 촘스키의 논증을 반박하기도 쉽지 않았습니다.
이 논문은 경험론 쪽에 강력한 수학적 근거를 제공합니다. 완전한 백지 상태의 무작위 가중치에서 출발해도, 환경의 통계 구조와 경사하강법만 있으면 계층적 범주, 전형성, 귀납적 편향이 저절로 출현합니다. 촘스키가 경험만으로는 설명할 수 없다고 했던 그 현상들이, 학습의 수학만으로도 충분히 나올 수 있다는 것입니다.
다만, 이 논문이 무조건적인 경험론을 지지하는 것은 아닙니다. 학습은 경험을 토대로 이루어지지만, 그 학습이 전술한 양태로 일어나는 데에는 특정한 '구조'(예를 들어 깊은 뉴럴 네트워크, 작은 초기 weights)가 필요합니다. 단순히 선천론과 경험론의 어느 한쪽이 맞고 틀리다라기 보다는, 그 사이에서 조금 더 정확한 뉘앙스를 가리키는 것이죠.
🧭 마치며
이 논문 이후, Richards, Lillicrap, Ganguli, Saxe 등이 함께 쓴 2019년 Nature Neuroscience 논문은 신경과학의 발견을 AI 설계에 체계적으로 연결하는 프레임워크를 제안했습니다. 뇌과학과 AI가 서로 진정으로 이어지기 시작한 것입니다.
개인적으로 이 논문에서 가장 인상적이었던 건 선천론과 경험론 논쟁과 같이 인간 본원적인 질문에 수학이 일정 부분 답을 주었다는 부분이었습니다. 수학이 개념과 범주의 발달을 설명했다면, 감정, 창의성, 의식도 설명할 수 있을까요? 내가 세상을 이해하는 방식과 현재 갖고 있는 개념들이 내가 살아온 환경과 수학적 필연의 조합이라면, 나라는 사람은 곧 어떤 수식의 결과물일지 모릅니다.
또한, AI가 언어를 배운 방식과, 내가 언어를 배운 방식이 같은 수학적 원리라면, AI 역시 진정으로 언어를 이해한다고 볼 수 있을까요? 나아가, AI를 단순한 도구로만 봐도 되는 것일까요? AI와 인간의 관계를 어떻게 정의할지에 대해 중요한 열쇠를 쥔 질문이라고 생각됩니다.
🎤 연구자에게 묻다
이 시리즈를 함께 쓴 이진화 연구원은 논문 저자 Andrew Saxe의 연구실에서 박사과정을 밟고 있습니다. 글을 마무리하며 몇 가지를 물었습니다.
Q1. 뇌과학 쪽 연구자들은 이런 수학적 접근을 어떻게 받아들이나요? 예측력을 얻었다고 느끼나요, 아니면 지나친 단순화라고 보나요?
'단순화'임은 분명하지만, 실로 이러한 접근이 주는 메커니즘의 명료함에는 많은 사람들이 만족감을 얻는 것 같아요. 현상의 관찰(뉴럴 네트워크가 이런 것을 배울 수 있다, 실제 인간과 비슷한 학습 과정을 거친다)에서 벗어나 뉴럴 네트워크의 어떤 요소가 어떻게 그런 현상을 빚어내는지 알아낼 때 우리의 이해는 완전히 달라지는 거니까요. 뇌과학뿐만 아니라 AI 전반에서, 이러한 물리적·수학적 접근의 중요도는 점점 높아지는 것 같습니다. 새롭고 유용한 현상을 찾기 위해 직관을 따르거나 실험변수를 바꾸어 반복적인 실험을 하는 것도 한 가지 방법이지만, 이런 깊은 이해를 기반으로 한다면 더 정밀한 가설을 세우고 그것을 확인하기 위한 실험도 계획할 수 있지 않을까요?
Q2. 학부는 물리학 전공이신 걸로 압니다. 어떻게 뇌과학 연구를 시작하게 됐나요? 처음 관심을 갖게 된 계기가 궁금합니다.
물리학의 방법론을 동경해서 학부생 때에 물리학을 전공했는데, 사실 항상 궁금하고 더 알고 싶었던 것은 뇌인지과학이나 생명현상이었어요. 일반생명학을 배우면서 DNA 도그마 수업을 들을 때 어떻게 저렇게 복잡한 메커니즘이 진화를 통해 만들어졌나, 놀라웠던 그 감정이 아직도 생각나네요. 그에 반해 뇌인지과학에서 현상론은 많이 연구되었지만 우리가 DNA를 이해하듯, 그 정도의 메커니즘은 아직 알려지지 않았다는 느낌을 많이 받았어요. 그래서 막연히 그렇게 뇌를 연구하고 싶다는 생각으로 시작하게 되었네요.
Q3. 요즘은 어떤 연구를 하고 계신가요?
최근 몇 년간 제가 가장 관심 있는 질문은 어떻게 뉴럴 네트워크가 체계적 일반화를 학습하는지예요. 체계적 일반화란 제한된 수의 예시를 통해 개념이나 규칙을 배우고 이것을 새로운 정보나 예시에 적용하는 것을 말합니다. 언어가 가장 일반적인 예시인데요, 예를 들면 우리는 어렸을 때 한정적인 수의 문장을 읽고 듣지만 어느 순간 언어의 문법과 다른 단어들이 어떻게 쓰이는지 이해하고 한 번도 들어보지 못한 새로운 문장을 이해하고 또 만들어 낼 수 있죠. 어떻게 생각해보면 너무 당연하지만, 사실 이것이 어떻게 뉴럴 네트워크에서 학습되고 구현되는지는 완전히 알려지지 않았어요. 그걸 더 잘 이해하는 것이 현재 가장 주력 중인 연구예요.
Q4. 최근 "AI에게 의식이 있지 않을까"라는 논의가 많습니다. 이에 대한 학계의 분위기, 그리고 본인의 생각은 어떤가요?
찬성, 반대를 논하기에는 아직 우리가 너무 아는 것이 없다고 생각해요. 뉴럴 네트워크 초반에 그 원리는 잘 이해하지 못하면서 이것이 무엇을 할 수 있는지에 대한 현상학적인 연구들이 주를 이루었던 때와 비슷한 모양새라는 느낌을 개인적으로 많이 받습니다. 이것을 과학적으로 알기 위해서는 '의식'이 무엇인지 먼저 객관적 정의에 우리가 동의해야 하고, AI가 그 성질을 따르는지 알기 위한 체계적인 실험과 이해가 뒷받침되어야 하지 않을까요?
바쁜 연구 중에도 시간을 내어 글 작성을 도와주고 질문에 답해 준 이진화 연구원께 감사의 마음을 전합니다. 덕분에 논문 너머의 이야기까지 들을 수 있었습니다.
'전문가가 들려주는 업계 이야기'는 계속됩니다. 지금 몸담은 분야의 뜨거운 이슈를 들려주실 분이라면 어느 분야든 환영합니다. 댓글이나 메시지로 연락 주세요.
#기술과제도사이 #AI #뇌과학 #인지과학 #딥러닝 #논문소개