google원문중첩 학습(Nested Learning) 소개 (새 탭에서 열림)
구글 리서치에서 발표한 중첩 학습(Nested Learning)은 머신러닝 모델을 단일한 최적화 과정이 아닌 서로 연결된 여러 층위의 최적화 문제로 재정의하여, 새로운 지식을 학습할 때 기존 지식을 잊어버리는 '치명적 망각(Catastrophic Forgetting)' 문제를 해결하고자 합니다. 이 패러다임은 모델의 아키텍처와 최적화 알고리즘을 별개의 요소가 아닌 정보 흐름과 업데이트 빈도가 다른 동일한 개념의 연장선으로 통합하여 관리합니다. 이를 통해 모델은 인간의 뇌처럼 신경 가소성을 발휘하며 실시간으로 지식을 습득하면서도 과거의 숙련도를 유지할 수 있는 강력한 연속 학습(Continual Learning) 능력을 갖추게 됩니다. ### 중첩 학습의 패러다임과 핵심 원리 * 중첩 학습은 복잡한 머신러닝 모델을 상호 연결된 다층적 최적화 문제의 집합으로 간주하며, 각 내부 문제마다 고유한 '문맥 흐름(Context Flow)'을 가집니다. * 연상 기억(Associative Memory) 관점에서 역전파(Backpropagation) 과정을 분석한 결과, 모델이 데이터 포인트를 로컬 오차 값에 매핑하는 학습 과정 자체가 일종의 기억 시스템임을 입증했습니다. * 트랜스포머의 어텐션 메커니즘 역시 토큰 간의 매핑을 학습하는 단순한 연상 기억 모듈로 공식화할 수 있으며, 이는 모델 구조와 최적화 규칙이 본질적으로 같다는 점을 시사합니다. * 각 구성 요소의 가중치가 조정되는 주기를 의미하는 '업데이트 빈도(Update Frequency Rate)'를 정의함으로써, 최적화 문제들을 여러 수준(Level)으로 서열화하고 제어할 수 있습니다. ### 딥 옵티마이저(Deep Optimizers)의 재구성 * 중첩 학습 관점에서는 모멘텀 기반 옵티마이저를 연상 기억 모듈로 취급할 수 있으며, 이를 통해 기존 최적화 알고리즘을 원칙적으로 개선할 수 있는 경로를 제공합니다. * 기존 옵티마이저들이 데이터 샘플 간의 관계를 충분히 고려하지 않는 단순 내적 유사도에 의존했다면, 중첩 학습은 이를 L2 회귀 손실(L2 regression loss) 기반의 목적 함수로 대체합니다. * 이러한 수식의 변화를 통해 데이터가 불완전하거나 노이즈가 섞인 상황에서도 모델이 더욱 견고하게 학습을 지속할 수 있는 새로운 모멘텀 공식을 도출했습니다. ### 연속적 메모리 시스템과 'Hope' 아키텍처 * 표준 트랜스포머가 단기 메모리로서 현재 문맥만 유지하는 한계를 극복하기 위해, 업데이트 빈도를 다르게 설정한 계층적 메모리 시스템을 적용했습니다. * 이 패러다임을 실제 검증하기 위해 설계된 자가 수정형 아키텍처 'Hope'는 기존 최첨단 모델들보다 언어 모델링 성능이 우수하며, 특히 긴 문맥(Long-context) 관리 능력에서 탁월한 성과를 보였습니다. * 인간의 뇌가 단기 기억을 장기 기억으로 전이시키는 것과 유사하게, 각 구성 요소의 업데이트 속도를 최적화함으로써 정보의 저장과 회상을 더욱 효율적으로 관리할 수 있습니다. 중첩 학습은 모델 아키텍처와 학습 알고리즘 사이의 가로막힌 벽을 허물고, 인공지능이 데이터를 학습하는 방식을 근본적으로 재설계할 수 있는 도구를 제공합니다. 특히 대규모 언어 모델(LLM)이 사전 학습된 정적 지식에 머물지 않고 실시간으로 지식을 확장해야 하는 상황에서, 중첩 학습 기반의 설계를 도입하면 치명적 망각 없이 지속 가능한 인공지능 시스템을 구축하는 데 큰 도움이 될 것입니다.
