pre-training

ATLAS: 다국어 모델 (새 탭에서 열림)

ATLAS는 400개 이상의 언어를 포함한 대규모 실험을 통해 다국어 언어 모델의 성능과 효율성을 최적화하는 새로운 스케일링 법칙을 제시합니다. 이 연구는 특정 목표 언어의 성능을 극대화하기 위해 모델 크기, 학습 데이터 양, 그리고 언어 간의 혼합 비율을 어떻게 설정해야 하는지에 대한 구체적인 데이터 기반 지침을 제공합니다. 특히 다국어 학습 시 발생하는 성능 저하를 방지하기 위해 모델 용량과 데이터 규모를 확장하는 정량적 공식을 확립하여 실무적인 모델 구축 가이드를 제안합니다. ### ATLAS의 구성과 작동 원리 * 기존의 단일 언어 중심 스케일링 법칙을 확장하여, 복잡한 다국어 환경에서 목표 언어의 성능을 최적화하기 위한 모델 크기와 데이터 볼륨을 결정합니다. * 학습 데이터 소스를 목표 언어, 유사 언어 그룹(예: 카탈루냐어의 경우 스페인어, 이탈리아어 등), 그리고 나머지 전체 언어의 세 가지 범주로 분류하여 각 소스가 성능에 미치는 긍정적/부정적 영향을 분석합니다. * 다국어 환경에서 효율적으로 모델을 확장하기 위한 가이드와, 특정 언어를 위해 모델을 처음부터 사전 학습할지 혹은 기존 다국어 체크포인트에서 미세 조정을 할지 결정하는 규칙을 포함합니다. ### 교차 언어 전이 행렬과 시너지 분석 * 1,400개의 언어 쌍을 분석하여 특정 언어의 학습이 다른 언어의 성능 향상에 기여하는 정도를 수치화한 전이 행렬을 생성했습니다. * 분석 결과, 동일한 문자 체계(Script)나 언어 가족을 공유하는 언어들 사이에서 가장 강력한 긍정적 전이 효과가 나타났습니다 (p < .001). * 영어, 프랑스어, 스페인어는 웹 데이터의 높은 품질과 다양성 덕분에 대부분의 언어 학습에 도움을 주는 '보편적 조력자' 역할을 수행하며, 언어 간의 전이 효과는 항상 대칭적이지 않다는 점을 발견했습니다. ### '다국어의 저주' 극복을 위한 확장 규칙 * 지원하는 언어 수가 늘어날수록 모델 용량의 한계로 인해 개별 언어의 성능이 하락하는 '다국어의 저주(Curse of Multilinguality)' 현상을 정량적인 스케일링 법칙으로 정립했습니다. * 연구에 따르면 지원 언어 수를 2배로 늘릴 때 기존 성능을 유지하려면 모델 크기는 1.18배, 전체 데이터 양은 1.66배 증가시켜야 합니다. * 이 규칙을 따르면 개별 언어당 할당되는 데이터 비중이 줄어들더라도, 언어 간의 시너지 효과를 통해 모델 용량 제한에 따른 성능 저하를 상쇄할 수 있습니다. ### 사전 학습 vs 미세 조정의 전환점 * 특정 언어 모델 구축 시 처음부터 사전 학습을 할지, 아니면 다국어 모델을 미세 조정할지 결정하는 기준을 연산 자원(Compute) 투입량에 따라 제시합니다. * 가용 자원이 적은 초기 단계에서는 강력한 다국어 체크포인트를 활용한 미세 조정이 유리하지만, 학습량이 일정 수준을 넘어서면 처음부터 학습하는 방식이 성능상 우위를 점하게 됩니다. * 20억(2B) 파라미터 모델 기준, 이러한 역전 현상은 언어에 따라 약 1,440억에서 2,830억 토큰 사이에서 발생하는 것으로 나타났습니다. 실무적으로 다국어 모델을 구축할 때는 ATLAS의 전이 행렬을 참고하여 목표 언어와 시너지가 큰 언어들을 우선적으로 혼합하고, 지원 언어 수 증가에 맞춰 제시된 비율(모델 1.18배, 데이터 1.66배)로 자원을 확장하는 것이 가장 효율적입니다.

Kanana-2 개발기 (1): Pre-training에서의 의사결정들을 중심으로 (새 탭에서 열림)

카카오는 전문가 혼합(MoE) 아키텍처를 적용하여 추론 효율을 극대화한 'Kanana-2' 모델 시리즈를 공개하고, 이를 확장한 155B 규모의 대형 모델 학습 과정과 기술적 노하우를 공유했습니다. 이번 개발의 핵심은 Muon 옵티마이저와 MuonClip 등의 최신 기술을 도입하여 대규모 학습의 안정성을 확보하고 비용 효율성을 높인 데 있습니다. 특히 한국어 LLM 생태계의 연구 기반을 넓히기 위해 합성 데이터가 포함되지 않은 순수 베이스 모델을 공개함으로써 지속 가능한 AI 연구 환경 구축을 목표로 합니다. **전문가 혼합(MoE) 아키텍처와 효율성** * 전체 32B 파라미터 중 추론 시에는 3B만 활성화하도록 설계하여, 거대 모델의 지능을 유지하면서도 연산 비용을 획기적으로 낮췄습니다. * MoE 학습에 필수적인 커널들을 직접 개발하여 적용함으로써 성능 손실 없이 학습 속도를 높이고 메모리 사용량을 줄였습니다. * 현재 학습 중인 155B 모델(활성 17B)은 8.9T 토큰 학습만으로도 MMLU, KMMLU 등 주요 벤치마크에서 글로벌 경쟁 모델 대비 우수한 성능을 입증하고 있습니다. **연구를 위한 통제된 테스트베드 구축** * 'Kanana-2-30b-a3b-base-2601' 모델은 성능 향상을 유도하는 합성 추론(Reasoning) 데이터를 의도적으로 배제하고 학습되었습니다. * 이는 미세 조정이나 강화 학습 시 발생하는 데이터 불일치 현상을 연구하기 위해, 오염되지 않은 깨끗한 '베이스 모델'이 필요한 연구자들을 위한 결정입니다. * 한국어 LLM 커뮤니티가 모델의 변화 과정을 정밀하게 측정하고 추론 연구를 지속할 수 있는 기초 자산 역할을 수행합니다. **Muon 옵티마이저와 Polar Express 적용** * 기존의 AdamW를 대체하여 파라미터 업데이트 시 그라디언트를 직교화(Orthogonalize)하는 Muon 옵티마이저를 채택하여 학습 효율을 높였습니다. * 업데이트 행렬 계산 시 일반적인 Newton-Schulz 알고리즘 대신, 정확도가 더 높은 Polar Express 알고리즘을 사용해 대규모 학습 후반부의 노이즈를 줄였습니다. * RMSNorm의 파라미터화와 학습률(LR) 조정 등 세부적인 디테일을 최적화하여 수천억 규모의 모델에서도 안정적인 수렴을 달성했습니다. **MuonClip을 통한 대규모 학습 안정화** * 대형 모델 학습 시 발생하는 로짓 폭주(Logit Explosion)를 방지하기 위해 Kimi-K2에서 제안된 MuonClip 기법을 도입했습니다. * 효율적인 연산을 위해 Flash Attention 커널을 수정하여 내부의 Max Logit 값을 실시간으로 반환받아 모니터링과 클리핑에 활용했습니다. * 실험 결과, MuonClip은 높은 학습률 설정에서도 모델이 발산하지 않도록 잡아주며, 훈련이 수렴하더라도 발생할 수 있는 잠재적인 성능 저하 요인을 효과적으로 억제함을 확인했습니다. 카카오의 Kanana-2 개발 사례는 단순한 모델 공개를 넘어, 대규모 MoE 모델 학습에서 발생하는 엔지니어링 이슈를 해결하는 구체적인 방법론을 제시합니다. 특히 고성능 오픈소스 모델을 활용하려는 개발자와 연구자들에게는 효율적인 추론 구조와 더불어, 탄탄한 기초 모델을 기반으로 한 한국어 특화 AI 연구의 새로운 가능성을 제공할 것입니다.