google2026년 8월 12일

빈 서가인가, 잃어버린 열쇠인가? 회상은 매개변수적 사실성의 병목이다 (새 탭에서 열림)

LLM의 사실 오류는 사실을 학습하지 못해서라기보다, 이미 저장한 사실을 필요할 때 꺼내지 못해서 발생하는 경우가 많다. Google Research는 이를 측정하는 ‘지식 프로파일링’과 WikiProfile 벤치마크를 제안했으며, 최신 모델에서는 지식 습득보다 지식 활용과 회상이 사실성의 병목이라고 결론 내린다. 따라서 모델 규모 확대만으로는 한계가 있고, 저장된 지식을 안정적으로 회수하도록 하는 후처리·추론 기법이 중요해진다. ## 인코딩과 회상을 구분해야 하는 이유 - 일반적인 정확도 지표는 모델이 사실을 아예 학습하지 못한 경우와, 학습했지만 답변하지 못한 경우를 구분하지 않는다. - 두 실패의 원인은 다르다. - **인코딩 실패**: 사실이 모델 파라미터에 충분히 표현되지 않음 → 모델 규모 확대나 학습 데이터 보강이 필요하다. - **회상 실패**: 사실은 저장되어 있지만 외부 단서 없이 검색·활용하지 못함 → 후처리 학습이나 추론 시점 기법으로 개선할 가능성이 있다. - 글에서는 다음과 같이 개념을 구분한다. - **인코딩**: 사전학습 당시와 유사한 문맥에서 사실을 재현할 수 있는 능력 - **지식**: 표현이 달라지거나 질문 방향이 바뀌어도 사실에 답하는 능력 - **회상**: 인코딩된 사실을 별도 외부 단서 없이 꺼내는 능력 - **인식**: 여러 선택지 중 올바른 사실을 식별하는 능력 ## 지식 프로파일링과 다섯 가지 사실 상태 - 분석 단위를 개별 질문이 아니라 **사실 자체**로 바꾼다. - 각 사실을 다음 다섯 가지 상태로 분류한다. - 인코딩 실패 - 회상 실패 - 직접 회상 - 사고를 거친 회상 - 인코딩 없이 추론 - ‘사고를 거친 회상’은 중간 계산이나 다단계 추론을 유도해야만 답할 수 있는 경우다. - ‘인코딩 없이 추론’은 해당 사실 자체는 저장되지 않았더라도, 다른 사실들을 조합하거나 추측해 정답에 도달하는 경우를 뜻한다. ## WikiProfile 벤치마크 구성 - Wikipedia에서 추출한 2,150개의 사실을 대상으로 한다. - 사실은 문서에 먼저 등장하는 주체와 객체의 순서쌍으로 정의된다. - 각 사실에는 총 10개의 과제가 연결된다. - 인코딩 측정 2개 - 지식 평가 4개 - 인식 평가용 객관식 문제 4개 - 질문은 직접 질문과 역방향 질문을 모두 포함한다. - 예: “B는 무엇인가?”와 “A는 무엇인가?” - 질문 생성 후 정제·검색 기반 필터링·수작업 검증을 거쳐 모호하거나 정답이 여러 개인 사례를 제거했다. - 13개 LLM을 사고 기능 활성화 여부에 따라 평가했으며, 모델·사실·과제별로 8개 응답을 샘플링해 약 450만 개의 응답을 자동 평가했다. ## 최신 LLM의 병목은 인코딩이 아니라 회상 - Gemini 2.5 Pro, Gemini 3 계열, GPT-5 같은 프런티어 모델은 사실 인코딩률이 거의 포화 상태다. - Gemini 3 Pro와 GPT-5는 약 **95~98%의 사실을 인코딩**하고 있다. - 그러나 사고 없이 직접 회상하는 데는 여전히 **26~34%의 사실에서 실패**한다. - 사고를 허용해도 **11~12%의 사실은 여전히 회상하지 못한다.** - 모델 규모를 키우면 인코딩 실패는 크게 줄지만, 회상 실패는 상당 부분 남는다. - 즉, 스케일링은 모델이 “무엇을 저장하는가”는 개선하지만, “저장된 것을 얼마나 안정적으로 꺼내는가”는 상대적으로 덜 개선한다. ## 회상이 어려워지는 조건 - 회상 능력은 사실을 학습할 때의 조건과 밀접하게 연결된다. - 질문의 표현, 문맥, 정보의 배열 순서가 학습 당시와 달라지면 사실이 저장되어 있어도 접근하기 어려워질 수 있다. - 이는 모델의 지식 부족이라기보다, 저장된 지식에 연결되는 단서가 충분히 활성화되지 않는 문제로 해석할 수 있다. ## 희귀 사실과 롱테일 지식 - 기존 연구는 모델이 희귀한 사실에 약한 이유를 주로 모델 용량 부족으로 설명했다. - 이 연구에서는 희귀 사실도 인기 있는 사실과 비슷한 수준으로 인코딩되는 경우가 많다고 본다. - 인기 있는 사실과 희귀한 사실의 인코딩률 차이는 비교적 작지만, 회상률 차이는 더 크게 나타난다. - 따라서 롱테일 사실의 문제는 “모델이 전혀 저장하지 않았다”기보다 “저장했지만 적절한 상황에서 꺼내지 못한다”는 관점으로 재해석할 수 있다. ## 실용적인 결론 - 사실성 개선을 위해 단순히 모델 크기와 학습 데이터만 늘리는 전략에는 한계가 있다. - 저장된 지식을 다양한 표현과 질문 방향에서 안정적으로 회수하도록 하는 후처리 학습, 프롬프트 설계, 사고 유도 기법을 함께 개발해야 한다. - 모델 평가에서도 단일 정답률보다 인코딩·직접 회상·사고 기반 회상·인식 능력을 분리해 측정하는 것이 바람직하다.

pre-trainingllmbenchmarkingchain-of-thought+3

google2026년 1월 27일

ATLAS: 다국어 모델 (새 탭에서 열림)

ATLAS는 400개 이상의 언어를 포함한 대규모 실험을 통해 다국어 언어 모델의 성능과 효율성을 최적화하는 새로운 스케일링 법칙을 제시합니다. 이 연구는 특정 목표 언어의 성능을 극대화하기 위해 모델 크기, 학습 데이터 양, 그리고 언어 간의 혼합 비율을 어떻게 설정해야 하는지에 대한 구체적인 데이터 기반 지침을 제공합니다. 특히 다국어 학습 시 발생하는 성능 저하를 방지하기 위해 모델 용량과 데이터 규모를 확장하는 정량적 공식을 확립하여 실무적인 모델 구축 가이드를 제안합니다. ### ATLAS의 구성과 작동 원리 * 기존의 단일 언어 중심 스케일링 법칙을 확장하여, 복잡한 다국어 환경에서 목표 언어의 성능을 최적화하기 위한 모델 크기와 데이터 볼륨을 결정합니다. * 학습 데이터 소스를 목표 언어, 유사 언어 그룹(예: 카탈루냐어의 경우 스페인어, 이탈리아어 등), 그리고 나머지 전체 언어의 세 가지 범주로 분류하여 각 소스가 성능에 미치는 긍정적/부정적 영향을 분석합니다. * 다국어 환경에서 효율적으로 모델을 확장하기 위한 가이드와, 특정 언어를 위해 모델을 처음부터 사전 학습할지 혹은 기존 다국어 체크포인트에서 미세 조정을 할지 결정하는 규칙을 포함합니다. ### 교차 언어 전이 행렬과 시너지 분석 * 1,400개의 언어 쌍을 분석하여 특정 언어의 학습이 다른 언어의 성능 향상에 기여하는 정도를 수치화한 전이 행렬을 생성했습니다. * 분석 결과, 동일한 문자 체계(Script)나 언어 가족을 공유하는 언어들 사이에서 가장 강력한 긍정적 전이 효과가 나타났습니다 (p < .001). * 영어, 프랑스어, 스페인어는 웹 데이터의 높은 품질과 다양성 덕분에 대부분의 언어 학습에 도움을 주는 '보편적 조력자' 역할을 수행하며, 언어 간의 전이 효과는 항상 대칭적이지 않다는 점을 발견했습니다. ### '다국어의 저주' 극복을 위한 확장 규칙 * 지원하는 언어 수가 늘어날수록 모델 용량의 한계로 인해 개별 언어의 성능이 하락하는 '다국어의 저주(Curse of Multilinguality)' 현상을 정량적인 스케일링 법칙으로 정립했습니다. * 연구에 따르면 지원 언어 수를 2배로 늘릴 때 기존 성능을 유지하려면 모델 크기는 1.18배, 전체 데이터 양은 1.66배 증가시켜야 합니다. * 이 규칙을 따르면 개별 언어당 할당되는 데이터 비중이 줄어들더라도, 언어 간의 시너지 효과를 통해 모델 용량 제한에 따른 성능 저하를 상쇄할 수 있습니다. ### 사전 학습 vs 미세 조정의 전환점 * 특정 언어 모델 구축 시 처음부터 사전 학습을 할지, 아니면 다국어 모델을 미세 조정할지 결정하는 기준을 연산 자원(Compute) 투입량에 따라 제시합니다. * 가용 자원이 적은 초기 단계에서는 강력한 다국어 체크포인트를 활용한 미세 조정이 유리하지만, 학습량이 일정 수준을 넘어서면 처음부터 학습하는 방식이 성능상 우위를 점하게 됩니다. * 20억(2B) 파라미터 모델 기준, 이러한 역전 현상은 언어에 따라 약 1,440억에서 2,830억 토큰 사이에서 발생하는 것으로 나타났습니다. 실무적으로 다국어 모델을 구축할 때는 ATLAS의 전이 행렬을 참고하여 목표 언어와 시너지가 큰 언어들을 우선적으로 혼합하고, 지원 언어 수 증가에 맞춰 제시된 비율(모델 1.18배, 데이터 1.66배)로 자원을 확장하는 것이 가장 효율적입니다.

pre-trainingllmfine-tuningscaling-laws+4

kakao2026년 1월 15일

Kanana-2 개발기 (1): Pre-training에서의 의사결정들을 중심으로 (새 탭에서 열림)

카카오는 전문가 혼합(MoE) 아키텍처를 적용하여 추론 효율을 극대화한 'Kanana-2' 모델 시리즈를 공개하고, 이를 확장한 155B 규모의 대형 모델 학습 과정과 기술적 노하우를 공유했습니다. 이번 개발의 핵심은 Muon 옵티마이저와 MuonClip 등의 최신 기술을 도입하여 대규모 학습의 안정성을 확보하고 비용 효율성을 높인 데 있습니다. 특히 한국어 LLM 생태계의 연구 기반을 넓히기 위해 합성 데이터가 포함되지 않은 순수 베이스 모델을 공개함으로써 지속 가능한 AI 연구 환경 구축을 목표로 합니다. **전문가 혼합(MoE) 아키텍처와 효율성** * 전체 32B 파라미터 중 추론 시에는 3B만 활성화하도록 설계하여, 거대 모델의 지능을 유지하면서도 연산 비용을 획기적으로 낮췄습니다. * MoE 학습에 필수적인 커널들을 직접 개발하여 적용함으로써 성능 손실 없이 학습 속도를 높이고 메모리 사용량을 줄였습니다. * 현재 학습 중인 155B 모델(활성 17B)은 8.9T 토큰 학습만으로도 MMLU, KMMLU 등 주요 벤치마크에서 글로벌 경쟁 모델 대비 우수한 성능을 입증하고 있습니다. **연구를 위한 통제된 테스트베드 구축** * 'Kanana-2-30b-a3b-base-2601' 모델은 성능 향상을 유도하는 합성 추론(Reasoning) 데이터를 의도적으로 배제하고 학습되었습니다. * 이는 미세 조정이나 강화 학습 시 발생하는 데이터 불일치 현상을 연구하기 위해, 오염되지 않은 깨끗한 '베이스 모델'이 필요한 연구자들을 위한 결정입니다. * 한국어 LLM 커뮤니티가 모델의 변화 과정을 정밀하게 측정하고 추론 연구를 지속할 수 있는 기초 자산 역할을 수행합니다. **Muon 옵티마이저와 Polar Express 적용** * 기존의 AdamW를 대체하여 파라미터 업데이트 시 그라디언트를 직교화(Orthogonalize)하는 Muon 옵티마이저를 채택하여 학습 효율을 높였습니다. * 업데이트 행렬 계산 시 일반적인 Newton-Schulz 알고리즘 대신, 정확도가 더 높은 Polar Express 알고리즘을 사용해 대규모 학습 후반부의 노이즈를 줄였습니다. * RMSNorm의 파라미터화와 학습률(LR) 조정 등 세부적인 디테일을 최적화하여 수천억 규모의 모델에서도 안정적인 수렴을 달성했습니다. **MuonClip을 통한 대규모 학습 안정화** * 대형 모델 학습 시 발생하는 로짓 폭주(Logit Explosion)를 방지하기 위해 Kimi-K2에서 제안된 MuonClip 기법을 도입했습니다. * 효율적인 연산을 위해 Flash Attention 커널을 수정하여 내부의 Max Logit 값을 실시간으로 반환받아 모니터링과 클리핑에 활용했습니다. * 실험 결과, MuonClip은 높은 학습률 설정에서도 모델이 발산하지 않도록 잡아주며, 훈련이 수렴하더라도 발생할 수 있는 잠재적인 성능 저하 요인을 효과적으로 억제함을 확인했습니다. 카카오의 Kanana-2 개발 사례는 단순한 모델 공개를 넘어, 대규모 MoE 모델 학습에서 발생하는 엔지니어링 이슈를 해결하는 구체적인 방법론을 제시합니다. 특히 고성능 오픈소스 모델을 활용하려는 개발자와 연구자들에게는 효율적인 추론 구조와 더불어, 탄탄한 기초 모델을 기반으로 한 한국어 특화 AI 연구의 새로운 가능성을 제공할 것입니다.

pre-trainingllmai-infrastructuremixture-of-experts+3