scaling-laws

에이전트 시스템 확장의 과학 (새 탭에서 열림)

구글 리서치는 AI 에이전트 시스템 설계에 있어 '에이전트 수가 많을수록 좋다'는 기존의 통념을 깨고, 과업의 특성에 따라 최적의 아키텍처가 달라짐을 실증적으로 분석했습니다. 180가지 에이전트 설정에 대한 대규모 실험 결과, 병렬 처리가 가능한 과업에서는 멀티 에이전트가 성능을 크게 향상시키지만 순차적 추론이 필요한 과업에서는 오히려 성능을 저하시킨다는 점을 발견했습니다. 연구팀은 이러한 정량적 원칙을 바탕으로 새로운 과업에 대해 최적의 구조를 87% 확률로 예측하는 모델을 제시하며 '에이전트 스케일링의 과학'을 제안합니다. ## 에이전트 시스템의 5가지 핵심 아키텍처 연구팀은 에이전트의 확장 방식을 이해하기 위해 다음과 같은 다섯 가지 표준 아키텍처를 정의하고 비교했습니다. * **단일 에이전트 (SAS):** 혼자서 모든 추론과 행동 단계를 순차적으로 수행하며 단일 메모리 스트림을 유지합니다. * **독립형 (Independent):** 여러 에이전트가 통신 없이 병렬로 하위 작업을 수행한 뒤 최종 결과만 합산합니다. * **중앙 집중형 (Centralized):** 중앙 조정자(Orchestrator)가 작업을 할당하고 결과를 합성하는 '허브 앤 스포크' 모델입니다. * **분산형 (Decentralized):** 에이전트들이 직접 소통하며 정보를 공유하고 합의에 도달하는 P2P 방식입니다. * **하이브리드 (Hybrid):** 계층적 감독과 에이전트 간 직접 통신을 결합하여 유연성과 통제력의 균형을 맞춥니다. ## 과업 특성에 따른 성능 차이: 병렬성과 순차성 에이전트 시스템의 성능은 과업이 가진 본질적인 구조에 따라 극명하게 갈리는 것으로 나타났습니다. * **병렬 과업의 이점:** 금융 분석처럼 하위 작업 분해가 용이한 과업에서는 중앙 집중형 아키텍처가 단일 에이전트 대비 80.9%의 성능 향상을 기록했습니다. * **순차적 추론의 페널티:** 엄격한 순서가 필요한 계획 수립(PlanCraft) 과업에서는 멀티 에이전트 구조 도입 시 성능이 오히려 39~70% 급락했습니다. 이는 통신 비용이 추론에 필요한 '인지 예산'을 잠식하기 때문입니다. * **도구 사용의 병목 현상:** 사용하는 도구의 개수가 많아질수록 에이전트 간 조율에 드는 비용이 기하급수적으로 증가하는 '도구-조율 트레이드오프'가 발생합니다. ## 신뢰성 보장을 위한 아키텍처의 역할 실제 배포 상황에서 중요한 오류 확산 방지 측면에서도 아키텍처별 성능 차이가 뚜렷했습니다. * **오류 증폭 위험:** 에이전트 간 소통이 없는 독립형 시스템은 한 에이전트의 실수가 최종 결과에 미치는 악영향이 단일 에이전트보다 17.2배나 높았습니다. * **중앙 관리의 검증 효과:** 중앙 집중형 시스템은 조정자가 '검증 병목(Validation Bottleneck)' 역할을 수행하여 오류 증폭을 4.4배 수준으로 낮추며 가장 안정적인 결과를 보였습니다. ## 최적의 에이전트 설계를 위한 제언 연구팀은 과업의 도구 수와 분해 가능성 등 측정 가능한 속성을 통해 최적의 아키텍처를 결정할 수 있는 예측 모델을 개발했습니다. * 무조건 에이전트 수를 늘리기보다, 과업이 병렬 처리에 적합한지(금융 분석 등) 혹은 순차적 정확도가 중요한지(코딩, 계획 등)를 먼저 파악해야 합니다. * 시스템의 복잡도가 높아질수록 오류 확산을 막기 위해 중앙 조정자를 둔 계층적 구조를 채택하는 것이 안정성 측면에서 유리합니다. * 이 연구에서 제시된 예측 모델을 활용하면 새로운 도메인에서도 80% 이상의 정확도로 가장 효율적인 에이전트 구성을 사전에 선택할 수 있습니다.

ATLAS: 다국어 모델 (새 탭에서 열림)

ATLAS는 400개 이상의 언어를 포함한 대규모 실험을 통해 다국어 언어 모델의 성능과 효율성을 최적화하는 새로운 스케일링 법칙을 제시합니다. 이 연구는 특정 목표 언어의 성능을 극대화하기 위해 모델 크기, 학습 데이터 양, 그리고 언어 간의 혼합 비율을 어떻게 설정해야 하는지에 대한 구체적인 데이터 기반 지침을 제공합니다. 특히 다국어 학습 시 발생하는 성능 저하를 방지하기 위해 모델 용량과 데이터 규모를 확장하는 정량적 공식을 확립하여 실무적인 모델 구축 가이드를 제안합니다. ### ATLAS의 구성과 작동 원리 * 기존의 단일 언어 중심 스케일링 법칙을 확장하여, 복잡한 다국어 환경에서 목표 언어의 성능을 최적화하기 위한 모델 크기와 데이터 볼륨을 결정합니다. * 학습 데이터 소스를 목표 언어, 유사 언어 그룹(예: 카탈루냐어의 경우 스페인어, 이탈리아어 등), 그리고 나머지 전체 언어의 세 가지 범주로 분류하여 각 소스가 성능에 미치는 긍정적/부정적 영향을 분석합니다. * 다국어 환경에서 효율적으로 모델을 확장하기 위한 가이드와, 특정 언어를 위해 모델을 처음부터 사전 학습할지 혹은 기존 다국어 체크포인트에서 미세 조정을 할지 결정하는 규칙을 포함합니다. ### 교차 언어 전이 행렬과 시너지 분석 * 1,400개의 언어 쌍을 분석하여 특정 언어의 학습이 다른 언어의 성능 향상에 기여하는 정도를 수치화한 전이 행렬을 생성했습니다. * 분석 결과, 동일한 문자 체계(Script)나 언어 가족을 공유하는 언어들 사이에서 가장 강력한 긍정적 전이 효과가 나타났습니다 (p < .001). * 영어, 프랑스어, 스페인어는 웹 데이터의 높은 품질과 다양성 덕분에 대부분의 언어 학습에 도움을 주는 '보편적 조력자' 역할을 수행하며, 언어 간의 전이 효과는 항상 대칭적이지 않다는 점을 발견했습니다. ### '다국어의 저주' 극복을 위한 확장 규칙 * 지원하는 언어 수가 늘어날수록 모델 용량의 한계로 인해 개별 언어의 성능이 하락하는 '다국어의 저주(Curse of Multilinguality)' 현상을 정량적인 스케일링 법칙으로 정립했습니다. * 연구에 따르면 지원 언어 수를 2배로 늘릴 때 기존 성능을 유지하려면 모델 크기는 1.18배, 전체 데이터 양은 1.66배 증가시켜야 합니다. * 이 규칙을 따르면 개별 언어당 할당되는 데이터 비중이 줄어들더라도, 언어 간의 시너지 효과를 통해 모델 용량 제한에 따른 성능 저하를 상쇄할 수 있습니다. ### 사전 학습 vs 미세 조정의 전환점 * 특정 언어 모델 구축 시 처음부터 사전 학습을 할지, 아니면 다국어 모델을 미세 조정할지 결정하는 기준을 연산 자원(Compute) 투입량에 따라 제시합니다. * 가용 자원이 적은 초기 단계에서는 강력한 다국어 체크포인트를 활용한 미세 조정이 유리하지만, 학습량이 일정 수준을 넘어서면 처음부터 학습하는 방식이 성능상 우위를 점하게 됩니다. * 20억(2B) 파라미터 모델 기준, 이러한 역전 현상은 언어에 따라 약 1,440억에서 2,830억 토큰 사이에서 발생하는 것으로 나타났습니다. 실무적으로 다국어 모델을 구축할 때는 ATLAS의 전이 행렬을 참고하여 목표 언어와 시너지가 큰 언어들을 우선적으로 혼합하고, 지원 언어 수 증가에 맞춰 제시된 비율(모델 1.18배, 데이터 1.66배)로 자원을 확장하는 것이 가장 효율적입니다.

VaultGemma: 세계에서 (새 탭에서 열림)

구글 리서치는 차분 프라이버시(Differential Privacy, DP) 기술을 적용해 밑바닥부터 학습시킨 모델 중 세계 최고 성능을 자랑하는 'VaultGemma'를 공개했습니다. 이 모델은 새롭게 정립된 'DP 스케일링 법칙'을 바탕으로 연산량, 프라이버시 예산, 모델 성능 사이의 복잡한 트레이드오프를 최적화하여 설계되었습니다. 10억 개의 파라미터를 보유한 VaultGemma는 강력한 프라이버시 보장과 동시에 실용적인 성능을 입증하며 차세대 보안 AI 개발의 새로운 기준을 제시합니다. ### 차분 프라이버시 환경을 위한 새로운 스케일링 법칙 * **노이즈-배치 비율(Noise-batch ratio)의 중요성:** DP 학습 시 추가되는 무작위 노이즈와 데이터 그룹(배치) 크기 사이의 비율이 모델의 학습 능력을 결정하는 핵심 변수임을 확인했습니다. * **최적 학습 구성의 변화:** 일반적인 모델 학습과 달리, DP 환경에서는 모델 크기를 다소 줄이는 대신 배치 크기를 획기적으로 키우는 것이 성능 최적화에 훨씬 유리하다는 사실을 밝혀냈습니다. * **예산 간의 시너지 효과:** 프라이버시 예산(epsilon)만 늘리는 것은 효율이 낮으며, 반드시 연산 예산(FLOPs)이나 데이터 예산(tokens) 증설이 병행되어야만 성능이 유의미하게 향상됩니다. ### 대규모 학습을 위한 알고리즘 혁신 * **셔플링 기반 프라이버시 증폭:** 대규모 TPU 클러스터에서 구현하기 어려운 포아송 샘플링(Poisson sampling) 대신, 데이터를 무작위로 섞어 프라이버시 효과를 높이는 '셔플 배치 DP-SGD' 기법을 도입했습니다. * **최적화 도구 및 구조:** Gemma 2 아키텍처를 기반으로 하며, DP-AdamW 옵티마이저를 사용해 학습 안정성을 확보하고 계산 효율성을 극대화했습니다. * **프라이버시 회계(Privacy Accounting):** 엄격한 수학적 증명을 통해 $\epsilon=8$, $\delta=10^{-12}$ 수준의 프라이버시 보장을 실현했습니다. ### 성능 평가 및 실전 비교 * **기존 모델 압도:** VaultGemma 1B 모델은 자신보다 훨씬 큰 규모의 DP 모델인 DP-OPT 6.7B보다 MMLU, GSM8K 등 주요 벤치마크에서 월등히 높은 성능을 기록했습니다. * **비 DP 모델과의 경쟁력:** 프라이버시 보호 기술이 적용되었음에도 불구하고, 프라이버시 기능이 없는 표준 GPT-2 모델의 성능을 상회하는 등 실용 가능성을 입증했습니다. * **오픈소스 공개:** 연구 커뮤니티의 발전을 위해 모델 가중치와 기술 보고서를 Hugging Face와 Kaggle에 공개하여 누구나 안전한 AI를 연구할 수 있도록 지원합니다. VaultGemma는 민감한 개인정보나 보안이 중요한 데이터를 다루는 기업 및 연구자들에게 강력한 도구가 될 것입니다. 특히 데이터 암기(Memorization)를 수학적으로 방지해야 하는 환경에서, 이 모델은 프라이버시와 성능이라는 두 마리 토끼를 잡을 수 있는 최적의 출발점을 제공합니다.