reinforcement-learning

마이크로소프트 규모의 멀 (새 탭에서 열림)

대규모 프로덕션 환경에서 멀티모달 에이전트의 사후 학습(Post-training)은 표준적인 강화학습 알고리즘이 예상하지 못한 지점에서 실패하는 경우가 많으며, 특히 전체 보상 지표가 상승함에도 불구하고 실제 성능은 퇴보하는 '침묵하는 실패'가 빈번하게 발생합니다. Microsoft Copilot 팀은 이러한 문제를 해결하기 위해 정책 경사 추정치(Policy gradient estimator)의 정보력을 유지하는 데 초점을 맞춘 공학적 및 알고리즘적 개입 방법을 개발했습니다. 이를 통해 수백만 명의 사용자를 대상으로 하는 복잡한 도구 조작 및 멀티모달 추론 태스크에서 성능 안정성과 모델의 견고성을 확보할 수 있었습니다. ### 단계적 목적 함수 커리큘럼을 통한 조기 전문화 방지 * **문제점**: 단순한 스칼라 보상을 최적화할 경우, 모델은 달성하기 쉬운 지표에만 매몰되어 장기 실행 능력이나 견고성이 필요한 복잡한 행동을 포기하는 조기 전문화(Premature specialization) 현상이 나타납니다. * **검증 및 선호 신호 분리**: 보상 신호를 '검증 가능 신호(도구 구문, 형식 준수 등)'와 '선호도 신호(품질 등)'로 분리하고, 학습 초기 30% 구간에서는 검증 가능 신호에만 집중하여 기본기를 다지게 합니다. * **엔트로피 하한선(Entropy Floor)**: 단순한 엔트로피 보너스 대신, 정책의 엔트로피가 특정 임계값 아래로 떨어질 때만 활성화되는 KL 페널티 형태의 '하한선'을 도입하여 학습 후반부까지 정책의 다양성을 강제로 유지합니다. ### 추정치 건강도에 따른 적응형 커리큘럼 * **ESS(유효 샘플 크기) 모니터링**: 전체 배치 중 실제로 유의미한 그래디언트 업데이트에 기여하는 궤적의 비율인 ESS를 실시간으로 추적합니다. ESS가 20% 미만으로 떨어지면 향후 학습 정체가 일어날 것임을 미리 예측할 수 있습니다. * **근접 실패(Near-miss) 주입**: ESS 수치가 위험 수준에 도달하면 저장소 버퍼에서 '근접 실패' 궤적을 학습 배치에 주입합니다. 이는 모델이 정답과 오답 사이의 미세한 차이를 학습하게 하여 배치 내 결과의 대비(Contrast)를 복구합니다. * **동적 KL 페널티 조절**: 추정치의 건강도가 낮아질 때 일시적으로 KL 페널티를 높여 정책의 급격한 변화를 방지하고, 에스티메이터가 회복될 시간을 확보합니다. ### 구조적 변산성을 고려한 분산 교정 정규화 * **문제점**: 표준적인 태스크별 정규화는 태스크 내의 변산성 구조를 무시합니다. 특히 100토큰 내외의 짧은 궤적과 2000토큰 이상의 긴 궤적 사이에는 거대한 분산 차이가 존재하며, 긴 궤적이 전체 그래디언트 신호를 왜곡하는 현상이 발생합니다. * **길이 기반 보정**: 궤적의 길이에 따라 변산성이 선형적으로 증가하는 특성을 반영하여 정규화 로직을 개선함으로써, 특정 유형의 작업이 전체 학습 방향을 독점하지 않도록 조정합니다. 실제 운영 환경에서의 AI 에이전트 학습은 대시보드상의 요약 지표와 실제 사용자 경험 사이의 괴리를 줄이는 것이 핵심입니다. 특히 ESS와 같은 추정치 건전성 지표를 상시 모니터링하고, 학습 초기 단계에서 모델이 기본 형식을 먼저 마스터할 수 있도록 보상 신호의 투입 시점을 제어하는 전략이 대규모 멀티모달 시스템의 안정적인 배포에 결정적인 역할을 합니다.

개인화와 실험을 위한 별도의 기술 스택을 사용하는 이유 | Spotify 엔지니어링 (새 탭에서 열림)

스포티파이는 개인화(Personalization)와 실험(Experimentation)을 서로 다른 기술 스택으로 분리하여 운영합니다. 개인화 시스템은 머신러닝(ML) 스택을 통해 구축하고, 이렇게 구축된 시스템의 성과와 가치는 실험 스택인 'Confidence' 플랫폼을 통해 검증하는 구조를 취합니다. 이러한 분리를 통해 스포티파이는 각 인프라의 전문성을 유지하면서도 기술적 부채를 방지하고 대규모 시스템을 효율적으로 확장하고 있습니다. ### 실험에서 개인화로의 진화와 컨텍스트 밴딧 * **A/B 테스트와 멀티 암드 밴딧(MAB):** 일반적인 A/B 테스트는 모든 사용자에게 평균적으로 가장 좋은 버전을 찾습니다. 반면, MAB는 실험 중에 성과가 좋은 그룹에 더 많은 트래픽을 동적으로 할당하여 효율성을 높입니다. * **컨텍스트 밴딧(Contextual Bandits):** 사용자 특성(나이, 위치, 과거 행동 등)에 따라 각기 다른 최적의 '대안(Arm)'을 제공합니다. 이는 더 이상 하나의 최고 버전을 찾는 것이 아니라, 개별 사용자에게 맞춤화된 경험을 제공하는 '개인화' 영역으로 진입함을 의미합니다. * **시스템으로서의 개인화:** 컨텍스트 밴딧이 도입되면 실험의 목적은 특정 버튼의 효과 측정이 아니라, "이 개인화 시스템이 기존 시스템보다 더 큰 가치를 창출하는가?"라는 시스템 평가로 전환됩니다. ### 기술 스택을 분리해야 하는 인프라적 이유 * **성능 및 지연 시간(Latency) 요구사항:** 개인화 모델(NN, LLM, 부스팅 모델 등)은 실시간 데이터 기반의 추론과 극도로 낮은 지연 시간을 요구합니다. 이를 위해 최적화된 ML 스택이 필요하며, 실험 도구가 이러한 성능 요구사항을 모두 수용하려 하면 시스템이 지나치게 비대해집니다. * **기술적 부채 방지:** 실험 스택과 ML 스택의 관심사를 혼합하면 시스템 간 결합도가 높아져 관리하기 어려운 기술적 부채가 발생합니다. 스포티파이는 이를 분리함으로써 각 플랫폼이 고유의 목적에 집중하게 합니다. * **복잡한 모델 지원:** ML 플랫폼은 대규모 피처 세트와 복잡한 알고리즘을 학습하고 서빙하는 데 특화되어 있어, 단순한 실험 도구보다 정교한 개인화 로직 구현에 유리합니다. ### 분리를 통한 평가 체계의 명확성 * **재귀적 평가의 필요성:** 컨텍스트 밴딧이나 추천 알고리즘 자체도 하나의 '기능'입니다. 따라서 새로운 알고리즘 버전이 기존 버전보다 나은지 확인하기 위해서는 별도의 A/B 테스트가 필요합니다. * **관심사 분리(Separation of Concerns):** ML 스택은 "어떻게 개인화할 것인가"를 담당하고, 실험 스택은 "이 개인화가 실제로 효과가 있는가"를 측정합니다. * **병렬 실험 가능:** 실험 플랫폼을 독립적으로 유지함으로써, 수천 개의 다른 실험들과 간섭 없이 개인화 모델의 성능을 동시에 테스트하고 확장할 수 있습니다. 성공적인 개인화 서비스를 구축하려면 개인화 알고리즘(컨텍스트 밴딧 등)을 실험의 도구가 아닌, **검증 대상이 되는 제품의 기능**으로 정의해야 합니다. 저지연 모델 서빙과 복잡한 피처 처리는 전용 ML 스택에 맡기고, 실험 플랫폼은 이를 객관적으로 비교·평가하는 역할에 집중하는 것이 기술적 유연성과 운영 효율성을 동시에 잡는 길입니다.

프로덕션 규모 에 (새 탭에서 열림)

Hugging Face는 장기 실행되는 에이전트 시스템과 지속적으로 적응하는 RL(강화학습) 파이프라인을 위해 '사후 훈련 툴킷(Post-Training Toolkit, PTT)'을 TRL 라이브러리에 공식 통합했습니다. 이 툴킷은 기존의 전역 지표로는 포착하기 어려운 도구 사용 에이전트의 '후기 단계 불안정성(Late-phase instability)'을 진단하고 제어하는 데 중점을 둡니다. 이를 통해 개발자는 운영 환경에서 에이전트가 도구 호출 이후 겪는 미세한 성능 저하를 조기에 발견하고 대응할 수 있는 폐쇄 루프 모니터링 체계를 구축할 수 있습니다. **도구 호출로 인한 분산 증폭 현상** - 도구 사용 에이전트의 학습 상태 분포는 일반 텍스트 상호작용과 도구 조건부 상호작용의 혼합으로 구성됩니다. 학습이 진행됨에 따라 도구 사용 비중이 늘어나며 상태 분포의 변화가 발생합니다. - 특히 도구 호출 이후의 맥락(Post-tool context)은 참조 정책(Reference policy)이 낮은 확률을 할당하는 영역인 경우가 많아, 중요도 샘플링 가중치가 급격히 커지는 현상이 발생합니다. - 이로 인해 전역 손실(Loss)이나 보상(Reward) 지표는 안정적으로 보임에도 불구하고, 도구 조건부 맥락에서만 특정 업데이트의 분산이 폭발하며 시스템이 서서히 붕괴되는 '꼬리 부분의 성장(Tail growth)' 현상이 나타납니다. **정밀한 진단을 위한 데이터 슬라이싱과 지표** - PTT는 전체 평균값에 매몰되지 않도록 상호작용 모드(텍스트 전용 vs 도구 이후)별로 진단 지표를 분리하여 계산합니다. - 핵심 지표인 '로그 비율의 95백분위수(95th percentile of |r|)'를 통해 평균적인 행동이 아닌 꼬리 부분의 이상 징후를 추적합니다. 실험 결과, 텍스트 전용 맥락은 안정적이어도 도구 이후 맥락에서는 이 수치가 지속적으로 상승하는 것이 확인되었습니다. - 가중치 집중도를 나타내는 '유효 샘플 크기(Effective Sample Size, ESS)'를 보조 신호로 활용하여, 특정 샘플이 업데이트를 주도하며 학습의 질을 떨어뜨리는지 감시합니다. **실패 사례의 오인과 대응** - 이러한 불안정성은 대개 비대칭적이고 지연되어 나타나기 때문에, 개발자들은 이를 최적화 알고리즘(Optimizer)의 문제나 전역적인 분산 제어 부족으로 오해하는 경우가 많습니다. - 단순히 배치 크기를 키우거나 베이스라인을 개선하는 것만으로는 참조 정책과의 지지 집합(Support) 불일치 문제를 근본적으로 해결할 수 없습니다. - PTT는 도구 호출이 외부 전이를 주입함으로써 발생하는 특수한 분산 증폭을 독립적인 실패 모드로 식별하며, 이를 조기에 시각화하여 운영자가 개입할 수 있는 근거를 제공합니다. 도구 사용 에이전트를 운영 환경에서 훈련시킬 때는 전역 보상이나 엔트로피에만 의존해서는 안 됩니다. TRL에 통합된 PTT를 활용해 도구 호출 전후의 지표를 분리 모니터링하고, 특히 로그 비율의 백분위수 변화를 주시하여 분포의 꼬리가 길어지는 현상을 조기에 차단하는 '드리프트 인식(Drift-aware)' 설정을 도입할 것을 권장합니다.

Kanana-2 개발기 (2): 개선된 post-training recipe를 중심으로 (새 탭에서 열림)

카카오는 차세대 언어모델 Kanana-2를 공개하며, 단순한 대화형 AI를 넘어 에이전트 환경에 최적화된 성능을 구현하기 위한 고도화된 Post-training 레시피를 적용했습니다. 이번 모델은 Pre-training과 Post-training 사이의 'Mid-training' 단계를 도입하여 추론 능력을 극대화하는 동시에, 한국어 성능 저하 문제를 해결하기 위해 기존 학습 데이터를 재학습시키는 전략을 사용했습니다. 결과적으로 Kanana-2는 도구 호출(Tool Calling)과 복잡한 지시 이행 능력에서 비약적인 발전을 이루었으며, 특히 Thinking 모델은 고난도 수학 및 코딩 영역에서 글로벌 수준의 성능을 입증했습니다. ### 성능의 가교 역할을 하는 Mid-training * **도입 배경**: 일반적인 사전 학습(Pre-training)만으로는 복잡한 추론이나 도구 사용 능력을 갖추기 어렵기 때문에, 본격적인 미세 조정 전 단계로서 모델의 잠재력을 끌어올리는 중간 단계를 설계했습니다. * **데이터 구성**: 최신 고성능 모델에서 추출한 200B 규모의 고품질 영어 추론 데이터와 수학, 코드 데이터를 집중적으로 학습시켰습니다. * **치명적 망각(Catastrophic Forgetting) 방지**: 영어 추론 데이터 학습 시 한국어 성능이 하락하는 문제를 방지하고자, 사전 학습 데이터 중 한국어 데이터를 포함한 50B 토큰을 일정 비율로 섞어 학습(Replay 전략)함으로써 언어 균형을 유지했습니다. * **효과**: Mid-training을 거친 모델은 기본 모델 대비 수학(MATH) 및 코딩(HumanEval) 벤치마크에서 유의미한 향상을 보였으며, 이후 Instruct 학습 시 더 빠른 수렴 속도와 높은 최종 성능을 나타냈습니다. ### 에이전트 능력을 강화한 Instruct 모델 * **SFT 전략의 최적화**: 기존 Kanana-1.5 데이터셋에 Nemotron 등 오픈소스 고품질 데이터를 단순히 교체하기보다 추가로 통합(Supplementation)했을 때, 전반적인 성능과 지시 이행 능력의 균형이 가장 잘 유지됨을 확인했습니다. * **Agentic AI 역량**: 실질적인 도구 활용을 위해 단일·다중·병렬 도구 호출 능력을 강화했으며, 답변의 길이, 언어 설정, 특정 단어 제외 등 복잡한 제약 조건을 준수하는 지시 이행 능력을 고도화했습니다. * **Parallel RL 파이프라인**: 대화 스타일과 선호도를 학습하는 DPO(Direct Preference Optimization)와 객관적인 정답이 존재하는 추론/코딩 성능을 높이는 PPO(Proximal Policy Optimization)를 병렬로 적용하여 효율적인 학습 구조를 구축했습니다. * **신뢰성 개선**: RL 단계 이후 KTO(Kahneman-Tversky Optimization) 기반의 Calibration Tuning을 추가하여 모델 답변의 신뢰도를 높이고 환각 현상을 줄였습니다. ### 추론에 특화된 Thinking 모델 * **CoT 기반 학습**: 모델이 문제 해결 과정을 단계별로 사고하는 '사고의 사슬(Chain-of-Thought)'을 학습하도록 SFT 데이터를 구성했습니다. * **Rule-based RL**: 수학과 코딩처럼 정답이 명확한 도메인에 대해 규칙 기반 보상(Reward) 모델을 적용하여, 모델 스스로 더 나은 추론 경로를 탐색하고 검증하도록 유도했습니다. * **성능 도약**: Thinking 모델은 AIME25 벤치마크에서 기본 모델(9.21) 대비 약 5배 향상된 50.0점을 기록했으며, 실시간 코딩 테스트인 LiveCodeBench에서도 글로벌 수준의 경쟁력을 확보했습니다. 이번 Kanana-2 개발 과정은 대규모 추론 데이터 주입 시 발생하는 언어적 편향을 '사전 데이터 리플레이'로 해결하고, DPO와 PPO를 병렬로 활용하여 효율성을 극대화한 사례로 평가됩니다. 복잡한 추론과 도구 활용이 필요한 에이전트 서비스를 기획 중이라면, 단순 Instruct 모델보다 Mid-training을 통해 기초 체력을 다진 후 Thinking SFT가 적용된 모델을 활용하는 것이 더욱 안정적인 성능을 기대할 수 있는 방법입니다.

Amazon Bedrock, 더 (새 탭에서 열림)

Amazon Bedrock에 새롭게 도입된 '강화 미세 조정(Reinforcement Fine-tuning)'은 대규모 라벨링 데이터셋 없이도 피드백 루프를 통해 AI 모델의 정확도와 효율성을 극대화하는 혁신적인 맞춤화 기능입니다. 이 서비스는 복잡한 기계 학습 워크플로를 자동화하여 전문 지식이 부족한 개발자도 기본 모델 대비 평균 66% 향상된 성능의 모델을 구축할 수 있게 지원합니다. 결과적으로 기업은 높은 비용이 드는 대형 모델 대신, 특정 업무에 최적화된 작고 빠른 모델을 경제적으로 운용할 수 있습니다. **강화 미세 조정의 작동 원리와 차별점** * 기존의 미세 조정 방식이 사람이 일일이 라벨을 붙인 방대한 데이터셋을 필요로 했던 것과 달리, 보상 함수(Reward functions)를 사용하여 모델의 응답 품질을 평가하고 학습시킵니다. * 고정된 예시를 암기하는 것이 아니라, 어떤 응답이 비즈니스 요구사항에 더 적합한지 판단하는 '보상 신호'를 통해 모델이 반복적으로 개선됩니다. * 이러한 피드백 기반 접근 방식은 데이터 준비 비용을 획기적으로 줄이면서도 모델이 사용자의 의도를 더 정확하게 파악하도록 돕습니다. **비즈니스 효율성을 위한 주요 장점** * **사용 편의성:** Amazon Bedrock 내의 기존 API 로그나 업로드된 데이터셋을 그대로 활용할 수 있어, 복잡한 인프라 설정 없이도 즉시 학습을 시작할 수 있습니다. * **성능 및 비용 최적화:** Amazon Nova 2 Lite와 같은 가볍고 빠른 모델을 강화 미세 조정함으로써, 더 크고 비싼 모델보다 뛰어난 특정 작업 수행 능력을 갖추게 할 수 있습니다. * **보안 및 신뢰성:** 모델 맞춤화의 모든 과정이 보안이 유지되는 AWS 환경 내에서 이루어지므로, 기업의 민감한 데이터 유출 우려 없이 안전하게 학습이 가능합니다. **세부 최적화 기법: RLVR 및 RLAIF** * **RLVR (Verifiable Rewards):** 수학적 추론이나 코드 생성처럼 정답이 명확한 객관적 작업에 대해 규칙 기반의 채점기를 사용하여 모델을 개선합니다. * **RLAIF (AI Feedback):** AI가 생성한 피드백을 활용하여 모델의 응답 품질을 높이는 방식으로, 보다 복잡하고 주관적인 맥락이 포함된 작업에 유용합니다. 방대한 데이터를 준비하기 어렵거나 모델 운영 비용을 절감하면서도 높은 정확도를 원하는 기업에게 Amazon Bedrock의 강화 미세 조정은 매우 실용적인 대안이 됩니다. 특히 Amazon Nova 2 Lite 모델을 시작으로 점차 지원 모델이 확대될 예정이므로, 특정 도메인에 특화된 가성비 높은 AI 서비스를 구축하고자 하는 개발팀에게 이 기능을 적극 활용해 볼 것을 추천합니다.

Amazon SageMaker AI의 새로운 서버리스 (새 탭에서 열림)

Amazon SageMaker AI는 Amazon Nova, DeepSeek, Llama 등 주요 AI 모델에 대해 인프라 관리 없이 미세 조정(Fine-tuning)을 수행할 수 있는 새로운 서버리스 커스터마이징 기능을 발표했습니다. 이 기능은 복잡한 리소스 프로비저닝을 자동화하여 모델 최적화 기간을 수개월에서 수일 수준으로 단축하며, 사용자가 인프라 대신 모델 튜닝 자체에 집중할 수 있는 환경을 제공합니다. 개발자는 SageMaker Studio의 직관적인 인터페이스를 통해 최신 강화 학습 기법을 몇 번의 클릭만으로 적용하고 모델을 즉시 배포할 수 있습니다. ### 서버리스 기반의 인프라 자동화 및 효율성 * **자동 리소스 프로비저닝**: 모델의 크기와 학습 데이터의 양에 맞춰 SageMaker AI가 최적의 컴퓨팅 리소스를 자동으로 선택하고 할당합니다. * **관리 부담 제거**: 서버리스 환경에서 구동되므로 사용자가 직접 인스턴스를 관리하거나 확장성을 고민할 필요가 없습니다. * **실험 추적 통합**: 새롭게 도입된 서버리스 MLflow 애플리케이션을 통해 하이퍼파라미터 및 실험 과정을 체계적으로 기록하고 관리할 수 있습니다. ### 고도화된 모델 커스터마이징 기법 지원 * **다양한 학습 기법**: 지도 학습 기반 미세 조정(SFT)뿐만 아니라 직접 선호도 최적화(DPO), 검증 가능한 보상을 통한 강화 학습(RLVR), AI 피드백 기반 강화 학습(RLAIF) 등 최신 기법을 지원합니다. * **사용자 친화적 UI**: SageMaker Studio 내 'Customize with UI' 기능을 통해 코딩 부담을 줄이면서도 배치 크기, 학습률, 에포크(Epoch) 등 상세 설정을 조정할 수 있습니다. * **연속적인 최적화**: 학습 완료 후 'Continue customization' 기능을 사용하여 하이퍼파라미터를 조정하거나 다른 기법으로 추가 학습을 진행하는 반복 작업이 용이합니다. ### 평가 및 유연한 배포 옵션 * **성능 비교 평가**: 커스터마이징된 모델이 기본 모델 대비 얼마나 개선되었는지 확인할 수 있는 평가(Evaluate) 기능을 제공합니다. * **멀티 플랫폼 배포**: 학습과 평가가 완료된 모델은 Amazon SageMaker 또는 Amazon Bedrock 중 원하는 환경을 선택하여 원클릭으로 배포할 수 있습니다. * **보안 및 암호화**: 네트워크 보안 설정 및 저장 볼륨 암호화 등 기업용 애플리케이션에 필요한 고급 보안 설정을 동일하게 지원합니다. 이 서비스는 인프라 구축의 복잡성 때문에 최신 LLM 성능 최적화를 망설였던 기업에게 매우 실용적인 대안입니다. 특히 RLVR이나 RLAIF 같은 고난도 강화 학습 기법을 복잡한 설정 없이 테스트해보고 싶은 팀에게 SageMaker AI의 서버리스 워크플로우를 우선적으로 활용해 볼 것을 추천합니다.

훈련 후 생성 추천 시스템: 장점 가중치 감독 세부 조정 | 넷플릭스 기술 블로그 | 넷플릭스 테크블로그 (새 탭에서 열림)

넷플릭스는 사용자 행동을 순차적으로 예측하는 생성형 추천 시스템(Generative Recommenders)의 성능을 한 단계 높이기 위해 사후 학습(Post-training) 기술인 '가중치 적용 지도 미세 조정(Advantage-Weighted Supervised Finetuning, 이하 A-SFT)'을 도입했습니다. 기존의 생성형 추천 모델은 단순히 과거의 시퀀스를 모방하는 데 그쳐 실제 사용자 만족도를 충분히 반영하지 못했으나, A-SFT는 노이즈가 많은 추천 환경의 보상 신호를 효과적으로 학습에 활용합니다. 이 방법론은 반사실적 데이터(Counterfactual feedback) 확보가 어려운 추천 시스템의 한계를 극복하고, 보상 모델의 불확실성 속에서도 모델을 사용자 선호도에 더 정교하게 정렬시키는 결론을 도출했습니다. **생성형 추천 시스템의 한계와 사후 학습의 필요성** * 생성형 추천 모델(GR)은 트랜스포머 아키텍처를 활용해 사용자의 다음 활동을 예측하는 순차적 변환 태스크로 추천 문제를 정의합니다. * 단순히 관찰된 과거 행동을 모방하는 방식은 트렌드나 외부 요인에 의한 상호작용을 구분하지 못하며, 사용자가 실제로 만족하지 않은 콘텐츠를 반복 추천할 위험이 있습니다. * 따라서 시청 시간, 클릭률, 평점 등 명시적·암묵적 피드백을 활용해 모델을 사용자 선호에 맞게 조정하는 사후 학습 과정이 필수적입니다. **추천 시스템 사후 학습의 주요 난제** * **반사실적 피드백의 부재:** LLM과 달리 추천 시스템은 사용자가 실제로 경험한 온-폴리시(On-policy) 데이터만 존재하며, 수주에서 수년에 걸친 사용자 시퀀스에 대해 가상의 시나리오에 대한 피드백을 얻는 것은 불가능에 가깝습니다. * **보상 신호의 높은 노이즈:** 시청 시간이 길다고 해서 반드시 만족도가 높은 것은 아니며(시간 제약 등으로 중단 가능), 보상 모델 자체가 높은 불확실성과 분산을 가집니다. * **기존 기법의 적용 한계:** 반사실적 데이터를 요구하는 PPO(근사 정책 최적화)나 DPO(직접 선호도 최적화) 같은 최신 LLM 최적화 기법을 추천 도메인에 그대로 적용하기 어렵습니다. **A-SFT: 불확실한 보상을 활용하는 최적화 전략** * A-SFT는 지도 미세 조정(SFT)의 안정성과 강화 학습의 이점 함수(Advantage function)를 결합하여 보상 모델의 방향성 신호를 학습에 반영합니다. * 보상 모델이 높은 분산을 가질 때에도 보상 자체에 매몰되지 않고, 이점 함수를 통해 상대적으로 더 나은 행동에 가중치를 두어 학습함으로써 성능 저하를 방지합니다. * 이 방식은 보상 모델이 없을 때 사용하는 '행동 복제(Behavior Cloning)'와 완벽한 보상 모델을 전제로 하는 '온라인 강화 학습' 사이의 적정 지점을 찾아내어 모델 성능을 최적화합니다. **실무적 권장 사항** 추천 시스템의 사후 학습 전략을 선택할 때는 보상 모델의 품질과 일반화 능력을 먼저 고려해야 합니다. 보상 모델의 노이즈가 심할 경우 이를 과도하게 최적화하면 오히려 성능이 하락할 수 있으므로, A-SFT와 같이 보상의 방향성을 활용하면서도 학습의 안정성을 유지할 수 있는 가중치 기반의 접근법을 사용하는 것이 권장됩니다. 이는 특히 실제 서비스 데이터와 같이 피드백이 불완전한 환경에서 생성형 모델을 사용자 가치에 정렬시키는 데 매우 효과적인 도구가 될 수 있습니다.

이미지 생성을 위한 협력적 (새 탭에서 열림)

PASTA(Preference Adaptive and Sequential Text-to-image Agent)는 사용자의 고유한 취향을 실시간으로 학습하여 여러 차례의 상호작용을 통해 이미지를 정교화하는 강화학습 기반 에이전트입니다. 사용자가 단일 프롬프트만으로 원하는 결과물을 얻기 어려운 기존 텍스트-이미지(T2I) 모델의 한계를 극복하기 위해, 에이전트와 사용자가 대화하듯 협업하는 방식을 채택했습니다. 구글 리서치는 실제 인간의 피드백과 대규모 사용자 시뮬레이션 데이터를 결합하여 학습함으로써 사용자 만족도를 획기적으로 높이는 데 성공했습니다. ### PASTA의 핵심 메커니즘과 협업 프로세스 - PASTA는 가치 기반 강화학습(Value-based RL) 모델을 사용하여 각 단계에서 사용자의 누적 만족도를 극대화할 수 있는 최적의 '프롬프트 확장(Prompt expansions)' 세트를 선택합니다. - 프로세스는 사용자가 초기 프롬프트를 입력하면 Gemini Flash 모델이 다양한 후보군을 생성하고, PASTA 에이전트가 이 중 최적의 이미지 4개를 선별하여 제안하는 방식으로 진행됩니다. - 사용자가 제안된 이미지 중 자신의 의도에 가장 가까운 것을 선택하면, 에이전트는 이를 실시간 피드백으로 삼아 다음 단계에서 더욱 정교한 후보를 제시하는 시각적 대화 루프를 형성합니다. ### 사용자 시뮬레이션을 통한 학습 데이터 확보 - 데이터 부족과 개인정보 보호 문제를 해결하기 위해 실제 사용자 데이터 7,000여 건을 바탕으로 '사용자 시뮬레이터'를 구축하여 3만 건 이상의 상호작용 데이터를 생성했습니다. - 사용자 모델은 특정 이미지 세트를 좋아할 확률을 예측하는 '유틸리티 모델'과 여러 선택지 중 하나를 고르는 '선택 모델'로 구성되며, 사전 학습된 CLIP 인코더를 활용합니다. - 기대값 최대화(EM) 알고리즘을 통해 사용자의 잠재적 유형(예: 동물, 음식, 추상화 선호 등)을 파악하고 학습에 반영함으로써 에이전트가 다양한 사용자 취향에 빠르게 적응할 수 있도록 했습니다. ### 성능 검증 및 실험 결과 - 연구팀은 암시적 Q-학습(Implicit Q-Learning, IQL)을 사용해 PASTA를 훈련시켰으며, 실제 데이터와 시뮬레이션 데이터를 결합한 모델이 가장 뛰어난 성능을 보였습니다. - Pick-a-Pic 데이터셋 accuracy와 스피어먼 순위 상관계수(Spearman’s rank correlation) 등 주요 지표에서 기존의 최신(SOTA) 모델(Gemini Flash 및 SDXL 기반)을 일관되게 상회했습니다. - 결과적으로 PASTA는 사용자가 반복적으로 프롬프트를 수정해야 하는 번거로움을 줄이면서도, 몇 번의 선택만으로 창의적 의도에 완벽히 부합하는 이미지를 생성하는 능력을 입증했습니다. PASTA는 이미지 생성 과정에 사용자의 피드백을 실시간으로 녹여내는 새로운 협업 패러다임을 제시합니다. 단순히 명령을 수행하는 도구를 넘어 사용자의 미적 취향을 이해하는 개인화된 AI 에이전트로의 발전을 보여주는 사례로, 향후 다양한 창작 지원 도구에 이 프레임워크를 적용할 수 있을 것으로 기대됩니다.

명확화 학습: Action-Based (새 탭에서 열림)

구글 리서치와 딥마인드 연구진이 발표한 '행동 기반 대조적 자기 훈련(Action-Based Contrastive Self-Training, 이하 ACT)'은 LLM이 다회차 대화에서 모호함을 해소하는 능력을 획기적으로 개선하는 방법론입니다. 기존 모델들이 사용자의 의도를 성급하게 추측하거나 답변을 회피하는 경향이 있는 반면, ACT는 대화의 맥락에 따라 질문을 던져 의도를 명확히 할지 아니면 바로 답변할지를 스스로 판단하도록 훈련합니다. 이 알고리즘은 데이터 효율적인 방식으로 멀티턴 대화의 궤적(trajectory)을 최적화하여 복잡한 정보 탐색 작업에서 기존의 지도 학습 기반 미세 조정(SFT)이나 직접 선호도 최적화(DPO)보다 뛰어난 성능을 보였습니다. ### 대화형 추론을 위한 암시적 행동 계획 * 전통적인 대화형 에이전트는 대화 관리(질문할지 답변할지 결정)와 생성 모듈이 분리되어 있었으나, ACT는 이를 생성 과정의 일부인 '암시적 행동 계획'으로 통합했습니다. * LLM이 별도의 계획 단계 없이 응답 생성 과정 내에서 적절한 대화 행동(의도 확인 질문 vs 답변 시도)을 수행하도록 직접 최적화합니다. * 이는 대화의 흐름에 따라 모델이 스스로 판단을 내리는 능력을 강화하여 더욱 자연스럽고 지능적인 상호작용을 가능하게 합니다. ### 1단계: 행동 기반 대조 데이터 생성 * 학습을 위해 먼저 각 대화 턴에서 '승리한 행동(예: 질문을 통한 확인)'과 '패배한 행동(예: 성급한 답변)'으로 구성된 선호도 데이터 쌍을 구축합니다. * 기존 대화 데이터셋의 정답 턴을 승리 응답으로 삼고, 조건부 생성 모델을 활용해 이와 반대되는 성격의 부정적 응답(Rejected response)을 합성합니다. * 이 과정을 통해 모델은 특정 상황에서 어떤 대화 행동이 더 적절한지에 대한 대조적인 시각을 학습하게 됩니다. ### 2단계: 온폴리시(On-policy) 대조적 자기 훈련 * 고정된 데이터셋으로 학습하는 오프라인 방식 대신, 학습 중인 모델이 직접 응답을 샘플링하는 온폴리시 방식을 채택했습니다. * 모델이 생성한 응답이 올바른 대화 행동(예: 질문하기)을 수행했는지 확인한 뒤, 전체 대화 궤적을 시뮬레이션하여 최종 결과가 사용자의 의도와 부합하는지 평가합니다. * 시뮬레이션 결과가 성공적일 경우 해당 궤적을 학습 데이터에 반영함으로써, 단일 턴의 응답 품질뿐만 아니라 멀티턴 대화 전체의 성공 확률을 높이도록 모델을 최적화합니다. ### AmbigSQL 도입 및 성능 검증 * 연구진은 복잡한 SQL 코드 생성 시 발생하는 모호한 요청을 해소하기 위한 새로운 과제인 'AmbigSQL'을 도입하여 데이터 분석 에이전트의 능력을 시험했습니다. * 표 기반 질의응답(Tabular-grounded QA) 및 기계 독해(MRC) 등 실제 환경과 유사한 다양한 과제에서 ACT의 효용성을 입증했습니다. * 실험 결과, ACT는 대화 내의 모호성을 인지하고 추론하는 능력이 표준적인 튜닝 방식들보다 월등히 높음을 보여주었습니다. 사용자의 모호한 질문에 대해 단순히 답변을 생성하는 것에 그치지 않고, 적절한 시점에 확인 질문을 던지는 에이전트를 구축하고자 한다면 ACT와 같은 다회차 궤적 시뮬레이션 기반의 정렬(Alignment) 방식이 매우 효과적인 대안이 될 수 있습니다. 특히 데이터 분석이나 기술 지원처럼 정확한 의도 파악이 필수적인 도메인에서 모델의 신뢰도를 높이는 데 기여할 것으로 기대됩니다.