google·2025년 8월 25일원문

의료 언어 모델 평가를 위한 (새 탭에서 열림)

구글 리서치는 건강 분야 대규모 언어 모델(LLM)의 성능을 정밀하고 효율적으로 평가하기 위한 새로운 프레임워크인 '적응형 정밀 불리언 루브릭(Adaptive Precise Boolean rubrics)'을 공개했습니다. 이 방법론은 복잡하고 주관적이기 쉬운 평가 기준을 세분화된 예/아니오(Yes/No) 질문으로 변환하고, 생성된 답변과 관련된 질문만 동적으로 필터링하여 평가 효율성을 극대화합니다. 결과적으로 기존 리커트(Likert) 척도 방식보다 평가 시간을 50% 이상 단축하면서도 평가자 간 일치도(Inter-rater reliability)를 크게 향상시키는 성과를 거두었습니다. ## 정밀 불리언 루브릭의 설계 원리 * **복잡한 기준의 세분화**: 기존의 서술형 답변이나 5점 척도(Likert scale) 방식은 평가자의 주관이 개입될 여지가 많아 일관성이 떨어집니다. 이를 해결하기 위해 평가 항목을 아주 작은 단위의 불리언(Boolean, 참/거짓) 질문으로 쪼개어 평가자의 판단을 단순화했습니다. * **객관성 및 일관성 확보**: 예/아니오 형태의 단순한 질문 구조는 평가자 간의 해석 차이를 줄여주며, 결과적으로 내급 상관 계수(ICC)로 측정되는 평가자 간 신뢰도를 대폭 높여줍니다. * **대사 건강 도메인 적용**: 당뇨병, 심혈관 질환, 비만 등 복잡한 전문 지식이 필요한 대사 건강 분야를 대상으로 루브릭을 설계하여 실무적인 유효성을 검증했습니다. ## 적응형 필터링을 통한 효율성 극대화 * **질문 수 폭증 문제 해결**: 평가 기준을 세분화하면 전체 질문 수가 급격히 늘어나 인간 평가자의 부담이 커지는 문제가 발생합니다. 이를 해결하기 위해 '적응형(Adaptive)' 메커니즘을 도입했습니다. * **LLM 기반 자동 분류**: 제미나이(Gemini) 모델을 제로샷 분류기로 활용하여, 사용자의 질문과 모델의 답변 내용을 분석한 뒤 해당 상황에 꼭 필요한 핵심 루브릭 질문만 동적으로 선별합니다. * **전문가 검증을 통한 신뢰 확보**: 의료 전문가 3인의 교차 검증을 통해 '인간 적응형(Human-Adaptive)' 기준 데이터를 구축하고, 모델이 필터링한 질문 세트가 실제 의학적 관점에서도 타당한지 확인했습니다. ## 평가 신뢰도 및 성능 지표 개선 * **평가 시간 50% 단축**: 적응형 루브릭을 적용한 결과, 기존 리커트 척도 방식보다 평가에 소요되는 시간을 절반 이상 줄일 수 있었으며 이는 대규모 모델 평가의 확장성을 확보해 줍니다. * **신뢰도 지표 향상**: 인간 전문가와 비전문가, 그리고 자동화된 평가 도구 간의 상관관계가 기존 방식보다 높게 나타났으며, 이는 단순화된 점수 체계가 오히려 더 높은 품질의 신호를 제공함을 시사합니다. * **모델 품질 민감도 측정**: 세분화된 불리언 루브릭은 모델 답변의 미세한 결함이나 개선이 필요한 지점을 더 정확하게 식별해내며, 이를 통해 체계적인 모델 고도화가 가능해집니다. 이 프레임워크는 건강 및 의료와 같이 높은 안전성과 정확성이 요구되는 전문 분야에서 LLM을 평가할 때 직면하는 비용과 신뢰성 문제를 동시에 해결할 수 있는 실용적인 대안을 제시합니다. 특히 인간의 전문적인 판단과 모델의 자동화된 필터링을 결합함으로써 차세대 의료 AI 서비스의 검증 표준으로 활용될 가능성이 높습니다.

대규모 언어 모델AIgemini자연어 처리+4

google·2025년 8월 13일원문

억 개 이상의 매개변수 부담을 넘어서: 조건부 생성기로 데이터 합성을 여는 방법 (새 탭에서 열림)

구글 리서치에서 발표한 **CTCL(Data Synthesis with ConTrollability and CLustering)** 프레임워크는 수십억 개의 파라미터를 가진 대규모 언어 모델(LLM) 없이도 고품질의 차분 프라이버시(DP) 합성 데이터를 생성할 수 있는 혁신적인 방법론을 제시합니다. 1억 4천만 개의 파라미터를 가진 경량 모델을 활용함으로써 자원이 제한된 환경에서도 효과적인 데이터 합성을 가능하게 하며, 프라이버시 보존과 데이터 유용성 사이의 균형을 성공적으로 달성했습니다. 이 방식은 기존 LLM 미세 조정 방식보다 비용 효율적이면서도 특정 주제별 분포를 정확하게 재현할 수 있다는 결론을 도출했습니다. ### 기존 합성 데이터 생성의 한계와 CTCL의 등장 * **기존 방식의 문제점:** 차분 프라이버시(DP)를 준수하는 대규모 합성 데이터를 만들려면 일반적으로 수십억 파라미터 규모의 LLM을 미세 조정해야 하므로 막대한 계산 비용이 발생합니다. * **API 기반 방식의 한계:** 최근 제안된 Aug-PE나 Pre-Text 같은 알고리즘은 모델 직접 학습 대신 API를 활용하지만, 수동 프롬프트에 의존도가 높고 프라이빗 정보를 데이터 선택 과정에 효과적으로 반영하지 못하는 단점이 있습니다. * **CTCL의 대안:** CTCL은 경량 모델(140M BART-base)을 사용하면서도, 프라이빗 데이터의 주제 분포를 자동으로 매칭하는 조건부 생성 방식을 채택하여 이러한 제약을 극복합니다. ### 핵심 구성 요소: CTCL-Topic과 CTCL-Generator * **CTCL-Topic (주제 모델):** 위키피디아 데이터를 기반으로 구축된 범용 주제 모델입니다. 약 600만 개의 문서를 1,000개의 클러스터(주제)로 분류하고, 각 주제를 대표하는 10개의 키워드를 추출하여 데이터의 고차원적 테마를 포착합니다. * **CTCL-Generator (조건부 생성기):** 1억 4천만 파라미터 규모의 BART-base 모델을 기반으로 합니다. Gemma-2-2B를 이용해 생성한 4억 3천만 개의 '설명-문서' 쌍으로 사전 학습되어, 특정 키워드나 문서 유형이 주어지면 그에 맞는 내용을 생성하는 강력한 제어 능력을 갖췄습니다. ### 3단계 데이터 합성 프로세스 1. **사전 개발:** 대규모 공개 코퍼스를 사용하여 CTCL-Topic과 CTCL-Generator를 단 한 번 개발합니다. 이 모델들은 이후 다양한 프라이빗 도메인에 범용적으로 적용될 수 있습니다. 2. **프라이빗 도메인 학습:** 프라이빗 데이터 세트의 주제별 분포(히스토그램)를 DP 방식으로 수집합니다. 동시에 프라이빗 문서에서 추출된 주제 키워드를 활용해 CTCL-Generator를 DP 미세 조정하여 해당 도메인의 특성을 학습시킵니다. 3. **합성 데이터 생성:** 수집된 DP 주제 히스토그램의 비율에 맞춰 생성 모델을 샘플링합니다. DP의 '후처리 속성(Post-processing property)' 덕분에, 한 번 학습된 모델로부터 추가적인 프라이버시 비용 소모 없이 무제한으로 합성 데이터를 생성할 수 있습니다. ### 성능 평가 및 실무적 시사점 * **성능 우위:** 다양한 데이터 세트에서 평가한 결과, 특히 강력한 프라이버시 보장(Strong DP) 조건 하에서 기존 베이스라인 모델들을 일관되게 능가하는 성능을 보였습니다. * **확장성 및 효율성:** 수십억 파라미터 모델을 쓰지 않고도 주제별 분포 매칭이 가능하며, Aug-PE 알고리즘 대비 뛰어난 확장성을 입증했습니다. * **실용적 권장:** 자원이 제한된 환경에서 프라이버시를 보호하며 특정 도메인의 텍스트 데이터를 대량으로 생성해야 하는 경우, 무거운 LLM 미세 조정 대신 CTCL과 같은 경량 조건부 생성 프레임워크를 도입하는 것이 비용과 품질 면에서 매우 효율적인 전략이 될 수 있습니다.

대규모 언어 모델AIfine-tuningdifferential-privacy+5

google·2025년 8월 6일원문

고정밀 레이블을 통한 (새 탭에서 열림)

구글 애즈(Google Ads) 연구팀은 대규모 언어 모델(LLM) 파인튜닝에 필요한 학습 데이터의 양을 획기적으로 줄이면서도 모델의 정확도를 높일 수 있는 새로운 능동 학습(Active Learning) 기반의 큐레이션 프로세스를 개발했습니다. 이 방법론은 수천억 개의 예시 중 전문가의 주석이 가장 가치 있는 데이터를 반복적으로 식별하여, 기존 10만 개 이상의 데이터가 필요했던 작업을 500개 미만의 데이터만으로 수행하면서 전문가와의 정렬도를 최대 65% 향상시켰습니다. 이를 통해 안전 정책 변화나 새로운 유형의 부적절한 콘텐츠에 대응하는 비용을 크게 절감하고 모델의 신뢰성을 확보할 수 있게 되었습니다. **능동 학습 기반의 데이터 큐레이션 프로세스** * **초기 라벨링 및 클러스터링**: 먼저 퓨샷(Few-shot) 프롬프트가 적용된 LLM-0 모델을 사용하여 대규모 데이터셋을 '정책 위반' 또는 '정상'으로 분류합니다. 이때 발생하는 데이터 불균형과 모델의 낮은 정답률을 해결하기 위해, 각 라벨별로 데이터를 클러스터링합니다. * **경계 영역 샘플링**: 서로 다른 라벨을 가졌음에도 클러스터가 겹치는 구간, 즉 모델이 혼동을 느끼는 결정 경계(Decision Boundary) 부근에서 서로 가장 가까운 데이터 쌍을 찾아냅니다. * **정보성 및 다양성 확보**: 추출된 데이터 쌍 중에서도 전체 탐색 공간을 가장 잘 대변하는 샘플을 우선적으로 선별하여 전문가에게 전달함으로써, 적은 수의 샘플로도 높은 정보성과 다양성을 동시에 확보합니다. * **반복적 파인튜닝**: 전문가가 라벨링한 데이터를 평가용과 학습용으로 나누어 모델을 파인튜닝하며, 모델과 전문가 사이의 정렬도가 전문가들 사이의 합의 수준에 도달하거나 성능이 정체될 때까지 이 과정을 반복합니다. **객관적 성능 평가를 위한 코헨 카파(Cohen’s Kappa) 지표 활용** * 광고 안전성 검토와 같은 영역은 정답(Ground Truth)이 모호한 경우가 많아 정밀도나 재현율 같은 기존 지표 대신 '코헨 카파' 지표를 사용합니다. * 코헨 카파는 두 명의 평가자가 우연히 일치할 확률을 제외하고 얼마나 일관되게 동의하는지를 측정하며, 0.8 이상은 매우 우수한 수준, 0.4 이상은 수용 가능한 수준으로 간주합니다. * 이 지표는 데이터셋의 품질을 모니터링하는 지표인 동시에, 모델이 전문가의 판단 기준에 얼마나 근접했는지를 나타내는 핵심 성능 지표로 활용됩니다. **Gemini Nano 모델을 통한 실험 및 성능 검증** * 연구팀은 1.8B 파라미터의 Gemini Nano-1과 3.25B의 Nano-2 모델을 대상으로 복잡도가 다른 두 가지 과제에 대해 성능을 테스트했습니다. * **데이터 효율성**: 기존에 크라우드소싱을 통해 수집한 10만 개의 데이터를 학습시킨 모델보다, 단 250~400개의 전문가 큐레이션 데이터를 학습시킨 모델이 훨씬 뛰어난 성능을 보였습니다. * **성능 향상**: 복잡도가 높은 과제에서 크라우드소싱 데이터 기반 모델의 카파 지수는 0.41에 불과했으나, 큐레이션 프로세스를 거친 모델은 전문가 합의 수준인 0.78에 근접하는 성과를 거두었습니다. * 결과적으로 대규모 모델을 사용하는 실제 프로덕션 시스템에서는 데이터 규모를 최대 10,000배까지 줄이면서도 품질을 유지하거나 개선할 수 있음을 입증했습니다. 이 연구는 데이터의 '양'보다 '질'과 '선택 방식'이 LLM 성능 향상에 더 결정적임을 보여줍니다. 특히 전문가의 개입이 필요한 모호한 분류 작업에서 비용 효율적으로 고성능 모델을 구축하고자 하는 조직에게 이 능동 학습 기반 큐레이션은 매우 실용적인 가이드라인이 될 것입니다.

대규모 언어 모델AI머신러닝gemini+4

google·2025년 8월 5일원문

웨어러블 기기 및 일상 (새 탭에서 열림)

구글 리서치(Google Research)는 웨어러블 기기 데이터와 일반적인 혈액 검사 지표를 결합해 제2형 당뇨병의 전조 증상인 인슐린 저항성(IR)을 높은 정확도로 예측하는 머신러닝 모델을 개발했습니다. 이 연구는 침습적이고 비용이 많이 드는 기존 검사 방식을 대체할 수 있는 확장 가능한 조기 선별 도구를 제시하며, 고위험군을 대상으로 한 예방적 치료의 가능성을 열었습니다. 특히 Gemini 모델 기반의 AI 에이전트를 도입하여 사용자가 자신의 상태를 쉽게 이해하고 맞춤형 건강 관리를 실천할 수 있도록 지원하는 통합적인 접근 방식을 제안합니다. **디지털 바이오마커와 혈액 지표의 결합 (WEAR-ME 연구)** * 미국 전역의 1,165명의 참가자를 대상으로 웨어러블 기기(Fitbit, Google Pixel Watch)와 퀘스트 다이아노스틱스(Quest Diagnostics)의 혈액 검사 데이터를 수집하는 WEAR-ME 연구를 진행했습니다. * 데이터는 안정 시 심박수, 걸음 수, 수면 패턴과 같은 웨어러블 지표와 공복 혈당, 지질 패널(Lipid panel) 등 루틴한 혈액 검사 결과, 인구통계학적 정보를 포함합니다. * 심층 신경망(Deep Neural Network)을 활용해 인슐린 저항성의 표준 지표인 HOMA-IR 점수를 예측하도록 모델을 학습시켰습니다. **모델 성능 및 데이터 소스별 기여도** * 단일 데이터 소스보다 여러 스트림을 결합했을 때 예측 정확도(auROC)가 유의미하게 향상되는 결과를 보였습니다. * 웨어러블 데이터와 인구통계 정보만 사용했을 때 0.70이었던 auROC는 공복 혈당 데이터를 추가하자 0.78로 상승했습니다. * 웨어러블, 인구통계, 공복 혈당에 지질 패널을 포함한 전체 혈액 검사 데이터를 모두 결합했을 때 가장 높은 성능인 0.82(독립 검증 코호트에서 0.81)를 달성했습니다. **고위험군 대상의 효용성 및 검증** * 이 모델은 특히 비만이거나 신체 활동량이 적은 정적인 생활 방식을 가진 고위험군에서 강력한 예측 성능을 보였습니다. * 72명의 독립적인 검증 코호트에서도 일관되게 높은 성능을 유지함으로써 모델의 일반화 가능성을 입증했습니다. * 이는 고비용의 특수 인슐린 검사 없이도 일상적인 데이터와 정기 검진 결과만으로 당뇨 위험을 조기에 포착할 수 있음을 의미합니다. **Gemini 기반 인슐린 저항성 교육 에이전트** * 단순한 수치 예측을 넘어, 최신 거대언어모델(LLM)인 Gemini를 활용한 '인슐린 저항성 이해 및 교육 에이전트(IR Agent)' 프로토타입을 구축했습니다. * 이 에이전트는 사용자가 모델의 예측 결과를 쉽게 해석할 수 있도록 돕고, 인슐린 저항성에 대한 문해력을 높여줍니다. * 분석된 데이터를 바탕으로 안전하고 개인화된 건강 관리 권장 사항을 제공하여 실질적인 생활 습관 개선을 유도합니다. 이 기술은 증상이 나타나기 전 단계에서 인슐린 저항성을 발견함으로써 제2형 당뇨병으로의 진행을 늦추거나 예방할 수 있는 강력한 도구가 될 수 있습니다. 현재는 연구 및 정보 제공 목적으로 개발되었으나, 향후 의료 현장에서 데이터 기반의 정밀한 조기 진단 보조 도구로 활용될 것으로 기대됩니다.

대규모 언어 모델AI머신러닝gemini+4

google·2025년 7월 31일원문

MLE-STAR: 최첨단 머 (새 탭에서 열림)

MLE-STAR는 웹 검색 기능과 정밀한 코드 블록 최적화 메커니즘을 결합한 차세대 머신러닝 엔지니어링 에이전트로, 복잡한 ML 파이프라인 구축 과정을 자동화합니다. 기존 에이전트들이 LLM의 사전 지식에만 의존하거나 코드 전체를 한 번에 수정하려 했던 한계를 극복하기 위해, 성능에 가장 큰 영향을 미치는 특정 구성 요소를 식별하고 이를 집중적으로 개선하는 방식을 채택했습니다. 그 결과 MLE-Bench-Lite의 Kaggle 경진 대회에서 63%의 메달 획득률을 기록하며 기존 기술들을 압도하는 성능을 증명했습니다. **웹 검색을 통한 최신 기법 도입 및 초기 솔루션 구축** * LLM의 내장된 지식에만 의존할 때 발생하는 특정 라이브러리(예: scikit-learn) 편향 문제를 해결하기 위해 실시간 웹 검색 기능을 활용합니다. * 주어진 과제와 데이터 모달리티에 가장 적합한 최신(State-of-the-art) 모델과 방법론을 검색하여 초기 솔루션 코드를 생성하는 기반으로 삼습니다. **어블레이션 연구 기반의 타겟 코드 블록 정제** * 전체 파이프라인 코드를 무작위로 수정하는 대신, '어블레이션 연구(Ablation Study)'를 수행하여 피처 엔지니어링이나 모델 구조 등 성능 기여도가 가장 높은 특정 코드 블록을 찾아냅니다. * 식별된 핵심 블록에 대해 이전 시도의 실행 결과와 피드백을 반영하며 집중적인 반복 실험을 수행함으로써, 특정 파이프라인 단계에서의 최적화를 심도 있게 진행합니다. **지능형 솔루션 앙상블 전략** * 단순한 성능 기반 투표 방식에서 벗어나, 에이전트가 스스로 여러 후보 솔루션을 병합할 수 있는 최적의 앙상블 전략을 직접 설계하고 제안합니다. * 병렬로 생성된 다양한 해결책들을 유기적으로 결합하며, 이 과정 또한 반복적인 피드백 루프를 통해 지속적으로 개선하여 최종 예측 성능을 극대화합니다. **시스템 안정성 및 신뢰성 강화를 위한 모듈** * **디버깅 에이전트:** 파이썬 스크립트 실행 중 발생하는 트레이스백(Traceback) 오류를 분석하고 즉각적으로 코드를 교정합니다. * **데이터 누수(Data Leakage) 체크:** 테스트 데이터의 정보가 학습 과정에 유입되는 위험을 방지하기 위해 실행 전 스크립트의 논리적 무결성을 검증합니다. * **데이터 사용 확인 도구:** 에이전트가 CSV와 같은 단순한 데이터만 사용하고 다른 중요한 데이터 소스를 누락하지 않도록 모든 제공된 데이터를 활용하는지 감시합니다. MLE-STAR는 단순한 코드 생성을 넘어 데이터 분석, 전략 수립, 오류 수정 및 검증에 이르는 머신러닝 엔지니어링의 전 과정을 수행할 수 있음을 보여줍니다. 특히 Kaggle과 같은 실제 경쟁 환경에서 높은 성과를 낸 만큼, 향후 기업 현장에서 복잡한 데이터 파이프라인을 효율적으로 구축하고 실험 비용을 절감하는 데 실질적인 도움을 줄 것으로 기대됩니다.

대규모 언어 모델AIAI 에이전트Python+5

google·2025년 7월 28일원문

회귀 언어 모델을 활용한 (새 탭에서 열림)

구글 리서치와 딥마인드 팀은 모든 수치 예측 문제를 텍스트-투-텍스트(text-to-text) 방식으로 해결하는 '회귀 언어 모델(Regression Language Model, RLM)'을 제안했습니다. 이 방법론은 복잡하고 구조화되지 않은 대규모 시스템의 데이터를 텍스트로 변환하여 LLM이 직접 수치를 예측하게 함으로써, 기존의 정형 데이터 기반 회귀 모델이 가졌던 한계를 극복합니다. 특히 구글의 클러스터 관리 시스템인 Borg의 효율성 예측에서 기존 모델보다 뛰어난 성능과 유연성을 입증하며 대규모 시스템 시뮬레이션의 새로운 가능성을 제시했습니다. **텍스트 기반 회귀 모델의 메커니즘** * 모든 입력 데이터($x$)와 타깃 수치($y$)를 구조화된 텍스트 스트링(예: YAML, JSON)으로 표현하여 모델에 입력합니다. * 모델은 일반적인 LLM과 마찬가지로 다음 토큰 예측(Next Token Prediction) 방식을 사용하며, 교차 엔트로피 손실 함수를 통해 학습합니다. * 별도의 피처 엔지니어링이나 데이터 정규화 과정이 필요 없으며, 사전 학습된 모델을 활용하거나 처음부터 무작위 초깃값으로 학습시키는 것 모두 가능합니다. * 수치를 텍스트로 처리함으로써 새로운 데이터 유형이나 하드웨어 사양, 워크로드 패턴이 추가되더라도 모델 구조를 변경하지 않고 유연하게 대응할 수 있습니다. **구글 Borg 시스템을 통한 실증 연구** * 구글의 컴퓨팅 인프라인 Borg의 자원 효율성 지표인 'MIPS per GCU'를 예측하는 데 RLMs를 적용했습니다. * 약 6,000만 개의 파라미터를 가진 2레이어 인코더-데코더 구조의 모델을 사용해 대규모 클러스터의 상태를 시뮬레이션했습니다. * 입력 데이터가 최대 100만 토큰에 달하는 경우, 중요도가 높은 피처를 앞쪽에 배치하는 전처리 과정을 통해 모델의 토큰 제한(8,000개) 내에서도 핵심 정보를 보존했습니다. * 퓨샷(few-shot) 그래디언트 업데이트만으로도 새로운 태스크와 데이터 유형에 빠르게 적응하는 성능을 보여주었습니다. **확률 분포 캡처 및 불확실성 모델링** * RLM의 출력 결과를 여러 번 샘플링함으로써 단순한 점 예측을 넘어 출력값 $y$의 확률 밀도(Density)를 정확하게 추정할 수 있습니다. * 이를 통해 시스템 내부의 고유한 무작위성(우연적 불확실성, Aleatoric Uncertainty)과 관측 데이터 부족으로 인한 불확실성(인식적 불확실성, Epistemic Uncertainty)을 동시에 파악합니다. * 실험 결과, RLM은 복잡한 다봉형(multimodal) 분포를 가진 타깃 값도 기존의 MLP(다층 퍼셉트론)나 XGBoost보다 훨씬 정교하게 모사하는 능력을 갖췄음이 확인되었습니다. **성능 비교 및 확장성** * 데이터 양이 적은 상황(Low-data regime)에서 RLM은 전통적인 회귀 모델들보다 월등히 높은 예측 정확도를 기록했습니다. * 복잡한 시스템의 설정값, 로그 정보, 메타데이터 등을 텍스트 형태로 통합 학습함으로써 시스템 전반에 대한 깊은 이해를 바탕으로 한 시뮬레이션이 가능해졌습니다. * 구글은 이 방법론을 누구나 활용할 수 있도록 'regress-lm'이라는 오픈소스 라이브러리를 공개하여 연구 커뮤니티의 참여를 독려하고 있습니다. 복잡하고 변화가 빠른 시스템에서 데이터 스키마를 정의하고 피처를 추출하는 데 드는 비용을 줄이고 싶다면, 입력을 텍스트로 직렬화하여 RLM을 적용해 보는 것을 추천합니다. 특히 시뮬레이션 대상의 불확실성이 크고 데이터가 비정형인 환경일수록 텍스트 기반 회귀 모델이 기존 방식보다 더 강력한 범용 근사 도구가 될 수 있습니다.

대규모 언어 모델AIgoogle-borgregression-language-models+5

google·2025년 7월 23일원문

합성 및 연합: 모바일 애플리케이션을 위한 LLM 기반 개인정보 보호 도메인 적응 (새 탭에서 열림)

구글 리서치는 개인정보를 보호하면서도 모바일 사용자 경험을 혁신하기 위해 거대언어모델(LLM)을 활용한 합성 데이터 생성과 연합 학습(Federated Learning) 기술을 결합하는 방안을 제시했습니다. 이 기술은 Gboard의 오타 교정, 다음 단어 예측 등 핵심 기능을 고도화하는 데 사용되며, 실제 사용자 데이터를 직접 노출하지 않고도 모델의 도메인 적응 성능을 획기적으로 높였습니다. 결과적으로 차등 개인정보 보호(Differential Privacy)가 적용된 연합 학습 모델이 실제 서비스에 성공적으로 배포되어, 보안과 성능을 동시에 확보할 수 있음을 입증했습니다. **LLM을 활용한 고품질 합성 데이터 생성** * 공개된 데이터를 학습한 강력한 LLM을 사용하여 모바일 사용자의 타이핑 특성을 반영한 합성 데이터를 생성합니다. * 사용자의 민감한 개인 데이터에 직접 접근하는 대신, LLM이 공개 데이터셋에서 모바일 상호작용과 유사한 텍스트를 필터링하거나 직접 생성하도록 유도하는 프롬프트 엔지니어링을 활용합니다. * 이렇게 생성된 합성 데이터는 소형 모델(Small LM)의 사전 학습 단계에서 활용되어, 개인정보 암기 위험을 최소화하면서도 타겟 도메인에 최적화된 성능을 낼 수 있도록 돕습니다. **연합 학습과 차등 개인정보 보호의 결합 (DP-FL)** * Gboard의 모든 생산용 언어 모델은 사용자 기기 내에서 데이터를 처리하는 연합 학습(FL)과 데이터 노출을 통계적으로 제한하는 차등 개인정보 보호(DP) 기술을 적용합니다. * 새로운 알고리즘인 'BLT-DP-FTRL'을 도입하여 개인정보 보호 수준과 모델 성능 사이의 최적의 균형을 유지하며, 배포의 편의성을 높였습니다. * 온디바이스 환경에 최적화된 'SI-CIFG' 모델 아키텍처를 사용하여 기기 내에서의 효율적인 학습과 DP 알고리즘 간의 호환성을 확보했습니다. **오류 교정 및 도메인 적응 성능 강화** * LLM을 통해 정제된 텍스트를 생성한 후, 의도적으로 오타나 문법 오류를 삽입하여 '오류-교정' 쌍의 합성 데이터를 대량으로 확보합니다. * 이 합성 데이터로 모델을 학습시킴으로써 모바일 기기에서의 교정 제안 및 맞춤법 검사 기능을 정교화했습니다. * 실제 환경 적용 결과, 주요 생산성 지표에서 3%~13%의 성능 향상을 기록하며 모바일 타이핑 경험을 실질적으로 개선했습니다. 합성 데이터와 연합 학습의 조합은 개인정보를 철저히 보호하면서도 고성능 AI 서비스를 제공할 수 있는 강력한 기술적 프레임워크를 제공합니다. 특히 데이터 보안이 중요한 모바일 환경에서 LLM의 생성 능력을 활용해 데이터 부족 문제를 해결하고 모델을 고도화하는 전략은 향후 다양한 AI 애플리케이션의 핵심적인 표준이 될 것으로 기대됩니다.

대규모 언어 모델differential-privacysynthetic-dataon-device-ai+3

google·2025년 6월 26일원문

REGEN: 자연어를 통한 개인 (새 탭에서 열림)

Google Research는 추천 시스템이 단순히 다음 아이템을 예측하는 것을 넘어, 자연어로 사용자와 상호작용하고 추천 이유를 설명할 수 있도록 돕는 새로운 벤치마크 데이터셋 'REGEN(Reviews Enhanced with GEnerative Narratives)'을 공개했습니다. 이 데이터셋은 아마존 상품 리뷰 데이터를 기반으로 Gemini 1.5 Flash를 활용해 합성된 사용자 비평과 개인화된 내러티브를 추가하여 구축되었습니다. 연구 결과, LLM 기반의 모델은 자연어 피드백을 통해 추천의 정확도를 높이는 동시에 사용자 맞춤형 설명을 효과적으로 생성할 수 있음을 입증했습니다. ## REGEN 데이터셋의 구성과 특징 * **기존 데이터의 확장:** 널리 사용되는 아마존 상품 리뷰 데이터셋을 기반으로 하되, 대화형 추천 시스템에 필요한 요소들을 Gemini 1.5 Flash로 합성하여 보완했습니다. * **사용자 비평(Critiques):** "더 많은 저장 용량이 필요해"와 같이 사용자가 현재 추천된 아이템을 수정하거나 선호도를 구체화하는 자연어 피드백 데이터를 포함합니다. * **맥락적 내러티브(Narratives):** 단순한 아이템 노출이 아니라, 구매 이유(Purchase reasons), 제품 홍보(Product endorsements), 사용자 선호도 요약 등을 포함하여 추천의 근거를 풍부하게 제공합니다. ## 추천과 생성을 위한 모델 아키텍처 * **하이브리드 방식 (FLARE + Gemma):** 협업 필터링 기반의 순차적 추천 모델인 FLARE가 아이템을 예측하면, 경량 LLM인 Gemma 2B가 해당 아이템에 대한 설명을 생성하는 이원화된 구조를 테스트했습니다. * **통합 모델 (LUMEN):** 단일 LLM이 비평 이해, 아이템 추천, 내러티브 생성을 모두 수행하는 모델입니다. 어휘집과 임베딩 레이어를 수정하여 아이템 ID와 텍스트 토큰을 하나의 생성 과정에서 처리하도록 설계되었습니다. * **공동 작업 수행:** 모델은 사용자의 과거 이력과 자연어 비평을 동시에 입력받아 적절한 아이템을 추천함과 동시에 그에 걸맞은 자연어 설명을 출력하는 엔드 투 엔드(End-to-End) 학습을 진행합니다. ## 실험 결과 및 성능 향상 * **비평의 효과:** 입력 데이터에 사용자의 자연어 비평을 포함했을 때 추천 성능이 일관되게 향상되었습니다. Office 도메인 데이터 기준, 상위 10개 추천 결과 내에 정답이 포함될 확률(Recall@10)이 0.124에서 0.1402로 크게 개선되었습니다. * **LLM의 다재다능함:** REGEN으로 학습된 모델들은 기존의 전문화된 추천 알고리즘에 필적하는 성능을 보이면서도, 사용자의 요구사항을 반영한 고품질의 개인화된 설명을 생성할 수 있었습니다. 추천 시스템의 미래는 단순히 상품을 나열하는 것이 아니라 사용자와 소통하며 맥락을 이해하는 방향으로 나아가고 있습니다. REGEN 데이터셋은 LLM이 추천 엔진의 핵심 역할을 수행할 수 있음을 보여주며, 개발자들은 이를 활용해 더 설명 가능하고(explainable) 대화에 능숙한 차세대 커머스 AI를 구축할 수 있을 것입니다.

대규모 언어 모델AIgemini자연어 처리+4

google·2025년 6월 5일원문

LLM 기반 여행 계획 최적화 (새 탭에서 열림)

대규모 언어 모델(LLM)은 사용자의 주관적인 취향과 정성적인 목표를 이해하는 데 탁월하지만, 개장 시간이나 이동 시간 같은 정량적인 제약 조건을 정밀하게 계산하는 데에는 한계가 있습니다. 이를 해결하기 위해 구글 리서치는 LLM이 초기 계획을 수립하고, 최적화 알고리즘이 실제 데이터를 기반으로 실행 가능성을 검증 및 조정하는 하이브리드 여행 계획 시스템을 개발했습니다. 이 시스템은 사용자의 의도를 최대한 반영하면서도 논리적으로 완벽한 일정을 생성하는 것을 목표로 합니다. **LLM과 최적화 알고리즘의 결합 구조** * 시스템은 먼저 제미나이(Gemini) 모델을 사용하여 사용자의 쿼리에 최적화된 초기 여행 계획을 생성하며, 여기에는 활동 목록, 권장 소요 시간, 중요도 등이 포함됩니다. * 생성된 초기 계획은 검색 백엔드를 통해 확보한 최신 영업시간 및 이동 시간 데이터와 결합되어 '그라운딩(Grounding)' 과정을 거칩니다. * LLM이 제안한 활동이 실행 불가능할 경우를 대비하여, 검색 시스템은 유사한 성격의 대체 활동들을 병렬적으로 추출하여 최적화 알고리즘에 전달합니다. **2단계 최적화 프로세스** * **일일 일정 최적화:** 첫 번째 단계에서는 개별 날짜 내의 활동 순서를 결정합니다. 동적 계획법(Dynamic Programming)을 활용하여 활동의 유사도와 실행 가능성을 점수화하며, 영업시간 미준수나 동선 오류가 있는 일정에는 0점을 부여하여 제외합니다. * **전체 일정 배분:** 두 번째 단계에서는 여러 날에 걸친 활동들이 겹치지 않도록 전체 경로를 구성합니다. 이는 컴퓨터 과학에서 '가중치 세트 패킹(Weighted Set Packing)' 문제로 분류되는 NP-완전(NP-complete) 문제로, 계산 복잡도가 매우 높습니다. * **지역 탐색 휴리스틱:** 복잡한 계산을 효율적으로 처리하기 위해 초기 일정에서 활동 위치를 조금씩 바꾸며 전체 점수를 높여가는 '지역 탐색 휴리스틱(Local search heuristics)'을 적용하여 최종 수렴된 최적의 일정을 도출합니다. **실제 적용 사례 및 효과** * **정성적 요구사항 충족:** "사람이 적고 덜 알려진 박물관"을 찾는 쿼리에서 일반 검색 시스템은 유명 박물관을 포함하는 오류를 범했으나, LLM 기반 시스템은 사용자의 의도를 정확히 파악하여 숨겨진 명소들로만 일정을 구성했습니다. * **물류적 실행 가능성 확보:** LLM이 샌프란시스코 여행 계획 시 도시를 가로지르는 비효율적인 동선을 제안하더라도, 최적화 알고리즘이 지리적 근접성을 고려하여 활동 순서를 재배치함으로써 현실적인 동선을 완성했습니다. 이러한 하이브리드 접근 방식은 AI의 유연한 이해 능력과 알고리즘의 엄격한 논리력을 결합하여 사용자에게 실질적으로 도움이 되는 도구를 제공합니다. 향후 이 기술은 여행 계획뿐만 아니라 복잡한 제약 조건이 얽힌 다양한 스케줄링 및 물류 최적화 분야에 광범위하게 활용될 수 있을 것으로 기대됩니다.

대규모 언어 모델AIgeminidynamic-programming+4

google·2025년 6월 2일원문

명확화 학습: Action-Based (새 탭에서 열림)

구글 리서치와 딥마인드 연구진이 발표한 '행동 기반 대조적 자기 훈련(Action-Based Contrastive Self-Training, 이하 ACT)'은 LLM이 다회차 대화에서 모호함을 해소하는 능력을 획기적으로 개선하는 방법론입니다. 기존 모델들이 사용자의 의도를 성급하게 추측하거나 답변을 회피하는 경향이 있는 반면, ACT는 대화의 맥락에 따라 질문을 던져 의도를 명확히 할지 아니면 바로 답변할지를 스스로 판단하도록 훈련합니다. 이 알고리즘은 데이터 효율적인 방식으로 멀티턴 대화의 궤적(trajectory)을 최적화하여 복잡한 정보 탐색 작업에서 기존의 지도 학습 기반 미세 조정(SFT)이나 직접 선호도 최적화(DPO)보다 뛰어난 성능을 보였습니다. ### 대화형 추론을 위한 암시적 행동 계획 * 전통적인 대화형 에이전트는 대화 관리(질문할지 답변할지 결정)와 생성 모듈이 분리되어 있었으나, ACT는 이를 생성 과정의 일부인 '암시적 행동 계획'으로 통합했습니다. * LLM이 별도의 계획 단계 없이 응답 생성 과정 내에서 적절한 대화 행동(의도 확인 질문 vs 답변 시도)을 수행하도록 직접 최적화합니다. * 이는 대화의 흐름에 따라 모델이 스스로 판단을 내리는 능력을 강화하여 더욱 자연스럽고 지능적인 상호작용을 가능하게 합니다. ### 1단계: 행동 기반 대조 데이터 생성 * 학습을 위해 먼저 각 대화 턴에서 '승리한 행동(예: 질문을 통한 확인)'과 '패배한 행동(예: 성급한 답변)'으로 구성된 선호도 데이터 쌍을 구축합니다. * 기존 대화 데이터셋의 정답 턴을 승리 응답으로 삼고, 조건부 생성 모델을 활용해 이와 반대되는 성격의 부정적 응답(Rejected response)을 합성합니다. * 이 과정을 통해 모델은 특정 상황에서 어떤 대화 행동이 더 적절한지에 대한 대조적인 시각을 학습하게 됩니다. ### 2단계: 온폴리시(On-policy) 대조적 자기 훈련 * 고정된 데이터셋으로 학습하는 오프라인 방식 대신, 학습 중인 모델이 직접 응답을 샘플링하는 온폴리시 방식을 채택했습니다. * 모델이 생성한 응답이 올바른 대화 행동(예: 질문하기)을 수행했는지 확인한 뒤, 전체 대화 궤적을 시뮬레이션하여 최종 결과가 사용자의 의도와 부합하는지 평가합니다. * 시뮬레이션 결과가 성공적일 경우 해당 궤적을 학습 데이터에 반영함으로써, 단일 턴의 응답 품질뿐만 아니라 멀티턴 대화 전체의 성공 확률을 높이도록 모델을 최적화합니다. ### AmbigSQL 도입 및 성능 검증 * 연구진은 복잡한 SQL 코드 생성 시 발생하는 모호한 요청을 해소하기 위한 새로운 과제인 'AmbigSQL'을 도입하여 데이터 분석 에이전트의 능력을 시험했습니다. * 표 기반 질의응답(Tabular-grounded QA) 및 기계 독해(MRC) 등 실제 환경과 유사한 다양한 과제에서 ACT의 효용성을 입증했습니다. * 실험 결과, ACT는 대화 내의 모호성을 인지하고 추론하는 능력이 표준적인 튜닝 방식들보다 월등히 높음을 보여주었습니다. 사용자의 모호한 질문에 대해 단순히 답변을 생성하는 것에 그치지 않고, 적절한 시점에 확인 질문을 던지는 에이전트를 구축하고자 한다면 ACT와 같은 다회차 궤적 시뮬레이션 기반의 정렬(Alignment) 방식이 매우 효과적인 대안이 될 수 있습니다. 특히 데이터 분석이나 기술 지원처럼 정확한 의도 파악이 필수적인 도메인에서 모델의 신뢰도를 높이는 데 기여할 것으로 기대됩니다.

대규모 언어 모델reinforcement-learningsupervised-fine-tuningaction-based-contrastive-self-training+4

google·2025년 5월 22일원문

사용자 수준 차분 프 (새 탭에서 열림)

Google Research는 대규모 언어 모델(LLM)을 사용자 수준의 차분 프라이버시(User-level Differential Privacy)를 유지하며 미세 조정하는 알고리즘을 연구하고 개선했습니다. 기존의 예시 수준 프라이버시보다 강력한 이 기법은 모델이 특정 사용자의 전체 데이터 포함 여부를 노출하지 않도록 보장하지만, 모델이 커질수록 노이즈가 증가하여 성능이 저하되는 한계가 있었습니다. 연구진은 데이터센터의 유연한 환경을 활용해 사용자 수준 샘플링(ULS) 알고리즘을 최적화함으로써, 프라이버시 보호와 모델 성능 사이의 균형을 효과적으로 맞출 수 있음을 증명했습니다. ### 사용자 수준 차분 프라이버시의 의의 * **프라이버시 강화:** 예시 수준 차분 프라이버시(Example-level DP)가 개별 데이터 포인트만 보호하는 반면, 사용자 수준 DP는 특정 사용자가 제공한 모든 데이터의 영향을 제한하여 훨씬 강력한 익명성을 보장합니다. * **실제 데이터 소유 구조 반영:** 오늘날 데이터는 개별 기기나 계정 단위로 묶여 있는 경우가 많으며, 공격자가 사용자의 특정 데이터 한 조각이 아닌 전체 활동 내역을 유추하는 것을 방지하는 데 최적화되어 있습니다. * **LLM 미세 조정의 필수성:** LLM을 특정 도메인에 맞게 최적화할 때 민감한 데이터가 포함되는 경우가 많으므로, 성능을 유지하면서도 프라이버시를 지키는 기술적 장치가 필수적입니다. ### ELS와 ULS 알고리즘 비교 * **예시 수준 샘플링(ELS):** 전체 데이터셋에서 무작위로 예시를 샘플링한 후, 기존 DP-SGD 알고리즘에 더 많은 노이즈를 추가하여 사용자 수준의 프라이버시를 확보하는 방식입니다. * **사용자 수준 샘플링(ULS):** 학습 배치(Batch)를 구성할 때 예시 단위가 아닌 사용자 단위로 무작위 샘플링을 진행하며, 선택된 사용자의 모든 데이터를 학습에 활용합니다. * **연합 학습과의 유사성:** ULS는 분산된 기기에서 학습하는 연합 학습(Federated Learning)과 유사한 구조를 가지지만, 데이터센터 환경에서는 모든 사용자의 데이터를 자유롭게 쿼리할 수 있어 더 유연한 최적화가 가능합니다. ### 기여 제한(Contribution Bound)을 통한 성능 최적화 * **데이터 전처리:** 각 사용자가 학습에 기여할 수 있는 예시의 최대 개수를 제한하는 '기여 제한' 설정이 성능의 핵심 변수로 작용합니다. * **노이즈와 정보의 균형:** 기여 제한을 너무 낮게 잡으면 사용자당 정보량이 부족해지고, 너무 높게 잡으면 프라이버시를 위해 추가해야 할 노이즈가 급격히 늘어나 학습 품질이 떨어집니다. * **데이터센터의 유연성 활용:** 연구진은 데이터센터 학습의 장점을 활용해 사용자와 예시를 모두 쿼리하며 기여 제한 파라미터를 정밀하게 조정함으로써, 연합 학습 기반의 알고리즘보다 더 높은 품질의 LLM 미세 조정이 가능함을 보여주었습니다. 사용자 수준의 프라이버시를 보장하면서 LLM을 미세 조정할 때는 **사용자 수준 샘플링(ULS)** 방식을 우선적으로 고려해야 합니다. 특히 데이터센터 환경에서 학습을 진행한다면, 특정 사용자의 데이터가 지나치게 편중되어 모델에 영향을 주지 않도록 **기여 제한(Contribution Bound)** 파라미터를 사전에 실험적으로 최적화하는 것이 모델의 정확도 손실을 최소화하는 가장 실용적인 전략입니다.

대규모 언어 모델AIdifferential-privacyfederated-learning+4

google·2025년 5월 13일원문

검색 확대 생성에 대한 깊이 있는 통찰: 충분한 맥락의 역할 (새 탭에서 열림)

검색 증강 생성(RAG) 시스템의 성능을 최적화하기 위해 단순히 질문과 '관련된' 정보를 찾는 것을 넘어, 답변을 내기에 '충분한 문맥(Sufficient Context)'이 제공되었는지를 판단하는 새로운 관점을 제시합니다. 연구팀은 문맥의 충분성을 측정하는 자동 평가 도구(autorater)를 개발하여 RAG 시스템의 실패 원인을 분석하고 할루시네이션(환각)을 줄일 수 있는 방법론을 입증했습니다. 이를 통해 최신 대규모 언어 모델(LLM)이 충분한 정보 환경에서 어떻게 작동하는지 규명하고, 실제 서비스인 Vertex AI RAG 엔진에 해당 기술을 적용하여 정확도를 개선했습니다. **충분한 문맥의 정의와 필요성** * **관련성 vs 충분성**: 기존 RAG 연구는 질문과 문맥의 '관련성'에 집중했으나, 관련성이 높더라도 정답을 도출하기 위한 핵심 정보가 빠져 있으면 LLM은 잘못된 답변을 내놓을 위험이 큽니다. * **충분한 문맥**: 질문에 대해 확정적인 답변을 제공하는 데 필요한 모든 정보가 포함된 상태를 의미합니다. * **불충분한 문맥**: 질문과 관련은 있지만 정보가 불완전하거나, 결론을 내릴 수 없거나, 모순되는 정보가 포함된 경우를 말합니다. **LLM 기반 자동 평가 도구(Autorater)의 설계 및 성능** * **평가 메커니즘**: 질문과 검색된 문맥 쌍을 입력받아 해당 문맥이 답변에 충분한지 여부를 'True/False'로 분류하며, 체인 오브 쏘트(CoT) 및 1-샷 프롬프팅을 통해 성능을 최적화했습니다. * **높은 분류 정확도**: Gemini 1.5 Pro를 활용한 이 방식은 별도의 미세 조정 없이도 전문가가 직접 레이블링한 데이터와 비교했을 때 93% 이상의 높은 일치율을 보였습니다. * **기존 방식과의 비교**: 정답 키워드 포함 여부를 확인하는 방식이나 기존의 자연어 추론(NLI) 모델 기반 방식보다 Gemini를 활용한 프롬프팅 방식이 뛰어난 문맥 이해력을 바탕으로 더 정교한 판단을 내리는 것으로 나타났습니다. * **효율적 대안**: 계산 자원의 효율성이 필요한 경우, Gemini보다는 다소 성능이 낮지만 미세 조정된 FLAMe(PaLM 24B 기반) 모델이 대안이 될 수 있음을 확인했습니다. **RAG 시스템 성능 분석 및 실무적 통찰** * **SOTA 모델의 특성**: Gemini, GPT, Claude와 같은 최신 모델들은 충분한 문맥이 주어지면 정답률이 매우 높지만, 문맥이 불충분할 때 "모른다"고 답하며 할루시네이션을 방지하는 능력에는 차이가 있었습니다. * **성능 최적화 도구**: 이번 연구의 개념은 Google Cloud Vertex AI RAG 엔진의 'LLM Re-Ranker' 기능으로 구현되었습니다. 이는 검색된 스니펫을 질문과의 관련성 및 충분성에 따라 재정렬하여 nDCG와 같은 검색 지표 및 전체 시스템 정확도를 높입니다. * **실패 분석**: RAG 시스템의 실패는 단순히 검색 품질의 문제뿐만 아니라, 충분한 정보가 있음에도 모델이 이를 제대로 추출하지 못하거나 불충분한 정보에서 억지로 답을 지어내는 과정에서 발생함을 확인했습니다. RAG 시스템의 신뢰도를 높이기 위해서는 단순히 더 많은 문서를 검색하는 것보다, 검색된 결과가 질문에 답하기에 '충분한지'를 먼저 검증하는 단계가 필수적입니다. 개발자는 고성능 LLM을 활용한 자동 평가 단계를 파이프라인에 추가하거나, 리랭커(Re-ranker)를 도입하여 문맥의 질을 관리함으로써 할루시네이션을 획기적으로 줄일 수 있습니다.

대규모 언어 모델AIgemini프롬프트 엔지니어링+5

google·2025년 5월 5일원문

복잡한 텍스트를 이해하기 쉽게 만들기: 제미니를 통한 최소 손실 텍스트 간소화 (새 탭에서 열림)

구글 리서치는 전문적인 지식을 일반 사용자가 더 쉽게 이해할 수 있도록 정보의 손실을 최소화하면서 텍스트를 단순화하는 Gemini 기반 시스템을 공개했습니다. 이 시스템은 단순히 정보를 생략하는 요약이나 새로운 내용을 덧붙이는 설명과 달리, 원문의 세부 사항과 뉘앙스를 완벽하게 유지하면서 가독성만을 높이는 '고충실도(High-fidelity) 단순화'를 목표로 합니다. 대규모 무작위 대조 실험 결과, 이 기술은 사용자의 정보 이해도를 높이는 동시에 텍스트를 읽을 때 느끼는 인지적 부담을 유의미하게 감소시키는 것으로 나타났습니다. ### 최소 손실 텍스트 단순화의 정의와 목표 * **요약과의 차별화**: 정보를 누락시키는 일반적인 요약과 달리, 원문의 모든 핵심 주장과 세부 사항을 보존하는 '최소 손실(Minimally-lossy)' 방식을 지향합니다. * **정확성 유지**: 의학, 법률, 금융 등 전문 용어가 많고 복잡한 텍스트에서 의미 왜곡 없이 문장 구조와 단어 선택을 최적화하여 명확성을 확보합니다. * **사용자 임파워먼트**: 복잡한 정보 때문에 의사결정에 어려움을 겪는 사용자가 스스로 텍스트를 변환하여 내용을 파악할 수 있도록 돕습니다. ### Gemini를 활용한 자동 평가 및 프롬프트 정제 루프 * **가독성 및 충실도 평가**: 기존의 단순한 가독성 지표(Flesch-Kincaid 등)를 넘어, Gemini가 1~10점 척도로 가독성을 정밀 평가하며 원문과 단순화된 텍스트 간의 정보 일치 여부를 분석합니다. * **LLM 기반 프롬프트 최적화**: Gemini 1.5 Pro가 Gemini 1.5 Flash가 생성한 결과물을 평가하고, 이를 바탕으로 더 나은 결과를 낼 수 있도록 프롬프트를 스스로 수정하는 루프를 구축했습니다. * **반복적인 성능 향상**: 수동 프롬프트 엔지니어링의 한계를 극복하기 위해 총 824회의 자동 반복(Iteration)을 거쳐 최적의 단순화 전략을 발견했습니다. ### 대규모 연구를 통한 실증적 효과 검증 * **연구 설계**: 4,500명 이상의 참가자를 대상으로 의학, 항공우주, 철학 등 복잡도가 높은 31개 분야의 실제 텍스트를 활용하여 무작위 대조 실험을 진행했습니다. * **이해도 측정**: 단순화된 텍스트를 읽은 그룹은 원문을 읽은 그룹보다 객관식 문제(MCQ) 정답률이 높았으며, 텍스트를 참고할 수 없는 상황에서도 더 높은 이해도를 보였습니다. * **인지 부하 감소**: NASA-TLX(작업 부하 지수)를 활용해 측정한 결과, 사용자들은 단순화된 텍스트를 읽을 때 정신적 노력이 덜 들고 더 높은 자신감을 느낀다고 답했습니다. 이러한 기술적 성과는 현재 iOS용 구글 앱의 'Simplify' 기능을 통해 실제 서비스에 적용되었으며, 전문가 수준의 지식 장벽을 낮추어 정보의 민주화를 실현하는 데 기여하고 있습니다. 전문가의 언어를 대중의 언어로 정확하게 번역해야 하는 다양한 도메인에서 Gemini의 이 시스템은 매우 유용한 도구가 될 것입니다.

대규모 언어 모델AIgemini자연어 처리+3

google·2025년 5월 1일원문

앰플리파이 이 (새 탭에서 열림)

구글 리서치가 발표한 ‘엠플리파이 이니셔티브(Amplify Initiative)’는 전 세계의 다양한 언어와 문화를 반영한 데이터를 수집하여 AI의 지역적 한계를 극복하려는 개방형 커뮤니티 기반 데이터 플랫폼입니다. 이 프로젝트는 현지 전문가들과의 협업을 통해 각 지역의 특수한 요구사항과 가치관이 담긴 고품질 데이터를 구축함으로써, 특정 지역에 치우치지 않는 책임감 있는 글로벌 AI 생태계를 조성하는 것을 목표로 합니다. 특히 사하라 이남 아프리카에서의 성공적인 파일럿 사례를 통해 데이터 저자권 인정과 보상을 결합한 지속 가능한 데이터 수집 모델의 가능성을 증명했습니다. **엠플리파이 이니셔티브의 핵심 가치** * **참여형 데이터 공동 생성:** 지역 연구자들과 커뮤니티가 직접 데이터 요구사항을 정의하고, 현지 문제를 해결하는 데 필요한 구조화된 데이터셋을 함께 만듭니다. * **글로벌 사우스(Global South)를 위한 개방형 데이터:** 수집된 다국어 데이터셋은 미세 조정(Fine-tuning) 및 평가용으로 공개되어, 저개발 국가의 연구자들이 현지 맞춤형 AI 도구를 개발할 수 있도록 지원합니다. * **기여자 인식 및 보상:** 데이터 생성에 참여한 전문가들에게 저자권 부여, 전문 자격증 제공, 연구 기여 인정 등의 보상 체계를 운영하여 참여 동기를 강화합니다. **사하라 이남 아프리카 파일럿 프로젝트 성과** * **전문가 협업 네트워크:** 우간다 마케레레 대학교 AI 연구소와 협력하여 가나, 케냐, 말라위, 니제르 등 5개국에서 건강, 교육, 금융 분야의 전문가 259명을 온보딩했습니다. * **대규모 다국어 데이터셋 구축:** 155명의 전문가가 직접 참여하여 7개 언어로 작성된 8,091개의 주석 달린 적대적 쿼리(Adversarial queries) 데이터셋을 생성했습니다. * **현지 맞춤형 콘텐츠:** 스와힐리어 기반의 미분별 정보 벤치마킹 데이터나 인도의 금융 문해력이 낮은 사용자를 위한 용어 단순화 데이터 등 실질적인 지역 난제 해결에 초점을 맞췄습니다. **데이터 수집 및 검증 프로세스** * **도메인 전문가 기반 접근:** 보건 의료 종사자나 교사와 같이 특정 분야의 전문 지식을 갖춘 인력을 선발하여 온라인에 존재하지 않는 심층적인 지식을 캡처합니다. * **전용 안드로이드 앱 활용:** 프라이버시가 보호되는 전용 앱을 통해 교육 자료를 배포하고, 책임감 있는 AI 실천 방안과 편향성 방지 교육을 실시합니다. * **자동화된 품질 관리:** 앱 내 자동 피드백 시스템을 통해 중복되거나 의미론적으로 유사한 쿼리의 생성을 방지하고, 데이터 수집 목표와의 정렬을 실시간으로 확인합니다. * **정교한 주석(Annotation) 작업:** 전문가가 자신의 도메인에 특화된 테마와 주제별로 각 쿼리에 상세한 주석을 달아 데이터의 구조적 완성도를 높입니다. 엠플리파이 이니셔티브는 아프리카에서의 성과를 바탕으로 향후 브라질과 인도 등으로 범위를 확장하여, 온라인에서 접근하기 어려운 현지 지식을 데이터화하는 혁신적인 방법론을 지속적으로 발굴할 계획입니다. AI 모델의 성능만큼이나 데이터의 다양성과 대표성이 중요한 시점에서, 이러한 커뮤니티 중심의 데이터 구축 방식은 진정한 의미의 '글로벌 AI'를 실현하는 필수적인 기반이 될 것입니다.

대규모 언어 모델AI생성형 AIAndroid+5

google·2025년 4월 30일원문

AMIE, 시각을 갖 (새 탭에서 열림)

구글 딥마인드가 텍스트를 넘어 이미지와 문서 등 멀티모달 정보를 통합하여 진단 대화를 수행하는 인공지능 에이전트 '멀티모달 AMIE'를 공개했습니다. 이 시스템은 제미나이 2.0 플래시(Gemini 2.0 Flash)를 기반으로 구축되었으며, 환자의 상태와 진단적 불확실성에 따라 지능적으로 정보를 요청하고 분석하는 능력을 갖췄습니다. 연구 결과, AMIE는 실제 의료 현장의 문진 과정을 효과적으로 모사하며 전문의에 필적하는 수준의 진단 및 관리 계획 수립 능력을 보여주었습니다. **상태 인지 기반의 추론 프레임워크와 문진 과정의 최적화** * AMIE는 실제 의사가 문진을 진행하는 방식과 유사하게 '병력 청취', '진단 및 관리', '사후 관리'의 3단계로 대화 흐름을 관리하는 '상태 인지 단계 전환 프레임워크'를 채택했습니다. * 모델의 내부 상태를 지속적으로 업데이트하여 환자에 대한 지식 격차와 진단적 불확실성을 실시간으로 추적합니다. * 특정 정보가 부족하다고 판단될 경우 피부 사진, 실험실 검사 결과, 심전도(ECG) 등 구체적인 멀티모달 자료를 환자에게 능동적으로 요청하고 이를 해석하여 진단을 정교화합니다. **시뮬레이션 환경 구축 및 전문가 평가를 통한 성능 검증** * SCIN(피부과) 및 PTB-XL(심전도)과 같은 실제 의료 데이터셋을 활용해 멀티모달 시나리오와 환자 에이전트를 생성하여 시스템을 훈련하고 평가할 수 있는 환경을 조성했습니다. * 전 세계 의료 교육에서 표준으로 사용되는 객관적 구조화 진료 시험(OSCE) 형식을 도입하여 1차 진료의(PCP)들과 AMIE의 성능을 비교 분석했습니다. * 평가 결과, AMIE는 다양한 임상 시나리오에서 의사들에 준하는 수준의 진단 정확도와 공감 능력을 보여주었으며, 복합적인 시각 데이터를 논리적으로 통합하는 역량을 입증했습니다. 이번 연구는 AI 에이전트가 단순한 대화 상대를 넘어 시각적 증거를 바탕으로 고도화된 임상적 추론을 수행할 수 있음을 보여줍니다. 향후 제미나이 2.5 플래시 등 최신 모델과의 결합을 통해 성능이 더욱 향상될 것으로 기대되며, 이는 의료진의 의사결정을 보조하고 원격 의료의 정확도를 높이는 혁신적인 도구가 될 것으로 전망됩니다.

대규모 언어 모델AIAI 에이전트멀티모달 AI+5