Google Research / gen-ai

Introducing Groundsource: Turning news reports into data with Gemini (새 탭에서 열림)

Google Research가 공개한 'Groundsource'는 비정형 뉴스 데이터를 고품질의 정형 데이터로 변환하는 AI 기반 프레임워크입니다. 이 기술은 Gemini를 활용해 전 세계 150개국 이상의 뉴스에서 260만 건의 돌발 홍수 기록을 추출했으며, 이를 통해 데이터가 부족했던 기후 과학 분야에 전례 없는 규모의 역사적 베이스라인을 제공합니다. 결과적으로 이 시스템은 돌발 홍수 예보의 정확도를 높여 인명 구조와 도시 계획 등에 실질적인 도움을 줄 수 있는 데이터 생태계를 구축했습니다. **글로벌 재난 데이터의 부족 문제** * 홍수와 같은 수문 기상학적 재난은 지진과 달리 표준화된 관측 인프라가 부족하여 모델 학습을 위한 데이터가 매우 희귀한 '데이터 사막' 현상을 겪고 있습니다. * 기존의 위성 기반 데이터베이스는 구름의 간섭, 위성 재방문 주기 등으로 인해 규모가 크고 오래 지속되는 홍수 위주로만 기록되는 한계가 있었습니다. * UN과 유럽 위원회 등이 운영하는 GDACS 시스템은 약 1만 건의 기록을 보유하고 있으나, 이는 전 지구적 규모의 AI 모델을 훈련하기에는 턱없이 부족한 양입니다. **Gemini를 활용한 Groundsource 파이프라인** * **텍스트 추출 및 표준화:** 80개 언어로 작성된 뉴스 기사와 정부 보고서에서 텍스트를 추출한 뒤, Cloud Translation API를 통해 영어로 표준화합니다. * **Gemini 기반 정밀 분석:** 고도화된 프롬프트 엔지니어링을 통해 Gemini가 세 가지 핵심 분석 작업을 수행합니다. * **분류:** 단순한 홍수 주의보나 정책 기사가 아닌, 실제 발생 중이거나 발생했던 홍수 사건만을 정확히 구별합니다. * **시간 추론:** 기사 발행일을 기준으로 '지난 화요일'과 같은 상대적 시점 표기를 구체적인 날짜와 시간으로 변환합니다. * **공간 정밀도:** 기사 속의 동네나 거리 이름을 식별하고, Google Maps Platform을 사용해 이를 표준화된 공간 폴리곤(Polygon) 데이터로 매핑합니다. **데이터의 신뢰도와 확장성 검증** * 수동 검토 결과, 추출된 이벤트의 60%가 위치와 시간 측면에서 완벽하게 정확했으며, 82%는 실무 분석에 유효한 수준(특정 행정 구역 및 발생 당일 일치)의 정확도를 보였습니다. * Groundsource는 기존 GDACS에 기록된 주요 홍수 사건의 85~100%를 포착하는 동시에, 기존 시스템이 놓쳤던 국지적이고 소규모인 홍수 사건까지 방대하게 수집했습니다. * 전 세계 260만 건의 홍수 데이터는 기존 감시 시스템 대비 데이터 밀도를 수백 배 이상 높인 성과입니다. **미래 예측 기술로의 응용** * 구축된 구조화 데이터를 통해 이제 도시 돌발 홍수를 발생 최대 24시간 전에 예보할 수 있게 되었으며, 이는 현재 Google의 'Flood Hub' 서비스에 통합되어 제공되고 있습니다. * 이 프레임워크는 뉴스라는 '비정형 기억'을 체계적인 과학적 베이스라인으로 변환할 수 있음을 증명했으며, 향후 가뭄, 산사태, 산사태 등 데이터가 부족한 다른 자연재해 분야로도 확장될 예정입니다. 이처럼 LLM을 활용해 흩어진 뉴스 정보를 정교한 데이터셋으로 구축하는 방식은 데이터 부족 문제를 겪는 기후 및 환경 연구자들에게 매우 강력한 도구가 될 수 있습니다. 단순한 기록 보관을 넘어 실시간 예보 시스템과 연동할 때 기술의 사회적 가치가 극대화될 것입니다.

Beyond one-on-one: Authoring, simulating, and testing dynamic human-AI group conversations (새 탭에서 열림)

DialogLab은 기존의 1:1 대화 모델을 넘어 복잡한 다자간 대화 시뮬레이션을 가능하게 하는 오픈소스 연구 프로토타입입니다. 이 프레임워크는 구조화된 스크립트의 예측 가능성과 생성형 AI의 즉흥성을 결합하여, 사용자가 사회적 역학 관계를 정의하고 동적인 대화 흐름을 설계 및 테스트할 수 있도록 지원합니다. 이를 통해 개발자와 디자이너는 실제 인간의 대화와 유사한 복잡한 그룹 상호작용을 효율적으로 구현하고 검증할 수 있습니다. ### 사회적 구조와 대화 흐름의 분리 DialogLab의 핵심은 대화의 '사회적 설정'과 '시간적 흐름'을 독립적인 차원으로 분리하여 관리하는 데 있습니다. * **그룹 역학(Group Dynamics):** 대화의 사회적 구조를 정의합니다. 전체 컨테이너인 '그룹', 특정 역할을 가진 하위 그룹인 '파티(Parties)', 그리고 개별 참여자나 공유 콘텐츠인 '엘리먼트(Elements)'로 구성됩니다. * **대화 흐름 역학(Conversation Flow Dynamics):** 대화가 시간에 따라 전개되는 방식을 정의합니다. 대화의 단계를 '스니펫(Snippets)'으로 나누어 각 단계별 참여자, 대화 순서, 상호작용 스타일(협력적 혹은 논쟁적 등)을 설정할 수 있습니다. * **세밀한 규칙 설정:** 단순한 대화를 넘어 끼어들기(Interruptions)나 백채널링(Backchanneling, 맞장구)과 같은 세밀한 규칙을 추가하여 실제와 유사한 대화 환경을 조성합니다. ### 저작-시뮬레이션-검증의 통합 워크플로우 DialogLab은 시각적 인터페이스를 통해 대화를 설계하고 즉시 테스트하며 분석할 수 있는 효율적인 단계를 제공합니다. * **시각적 저작 도구:** 드래그 앤 드롭 방식의 캔버스를 통해 아바타와 콘텐츠를 배치하고, 인스펙터 패널에서 페르소나와 상호작용 패턴을 세부적으로 설정할 수 있습니다. AI가 대화 프롬프트를 자동 생성하는 기능을 지원하여 설계 속도를 높입니다. * **인간 중심 시뮬레이션(Human-in-the-loop):** 라이브 프리뷰 패널에서 대화 내용을 실시간으로 확인하며, '인간 제어' 모드를 통해 AI가 제안하는 답변을 수정, 수락 또는 거부하며 대화의 방향을 직접 조정할 수 있습니다. * **분석 및 검증 대시보드:** 대화가 끝난 후 타임라인 뷰와 사후 분석 도구를 통해 참여자 간의 발언 분포, 감정의 흐름 등을 시각적으로 분석하여 대화의 품질을 검증합니다. ### 실제 테스트 결과 및 사용자 경험 게임 디자인, 교육, 사회과학 분야의 전문가 14명을 대상으로 실시한 평가에서 DialogLab은 다자간 대화 설계의 유연성을 입증했습니다. * **세 가지 테스트 조건:** 사용자가 직접 AI의 반응을 제어하는 '인간 제어형', 미리 정의된 순서대로 반응하는 '자율형', 직접적인 언급에만 반응하는 '반응형' 모델을 비교했습니다. * **높은 몰입감과 현실성:** 전문가들은 '인간 제어형' 모드에서 가장 높은 몰입감과 현실성을 느꼈다고 평가했으며, 이는 복잡한 사회적 시뮬레이션에서 인간의 개입과 제어 능력이 중요함을 시사합니다. * **효율적인 이터레이션:** 시각적인 드래그 앤 드롭 인터페이스와 자동 생성 프롬프트 덕분에 대화 시나리오를 빠르게 반복 수정하고 테스트하는 과정이 매우 직관적이라는 피드백을 받았습니다. DialogLab은 교육용 시뮬레이션, 게임 캐릭터 간의 상호작용 설계, 혹은 복잡한 사회적 역동성을 연구하는 학술적 목적에 특히 유용합니다. 단순히 AI와 대화하는 것을 넘어, AI가 포함된 그룹 내에서의 인간 관계와 소통 방식을 정교하게 설계하고자 하는 기획자들에게 강력한 도구가 될 것입니다.

How AI tools can redefine universal design to increase accessibility (새 탭에서 열림)

구글 리서치는 장애인 커뮤니티와의 긴밀한 협력을 통해 사용자의 고유한 요구에 실시간으로 적응하는 '기본 적응형 인터페이스(Natively Adaptive Interfaces, NAI)' 프레임워크를 공개했습니다. NAI는 정적인 디자인에서 벗어나 멀티모달 AI 에이전트를 활용함으로써, 디지털 환경을 단순한 도구가 아닌 사용자의 맥락을 이해하는 능동적인 협업자로 변모시키는 것을 핵심으로 합니다. 이를 통해 기술이 사용자의 특성에 맞춰 스스로 형태를 바꾸는 진정한 의미의 유니버설 디자인을 구현하고, 기능 출시와 보조 기술 지원 사이의 시차인 '접근성 격차'를 해소하고자 합니다. **공동 설계: "우리 없이 우리에 대해 논하지 말라"** * 장애인 커뮤니티의 오랜 원칙인 "Nothing About Us Without Us"를 개발 생애 주기 전반에 도입하여 실질적인 생활 경험을 기술의 중심에 두었습니다. * RIT/NTID, The Arc, RNID, Team Gleason과 같은 전문 단체들과 협력하여 다양한 의사소통 방식을 이해하는 AI 도구를 공동 개발하고 있습니다. * 이러한 협력 모델은 단순히 도구를 만드는 것을 넘어, 장애인 커뮤니티 내의 경제적 역량 강화와 고용 기회 창출로 이어지는 선순환 구조를 지향합니다. **에이전트 중심의 다중 시스템 아키텍처** * 복잡한 메뉴를 사용자가 직접 탐색하는 대신, 중앙 관리자인 '오케스트레이터(Orchestrator)'가 사용자의 문맥을 파악하고 적절한 하위 에이전트에게 작업을 할당합니다. * **요약 에이전트(Summarization Agent):** 방대한 정보를 분석하여 사용자가 이해하기 쉬운 핵심 통찰로 변환합니다. * **설정 에이전트(Settings Agent):** 텍스트 크기 조절 등 UI 요소를 실시간으로 동적 변경하여 최적의 가독성을 제공합니다. * 이를 통해 사용자는 특정 기능을 찾기 위해 버튼을 헤맬 필요 없이, 시스템과 직관적으로 상호작용하며 문제를 해결할 수 있습니다. **멀티모달 유창성을 활용한 주요 프로토타입** * 제미나이(Gemini) 모델의 시각, 음성, 텍스트 동시 처리 능력을 활용하여 주변 환경을 실시간으로 설명하고 질의응답을 주고받는 기능을 구현했습니다. * **StreetReaderAI:** 시각 장애인을 위한 가상 가이드로, 과거 시각 프레임을 기억하여 "방금 지나친 버스 정류장이 어디인가요?"와 같은 질문에 "뒤로 12미터 지점에 있습니다"라고 구체적으로 답변합니다. * **MAVP (Multimodal Agent Video Player):** 정적인 음성 해설을 넘어, 검색 증강 생성(RAG) 기술을 통해 사용자가 영상 속 특정 세부 사항(예: 등장인물의 의상)을 질문하면 실시간으로 응답하는 양방향 비디오 시청 경험을 제공합니다. * **Grammar Laboratory:** 미국 수어(ASL)와 영어를 동시에 지원하는 이중 언어 AI 학습 플랫폼으로, 사용자의 학습 패턴에 맞춘 맞춤형 콘텐츠와 피드백을 제공합니다. **유니버설 디자인의 확장: 커브 컷 효과** * 장애인을 위해 설계된 기능이 결과적으로 모든 사용자의 편의를 증진하는 '커브 컷 효과(Curb-cut effect)'를 강조합니다. * 시각 장애인을 위해 개발된 음성 인터페이스가 멀티태스킹이 필요한 비장애인에게도 유용하게 쓰이듯, NAI 프레임워크는 모든 사용자에게 더 나은 디지털 경험을 제공합니다. * 학습 장애를 지원하기 위한 요약 및 합성 도구는 복잡한 정보를 빠르게 파악해야 하는 모든 현대인에게 보편적인 가치를 제공하게 됩니다. AI 기술은 이제 단순한 접근성 지원 도구를 넘어, 모든 사람의 고유한 개성과 상황에 맞춰 인터페이스가 스스로 진화하는 '개인화된 유니버설 디자인' 시대를 열고 있습니다. 개발자와 디자이너들은 설계 초기 단계부터 장애인 사용자를 파트너로 참여시키고, 멀티모달 AI를 활용해 정적인 UI를 동적인 에이전트 시스템으로 전환함으로써 더욱 포용적인 디지털 세상을 구축할 수 있습니다.

Next generation medical image interpretation with MedGemma 1.5 and medical speech to text with MedASR (새 탭에서 열림)

구글 리서치는 의료용 생성형 AI 모델인 MedGemma의 기능을 대폭 강화한 'MedGemma 1.5 4B'와 의료 전문 음성 인식 모델 'MedASR'을 새롭게 공개했습니다. 이번 업데이트는 CT, MRI 등 고차원 의료 영상 분석과 시계열 데이터 처리 능력을 크게 향상시켜 개발자들이 보다 정밀한 의료 보조 애플리케이션을 구축할 수 있도록 돕습니다. 오픈 모델로 제공되는 이 기술들은 연구 및 상업적 목적으로 자유롭게 활용 가능하며, 의료 현장의 디지털 전환을 가속화하는 핵심 도구가 될 것으로 기대됩니다. **MedGemma 1.5의 고차원 의료 영상 처리 역량** * 기존 2차원 이미지를 넘어 CT와 MRI 같은 3차원 볼륨 데이터, 그리고 대용량 병리 조직 슬라이드(Whole-slide histopathology) 분석 기능을 새롭게 지원합니다. * 여러 장의 이미지 슬라이드나 패치를 입력값으로 받아 복합적인 추론이 가능하며, 내부 벤치마크 결과 CT 관련 질환 분류 정확도는 기존 대비 3%, MRI는 14% 향상되었습니다. * 흉부 엑스레이의 시계열 검토(Longitudinal review) 기능을 통해 환자의 과거와 현재 상태 변화를 추적하거나, 특정 해부학적 특징의 위치를 파악하는 로컬라이제이션 기능이 강화되었습니다. * 의료 실험 보고서와 같은 비정형 문서에서 구조화된 데이터를 추출하는 의료 문서 이해 능력이 개선되어 데이터 관리 효율성을 높였습니다. **의료 음성 인식 모델 MedASR과 개발 생태계** * MedASR은 의료 전문 용어와 진단 받아쓰기에 최적화된 자동 음성 인식 모델로, 의료진의 음성을 텍스트로 변환하여 MedGemma의 추론 엔진과 즉시 연동할 수 있습니다. * MedGemma 1.5 4B 모델은 오프라인에서도 실행 가능한 효율적인 크기로 설계되어, 연산 자원이 제한된 환경에서도 높은 성능을 유지하며 유연하게 배포할 수 있습니다. * 구글은 10만 달러 규모의 상금을 건 'MedGemma Impact Challenge' 해커톤을 Kaggle에서 개최하여 전 세계 개발자들이 의료 AI를 창의적으로 활용할 수 있도록 독려하고 있습니다. * 모든 모델은 Hugging Face와 Google Cloud Vertex AI를 통해 제공되어, 개발자가 자신의 유스케이스에 맞춰 모델을 미세 조정하고 대규모 애플리케이션으로 확장하기 용이합니다. 의료 AI 애플리케이션을 개발하려는 엔지니어는 MedGemma 1.5 4B를 시작점으로 삼아 로컬 환경에서 프로토타입을 구축하는 것이 효율적입니다. 특히 MedASR을 활용해 의료진의 구두 기록을 텍스트화하고 이를 MedGemma의 다중 모달 분석 기능과 결합한다면, 실시간 진단 보조 및 임상 의사 결정 지원 분야에서 강력한 경쟁력을 확보할 수 있을 것입니다.

Google Research 2025: Bolder breakthroughs, bigger impact (새 탭에서 열림)

2025년 구글 리서치는 기초 연구가 실제 제품과 사회적 가치로 연결되는 '혁신의 마법 주기(Magic Cycle)'를 가속화하며 생성형 AI, 과학적 발견, 양자 컴퓨팅 분야에서 기념비적인 성과를 거두었습니다. 제미나이 3(Gemini 3)로 대표되는 모델의 효율성과 사실성 개선은 물론, 스스로 도구를 사용하는 에이전트 모델과 질병 치료를 위한 바이오 AI 기술을 통해 기술적 한계를 한 단계 더 확장했습니다. 이러한 연구 결과는 단순한 기술 진보를 넘어 기후 변화 대응과 교육 등 인류 공통의 과제를 해결하는 데 실질적인 기여를 하고 있습니다. **생성형 모델의 효율성 및 신뢰성 고도화** * **추론 효율성 최적화:** '투기적 디코딩(Speculative decoding)'과 가상 머신 작업 수명을 예측하는 'LAVA' 알고리즘을 도입하여 대규모 클라우드 데이터 센터의 리소스 효율성과 비용 절감을 실현했습니다. * **사실성(Factuality) 강화:** 2021년부터 이어진 LLM 사실성 연구를 집대성하여 제미나이 3를 역대 가장 사실적인 모델로 구축했으며, FACTS 벤치마크 등을 통해 모델의 정보 근거 제시 능력을 입증했습니다. * **다국어 및 다문화 대응:** 오픈 모델인 '젬마(Gemma)'를 140개 이상의 언어로 확장하고, 문화적 맥락을 이해하는 'TUNA' 분류 체계와 'Amplify' 이니셔티브를 통해 글로벌 사용자에게 최적화된 AI 경험을 제공합니다. **생성형 UI와 지능형 에이전트의 등장** * **인터랙티브 인터페이스:** 사용자의 프롬프트에 따라 웹페이지, 게임, 도구 등의 시각적 인터페이스를 실시간으로 생성하는 '생성형 UI'를 제미나이 3에 도입했습니다. * **에이전트 기능(Agentic AI):** 단순 응답을 넘어 복잡한 작업을 수행하는 '프로젝트 자비스(Project Jarvis)'와 웹 브라우징 에이전트를 통해 사용자의 일상 업무를 자동화하는 능력을 선보였습니다. * **코드 및 추론 능력:** 고도화된 추론 아키텍처를 통해 소프트웨어 엔지니어링 성능을 비약적으로 향상시켰으며, 이는 구글 내부 코드의 25% 이상이 AI에 의해 생성되는 결과로 이어졌습니다. **과학적 혁신과 헬스케어의 진보** * **생물학적 발견:** 단백질 구조 예측을 넘어 분자 상호작용을 모델링하는 'AlphaFold 3'와 새로운 단백질을 설계하는 'AlphaProteo'를 통해 신약 개발과 질병 이해의 속도를 높였습니다. * **의료 특화 모델:** 'Med-Gemini'와 같은 의료 전용 모델을 개발하여 흉부 엑스레이 분석, 유전체 데이터 해석 등 전문적인 의료 진단 보조 도구로서의 가능성을 확인했습니다. * **뇌 과학 연구:** 하버드 대학과의 협력을 통해 인간 대뇌 피질의 시냅스 수준 지도를 제작하는 등 신경과학 분야에서도 전례 없는 성과를 냈습니다. **양자 컴퓨팅과 지구 과학을 통한 미래 대비** * **양자 우위와 실용화:** 양자 오류 정정 기술의 혁신을 통해 실제 문제 해결에 활용 가능한 양자 컴퓨팅 시대를 앞당겼습니다. * **기후 및 환경 대응:** 산불을 실시간으로 추적하는 'FireSat' 위성 네트워크와 비행운(Contrails) 감소 연구 등을 통해 기후 위기 대응을 위한 구체적인 AI 솔루션을 제시했습니다. * **책임감 있는 AI:** 콘텐츠의 출처를 밝히는 'SynthID' 워터마킹 기술을 텍스트와 비디오로 확대 적용하여 AI 생성 콘텐츠의 투명성과 안전성을 강화했습니다. 구글의 2025년 성과는 AI가 단순한 보조 도구를 넘어 과학 연구의 속도를 높이고 복잡한 사회 문제를 해결하는 강력한 에이전트로 진화했음을 보여줍니다. 기업과 연구자는 이제 단순한 챗봇 구현을 넘어, 특정 도메인에 특화된 에이전트 모델과 생성형 UI를 활용한 새로운 사용자 경험 설계에 집중해야 할 시점입니다.

Gemini provides automated feedback for theoretical computer scientists at STOC 2026 (새 탭에서 열림)

Google Research는 이론 컴퓨터 과학 분야의 최고 권위 학회인 STOC 2026 제출 논문을 대상으로, Gemini를 활용한 자동 피드백 도구를 실험적으로 도입했습니다. 이 도구는 복잡한 논리 구조와 수식을 검증하여 인간 연구자가 수개월 동안 발견하지 못한 치명적인 오류를 24시간 이내에 찾아내는 성과를 거두었습니다. 결과적으로 참여 저자의 97%가 피드백이 유용했다고 답하며, AI가 전문적인 연구 워크플로우를 보조하는 강력한 협업 도구가 될 수 있음을 증명했습니다. **추론 확장 기술을 통한 수학적 엄밀성 확보** * Gemini 2.5 Deep Think의 고급 버전에 적용된 '추론 확장(Inference Scaling)' 메서드를 활용하여 단순한 선형적 사고를 넘어 여러 해결 경로를 동시에 탐색합니다. * 다양한 추론 및 평가 흔적(traces)을 결합함으로써 LLM 특유의 환각 현상을 줄이고, 논문의 가장 핵심적인 논리적 결함에 집중할 수 있도록 최적화되었습니다. **구조화된 피드백 제공 방식** * 저자들에게는 논문의 기여도 요약, 주요 정리(Theorem) 및 보조 정리(Lemma)에 대한 구체적인 오류 지적 및 개선 제안, 오타 및 단순 교정 사항이 포함된 체계적인 리포트가 제공됩니다. * 단순한 문구 수정을 넘어 변수 이름의 불일치, 부등식의 잘못된 적용, 증명 과정에서의 논리적 공백 등 기술적인 디테일을 심층 분석합니다. **실제 연구 현장에서의 성과와 사용자 반응** * 실험에 참여한 논문의 80% 이상이 AI 리뷰를 선택했으며, 저자들은 수개월간 발견하지 못했던 '논문 전체를 부정하게 만드는 치명적인 버그'를 AI가 찾아냈다는 점에 주목했습니다. * 설문 결과 참여자의 97%가 재사용 의사를 밝혔으며, 81%는 논문의 명확성과 가독성이 크게 향상되었다고 평가했습니다. * 인간 리뷰어와 달리 중립적인 톤으로 신속하게(2일 이내) 피드백을 제공한다는 점이 큰 장점으로 꼽혔습니다. **전문가와 AI의 협업 모델 및 한계점** * 모델이 복잡한 표기법이나 그림을 해석하는 과정에서 간혹 환각을 일으키기도 하지만, 해당 분야의 전문가인 저자들은 AI의 출력물에서 '노이즈'를 걸러내고 유익한 통찰만을 선택적으로 수용하는 능력을 보여주었습니다. * 이는 AI가 인간을 대체하는 것이 아니라, 전문가의 판단을 돕고 검증의 시작점 역할을 수행하는 '보조적 파트너'로서 최적화되어 있음을 시사합니다. **교육적 가치와 미래 전망** * 설문에 응한 연구자의 75%는 이 도구가 학생들에게 수학적 엄밀성과 논문 작성법을 교육하는 데 큰 가치가 있다고 응답했습니다. * 연구 커뮤니티의 88%는 연구 프로세스 전반에 걸쳐 이러한 도구를 지속적으로 사용하기를 희망하고 있으며, Google은 향후 동료 검토(Peer Review) 과정을 대체하는 것이 아닌, 이를 보완하고 강화하는 방향으로 기술을 발전시킬 계획입니다. 연구자들은 이 도구를 단순한 자동 검토기가 아닌, 연구 초기 단계부터 논리의 빈틈을 메워주는 '상시 접속 가능한 동료 연구자'로 활용할 것을 권장합니다. 특히 복잡한 증명이 포함된 논문을 투고하기 전, 예상치 못한 논리적 오류를 사전에 필터링하는 용도로 매우 유용합니다.

Spotlight on innovation: Google-sponsored Data Science for Health Ideathon across Africa (새 탭에서 열림)

구글 리서치는 아프리카 전역의 데이터 과학 커뮤니티와 협력하여 현지의 시급한 의료 과제를 해결하기 위한 'Data Science for Health Ideathon'을 개최했습니다. 이 대회는 MedGemma, MedSigLIP 등 구글의 개방형 의료 AI 모델을 활용해 자궁경부암 검진, 모성 건강 지원 등 아프리카 보건 시스템에 실질적인 변화를 가져올 수 있는 솔루션을 개발하는 데 중점을 두었습니다. 최종 선정된 팀들은 구글의 기술 자원과 전문가 멘토링을 통해 아이디어를 구체적인 프로토타입으로 구현하며 지역 맞춤형 AI 혁신의 가능성을 증명했습니다. **협력적 의료 혁신과 기술적 기반** * 르완다 키갈리에서 열린 'Deep Learning Indaba' 컨퍼런스를 기점으로 아프리카 AI 및 의료 커뮤니티 간의 역량 강화를 목표로 시작되었습니다. * 참가자들에게는 MedGemma(의료 LLM), TxGemma(치료제 개발 모델), MedSigLIP(의료 영상 분석 모델) 등 구글의 최신 보건 AI 모델이 제공되었습니다. * 프로젝트 수행을 위해 Google Cloud Vertex AI 컴퓨팅 크레딧과 상세 기술 문서, 구글 DeepMind 연구진의 기술 멘토링이 단계별로 지원되었습니다. **자궁경부암 및 모성 건강을 위한 AI 솔루션** * **Dawa Health (1위):** WhatsApp으로 업로드된 질확대경 영상을 MedSigLIP 기반 분류기로 실시간 분석하여 암 징후를 식별합니다. 여기에 Gemini RAG(검색 증강 생성)를 결합해 세계보건기구(WHO)와 잠비아의 프로토콜에 따른 임상 가이드를 제공합니다. * **Solver (2위):** 자궁경부 세포진 검사 자동화를 위해 MedGemma-27B-IT 모델을 LoRA(Low-Rank Adaptation) 방식으로 파인튜닝했습니다. FastAPI 기반의 웹 앱을 통해 병리 의사에게 주석이 달린 이미지와 임상 권고안을 출력합니다. * **Mkunga (3위):** 모성 건강 상담을 위해 MedGemma와 Gemini를 활용한 AI 콜센터를 구축했습니다. Vertex AI의 TTS/STT(음성 합성 및 인식) 기술을 통해 스와힐리어로 저비용 원격 진료 서비스를 제공합니다. **열악한 통신 환경을 고려한 기술적 접근** * **HexAI (최우수 PoC):** 인터넷 연결이 제한된 환경에서도 작동할 수 있는 오프라인 우선(Offline-first) 모바일 앱 'DermaDetect'를 개발했습니다. * 온디바이스(On-device) 형태의 MedSigLIP 모델을 통해 커뮤니티 건강 요원들이 현장에서 피부 질환을 즉시 분류할 수 있도록 설계되었습니다. * 고도화된 분석이 필요한 경우에만 클라우드 기반의 MedGemma와 연결하는 하이브리드 구조를 채택하여 데이터 플라이휠을 구축했습니다. 이번 사례는 고성능 의료 AI 모델이 오픈소스로 제공될 때, 현지 개발자들이 지역적 특수성과 인프라 한계를 극복하며 얼마나 창의적인 솔루션을 구축할 수 있는지 잘 보여줍니다. 특히 인프라가 부족한 지역에서는 RAG를 통한 신뢰성 확보나 온디바이스 모델링을 통한 오프라인 지원 기술이 의료 격차를 해소하는 핵심적인 전략이 될 수 있음을 시사합니다.

Toward provably private insights into AI use (새 탭에서 열림)

구글 리서치는 생성형 AI 서비스의 사용 패턴을 분석하면서도 사용자 프라이버시를 수학적으로 보장할 수 있는 '증명 가능한 개인정보 보호 인사이트(PPI)' 시스템을 공개했습니다. 이 시스템은 신뢰 실행 환경(TEE), 차분 프라이버시(DP), 그리고 대규모 언어 모델(LLM)을 결합하여 비정형 데이터를 안전하게 분석하는 환경을 구축했습니다. 이를 통해 개발자는 원본 데이터에 접근하지 않고도 AI 도구의 활용 사례와 개선점을 파악할 수 있으며, 모든 처리 과정은 오픈 소스로 공개되어 외부 검증이 가능합니다. **증명 가능한 개인정보 보호 인사이트(PPI)의 구동 원리** * **기기 내 데이터 보호:** 사용자 기기에서 분석할 데이터를 결정한 후 암호화하여 전송하며, 이 데이터는 서버의 TEE 내에서만 복호화될 수 있습니다. * **기밀 연합 분석(CFA) 활용:** Gboard 등에 적용되었던 기술을 발전시켜, 데이터 처리 단계를 기기가 사전에 승인한 로직으로만 제한하고 인간의 개입을 원천 차단합니다. * **데이터 전문가 LLM:** TEE 내부에 배치된 Gemma 3 모델이 "사용자가 어떤 주제를 논의 중인가?"와 같은 특정 질문에 답하는 방식으로 비정형 데이터를 정형화된 요약 정보로 변환합니다. **차분 프라이버시를 통한 익명성 보장** * **통계적 노이즈 추가:** LLM이 추출한 범주형 답변들을 집계할 때 차분 프라이버시 알고리즘을 적용하여 히스토그램을 생성합니다. * **개인 식별 방지:** 특정 개인의 데이터가 전체 통계 결과에 유의미한 영향을 미치지 않도록 설계되어, 분석가가 악의적인 프롬프트를 사용하더라도 개별 사용자를 식별할 수 없습니다. * **프롬프트 유연성:** DP 보증은 집계 알고리즘 단계에서 이루어지므로, 분석가는 프라이버시 침해 걱정 없이 LLM의 프롬프트를 자유롭게 변경하며 다양한 인사이트를 얻을 수 있습니다. **투명성 및 외부 검증 가능성** * **전 과정 오픈 소스화:** 개인정보 보호 집계 알고리즘부터 TEE 스택까지 모든 요소를 'Google Parfait' 프로젝트를 통해 오픈 소스로 공개했습니다. * **재현 가능한 빌드:** 외부 감사자가 공개된 코드와 실제 서버에서 실행 중인 바이너리가 일치하는지 확인할 수 있도록 재현 가능한 빌드 시스템을 지원합니다. * **실제 적용 사례:** Pixel 기기의 녹음기(Recorder) 앱 분석에 이 기술을 적용하여, 오픈 소스 Gemma 모델이 사용자의 녹음 데이터 요약 기능을 어떻게 활용하는지 안전하게 파악하고 있습니다. 생성형 AI의 성능 개선을 위해 실사용 데이터 분석이 필수적인 상황에서, PPI 시스템은 기술적 신뢰를 바탕으로 한 프라이버시 보호의 새로운 기준을 제시합니다. 개발자들은 구글이 공개한 기술 스택을 활용해 데이터 활용의 투명성을 높이고, 사용자의 신뢰를 얻으면서도 정교한 서비스 개선 인사이트를 도출할 수 있을 것입니다.

Teaching Gemini to spot exploding stars with just a few examples (새 탭에서 열림)

구글 연구진은 대규모 언어 모델인 제미나이(Gemini)에 설문당 단 15개의 주석이 달린 예시만을 학습시키는 '소수 샷 학습(Few-shot Learning)'을 통해, 초신성과 같은 우주 현상을 93%의 정확도로 분류하는 전문가급 천문학 어시스턴트를 개발했습니다. 이 모델은 단순히 '진짜' 혹은 '가짜' 신호를 구분하는 것을 넘어, 자신의 판단 근거를 일상 언어로 설명함으로써 기존 머신러닝 모델의 '블랙박스' 문제를 해결했습니다. 이러한 연구 결과는 매일 밤 수천만 개의 알림이 발생하는 차세대 천문 관측 시대에 과학자들이 데이터를 효율적으로 검증하고 신뢰할 수 있는 협업 도구로 활용될 가능성을 보여줍니다. **기존 천문학 데이터 처리의 병목 현상** * 현대 천문학 관측 장비는 매일 밤 수백만 개의 신호를 생성하지만, 이 중 대다수는 위성 궤적이나 노이즈 같은 가짜 신호(bogus)입니다. * 기존에는 컨볼루션 신경망(CNN) 같은 특화된 모델을 사용해 왔으나, 판단 근거를 설명하지 못하는 '블랙박스' 구조라는 한계가 있었습니다. * 베라 C. 루빈 천문대와 같은 차세대 망원경이 가동되면 매일 밤 1,000만 개의 알림이 쏟아질 예정이어서, 과학자들이 일일이 수동으로 확인하는 것은 불가능에 가깝습니다. **소수 샷 학습을 통한 다중 양식 모델의 진화** * 수백만 개의 데이터로 학습시키는 대신, Pan-STARRS, MeerLICHT, ATLAS 등 세 가지 주요 천문 조사 데이터에서 각각 15개의 예시만 사용했습니다. * 각 학습 예시는 새로운 이미지, 과거의 참조 이미지, 두 이미지의 차이를 보여주는 차분 이미지와 함께 전문가의 주석 및 관심도 점수로 구성되었습니다. * 제미나이는 망원경마다 다른 해상도와 픽셀 스케일에도 불구하고, 최소한의 정보만으로 서로 다른 천문 관측 환경의 데이터를 일반화하여 처리하는 능력을 보여주었습니다. **설명 가능한 AI와 전문가 수준의 정확도** * 제미나이는 특화된 CNN 모델과 대등한 93%의 평균 정확도를 기록하며 우주 이벤트를 분류해냈습니다. * 모델은 레이블뿐만 아니라 관찰된 특징을 설명하는 텍스트와 후속 관측 우선순위를 정할 수 있는 관심도 점수(0~5점)를 함께 생성합니다. * 12명의 전문 천문학자 패널이 검토한 결과, 모델의 설명은 논리적 일관성이 매우 높았으며 실제 전문가의 추론 방식과 일치함을 확인했습니다. **모델의 자가 불확실성 평가 능력** * 모델이 스스로 자신의 설명에 대해 '일관성 점수(coherence score)'를 매기도록 유도하는 중요한 발견을 했습니다. * 일관성 점수가 낮게 측정된 경우 실제 오분류일 확률이 높다는 사실이 밝혀졌으며, 이는 모델이 스스로 언제 오류를 범할지 판단할 수 있음을 의미합니다. * 이러한 자가 진단 기능은 과학자들이 어떤 데이터를 추가로 정밀 검토해야 하는지 판단하는 데 결정적인 도움을 줍니다. 이번 연구는 범용 멀티모달 모델이 최소한의 가이드라인만으로도 고도의 전문 과학 영역에서 블랙박스 없는 투명한 파트너가 될 수 있음을 입증했습니다. 천문학자들은 이제 방대한 데이터 속에서 유망한 후보를 찾기 위해 모델과 대화하며 추론 과정을 검토할 수 있으며, 이는 향후 대규모 데이터가 쏟아지는 모든 과학 연구 분야에 중요한 이정표가 될 것입니다.

A picture's worth a thousand (private) words: Hierarchical generation of coherent synthetic photo albums (새 탭에서 열림)

구글 리서치(Google Research)는 차분 프라이버시(Differential Privacy, DP) 기술을 적용하여 데이터의 프라이버시를 완벽히 보호하면서도, 사진 앨범과 같이 복잡한 구조를 가진 합성 데이터를 생성하는 새로운 방법론을 제시했습니다. 이 방식은 이미지를 직접 생성하는 대신 중간 단계로 '텍스트' 표현을 활용하고 이를 계층적으로 구성함으로써, 개별 사진 간의 주제적 일관성을 유지하는 동시에 연산 효율성까지 확보했습니다. 결과적으로 조직은 복잡한 분석 도구마다 프라이버시 기술을 개별 적용할 필요 없이, 안전하게 생성된 합성 앨범 데이터셋만으로도 고도화된 모델 학습과 분석을 수행할 수 있게 됩니다. ### 중간 텍스트 표현을 활용한 프라이버시 강화 기존의 합성 데이터 생성 방식이 단일 이미지나 짧은 텍스트에 치중했던 것과 달리, 본 연구는 이미지를 텍스트로 변환하는 과정을 핵심 기제로 활용합니다. * **손실 압축을 통한 프라이버시 증진:** 이미지를 상세한 텍스트 캡션으로 설명하는 과정은 본질적으로 정보의 일부를 생략하는 '손실 연산'이며, 이는 원본 데이터의 미세한 고유 정보를 보호하는 자연스러운 방어막 역할을 합니다. * **LLM의 강점 활용:** 거대언어모델(LLM)의 뛰어난 텍스트 생성 및 요약 능력을 활용하여, 원본 이미지의 핵심적인 의미 정보(Semantic information)를 효과적으로 포착합니다. * **리소스 최적화:** 이미지 생성은 비용이 많이 들지만 텍스트 생성은 상대적으로 저렴합니다. 텍스트 단계에서 먼저 콘텐츠를 필터링하고 선별함으로써, 불필요한 이미지 생성에 소요되는 연산 자원을 절약할 수 있습니다. ### 계층적 구조를 통한 앨범의 일관성 유지 사진 앨범은 여러 장의 사진이 하나의 주제나 캐릭터를 공유해야 하므로 단순한 개별 이미지 생성보다 난이도가 높습니다. 연구팀은 이를 해결하기 위해 계층적 생성 전략을 채택했습니다. * **2단계 모델 구조:** 앨범 전체의 요약을 생성하는 모델과, 이 요약을 바탕으로 개별 사진의 상세 캡션을 생성하는 모델을 분리하여 학습시킵니다. * **문맥적 일관성 확보:** 모든 개별 사진 캡션이 동일한 '앨범 요약'을 문맥(Context)으로 공유하기 때문에, 생성된 결과물들이 서로 조화를 이루며 하나의 일관된 스토리를 형성하게 됩니다. * **연산 효율성 증대:** 트레이닝 비용은 컨텍스트 길이에 따라 제곱으로 증가합니다. 하나의 긴 컨텍스트를 처리하는 대신 짧은 컨텍스트를 가진 두 개의 모델을 학습시킴으로써 전체적인 연산 비용을 대폭 낮췄습니다. ### 프라이버시가 보장된 학습 알고리즘 합성 데이터가 원본 사용자의 고유한 정보를 유출하지 않도록 엄격한 수학적 증명을 기반으로 하는 학습 기술을 적용했습니다. * **DP-SGD 적용:** DP-SGD(Differentially Private Stochastic Gradient Descent) 알고리즘을 사용하여 모델을 미세 조정(Fine-tuning)함으로써, 생성된 데이터셋이 실제 데이터의 공통적인 패턴은 학습하되 특정 개인의 세부 사항은 포함하지 않도록 보장합니다. * **안전한 데이터 대체제:** 이렇게 생성된 합성 데이터는 프라이버시 위험이 제거된 상태이므로, 데이터 과학자들은 별도의 복잡한 보안 절차 없이 표준적인 분석 기법을 즉시 적용할 수 있습니다. 이 방법론은 단순히 사진 앨범에 국한되지 않고 비디오나 복합 문서와 같이 구조화된 멀티모달 데이터를 안전하게 생성하는 데 광범위하게 응용될 수 있습니다. 고품질의 데이터 확보가 어렵거나 프라이버시 규제가 엄격한 환경에서, 이와 같은 계층적 합성 데이터 생성 방식은 안전하고 효율적인 대안이 될 것입니다.

Learn Your Way: Reimagining textbooks with generative AI (새 탭에서 열림)

구글 리서치가 발표한 'Learn Your Way'는 생성형 AI를 활용해 모든 학생에게 동일하게 제공되던 기존 교과서를 개별 학습자에게 최적화된 다중 매체 학습 도구로 재구성하는 연구 프로젝트입니다. 교육 전문 모델인 LearnLM과 Gemini 2.5 Pro를 기반으로 한 이 시스템은 학습자의 관심사와 학년 수준에 맞춰 내용을 변형하며, 실험 결과 일반적인 디지털 리더를 사용한 학생들보다 학습 기억력 점수가 11%p 더 높게 나타나는 성과를 거두었습니다. **학습자 맞춤형 개인화 파이프라인** * 학습자가 자신의 학년과 관심사(스포츠, 음악, 음식 등)를 설정하면 AI가 원본 PDF의 내용은 유지하면서 난이도를 적절하게 재조정합니다. * 교과서 속의 일반적이고 딱딱한 예시들을 학습자가 선택한 관심사와 관련된 사례로 전략적으로 교체하여 학습 동기를 부여합니다. * 이렇게 개인화된 텍스트는 이후 생성되는 마인드맵, 오디오 강의, 슬라이드 등 모든 다른 형식의 콘텐츠를 생성하는 근간이 됩니다. **학습 효과를 극대화하는 다중 표상 기술** * 이중 부호화 이론(Dual Coding Theory)에 근거하여, 텍스트 외에도 이미지, 마인드맵, 타임라인 등 다양한 시각적·청각적 형식을 제공함으로써 뇌의 개념 체계 형성을 돕습니다. * 단순한 이미지 생성을 넘어, 일반적인 AI 모델이 어려워하는 교육용 정밀 일러스트레이션을 생성하기 위해 특화된 전용 모델을 미세 조정(Fine-tuning)하여 활용했습니다. * 다단계 에이전트 워크플로우를 통해 나레이션이 포함된 슬라이드 제작과 같이 복잡한 교육학적 과정이 필요한 콘텐츠를 자동 생성합니다. **Learn Your Way의 주요 인터페이스 구성** * **몰입형 텍스트(Immersive Text):** 긴 본문을 소화하기 쉬운 단위로 나누고, 생성된 이미지와 임베디드 질문을 배치해 수동적인 독서를 능동적인 학습 경험으로 전환합니다. * **섹션별 퀴즈:** 실시간 응답을 기반으로 학습자가 자신의 지식 격차를 파악할 수 있도록 돕고, 학습 경로를 다시 최적화하는 피드백 루프를 제공합니다. * **슬라이드 및 오디오 강의:** 전체 학습 내용을 요약한 프레젠테이션과 빈칸 채우기 활동, 그리고 이동 중에도 들을 수 있는 오디오 강의를 제공하여 다양한 학습 환경에 대응합니다. 이 연구는 생성형 AI가 단순히 정보를 요약하는 수준을 넘어, 교육학적 원리를 기술적으로 구현하여 학습자 중심의 개인화된 교육 환경을 구축할 수 있음을 보여줍니다. 향후 교과서는 정적인 텍스트가 아니라 학습자의 반응과 필요에 따라 실시간으로 변화하는 유연한 학습 파트너의 역할을 하게 될 것으로 기대됩니다.

How Google’s AI can help transform health professions education (새 탭에서 열림)

구글은 전 세계적인 의료 인력 부족 문제를 해결하기 위해 AI를 활용한 보건 의료 교육 혁신 방안을 연구하고 있습니다. 최근 발표된 두 가지 연구에 따르면, 학습자 중심의 맞춤형 피드백을 제공하는 'LearnLM' 모델이 기존 AI 모델보다 뛰어난 교육적 성과를 보였으며, 이는 의료진 교육의 질을 높이는 강력한 도구가 될 수 있음을 시사합니다. 이러한 연구 결과는 실제 의료 교육 현장에서 AI가 단순한 정보 전달자를 넘어 숙련된 튜터와 같은 역할을 수행할 수 있다는 가능성을 입증합니다. **의료 학습자 중심의 디자인과 정성적 연구** * **참여형 디자인 워크숍:** 의료 학생, 임상의, 교육자, AI 연구자 등 다학제적 전문가들이 모여 의료 교육에 AI를 통합하기 위한 기회를 정의하고, 임상 추론 학습을 돕는 AI 튜터 프로토타입을 설계했습니다. * **학습자 니즈 파악:** 의대생 및 레지던트를 대상으로 한 정성적 연구 결과, 학습자들은 개인의 지식 수준과 학습 스타일에 맞춰 반응하는 도구를 선호한다는 점이 밝혀졌습니다. * **프리셉터(Preceptor) 행동의 중요성:** 학습자들은 인지 부하 관리, 건설적인 피드백 제공, 질문과 성찰 유도 등 실제 지도 교수와 유사한 AI의 행동이 임상 추론 능력을 키우는 데 필수적이라고 평가했습니다. **LearnLM의 교육적 역량 및 정량적 평가** * **비교 평가 수행:** 교육용으로 미세 조정(fine-tuning)된 'LearnLM'과 기본 모델인 'Gemini 1.5 Pro'의 성능을 비교하기 위해 의료 교육 주제를 아우르는 50개의 가상 시나리오를 설계했습니다. * **현장 중심의 시나리오:** 혈소판 활성화와 같은 기초 의학부터 신생아 황달 같은 임상 주제까지, 실제 의과대학의 핵심 역량 표준을 반영한 시나리오를 통해 모델의 실효성을 검증했습니다. * **블라인드 테스트 결과:** 의대생들은 LearnLM이 학습 목표 달성, 사용 편의성, 이해도 측면에서 더 우수하다고 평가했으며, 특히 실제 학습 상황을 가정한 290개의 대화 데이터를 통해 그 성능이 입증되었습니다. **AI 튜터로서의 교육학적 우수성** * **전문가 평가:** 전문의 교육자들은 LearnLM이 기본 모델에 비해 훨씬 더 나은 교육법(Pedagogy)을 보여주며, "매우 우수한 인간 튜터처럼 행동한다"고 분석했습니다. * **비판적 사고 유도:** 단순히 정답을 알려주는 것에 그치지 않고, 학생이 스스로 생각할 수 있도록 유도하고 부족한 부분을 정확히 짚어주는 능력이 탁월한 것으로 나타났습니다. * **최신 모델 적용:** 연구에서 검증된 LearnLM의 혁신적인 교육 기능들은 현재 'Gemini 2.5 Pro' 모델에 통합되어 실무에서 활용 가능한 상태입니다. 이러한 연구 결과는 AI가 의료 교육의 개인화를 실현하고, 바쁜 임상 현장에서 교육자들의 부담을 덜어주는 동시에 차세대 의료 인력의 역량을 효과적으로 강화할 수 있음을 보여줍니다. 향후 의료 교육 기관에서는 Gemini 2.5 Pro와 같은 모델을 도입하여 학생들에게 24시간 접근 가능한 맞춤형 임상 지도 서비스를 제공하는 것을 적극적으로 고려해볼 수 있습니다.

From massive models to mobile magic: The tech behind YouTube real-time generative AI effects (새 탭에서 열림)

YouTube는 지식 증류(Knowledge Distillation) 기술과 MediaPipe를 이용한 온디바이스 최적화 아키텍처를 통해 대규모 생성형 AI 모델을 모바일 환경에서 실시간으로 구현했습니다. 이 시스템은 거대 모델의 성능을 소형화된 학생 모델에 전이함으로써 사용자 정체성을 유지하면서도 초당 30프레임 이상의 속도로 카툰 스타일 변환 등의 복잡한 효과를 제공합니다. 결과적으로 유튜브 쇼츠 사용자들은 고성능 GPU 서버 없이도 자신의 기기에서 즉각적이고 고품질의 AI 효과를 경험할 수 있게 되었습니다. ### 고품질 데이터와 지식 증류 아키텍처 * **다양성을 고려한 데이터 구축**: 성별, 연령, 피부색(Monk Skin Tone Scale 기준) 등이 균형 있게 분포된 라이선스 기반 얼굴 데이터셋을 사용하여 모든 사용자에게 일관된 품질의 효과를 제공합니다. * **교사-학생(Teacher-Student) 모델**: StyleGAN2 또는 Google DeepMind의 Imagen과 같은 강력한 '교사 모델'이 시각적 효과를 생성하면, UNet 기반의 가벼운 '학생 모델'이 이를 학습합니다. * **모바일 최적화 백본**: 학생 모델은 모바일 기기에 최적화된 MobileNet 백본을 인코더와 디코더에 사용하여 연산 부담을 최소화하면서도 이미지 변환 효율을 높였습니다. ### 반복적 증류 프로세스와 최적화 * **데이터 생성 및 증강**: 교사 모델을 통해 수만 쌍의 '변환 전후' 이미지 쌍을 생성하며, 이때 AR 안경, 합성된 손에 의한 가려짐(occlusion) 등 다양한 증강 기법을 적용해 실제 촬영 환경에 대비합니다. * **복합 손실 함수 활용**: 학생 모델 학습 시 단순 수치적 정확도를 넘어 시각적 사실감을 높이기 위해 L1, LPIPS, 적응형(Adaptive) 및 적대적(Adversarial) 손실 함수를 조합하여 사용합니다. * **신경망 구조 탐색(NAS)**: 뉴럴 아키텍처 서치 기술을 통해 모델의 깊이와 너비를 조정하며 각 효과에 가장 최적화된 효율적인 구조를 자동으로 찾아냅니다. ### 사용자 정체성 보존을 위한 PTI 기술 * **인버전 문제(Inversion Problem) 해결**: 생성 모델이 이미지를 잠재 공간(Latent Space)으로 변환할 때 사용자 고유의 이목구비나 피부색이 왜곡되는 문제를 해결하기 위해 PTI(Pivotal Tuning Inversion)를 도입했습니다. * **개별 특성 학습**: 원본 이미지의 특징을 정확히 표현할 수 있도록 모델의 가중치를 미세 조정하여, 효과가 적용된 후에도 사용자가 누구인지 명확히 인식할 수 있도록 정체성을 유지합니다. * **일관성 유지**: 단순한 필터 적용이 아니라 프레임별로 정체성을 보존하며 전체적인 스타일을 재구성하여 자연스러운 변환 결과를 도출합니다. ### MediaPipe를 통한 실시간 온디바이스 실행 * **크로스 플랫폼 최적화**: Google의 MediaPipe 프레임워크를 활용하여 Android와 iOS 모두에서 동일하게 고성능 그래프 시뮬레이션을 실행합니다. * **하드웨어 가속**: TFLite와 GPU 가속(Vulkan, OpenGL, Metal)을 통해 모바일 기기의 하드웨어 성능을 극한으로 끌어올려 실시간 카메라 스트림 처리를 지원합니다. * **효율적인 파이프라인**: 입력 영상의 전처리부터 모델 추론, 최종 렌더링까지 이어지는 전체 공정을 모바일 GPU 내에서 완결하여 지연 시간을 최소화했습니다. 이 기술적 성과는 복잡한 생성형 AI를 클라우드 서버 없이 모바일 기기 자체에서 구동할 수 있음을 증명합니다. 개발자들은 MediaPipe와 같은 오픈소스 도구를 활용하여 유사한 온디바이스 AI 기능을 설계할 수 있으며, 특히 사용자 개인정보 보호와 실시간 응답성이 중요한 서비스에서 지식 증류와 PTI 기술은 핵심적인 해결책이 될 것입니다.

Enabling physician-centered oversight for AMIE (새 탭에서 열림)

구글 딥마인드가 발표한 g-AMIE(guardrailed-AMIE)는 환자의 병력을 청취하고 진단 정보를 정리하는 의료용 AI 시스템으로, 의사의 최종 감독을 전제로 설계되었습니다. 이 시스템은 환자에게 직접적인 의료 조언을 제공하지 못하도록 엄격한 가드레일을 적용하되, 대신 의사가 검토하고 승인할 수 있는 상세한 임상 보고서를 생성합니다. 가상 임상 시험 결과, g-AMIE의 진단 정확도와 환자 소통 능력은 동일한 제약 조건 하의 인간 의료 전문가보다 우수한 것으로 평가되어 의료 AI의 안전한 도입 가능성을 제시했습니다. ### 의사 중심의 감독 체계와 비동기식 협업 * 의료 행위의 법적 책임과 전문성을 보장하기 위해 AI가 독자적으로 진단하는 대신, 전문의가 AI의 결과물을 검토하고 승인하는 '의사 중심 감독' 프레임워크를 채택했습니다. * AI가 환자와 대화하며 병력을 청취하는 동안 전문의는 다른 업무를 수행할 수 있으며, 이후 AI가 요약한 정보를 비동기적으로 검토함으로써 진료 효율성을 극대화합니다. * Gemini 2.0 Flash를 기반으로 구축되었으며, 의사가 진단 및 관리 계획을 수정·승인할 수 있도록 설계된 전용 웹 인터페이스인 '클리니션 콕핏(Clinician Cockpit)'을 제공합니다. ### 세분화된 멀티 에이전트 시스템 구조 * **대화 에이전트:** 일반적인 병력 청취부터 초기 진단 가설 검증을 위한 맞춤 질문, 환자의 궁금증 해소에 이르는 3단계 프로세스를 통해 고품질의 대화를 수행합니다. * **가드레일 에이전트:** AI가 환자에게 개별화된 의료 조언이나 진단을 직접 내리지 않도록 실시간으로 모든 답변을 감시하고, 규정을 준수하도록 문구를 재구성합니다. * **SOAP 노트 에이전트:** 수집된 정보를 주관적 기술(Subjective), 객관적 자료(Objective), 평가(Assessment), 계획(Plan)의 SOAP 형식으로 자동 생성하며, 의사가 환자에게 전달할 메시지 초안까지 함께 작성합니다. ### 임상 수행 능력 평가 (OSCE) 결과 * 60개의 환자 시나리오를 활용해 일반의(PCP) 및 간호사/의사 보조사(NP/PA) 그룹과 g-AMIE의 성능을 무작위 대조 시험으로 비교했습니다. * 감독 의사들과 독립적인 평가단은 g-AMIE가 도출한 차별 진단(Differential Diagnosis)과 환자 관리 계획이 인간 전문가 그룹보다 더 우수하다고 평가했습니다. * 환자 역할을 맡은 연기자들 또한 인간 의료진이 작성한 메시지보다 g-AMIE가 작성한 환자용 메시지에 대해 더 높은 선호도와 만족도를 보였습니다. g-AMIE는 AI의 데이터 처리 효율성과 전문의의 임상적 책임감을 결합한 새로운 의료 협업 모델의 이정표를 제시합니다. 비록 AI 시스템에 특화된 환경에서 도출된 결과라는 점을 고려해야 하나, 가드레일을 통해 안전성을 확보하면서도 의사의 업무 부하를 줄이는 이러한 기술적 접근은 향후 실제 진료 현장에 AI를 도입할 때 핵심적인 표준이 될 것으로 보입니다.

MedGemma: Our most capable open models for health AI development (새 탭에서 열림)

구글 리서치가 발표한 MedGemma는 의료 AI 개발을 가속화하기 위해 설계된 오픈 모델 컬렉션으로, 높은 성능과 효율성, 개인정보 보호를 동시에 제공합니다. 이번 발표에서는 27B 멀티모달 모델과 경량 인코더인 MedSigLIP이 추가되어 복잡한 의료 기록 해석부터 영상 진단 지원까지 폭넓은 활용이 가능해졌습니다. MedGemma는 기존의 고성능 대형 모델에 필적하는 의학적 지식 능력을 갖추면서도 단일 GPU나 모바일 기기에서도 구동할 수 있는 최적화된 설계를 자랑합니다. **MedGemma 모델군의 주요 구성과 성능** * **MedGemma 4B 멀티모달:** 80억 파라미터 미만의 소형 모델 중 최고 수준인 MedQA 64.4%를 기록했습니다. 특히 흉부 X선 보고서 생성 실험에서 전문의로부터 81%의 보고서가 실제 환자 관리에 지장이 없을 정도로 정확하다는 평가를 받았습니다. * **MedGemma 27B 모델:** 텍스트 전용 및 멀티모달 변체가 포함되며, MedQA에서 87.7%의 높은 점수를 기록했습니다. 이는 선도적인 오픈 모델인 DeepSeek R1에 근접한 성능이지만, 추론 비용은 약 10분의 1 수준에 불과합니다. * **복합 데이터 처리:** 텍스트와 이미지는 물론, 장기적인 전자 건강 기록(EHR) 데이터까지 해석할 수 있어 복잡한 임상 상황에 대한 통찰을 제공합니다. **범용성과 전문성을 결합한 학습 방식** * **Gemma 3 기반 아키텍처:** 최신 Gemma 3 모델을 의료 데이터로 튜닝하여 의학적 전문성을 확보했습니다. 이 과정에서 일반적인 명령어 수행 능력과 다국어 성능을 유지하여 의료와 비의료 정보가 섞인 작업도 원활히 수행합니다. * **의료 최적화 인코더 결합:** 의료 영상에 특화된 MedSigLIP 인코더를 결합하여 시각적 질의응답(VQA) 및 보고서 생성 업무에서 정밀한 분석이 가능합니다. * **높은 유연성:** 개발자가 특정 의료 목적에 맞춰 미세 조정(Fine-tuning)하기 용이하며, 실제로 흉부 X선 보고서 생성 작업에서 SOTA(최고 수준) 성능인 RadGraph F1 30.3점을 달성했습니다. **경량 의료 영상 인코더 MedSigLIP** * **초경량 설계:** 4억 개(400M)의 파라미터로 구성된 효율적인 인코더로, 영상 분류, 검색, 임베딩 기반 작업에 최적화되어 있습니다. * **다양한 의료 모달리티 학습:** 흉부 X선, 조직 병리, 피부과, 안저 영상 등 광범위한 데이터를 학습하여 각 의료 분야의 미세한 특징을 정확히 포착합니다. * **범용성 보존:** 의료 영상뿐만 아니라 기존 SigLIP이 가진 자연물 이미지에 대한 성능도 유지하여 다양한 시각적 맥락을 이해할 수 있습니다. 의료 AI 연구자와 개발자는 프로젝트의 성격에 따라 모델을 전략적으로 선택할 수 있습니다. 자유로운 텍스트 생성이 필요한 보고서 작성이나 질의응답에는 MedGemma 모델군이 적합하며, 영상 분류나 데이터 검색과 같은 구조화된 작업에는 MedSigLIP이 권장됩니다. 특히 4B 모델과 MedSigLIP은 모바일 하드웨어에서도 구동이 가능하므로, 개인정보를 보호하면서 현장에서 즉시 활용 가능한 온디바이스 의료 AI 솔루션을 구축하는 데 강력한 토대가 될 것입니다.