google·2025년 4월 30일원문

AMIE, 시각을 갖 (새 탭에서 열림)

구글 딥마인드가 텍스트를 넘어 이미지와 문서 등 멀티모달 정보를 통합하여 진단 대화를 수행하는 인공지능 에이전트 '멀티모달 AMIE'를 공개했습니다. 이 시스템은 제미나이 2.0 플래시(Gemini 2.0 Flash)를 기반으로 구축되었으며, 환자의 상태와 진단적 불확실성에 따라 지능적으로 정보를 요청하고 분석하는 능력을 갖췄습니다. 연구 결과, AMIE는 실제 의료 현장의 문진 과정을 효과적으로 모사하며 전문의에 필적하는 수준의 진단 및 관리 계획 수립 능력을 보여주었습니다. **상태 인지 기반의 추론 프레임워크와 문진 과정의 최적화** * AMIE는 실제 의사가 문진을 진행하는 방식과 유사하게 '병력 청취', '진단 및 관리', '사후 관리'의 3단계로 대화 흐름을 관리하는 '상태 인지 단계 전환 프레임워크'를 채택했습니다. * 모델의 내부 상태를 지속적으로 업데이트하여 환자에 대한 지식 격차와 진단적 불확실성을 실시간으로 추적합니다. * 특정 정보가 부족하다고 판단될 경우 피부 사진, 실험실 검사 결과, 심전도(ECG) 등 구체적인 멀티모달 자료를 환자에게 능동적으로 요청하고 이를 해석하여 진단을 정교화합니다. **시뮬레이션 환경 구축 및 전문가 평가를 통한 성능 검증** * SCIN(피부과) 및 PTB-XL(심전도)과 같은 실제 의료 데이터셋을 활용해 멀티모달 시나리오와 환자 에이전트를 생성하여 시스템을 훈련하고 평가할 수 있는 환경을 조성했습니다. * 전 세계 의료 교육에서 표준으로 사용되는 객관적 구조화 진료 시험(OSCE) 형식을 도입하여 1차 진료의(PCP)들과 AMIE의 성능을 비교 분석했습니다. * 평가 결과, AMIE는 다양한 임상 시나리오에서 의사들에 준하는 수준의 진단 정확도와 공감 능력을 보여주었으며, 복합적인 시각 데이터를 논리적으로 통합하는 역량을 입증했습니다. 이번 연구는 AI 에이전트가 단순한 대화 상대를 넘어 시각적 증거를 바탕으로 고도화된 임상적 추론을 수행할 수 있음을 보여줍니다. 향후 제미나이 2.5 플래시 등 최신 모델과의 결합을 통해 성능이 더욱 향상될 것으로 기대되며, 이는 의료진의 의사결정을 보조하고 원격 의료의 정확도를 높이는 혁신적인 도구가 될 것으로 전망됩니다.

멀티모달 AIAI대규모 언어 모델AI 에이전트+5

google·2025년 4월 2일원문

과학적 문제 해결 능력의 진전 (새 탭에서 열림)

구글 리서치는 대규모 언어 모델(LLM)이 실제 과학 연구 워크플로우에서 복잡한 문제를 해결할 수 있는지를 측정하기 위한 새로운 벤치마크인 'CURIE'를 공개했습니다. 기존의 과학 벤치마크들이 단답형 지식 회상에 치중했던 것과 달리, CURIE는 수 만 단어에 달하는 전문 논문 전체를 읽고 정보를 추출하며 다단계 추론을 수행하는 능력을 평가합니다. 이는 AI가 단순한 지식 검색 도구를 넘어 과학자의 실질적인 연구 보조자로 진화하는 과정에서 필수적인 평가 지표가 될 것입니다. **CURIE: 과학적 추론 및 긴 문맥 이해를 위한 다학제 벤치마크** * 재료 과학, 응집 물질 물리학, 양자 컴퓨팅, 지리 공간 분석, 생물 다양성, 단백질 등 6개 과학 분야의 전문 지식을 다룹니다. * 평균 15,000단어에 달하는 전문 연구 논문을 입력값으로 사용하여, 정보 추출, 개념 추적, 대수적 조작, 다중 모드 이해 등 10가지의 구체적인 태스크를 수행합니다. * 단순한 선택지형 문항이 아닌 실제 연구 과정에서 발생하는 워크플로우를 반영하며, 정답 데이터는 평균 954단어에 달하는 상세한 설명을 포함합니다. * 각 도메인의 전문가들이 과제 정의, 정답 생성, 난이도 등급 부여 등에 직접 참여하여 벤치마크의 정확성과 전문성을 확보했습니다. **SPIQA 및 FEABench를 통한 시각적 데이터와 도구 활용 평가** * SPIQA 데이터셋은 모델이 과학 논문에 포함된 복잡한 그림(Figure)과 표(Table)의 정보를 바탕으로 질의응답을 수행하는 멀티모달 능력을 측정합니다. * FEABench는 LLM 에이전트가 유한요소해석(FEA) 소프트웨어를 사용하여 물리, 수학, 공학적 문제를 시뮬레이션하고 해결할 수 있는지 평가하는 도구 활용 능력을 테스트합니다. * 이러한 추가 벤치마크들은 텍스트 기반 추론을 넘어 실험 데이터 해석과 시뮬레이션 도구 실행이라는 실제 과학적 방법론을 포괄합니다. **프로그래밍 방식과 모델 기반 평가의 결합** * 과학적 답변의 특성상 정답 형식이 JSON, Latex 수식, YAML 등 매우 다양하기 때문에, ROUGE-L이나 IoU(Intersection-over-Union) 같은 전통적인 프로그래밍 방식의 지표를 활용합니다. * 자유 형식의 서술형 답변을 평가하기 위해 'LLM-as-a-judge' 방식을 병행하여, 전문가의 주관적 평가와 높은 상관관계를 가지는 정밀한 채점 시스템을 구축했습니다. * Gemini 1.5 Pro와 같은 최신 모델들에 대한 평가 결과, 복잡한 과학적 워크플로우 처리 능력이 크게 향상되었으나 여전히 심층적인 추론 영역에서는 개선의 여지가 있음이 확인되었습니다. CURIE와 관련 데이터셋은 과학 분야 LLM의 성능을 객관적으로 측정하는 데 중요한 도구가 될 것입니다. 연구자들은 모델이 장문의 전문 텍스트뿐만 아니라 수식과 시각적 데이터를 통합적으로 이해하고 도구를 활용할 수 있도록 개발 방향을 설정해야 하며, CURIE가 제공하는 복합적인 태스크를 통해 모델의 한계를 점검하고 실제 연구 현장에 적용 가능한 AI를 구축할 수 있습니다.

멀티모달 AIAI대규모 언어 모델benchmarking+4