현대 물리학의 난제인 고온 초전도체 연구에서 대규모 언어 모델(LLM)이 전문가 수준의 파트너가 될 수 있는지를 검증한 결과, 선별된 고품질 자료를 기반으로 한 모델이 일반 범용 모델보다 압도적으로 우수한 성능을 보였습니다. 구글 리서치와 코넬 대학교 연구팀은 6개의 LLM을 대상으로 전문 지식을 묻는 67개의 질문을 던져 답변의 정확성과 신뢰성을 평가했으며, 이를 통해 특정 학문 분야에 특화된 데이터 큐레이션의 중요성을 입증했습니다. 결과적으로 NotebookLM과 맞춤형 RAG 시스템이 증거 제시와 균형 잡힌 시각 측면에서 가장 높은 점수를 받으며 전문 과학 연구를 돕는 도구로서의 가능성을 보여주었습니다.

연구 배경 및 고온 초전도체 사례 선정

고온 초전도체(구프레이트 화합물)는 영하 140도 이상의 온도에서 전기 저항이 0이 되는 현상으로, 1987년 노벨상 수상 이후에도 여전히 메커니즘 규명이 진행 중인 복잡한 분야입니다.
수십 년간 축적된 방대한 논문과 서로 대립하는 다양한 이론들로 인해, 신규 연구자가 지식의 전체상을 파악하고 중립적인 관점을 유지하기가 매우 어렵습니다.
이번 연구는 LLM이 이러한 전문 분야에서 편향되지 않은 지식을 제공하고, 가설 설정을 돕는 '연구 파트너'로서 기능할 수 있는지 확인하기 위해 설계되었습니다.

평가 설계 및 실험 방법론

평가 대상은 웹 접근이 가능한 범용 모델 4종(GPT-4o, Perplexity, Claude 3.5, Gemini Advanced Pro 1.5)과 엄선된 자료만 사용하는 폐쇄형 시스템 2종(NotebookLM, 맞춤형 RAG)으로 구성되었습니다.
폐쇄형 시스템 구축을 위해 초전도체 전문가 12명이 선정한 15개의 핵심 리뷰 논문과 이들이 인용한 약 1,726개의 실험 및 이론 논문을 데이터 소스로 활용했습니다.
전문가 패널은 "LSCO의 어느 도핑 수준에서 립시츠 전이가 발생하는가?"와 같이 고도의 전문성을 요구하는 67개의 질문을 작성하여 각 모델의 답변을 블라인드 테스트로 평가했습니다.

주요 결과 및 모델별 성능 평가

6가지 평가지표(균형 잡힌 시각, 포괄성, 간결성, 증거 토대, 시각적 관련성, 정성적 피드백)에서 구글의 NotebookLM이 가장 뛰어난 성과를 거두었으며, 맞춤형 RAG 시스템이 그 뒤를 이었습니다.
특히 NotebookLM은 문헌 근거를 제시하는 '증거 토대' 항목에서 가장 높은 점수를 받았으며, 이는 전문가가 검증한 신뢰할 수 있는 소스 내부에서 답을 찾도록 제한한 것이 주효했음을 보여줍니다.
Gemini Advanced Pro 1.5와 NotebookLM은 여러 대립하는 이론적 관점을 골고루 다루는 '균형 잡힌 시각' 항목에서 우수한 점수를 기록하여 과학적 중립성을 잘 유지했습니다.

이번 사례 연구는 범용적인 웹 검색 기반 AI보다 신뢰할 수 있는 학술 출처를 사전에 큐레이션한 '폐쇄형 데이터 시스템'이 전문 과학 연구에서 훨씬 유용하다는 사실을 시사합니다. 향후 과학적 발견을 가속화하기 위해서는 모델 자체의 성능 개선뿐만 아니라, 검증된 데이터셋을 효과적으로 활용하는 검색 증강 생성(RAG) 기술의 고도화가 필수적입니다. 연구자들은 AI를 단순한 정보 검색 도구를 넘어, 복잡한 이론적 쟁점을 정리하고 논리적 허점을 찾아주는 비판적 사고의 동료로 활용할 수 있을 것입니다.