google·2026년 8월 12일·4분 읽기큐레이션 요약

빈 서가인가, 잃어버린 열쇠인가? 회상은 매개변수적 사실성의 병목이다

LLM의 사실 오류는 사실을 학습하지 못해서라기보다, 이미 저장한 사실을 필요할 때 꺼내지 못해서 발생하는 경우가 많다. Google Research는 이를 측정하는 ‘지식 프로파일링’과 WikiProfile 벤치마크를 제안했으며, 최신 모델에서는 지식 습득보다 지식 활용과 회상이 사실성의 병목이라고 결론 내린다. 따라서 모델 규모 확대만으로는 한계가 있고, 저장된 지식을 안정적으로 회수하도록 하는 후처리·추론 기법이 중요해진다. ## 인코딩과 회상을 구분해야 하는 이유 - 일반적인 정확도 지표는 모델이 사실을 아예 학습하지 못한 경우와, 학습했지만 답변하지 못한 경우를 구분하지 않는다. - 두 실패의 원인은 다르다. - **인코딩 실패**: 사실이 모델 파라미터에 충분히 표현되지 않음 → 모델 규모 확대나 학습 데이터 보강이 필요하다. - **회상 실패**: 사실은 저장되어 있지만 외부 단서 없이 검색·활용하지 못함 → 후처리 학습이나 추론 시점 기법으로 개선할 가능성이 있다. - 글에서는 다음과 같이 개념을 구분한다. - **인코딩**: 사전학습 당시와 유사한 문맥에서 사실을 재현할 수 있는 능력 - **지식**: 표현이 달라지거나 질문 방향이 바뀌어도 사실에 답하는 능력 - **회상**: 인코딩된 사실을 별도 외부 단서 없이 꺼내는 능력 - **인식**: 여러 선택지 중 올바른 사실을 식별하는 능력 ## 지식 프로파일링과 다섯 가지 사실 상태 - 분석 단위를 개별 질문이 아니라 **사실 자체**로 바꾼다. - 각 사실을 다음 다섯 가지 상태로 분류한다. - 인코딩 실패 - 회상 실패 - 직접 회상 - 사고를 거친 회상 - 인코딩 없이 추론 - ‘사고를 거친 회상’은 중간 계산이나 다단계 추론을 유도해야만 답할 수 있는 경우다. - ‘인코딩 없이 추론’은 해당 사실 자체는 저장되지 않았더라도, 다른 사실들을 조합하거나 추측해 정답에 도달하는 경우를 뜻한다. ## WikiProfile 벤치마크 구성 - Wikipedia에서 추출한 2,150개의 사실을 대상으로 한다. - 사실은 문서에 먼저 등장하는 주체와 객체의 순서쌍으로 정의된다. - 각 사실에는 총 10개의 과제가 연결된다. - 인코딩 측정 2개 - 지식 평가 4개 - 인식 평가용 객관식 문제 4개 - 질문은 직접 질문과 역방향 질문을 모두 포함한다. - 예: “B는 무엇인가?”와 “A는 무엇인가?” - 질문 생성 후 정제·검색 기반 필터링·수작업 검증을 거쳐 모호하거나 정답이 여러 개인 사례를 제거했다. - 13개 LLM을 사고 기능 활성화 여부에 따라 평가했으며, 모델·사실·과제별로 8개 응답을 샘플링해 약 450만 개의 응답을 자동 평가했다. ## 최신 LLM의 병목은 인코딩이 아니라 회상 - Gemini 2.5 Pro, Gemini 3 계열, GPT-5 같은 프런티어 모델은 사실 인코딩률이 거의 포화 상태다. - Gemini 3 Pro와 GPT-5는 약 **95~98%의 사실을 인코딩**하고 있다. - 그러나 사고 없이 직접 회상하는 데는 여전히 **26~34%의 사실에서 실패**한다. - 사고를 허용해도 **11~12%의 사실은 여전히 회상하지 못한다.** - 모델 규모를 키우면 인코딩 실패는 크게 줄지만, 회상 실패는 상당 부분 남는다. - 즉, 스케일링은 모델이 “무엇을 저장하는가”는 개선하지만, “저장된 것을 얼마나 안정적으로 꺼내는가”는 상대적으로 덜 개선한다. ## 회상이 어려워지는 조건 - 회상 능력은 사실을 학습할 때의 조건과 밀접하게 연결된다. - 질문의 표현, 문맥, 정보의 배열 순서가 학습 당시와 달라지면 사실이 저장되어 있어도 접근하기 어려워질 수 있다. - 이는 모델의 지식 부족이라기보다, 저장된 지식에 연결되는 단서가 충분히 활성화되지 않는 문제로 해석할 수 있다. ## 희귀 사실과 롱테일 지식 - 기존 연구는 모델이 희귀한 사실에 약한 이유를 주로 모델 용량 부족으로 설명했다. - 이 연구에서는 희귀 사실도 인기 있는 사실과 비슷한 수준으로 인코딩되는 경우가 많다고 본다. - 인기 있는 사실과 희귀한 사실의 인코딩률 차이는 비교적 작지만, 회상률 차이는 더 크게 나타난다. - 따라서 롱테일 사실의 문제는 “모델이 전혀 저장하지 않았다”기보다 “저장했지만 적절한 상황에서 꺼내지 못한다”는 관점으로 재해석할 수 있다. ## 실용적인 결론 - 사실성 개선을 위해 단순히 모델 크기와 학습 데이터만 늘리는 전략에는 한계가 있다. - 저장된 지식을 다양한 표현과 질문 방향에서 안정적으로 회수하도록 하는 후처리 학습, 프롬프트 설계, 사고 유도 기법을 함께 개발해야 한다. - 모델 평가에서도 단일 정답률보다 인코딩·직접 회상·사고 기반 회상·인식 능력을 분리해 측정하는 것이 바람직하다.

원문 읽기(새 탭에서 열림)

chain-of-thought대규모 언어 모델benchmarkingpre-training+3

google·2026년 6월 24일·3분 읽기큐레이션 요약

회상을 위한 사고: 추론은 LLM의 파라메트릭 지식을 어떻게 끌어내는가

LLM의 추론 과정은 복잡한 논리 문제가 없어도 단순한 사실을 회상하는 데 도움을 준다. 연구진은 그 이유로 생성된 추론 토큰이 추가 계산 공간으로 작동하는 효과와, 관련 사실을 먼저 떠올려 정답을 활성화하는 사실 프라이밍을 제시한다. 다만 중간에 생성한 사실이 환각일 수 있어, 이 방식은 정확성 검증과 함께 사용해야 한다. ## 단순한 사실 회상에도 추론이 효과적인 이유 - 일반적으로 Chain-of-Thought(CoT)는 수학, 프로그래밍, 다단계 질의응답처럼 복잡한 문제를 단계적으로 해결할 때 유용하다. - 그러나 “Mary Engle Pennington이 National Inventors Hall of Fame에 헌액된 연도는?”처럼 단일 사실을 묻는 질문에는 명시적인 논리 전개가 필요하지 않다. - 연구진은 이런 질문에서도 추론을 허용하면, 추론을 끈 상태에서는 사실상 회수하기 어려운 정답이 생성될 수 있음을 확인했다. - 실험에는 Gemini-2.5 Flash/Pro와 Qwen3-32B, SimpleQA Verified 및 EntityQuestions 데이터셋이 사용됐다. ## 지식 회수 한계 측정: pass@k - `pass@k`는 한 번의 최상위 답변만 보는 대신, 여러 번 생성한 답변 중 정답이 포함되는지를 측정한다. - 이를 통해 정답이 모델의 출력 분포 안에 잠재적으로 존재하는지, 현재 최상위 답변으로 선택되지 않았을 뿐인지 구분할 수 있다. - 추론 ON/OFF 모드를 비교한 결과, 세 모델과 두 데이터셋에서 추론을 활성화했을 때 정답 회수율이 일관되게 향상됐다. - 데이터셋이 주로 단순한 단일 단계 질문으로 구성되어 있어, 성능 향상이 복잡한 문제 분해 때문이라고 보기 어렵다. ## 생성 토큰이 제공하는 계산 버퍼 - 첫 번째 메커니즘은 추론 토큰이 모델에 추가적인 계산 시간과 내부 상태 갱신 기회를 제공한다는 것이다. - 연구진은 모델의 자연스러운 추론 내용을 제거하고, `"Let me think"` 같은 무의미한 문자열을 원래 추론과 같은 길이로 반복해 넣었다. - 의미 없는 토큰만 제공해도 추론을 완전히 끈 경우보다 사실 회상 성능이 크게 향상됐다. - 이는 추가 토큰이 의미를 전달하지 않더라도 여러 번의 forward pass를 통해 모델이 내부 표현을 정제하고, 접근하기 어려운 지식을 검색하게 만들 수 있음을 시사한다. - 다만 토큰을 계속 늘리면 효과가 감소하며, 자연스러운 추론의 성능에는 도달하지 못했다. - 따라서 계산량 자체가 중요하지만, 추론 과정에 포함된 실제 내용도 추가적인 역할을 한다. ## 관련 사실을 떠올리는 사실 프라이밍 - 자연스러운 추론을 분석한 결과, 모델은 논리적 증명을 수행하기보다 질문과 관련된 주변 사실을 먼저 나열하는 경우가 많았다. - 연구진은 이를 인간 기억의 ‘ spreading activation’과 유사한 현상으로 보고, **사실 프라이밍(factual priming)**이라고 명명했다. - 관련 사실을 생성하면 질문과 정답 사이에 의미적 연결 고리가 형성되어, 목표 사실을 회상하기 쉬워진다. - 실험에서는 추론 과정에서 나온 구체적인 사실만 추출하고, 채움말, 검색 계획, 정답 자체에 대한 직접 언급은 제거했다. - 짧은 사실 목록만 정답 생성에 제공해도 추론이 만들어내는 성능 향상의 상당 부분이 재현됐다. - 예를 들어 네팔의 제10대 왕을 묻는 질문에서 모델이 앞선 9명의 왕을 먼저 떠올리면, 이 정보들이 제10대 왕을 회상하기 위한 의미적 준비 단계로 작동할 수 있다. - 이 효과는 추론 모드가 꺼진 상태에서 사실 목록을 추가 문맥으로 제공했을 때도 나타났다. ## 환각으로 인한 위험 - 사실 프라이밍은 모델이 중간 사실을 스스로 생성한다는 점에서 근본적인 위험을 가진다. - 중간에 떠올린 관련 사실이 실제 지식이 아니라 환각일 경우, 잘못된 정보가 정답 회상을 방해하거나 오답을 강화할 수 있다. - 제공된 글은 이 위험을 검증하는 실험을 소개하는 도중에 끝나므로, 환각의 구체적인 측정 결과와 완화 방법은 확인할 수 없다. ## 실용적인 결론 - 단순한 사실 질문에서도 모델의 추론을 허용하면 잠재 지식 회수율을 높일 수 있다. - 성능 향상은 충분한 생성 길이를 제공하는 것과, 관련 사실을 먼저 회상하도록 유도하는 방식에서 비롯된다. - 다만 중간 추론을 그대로 신뢰하지 말고, 외부 검색·검증 또는 여러 독립 샘플의 일치 여부를 함께 확인하는 것이 안전하다.

원문 읽기(새 탭에서 열림)

chain-of-thought대규모 언어 모델parametric-memorylatent-computation+3

kakao·2026년 1월 4일원문

“생각하고 답변하는” 카카오의 하이브리드 멀티모달 언어모델, Kanana-v-4b-hybrid 개발기 (새 탭에서 열림)

카카오가 개발한 'Kanana-v-4b-hybrid'는 단순한 이미지 인식을 넘어 논리적 추론과 자기 점검 기능을 갖춘 하이브리드 멀티모달 언어모델입니다. 이 모델은 단일 시스템 내에서 일상적인 대화와 복잡한 시각적 추론을 동시에 수행하며, 특히 한국어 특유의 섬세한 제약 조건을 정확히 이해하고 처리하는 데 최적화되어 있습니다. 이를 통해 한국어 기반의 검정고시 및 수능 문항 평가인 KoNET에서 92.8점이라는 높은 성적을 거두며 한국형 AI의 새로운 가능성을 입증했습니다. ### 하이브리드 대응을 위한 단일 모델 구조 * 직관적 응답이 필요한 일반 대화와 논리적 단계가 필요한 추론 모델을 분리하지 않고 하나의 모델로 통합했습니다. * 별도의 라우팅(Routing) 시스템 없이도 한 대화 세션 내에서 시시각각 변하는 질의 성격에 유연하게 대응할 수 있습니다. * 모델 통합을 통해 응답 톤, 포맷, 안전 정책의 일관성을 유지하며, 시스템 운영 복잡도와 유지보수 비용을 획기적으로 낮췄습니다. ### 검증 가능한 결론을 도출하는 시각적 추론 * 이미지를 단순히 설명하는 수준을 넘어, 이미지 내 정보를 종합하고 조건을 적용하여 결론을 도출하는 '시각적 추론'에 집중했습니다. * 모델 스스로 정보 종합, 추론 전개, 결과 검증, 최종 답변의 단계를 거치도록 설계되어 답변의 근거가 명확합니다. * 영수증 검산, 표 기반 조건 필터링, 이미지 기반 수학 문제 풀이 등 단순 OCR로는 해결하기 어려운 복잡한 과제에서 높은 정확도를 보여줍니다. ### 신뢰도를 높이는 자기 점검(Reflection) 메커니즘 * 자신의 추론 과정을 스스로 재검토하여 모순이나 실수 가능성을 찾아내는 자기 점검 기능을 탑재했습니다. * 복잡한 멀티모달 질의에서 발생하기 쉬운 조건 누락이나 사소한 계산 실수를 스스로 발견하고 수정하는 패턴을 보입니다. * 이러한 '자기 수정' 과정은 모델의 단순한 정확성을 넘어, 사용자가 AI의 답변을 믿고 사용할 수 있게 만드는 핵심적인 신뢰 요인이 됩니다. ### 한국어 직관을 보존하는 로컬 추론 프로세스 * '~만 제외하고', '단, ~인 경우에만'과 같은 한국어 특유의 복잡한 예외 및 조건부 표현을 번역 없이 한국어 그대로 사고합니다. * 영문 추론 과정에서 발생할 수 있는 의미 왜곡이나 정보 누락을 방지하여 한국어 질의의 의도를 끝까지 유지합니다. * 이미지 속 한국어 텍스트 정보를 다른 언어로 변환하지 않고 직접 처리함으로써 정보의 손실 없는 논리 전개가 가능합니다. Kanana-v-4b-hybrid는 높은 기술적 완성도를 바탕으로 실제 서비스 환경에서 비용 효율성과 정확성을 동시에 잡으려는 환경에 적합합니다. 특히 한국어 환경에서의 정밀한 업무 보조나 교육용 AI 솔루션처럼 정답의 신뢰도가 중요한 분야에서 이 모델의 하이브리드 추론 능력은 강력한 경쟁력이 될 것입니다.

chain-of-thought멀티모달 AIkananaocr+3

google·2025년 9월 17일원문

Sensible Agent: 능동형 (새 탭에서 열림)

구글 XR 연구팀이 개발한 'Sensible Agent'는 사용자의 명시적인 음성 명령 없이도 실시간 맥락을 파악해 능동적으로 도움을 주는 AR 에이전트 프레임워크입니다. 이 시스템은 시선, 손의 사용 가능 여부, 주변 소음 등의 데이터를 분석하여 지원의 내용(What)과 전달 방식(How)을 동시에 결정함으로써 일상생활의 흐름을 방해하지 않는 비침해적 상호작용을 구현합니다. 결과적으로 사회적 어색함과 인지적 부담을 줄여 AR 기기가 일상에 자연스럽게 통합될 수 있는 기술적 토대를 제시합니다. ### 능동형 지원의 핵심: 무엇을(What)과 어떻게(How)의 결합 * **지능적 판단 구조:** 에이전트는 사용자의 상황을 실시간으로 감지하여 도움의 필요성(Action)뿐만 아니라, 그 도움을 어떤 UI 형태(아이콘, 선택지 등)와 매체(시각, 청각 등)로 전달할지 스스로 판단합니다. * **상황별 맞춤형 대응:** 예를 들어 사용자가 식당에서 메뉴판을 볼 때는 인기 메뉴를 추천하고, 마트에서는 장바구니 목록을 조용히 띄워주는 식의 능동적인 지원이 가능합니다. * **비침해성 유지:** 주변이 시끄럽거나 대화 중인 상황에서는 음성 대신 시각적 아이콘을 사용하고, 손이 자유롭지 않을 때는 고개 끄덕임 등으로 입력을 받는 등 주변 환경과 조화를 이루는 상호작용 방식을 선택합니다. ### 맥락 분석 및 쿼리 생성 프로세스 * **맥락 파서(Context Parser):** 헤드셋 카메라의 영상을 분석하는 시각 언어 모델(VLM)과 주변 소음을 감지하는 오디오 분류기(YAMNet)를 통해 사용자의 현재 활동과 환경적 제약을 파악합니다. * **능동형 쿼리 생성기:** 파악된 맥락을 바탕으로 LLM의 '사고의 사슬(Chain-of-Thought)' 추론 기법을 활용해 단계별 문제를 해결하고 최적의 제안을 생성합니다. * **퓨샷 러닝(Few-shot Learning):** 데이터 수집 연구에서 도출된 사례들을 학습 가이드로 활용하여, 모델이 특정 상황에서 어떤 행동(예: 번역, 추천)과 출력 방식(예: 오디오 전용, 시각 전용)이 적절한지 정확하게 결정하도록 돕습니다. ### 맥락에 최적화된 비침해적 상호작용 모듈 * **다중 모달리티 인터페이스:** 안드로이드 XR(Android XR) 및 WebXR 기반으로 구현된 이 프로토타입은 텍스트 음성 변환(TTS)과 시각적 패널 렌더링을 상황에 맞춰 혼합 사용합니다. * **적응형 입력 관리:** 환경과 사용자의 상태에 따라 가장 적합한 입력 방식(머리 제스처, 손 제스처, 음성 명령, 시선 처리 등)을 활성화합니다. * **사회적 맥락 존중:** 사용자가 요리 중이라 손을 쓸 수 없을 때는 고개 흔들기로 제안을 거절할 수 있게 하거나, 공공장소에서는 조용히 시각 정보만 노출하여 사회적 불편함을 최소화합니다. ### 실용적 결론 및 전망 Sensible Agent는 기존 AR 시스템이 가졌던 '명시적 명령 기반'의 한계를 극복하고, 사용자의 인지 부하를 낮추는 방향으로 진화했습니다. 이는 향후 AR 글래스가 단순한 정보 표시 장치를 넘어, 사용자의 의도를 선제적으로 파악하고 상황에 맞게 행동하는 '사회적으로 지능적인' 파트너로 발전할 수 있음을 보여줍니다. 실제 일상에서의 실용성을 높이기 위해서는 다양한 소음 환경과 복합적인 사회적 시나리오에서의 정밀한 맥락 인식 기술이 더욱 중요해질 것으로 보입니다.

chain-of-thoughtAI멀티모달 AIaugmented-reality+5