구글 리서치는 기존의 음성-텍스트 변환 과정을 거치지 않고 음성에서 직접 정보를 찾아내는 새로운 음성 검색 엔진인 'Speech-to-Retrieval(S2R)'을 공개했습니다. 이 기술은 중간 단계인 텍스트 전사 과정에서 발생하는 오류 전파를 차단하여 검색의 속도와 신뢰성을 획기적으로 높인 것이 특징입니다. 결과적으로 사용자의 발화 의도를 더 정확하게 파악함으로써 기존 계단식(Cascade) 모델이 가진 한계를 극복하고 더 나은 검색 경험을 제공합니다.

기존 계단식 모델의 한계와 오류 전파

전통적인 음성 검색은 음성 인식(ASR)으로 목소리를 텍스트로 바꾼 뒤 이를 검색 엔진에 전달하는 '계단식 모델'을 사용해 왔습니다.
이 방식은 ASR 단계에서 발생하는 미세한 소리 인식 오류가 검색 결과에 치명적인 영향을 미치는 '오류 전파(Error Propagation)' 문제에 취약합니다.
예를 들어, 명화 "절규(The Scream)"를 검색했을 때 ASR이 이를 "Screen"으로 잘못 인식하면, 검색 엔진은 예술 작품이 아닌 스크린 페인팅 기술에 대한 엉뚱한 결과를 내놓게 됩니다.
오디오를 하나의 텍스트 문자열로 압축하는 과정에서 문맥적 단서나 음향적 특성이 손실되는 '정보 손실' 문제도 주요한 한계로 지적됩니다.

S2R 모델의 혁신적 접근 방식

S2R은 텍스트 전사 단계를 완전히 우회하여 음성 쿼리로부터 직접 검색 의도를 매핑하고 정보를 추출합니다.
이는 "어떤 단어를 말했는가?"라는 질문에서 벗어나 "사용자가 찾고 있는 정보는 무엇인가?"라는 본질적인 질문에 집중하는 아키텍처의 전환을 의미합니다.
텍스트 전사가 완벽하지 않더라도 음성 데이터 자체에 담긴 풍부한 정보를 활용하므로 검색의 정확도를 높일 수 있습니다.

성능 평가 및 데이터셋 공개

구글은 S2R의 성능을 평가하기 위해 17개 언어와 26개 지역의 음성 질문을 담은 'Simple Voice Questions(SVQ)' 데이터셋을 공개했습니다.
실험 결과, 음성 인식 오류율(WER)이 낮다고 해서 반드시 검색 품질(MRR)이 높아지는 것은 아니며, 언어별로 전사 오류가 검색에 미치는 영향이 각기 다르다는 점이 확인되었습니다.
현재의 실제 음성 인식 시스템(Cascade ASR)과 완벽한 텍스트를 가정한 시스템(Cascade Groundtruth) 사이에는 여전히 큰 성능 격차가 존재하며, S2R은 이 간극을 메우는 핵심 기술이 될 것으로 보입니다.

음성 검색의 미래는 단순한 전사(Transcription)를 넘어 직관적인 검색(Retrieval)으로 진화하고 있습니다. 개발자와 연구자들은 구글이 오픈소스로 공개한 SVQ 데이터셋을 활용해 다국어 환경에서의 검색 성능을 벤치마킹할 수 있으며, 특히 음성 인식률이 낮은 언어권에서 S2R 방식의 도입은 검색 품질을 개선하는 데 실질적인 도움이 될 것입니다.