구글 리서치(Google Research)는 거대 언어 모델(LLM)의 추론 속도를 높이고 비용을 절감하기 위해 '스펙큘레이티브 디코딩(Speculative Decoding)'과 '표준 캐스케이드(Standard Cascades)' 방식을 결합한 스펙큘레이티브 캐스케이드(Speculative Cascades) 기법을 제안했습니다. 이 하이브리드 접근 방식은 작은 모델이 생성한 초안이 대형 모델의 결과와 반드시 토큰 단위로 일치하지 않더라도, 품질 면에서 충분히 유효하다면 이를 수용함으로써 불필요한 재계산을 방지합니다. 결과적으로 이 기법은 기존의 두 방식보다 더 나은 비용 대비 품질 효율을 달성하며, 요약, 번역, 코딩 등 다양한 언어 작업에서 성능 향상을 입증했습니다.

기존 추론 가속 기법의 병목 현상

표준 캐스케이드(Cascades): 작은 모델이 먼저 답변을 시도하고, 확신이 없을 때만 대형 모델로 작업을 넘기는 '지연 규칙(Deferral Rule)'을 사용합니다. 하지만 이 방식은 순차적(Sequential)으로 진행되기에, 작은 모델이 실패할 경우 대형 모델이 처음부터 다시 계산을 시작해야 하므로 시간 낭비가 발생합니다.
스펙큘레이티브 디코딩(Speculative Decoding): 작은 '드래프트' 모델이 토큰 뭉치를 먼저 생성하면 대형 모델이 이를 병렬로 검증합니다. 결과물의 품질은 대형 모델과 동일하게 유지되지만, 작은 모델의 답변이 내용상 훌륭하더라도 대형 모델의 특정 표현 스타일과 토큰 단위로 일치하지 않으면 기각(Rejection)되어 속도 이점이 사라집니다.

스펙큘레이티브 캐스케이드의 하이브리드 접근법

유연한 수용 기준: 기존 스펙큘레이티브 디코딩이 엄격한 토큰 일치(또는 확률적 일치)를 요구하는 것과 달리, 스펙큘레이티브 캐스케이드는 드래프트 모델의 출력이 '충분히 좋은지'를 판단하여 수용 여부를 결정합니다.
병렬 검증과 효율의 결합: 드래프트 모델이 토큰을 생성하는 동안 대형 모델이 이를 병렬로 검토하여 지연 시간을 줄이면서도, 캐스케이드의 비용 절감 논리를 도입하여 대형 모델이 모든 작업을 독점하지 않게 설계되었습니다.
지연 병목 해소: 작은 모델의 결과가 만족스럽지 않을 때만 대형 모델의 자원을 사용함으로써, 표준 캐스케이드에서 발생하던 순차적 대기 시간 문제를 해결하고 전체적인 추론 처리량을 높였습니다.

실험 결과 및 성능 입증

다양한 모델 및 과제 적용: 구글의 Gemma와 T5 모델을 활용하여 요약, 번역, 추론, 코딩, 질의응답 등 광범위한 언어 작업에서 테스트를 진행했습니다.
비용-품질 최적화: 실험 결과, 스펙큘레이티브 캐스케이드는 기존의 단일 기법들보다 동일 비용 대비 더 높은 품질의 결과물을 생성하거나, 동일 품질 대비 더 빠른 추론 속도를 기록했습니다.
적응형 응답 생성: 특히 답변의 스타일이 여러 가지일 수 있는 개방형 작업에서, 대형 모델의 답변과 토큰 단위로 정확히 일치하지 않아도 품질을 유지하며 속도를 획기적으로 개선하는 모습을 보였습니다.

LLM 서비스를 운영하는 개발자나 기업은 스펙큘레이티브 캐스케이드를 도입함으로써 고성능 모델의 정확도와 소형 모델의 경제성을 동시에 확보할 수 있습니다. 특히 실시간 응답이 중요하면서도 운영 비용 최적화가 필요한 대규모 사용자 서비스에서 이 기법은 매우 실용적인 해결책이 될 것입니다.