netflix·2026년 6월 29일·4분 읽기큐레이션 요약

GenPage: 넷플릭스의 엔드투엔드 생성형 홈페이지 구축을 향해

Netflix의 **GenPage**는 기존의 다단계 추천 파이프라인 대신, 하나의 생성형 Transformer가 사용자·요청 맥락을 입력으로 받아 홈페이지 전체를 한 번에 생성하는 방식이다. 행(row), 콘텐츠(entity), 배치(layout)를 함께 생성하므로 페이지 전체의 사용자 만족도와 콘텐츠 간 상호작용을 최적화할 수 있다. 실제 A/B 테스트에서 기존 운영 시스템보다 핵심 참여 지표를 유의미하게 개선했고, 전체 서빙 지연 시간도 20% 줄였다. ## 홈페이지 전체를 생성하는 GenPage - 기존 Netflix 홈페이지는 다음 요소를 별도 단계에서 처리했다. - 어떤 추천 행을 노출할지 결정 - 각 행 안의 콘텐츠 후보 생성 및 랭킹 - 행과 콘텐츠의 최종 배치 - GenPage는 사용자 이력과 요청 맥락을 프롬프트처럼 사용하고, 홈페이지 전체를 자기회귀적으로 생성한다. - 일반적인 생성형 추천기가 평평한 콘텐츠 목록만 생성하는 것과 달리, GenPage는 다음을 함께 생성한다. - 추천 행 - 각 행의 콘텐츠 - 페이지 내 배치 순서와 구조 ## 다단계 추천 시스템에서 엔드투엔드 모델로 - 하나의 Transformer가 원시 입력 신호에서 최종 페이지를 만들기 때문에 여러 모델 간 목표 불일치를 줄일 수 있다. - 후보 생성, 행 랭킹, 콘텐츠 랭킹 등 여러 모델을 유지·운영해야 하는 부담이 감소한다. - 기존의 복잡한 특성 공학(feature engineering)을 줄이고, 데이터·연산량·모델 규모를 늘려 성능을 개선하기 쉬운 구조를 제공한다. - 새로운 콘텐츠 유형이나 UI를 도입할 때 아키텍처를 크게 바꾸지 않고 확장할 수 있다. - 라이브 이벤트 - 게임 - 팟캐스트 - 개인화된 UI 컴포넌트 - 콘텐츠별 개인화 아트워크 ## 페이지 단위 최적화와 강화학습 - 기존 시스템은 주로 개별 콘텐츠나 행의 클릭·시청 가능성을 최적화한다. - GenPage는 페이지 전체를 생성하므로 행과 콘텐츠 사이의 상호작용을 페이지 보상으로 학습할 수 있다. - 예를 들어 상단의 ‘Continue Watching’ 행은 즉각적인 만족도를 높일 수 있지만, 사용자가 다른 행을 탐색하는 양은 줄일 수 있다. - 강화학습(RL)을 적용하면 다음과 같은 전체 페이지 수준의 효과를 고려할 수 있다. - 콘텐츠 다양성 - 여러 행의 탐색성과 시청 유도력 간 균형 - 사용자 만족도와 페이지 탐색량의 trade-off - 흥미롭게도 오프라인 평가에서는 다양성을 직접 보상 목표에 포함하지 않았음에도 RL 후처리 학습 이후 홈페이지 다양성이 증가했다. ## 홈페이지 데이터를 토큰 시퀀스로 표현 - 각 학습 샘플은 홈페이지 노출 한 번을 나타내며 다음 세 요소로 구성된다. - **Context**: 사용자 행동 이력, 프로필 속성, 요청 맥락 - **Page**: 실제 노출된 추천 행과 콘텐츠, 레이아웃 순서 - **Feedback**: 재생, 좋아요, 이탈 등 사용자 반응 - Context와 Page는 모델 입력·출력으로 토큰화한다. - Feedback은 직접 생성하는 대상이 아니라 내부 보상 시스템을 통해 학습 신호로 변환한다. - 결과적으로 모델은 일반 텍스트가 아닌, 구조화된 홈페이지 표현을 생성한다. ## 도메인 특화 토크나이저 - 일반적인 LLM용 텍스트 토크나이저 대신 Netflix 추천 도메인에 맞춘 전용 토크나이저를 사용한다. - 예를 들어 “사용자가 30일 전에 특정 작품을 50분 시청했다”는 이벤트를 다음과 같이 압축할 수 있다. - 엔터티 ID - 행동 유형 - 시간 구간 - 시청 지속시간 구간 - 일반 GPT 계열 토크나이저로 16개 토큰이 필요한 정보를 4개 토큰으로 표현할 수 있어 시퀀스 길이와 추론 비용을 줄인다. - 행과 콘텐츠가 특정 토큰과 직접 대응하므로 제품·비즈니스 규칙을 적용하기도 쉽다. - 생성 결과에 허용되지 않는 콘텐츠나 구조가 포함되지 않도록 제어할 수 있다는 점도 장점이다. ## 사용자 맥락 토큰 - 사용자 행동 이력은 다음 메타데이터를 포함한 행동 시퀀스로 표현한다. - 행동 유형 - 콘텐츠 ID - 발생 시점 - 행동 지속시간 - 명시적 신호와 암묵적 신호를 모두 포함한다. - 명시적 신호: 재생, ‘My List’ 추가, 좋아요 - 암묵적 신호: 예고편 시청, 상세 페이지 방문 - 사용자 프로필에는 언어, 프로필 유형 등을 넣는다. - 요청 맥락에는 시간대, 요일, 사용 기기 등의 정보를 포함한다. - 전체 노출 이력처럼 지나치게 긴 데이터는 요약해서 사용한다. - 이 요약 과정은 모델이 원시 데이터를 완전히 직접 학습하는 대신 사람이 설계한 프롬프트 엔지니어링을 일부 남긴다는 한계가 있다. - 장기적으로는 긴 이력을 엔드투엔드 방식으로 압축하는 것이 중요한 연구 과제다. ## 운영 환경의 주요 과제 - 홈페이지를 실시간 생성해야 하므로 서빙 지연 시간이 핵심 제약이다. - 계속 변화하는 콘텐츠 카탈로그에서 신규 콘텐츠의 콜드 스타트 문제를 해결해야 한다. - 사용자의 관심사와 문화적 트렌드 변화에 맞춰 모델을 지속적으로 최신화해야 한다. - 생성 결과에도 콘텐츠 정책, 제품 요구사항, 비즈니스 규칙을 적용해야 한다. - Netflix는 이러한 제약을 고려하면서도 운영 환경에 GenPage를 적용했다. ## 실험 및 운영 결과 - 성숙하고 최적화된 기존 다단계 추천 시스템과 비교한 온라인 A/B 테스트에서: - 출시 판단에 사용하는 핵심 사용자 참여 지표가 통계적으로 유의미하게 향상됐다. - 전체 엔드투엔드 서빙 지연 시간이 20% 감소했다. - 오프라인 분석에서는 모델 규모를 키우는 것보다 프롬프트에 더 풍부한 정보를 넣는 것이 현재 조건에서 더 큰 효과를 보였다. - 강화학습은 명시적으로 다양성을 최적화하지 않았음에도 페이지 다양성을 높였다. GenPage는 홈페이지를 개별 콘텐츠의 집합이 아니라 하나의 최적화 대상인 페이지로 다룬다는 점에서 의미가 있다. 다만 실시간 지연, 신규 콘텐츠, 최신성, 생성 결과 제어가 핵심 과제이므로, 실제 도입 시에는 도메인 특화 토큰화와 강력한 규칙 검증 계층을 함께 설계하는 것이 현실적인 접근이다.

원문 읽기(새 탭에서 열림)

transformer생성형 AIreinforcement-learningpersonalization+2

netflix·2026년 6월 23일·5분 읽기큐레이션 요약

더욱 정교하게 제어할 수 있는 AI 영상 편집을 향해: 넷플릭스의 초기 연구 탐색

넷플릭스는 AI가 영상 전체를 무분별하게 재생성하지 않고, 창작자가 지정한 부분만 정밀하게 수정해야 전문적인 영상 편집에 활용될 수 있다고 주장합니다. 이를 위해 편집 영역만 별도 레이어로 생성하는 Vera와, 객체를 제거한 뒤 물리적으로 자연스러운 장면을 복원하는 VOID를 제안했습니다. 두 연구의 목표는 원본 영상의 정체성·연기·배경을 보존하면서도 복잡한 편집 작업을 자동화해 창작자의 통제력을 높이는 것입니다. ## 전문 영상 편집에서 AI가 겪는 문제 - 기존 생성형 비디오 편집 모델은 수정 대상뿐 아니라 영상 전체의 픽셀을 다시 생성하는 경우가 많습니다. - 그 결과 다음과 같은 의도하지 않은 변화가 발생할 수 있습니다. - 인물의 얼굴이나 정체성 변화 - 배우의 연기와 동작 변형 - 배경, 소품, 장면의 세부 정보 훼손 - 객체 제거 모델은 대상 객체를 지우는 데 집중한 나머지, 객체가 장면의 물리적 상호작용에 미친 영향을 복원하지 못할 수 있습니다. - 그림자, 반사, 가려진 배경, 움직임의 연속성이 깨지면 객체를 제거한 결과가 부자연스럽게 보입니다. ## Vera: 편집 영역만 생성하는 레이어드 비디오 확산 모델 - Vera는 원본 영상 전체를 재생성하지 않고 다음 두 가지를 별도로 생성합니다. - **편집 레이어**: 새로 추가하거나 변경할 시각적 요소 - **알파 매트**: 편집 레이어가 적용될 영역을 나타내는 grayscale 마스크 - 생성된 레이어를 원본 영상과 합성하므로, 편집 영역 바깥의 원본 픽셀은 그대로 유지됩니다. - 텍스트 지시를 기반으로 다음과 같은 작업을 지원합니다. - 객체 추가 - 배경 변경 - 복잡한 장면의 시각적 요소 수정 - 이 방식은 원본 인물의 정체성, 연기, 카메라에 포착된 세부 사항을 보존하는 데 유리합니다. ## Vera의 학습 데이터 구축 - 기존 공개 데이터셋에는 깨끗한 입력 영상, 알파 매트, 편집 레이어, 합성 결과를 함께 제공하는 고품질 레이어드 데이터가 부족했습니다. - 넷플릭스는 오픈소스 영상, 자동 처리, 사람의 품질 검수를 결합해 총 **48만 6천 프레임**, 해상도 **832×480** 규모의 데이터셋을 구축했습니다. - 데이터는 세 단계로 구성됩니다. - **합성 영상** - 고품질 전경 알파 매트를 다양한 자동 생성 배경에 합성 - 객체 추가와 배경 변경을 위한 알파 매트 학습에 활용 - **현실적인 단일 객체 영상** - 분할, 매팅, 배경 인페인팅 또는 생성 과정을 적용 - 사람의 품질 검수를 거쳐 다양한 장면과 카메라 움직임을 확보 - **효과가 포함된 다중 객체 영상** - 개별 객체와 함께 그림자·반사 같은 시각 효과도 분리 - 복잡하고 동적인 장면에서의 합성 성능을 개선 ## Vera의 MoT 모델 구조 - Vera가 생성해야 하는 출력은 서로 다른 특성을 가집니다. - 편집 레이어 - 알파 매트 레이어 - 자연스러운 합성 영상 레이어 - 하나의 공유 아키텍처만 사용하면 데이터 효율이 떨어질 수 있어, Vera는 **Mixture-of-Transformers(MoT)** 구조를 사용합니다. - 하나의 DiT 대신 출력별로 세 개의 DiT를 둡니다. - 각 분기는 독립적인 QKV projection과 FFN 가중치를 유지합니다. - 세 분기의 토큰을 결합한 뒤 joint self-attention을 적용해 서로 간의 상호작용을 가능하게 합니다. - 각 분기는 전문성을 유지하면서 다른 레이어의 정보도 활용합니다. - 세 DiT는 동일한 사전 학습 T2V 모델에서 초기화됩니다. - 추가 입력 처리 방식은 다음과 같습니다. - 원본 영상 토큰은 합성 레이어 토큰에 더해집니다. - 선택적 마스크 영상 토큰은 노이즈가 포함된 알파 토큰에 더해집니다. - 모든 레이어는 동일한 RoPE를 공유하며, 알파·합성 토큰에는 레이어를 구분하도록 0으로 초기화된 학습 임베딩을 추가합니다. ## Vera의 평가와 결과 - 평가용 벤치마크는 다음으로 구성되었습니다. - 객체 추가 72개 - 배경 변경 69개 - 느리고 빠른 움직임, 다양한 카메라 움직임, 단일·다중 객체, 단순·복잡한 장면을 포함합니다. - 성능은 세 기준으로 평가했습니다. - **콘텐츠 보존**: 편집 대상 바깥 영역이 변하지 않았는지 픽셀 및 지각적 유사도로 측정 - **지시문 준수**: 텍스트 프롬프트를 얼마나 정확히 실행했는지 평가 - **영상 품질**: 시간적 일관성과 프레임별 공간 품질 측정 - Vera-1.3B와 Vera-14B는 기존 기준 모델보다 콘텐츠 보존 성능에서 크게 우수했습니다. - 동시에 가장 강력한 기존 모델들과 비슷한 수준의 영상 품질과 지시문 준수 성능을 유지했습니다. ## VOID: 물리적으로 자연스러운 객체 제거 - VOID는 영상에서 객체와 객체가 장면에 미친 상호작용을 함께 제거하는 비디오 인페인팅 모델입니다. - 단순히 객체 영역을 지우는 것이 아니라 다음 요소까지 장면에 맞게 복원하는 것을 목표로 합니다. - 객체 뒤에 가려져 있던 배경 - 객체가 만든 그림자와 반사 - 주변 물체와의 물리적 상호작용 - 시간에 따른 움직임과 장면 연속성 - 따라서 결과 영상은 객체가 처음부터 존재하지 않았던 것처럼 보이도록 설계됩니다. ## 창작자 통제력을 중심에 둔 연구 방향 - 넷플릭스는 AI가 창작자의 의도를 대체하기보다 창작 선택을 확장해야 한다는 원칙을 강조합니다. - 영상 편집 도구는 무엇을 바꿀지뿐 아니라 무엇을 절대 바꾸지 않을지도 통제할 수 있어야 합니다. - Vera는 변경 범위를 레이어 단위로 제한하고, VOID는 제거 후 장면의 물리적 일관성까지 고려함으로써 전문 편집 환경에 필요한 예측 가능성과 보존성을 높이려는 접근입니다. - 연구진은 두 모델의 알고리즘과 실험 결과를 논문으로 공개해 후속 연구와 발전을 촉진하려 합니다. 실무적으로는 영상 전체를 재생성하는 방식보다, 편집 영역·보존 영역·합성 결과를 분리하는 구조가 원본 훼손을 줄이고 편집 결과를 더 쉽게 검수할 수 있습니다. 특히 객체 제거 작업에서는 시각적 삭제뿐 아니라 그림자, 반사, 가려진 배경, 시간적 움직임까지 함께 처리해야 자연스러운 결과를 얻을 수 있습니다.

원문 읽기(새 탭에서 열림)

transformer생성형 AIcomputer-visiondiffusion-models+4

netflix·2026년 2월 24일원문

MediaFM: 넷 (새 탭에서 열림)

넷플릭스는 방대한 콘텐츠 카탈로그를 정밀하게 이해하기 위해 비디오, 오디오, 텍스트를 결합한 자체 멀티모달 파운데이션 모델인 MediaFM을 개발했습니다. 이 모델은 쇼트(Shot) 단위의 정보를 긴 문맥 속에서 학습하여 내러티브 구조와 감정적 흐름을 파악하며, 광고 타겟팅, 클립 인기 예측, 장르 분류 등 다양한 서비스의 기반 기술로 활용됩니다. 결과적으로 MediaFM은 단순한 프레임 분석을 넘어 영상의 전체적인 맥락을 기계가 읽을 수 있게 변환함으로써 넷플릭스의 콘텐츠 운영 효율과 사용자 경험을 크게 향상시키고 있습니다. **트리모달 데이터의 결합과 전처리** * 모델의 기본 분석 단위는 쇼트 경계 감지 알고리즘으로 분할된 '쇼트(Shot)'이며, 각 쇼트에서 비디오, 오디오, 텍스트 세 가지 핵심 모달리티를 추출합니다. * 비디오는 내부 모델인 SeqCLIP, 오디오는 Meta의 wav2vec2, 자막 및 오디오 설명은 OpenAI의 text-embedding-3-large를 사용하여 개별 임베딩을 생성합니다. * 추출된 세 임베딩을 하나로 결합하여 2304차원의 통합 벡터를 만들고, 이를 최대 512개의 시퀀스로 구성하여 트랜스포머 인코더에 입력합니다. * 작품의 시놉시스와 태그 같은 타이틀 수준의 메타데이터를 [GLOBAL] 토큰으로 변환하여 삽입함으로써, 개별 쇼트가 전체 작품의 맥락을 반영할 수 있도록 설계했습니다. **트랜스포머 기반 아키텍처와 학습 방식** * MediaFM은 BERT와 유사한 구조의 트랜스포머 인코더를 사용하여 쇼트 간의 시간적 관계와 문맥적 정보를 학습합니다. * '마스크 쇼트 모델링(Masked Shot Modeling, MSM)' 기법을 학습 목표로 사용하며, 입력 시퀀스의 20%를 마스킹하고 주변 정보를 통해 원래의 결합 임베딩을 코사인 유사도 기반으로 예측하도록 훈련합니다. * 최적화 과정에서 하이퍼파라미터 튜닝을 위해 Muon 옵티마이저를 도입하여 기존 AdamW 방식보다 성능을 유의미하게 개선했습니다. * 이 과정을 통해 생성된 임베딩은 단순한 정보를 넘어 영상의 전후 흐름이 반영된 '문맥화된 표현(Contextualized representation)'이 됩니다. **주요 활용 사례 및 성능 평가** * 광고 적합성(Ad Relevancy): 추출된 임베딩을 통해 특정 광고 배치에 적합한 클립을 분류하고 후보군을 식별하여 광고 서빙 시스템의 효율을 높입니다. * 클립 인기 및 톤 분석: 클립의 클릭률(CTR)을 바탕으로 상대적 인기를 예측하거나, 영상의 분위기(공포, 유머 등 100여 개 카테고리)를 정밀하게 분석합니다. * 장르 분류 및 리트리벌: 11개의 주요 장르 분류와 더불어, 특정 작품을 홍보하기에 적합한 '가치 있는 클립'인지 여부를 판별하는 이진 분류 작업에 활용됩니다. * 성능 평가 결과, 특정 클립을 단독으로 분석하는 것보다 전체 에피소드라는 더 큰 문맥 안에서 임베딩을 추출할 때 모든 작업에서 월등한 성능을 보였습니다. MediaFM은 넷플릭스가 보유한 대규모 엔터테인먼트 특화 데이터를 학습하여 콘텐츠의 깊은 의미를 파악하는 강력한 도구입니다. 특히 신작 출시 시 데이터가 부족한 '콜드 스타트' 문제를 해결하고, 예고편이나 아트워크 같은 홍보 자산을 최적화하는 데 기여함으로써 미디어 산업에서 멀티모달 AI가 나아가야 할 실질적인 방향을 제시하고 있습니다.

transformer데이터베이스 설계multimodalvideo-embedding+4

netflix·2025년 10월 25일원문

훈련 후 생성 추천 시스템: 장점 가중치 감독 세부 조정 | 넷플릭스 기술 블로그 | 넷플릭스 테크블로그 (새 탭에서 열림)

넷플릭스는 사용자 행동을 순차적으로 예측하는 생성형 추천 시스템(Generative Recommenders)의 성능을 한 단계 높이기 위해 사후 학습(Post-training) 기술인 '가중치 적용 지도 미세 조정(Advantage-Weighted Supervised Finetuning, 이하 A-SFT)'을 도입했습니다. 기존의 생성형 추천 모델은 단순히 과거의 시퀀스를 모방하는 데 그쳐 실제 사용자 만족도를 충분히 반영하지 못했으나, A-SFT는 노이즈가 많은 추천 환경의 보상 신호를 효과적으로 학습에 활용합니다. 이 방법론은 반사실적 데이터(Counterfactual feedback) 확보가 어려운 추천 시스템의 한계를 극복하고, 보상 모델의 불확실성 속에서도 모델을 사용자 선호도에 더 정교하게 정렬시키는 결론을 도출했습니다. **생성형 추천 시스템의 한계와 사후 학습의 필요성** * 생성형 추천 모델(GR)은 트랜스포머 아키텍처를 활용해 사용자의 다음 활동을 예측하는 순차적 변환 태스크로 추천 문제를 정의합니다. * 단순히 관찰된 과거 행동을 모방하는 방식은 트렌드나 외부 요인에 의한 상호작용을 구분하지 못하며, 사용자가 실제로 만족하지 않은 콘텐츠를 반복 추천할 위험이 있습니다. * 따라서 시청 시간, 클릭률, 평점 등 명시적·암묵적 피드백을 활용해 모델을 사용자 선호에 맞게 조정하는 사후 학습 과정이 필수적입니다. **추천 시스템 사후 학습의 주요 난제** * **반사실적 피드백의 부재:** LLM과 달리 추천 시스템은 사용자가 실제로 경험한 온-폴리시(On-policy) 데이터만 존재하며, 수주에서 수년에 걸친 사용자 시퀀스에 대해 가상의 시나리오에 대한 피드백을 얻는 것은 불가능에 가깝습니다. * **보상 신호의 높은 노이즈:** 시청 시간이 길다고 해서 반드시 만족도가 높은 것은 아니며(시간 제약 등으로 중단 가능), 보상 모델 자체가 높은 불확실성과 분산을 가집니다. * **기존 기법의 적용 한계:** 반사실적 데이터를 요구하는 PPO(근사 정책 최적화)나 DPO(직접 선호도 최적화) 같은 최신 LLM 최적화 기법을 추천 도메인에 그대로 적용하기 어렵습니다. **A-SFT: 불확실한 보상을 활용하는 최적화 전략** * A-SFT는 지도 미세 조정(SFT)의 안정성과 강화 학습의 이점 함수(Advantage function)를 결합하여 보상 모델의 방향성 신호를 학습에 반영합니다. * 보상 모델이 높은 분산을 가질 때에도 보상 자체에 매몰되지 않고, 이점 함수를 통해 상대적으로 더 나은 행동에 가중치를 두어 학습함으로써 성능 저하를 방지합니다. * 이 방식은 보상 모델이 없을 때 사용하는 '행동 복제(Behavior Cloning)'와 완벽한 보상 모델을 전제로 하는 '온라인 강화 학습' 사이의 적정 지점을 찾아내어 모델 성능을 최적화합니다. **실무적 권장 사항** 추천 시스템의 사후 학습 전략을 선택할 때는 보상 모델의 품질과 일반화 능력을 먼저 고려해야 합니다. 보상 모델의 노이즈가 심할 경우 이를 과도하게 최적화하면 오히려 성능이 하락할 수 있으므로, A-SFT와 같이 보상의 방향성을 활용하면서도 학습의 안정성을 유지할 수 있는 가중치 기반의 접근법을 사용하는 것이 권장됩니다. 이는 특히 실제 서비스 데이터와 같이 피드백이 불완전한 환경에서 생성형 모델을 사용자 가치에 정렬시키는 데 매우 효과적인 도구가 될 수 있습니다.

transformerAI머신러닝recommendation-systems+4