meta·2026년 7월 15일·4분 읽기큐레이션 요약

메타 광고 딥 퍼널 최적화를 위한 계층적 관심사 표현 탐구

Hierarchical Interest Representation은 사용자와 광고주·제품·서비스를 하나의 그래프로 연결하고, 이들의 잠재적 관심사를 여러 수준의 임베딩으로 학습하는 Meta Ads의 상위 표현 계층이다. 희소한 광고 참여 신호에 텍스트·이미지·영상 기반의 세계 지식을 결합해, 사용자의 잠재 관심과 광고주의 상품을 연결하고 딥 퍼널 광고 성과를 높이는 것이 목표다. 수십억 건의 상호작용을 이용해 학습한 범용 임베딩과 관심 토큰은 검색, 개인화, 추천, 감독 신호, 랭킹 모델 전반에 활용될 수 있다. ## 딥 퍼널 광고 최적화를 위한 표현 계층 - 사용자가 스크롤, 클릭, 반응, 구매 등으로 표현한 선호를 바탕으로 명시적·암묵적 관심사를 추론한다. - 광고주가 제공하는 상품·서비스와 사용자의 잠재 관심을 연결해, 단순 노출이나 클릭을 넘어 전환 등 딥 퍼널 목표를 최적화한다. - Meta의 Generative Ads Model(GEM), Andromeda, Adaptive Ranking Model 등 광고 추천 생태계의 여러 단계에서 사용할 수 있는 상위 표현 계층을 지향한다. - 대규모 참여 데이터에서 안정적인 관심 앵커를 추출해, 사용자가 아직 직접 반응하지 않은 광고의 발견 가능성도 높인다. ## 광고 생태계를 그래프로 모델링 - 사용자, 광고주, 제품, 서비스, 캠페인 등을 그래프의 노드로 표현한다. - 노드 사이의 노출, 클릭, 참여, 구매 등의 활동과 이벤트는 엣지가 된다. - Meta의 광고 네트워크는 매월 수백만 광고주와 수백만 개 광고가 수십억 명의 사용자에게 제공되는 초대형 그래프다. - 사용자와 특정 광고 사이의 직접적인 딥 퍼널 신호는 희소하기 때문에, 그래프에서 멀리 떨어진 연결과 공통 패턴을 함께 학습해야 한다. ## 희소한 신호와 동적인 관심사 - 사용자는 ‘관심 있음/관심 없음’ 같은 직접 피드백뿐 아니라 광고 참여 행동으로도 관심을 표현한다. - 광고 노출 기회와 전환 피드백은 광고·상품의 전체 규모에 비해 제한적이다. - 개별 사용자와 광고의 연결만 보면 데이터가 부족하므로, 관련 사용자·상품·광고주 사이의 장거리 관계를 활용해야 한다. - 대규모 그래프에서 장거리 관계를 계산하려면 메모리 효율적인 어텐션 커널과 고성능 학습 알고리즘이 필요하다. ## 차원 축소와 관심 원시 단위 - 원시 광고 그래프를 학습된 잠재 관심 단위인 ‘슈퍼 노드’ 중심의 슈퍼 그래프로 변환한다. - 원래는 희소했던 사용자-광고 연결을 공통 관심 원시 단위로 묶어 더 조밀한 관계로 만든다. - 관심 원시 단위의 어휘는 개별 광고보다 안정적이고 정적이므로, 광고 비즈니스와 상품 구성이 바뀌어도 재사용하기 쉽다. - 이를 통해 개별 광고에 대한 충분한 이력이 없는 사용자나 상품에도 일반화할 수 있다. ## 멀티모달 지식 보강 - 광고주와 제품의 페이지 메타데이터, 카탈로그 속성, 텍스트, 이미지, 영상 정보를 활용한다. - 언어 모델과 비전 모델로 콘텐츠를 처리해, 사용자가 해당 상품과 어떻게 상호작용했는지뿐 아니라 상품 자체가 무엇인지도 표현한다. - 참여 데이터가 부족한 희귀하거나 새롭게 등장한 광고주·제품에 대해서도 의미적 유사성을 바탕으로 추론할 수 있다. - 실제 세계의 지식과 행동 기반 신호를 결합해 콜드스타트와 신호 부족 문제를 완화한다. ## 통합 관계 임베딩 - 사용자, 광고주, 제품, 서비스와 잠재 관심 원시 단위를 하나의 거리 기반 공간에 배치한다. - 임베딩 간 거리를 이용해 다음 관계를 추정할 수 있다. - 사용자와 관심 원시 단위의 근접성 - 광고·광고주가 어떤 관심사를 제공하는지 - 관심 원시 단위끼리의 유사성 - 유사한 사용자, 광고, 제품의 이웃 관계 - 서로 다른 유형의 엔터티 간 친화도 - 동일한 표현 공간을 사용하므로 사용자 관심과 광고 상품의 의미적 연결을 직접 계산할 수 있다. ## 여러 계층의 관심 표현 - 상위 계층은 여행·스포츠·패션처럼 안정적이고 넓은 관심사를 표현한다. - 하위 계층은 특정 브랜드, 세부 상품, 구매 의도처럼 희소하지만 정밀한 관심사를 표현한다. - 조밀하고 안정적인 관계는 더 거친 계층으로, 드물고 구체적인 관계는 더 세밀한 계층으로 표현한다. - 여러 계층을 연쇄적으로 학습하면 검색·개인화에는 넓은 관심 표현을, 최종 랭킹에는 구체적인 의도 표현을 선택적으로 사용할 수 있다. ## 트랜스포머 기반 그래프 학습 - LLM에서 영감을 받은 트랜스포머 구조를 대규모 광고 그래프에 적용한다. - 희소 어텐션을 사용해 모든 노드 간 연결을 계산하지 않고도 장거리 그래프 관계를 포착한다. - 편향을 고려한 어텐션과 자기지도 방식의 교차 뷰 지식 증류를 활용해 여러 관점의 그래프 정보를 통합한다. - 사용자 행동의 시간적 변화와 광고주·제품 콘텐츠의 의미 정보를 함께 학습한다. - 전체 시스템은 실제 Meta 광고 데이터의 수십억 건 상호작용으로 엔드투엔드 학습된다. ## 범용 임베딩과 Bag-of-Meaning 토큰 - 광고 생태계의 사용자·광고주·제품·서비스에 대한 범용 임베딩을 생성한다. - 여러 의미 단위로 구성된 ‘Bag-of-Meaning’ 관심 토큰은 사용자의 관심과 광고의 의미를 공통 어휘로 표현한다. - 이 결과는 다음 용도로 확장될 수 있다. - 광고 및 상품 검색·후보 생성 - 개인화 추천 - 랭킹 모델의 입력 특성 - 학습을 위한 감독 신호 - 특정 도메인에 최적화된 전문 랭킹 아키텍처 실용적으로는 직접적인 전환 데이터가 부족한 광고·상품을 다뤄야 하거나, 신규 엔터티와 장기적인 관심 관계를 포착해야 하는 시스템에 특히 유용하다. 다만 범용 임베딩을 실제 광고 순위에 적용할 때는 최신성, 사용자 프라이버시, 관심사 편향, 계층별 표현의 검증을 함께 관리해야 한다.

원문 읽기(새 탭에서 열림)

graph-learning대규모 언어 모델멀티모달 AItransformer+4

google·2025년 7월 9일원문

관계형 데이터를 위한 그래프 파운데이션 모델 (새 탭에서 열림)

구글 리서치는 관계형 데이터베이스의 테이블 간 연결 구조를 그래프로 변환하여 처리하는 '그래프 파운데이션 모델(Graph Foundation Models, GFM)'을 제안합니다. 이 모델은 기존의 테이블 기반 머신러닝이나 특정 그래프에 고착된 기존 GNN과 달리, 학습되지 않은 새로운 도메인의 테이블 구조와 기능, 작업에도 추가 학습 없이 일반화할 수 있는 성능을 보여줍니다. 데이터 간의 상호작용과 연결성을 학습함으로써 대규모 관계형 데이터를 보다 정교하게 예측하고 분석할 수 있는 것이 핵심입니다. **관계형 데이터의 그래프 구조화** * 수많은 테이블로 구성된 복잡한 관계형 데이터를 하나의 이종 그래프(Heterogeneous Graph)로 통합하여 데이터 간의 연결성을 보존합니다. * 각 테이블은 고유한 노드 유형이 되고, 테이블의 각 행(Row)은 개별 노드가 되며, 외래 키(Foreign Key) 관계는 노드 사이의 유형화된 엣지(Edge)로 변환됩니다. * 수치형이나 범주형 데이터가 포함된 나머지 열(Column)들은 노드의 특성(Feature)으로 처리되며, 시간 정보 또한 노드나 엣지의 특성으로 반영할 수 있습니다. * 이러한 변환 과정을 통해 단순한 테이블 단위 분석에서는 놓치기 쉬운 행 간의 유기적인 연결 구조를 모델이 학습할 수 있게 됩니다. **범용성을 갖춘 그래프 파운데이션 모델 설계** * 언어 모델의 트랜스포머와 유사하게, 그래프 데이터에서도 도메인에 구애받지 않고 전이 가능한 표현력을 학습하는 고용량 신경망 구조를 채택했습니다. * 그래프 데이터에는 텍스트의 토큰이나 이미지의 패치와 같은 공통된 단위가 없으므로, 임의의 데이터베이스 스키마와 노드/엣지 유형을 처리할 수 있는 전이 가능한 인코딩 방식을 도입했습니다. * 특정 데이터 분포에 고정된 임베딩 테이블을 사용하는 대신, 다양한 작업에서 기능들이 서로 상호작용하는 방식을 캡처함으로써 학습하지 않은 새로운 그래프(예: 인용 그래프에서 학습 후 제품 그래프로 추론)에서도 작동하는 일반화 성능을 확보했습니다. **구글 규모의 실전 적용 및 성능** * JAX 환경과 대규모 TPU 인프라를 활용해 수십억 개의 노드와 엣지를 포함하는 거대 그래프를 효율적으로 처리할 수 있도록 설계되었습니다. * 광고 스팸 탐지와 같이 수십 개의 테이블이 얽혀 있는 구글 내부의 실제 대규모 분류 작업에 적용하여 그 실효성을 검증했습니다. * 기존의 테이블 머신러닝 베이스라인 모델들이 행 간의 연결 관계를 고려하지 못하는 한계를 극복하고, 복잡한 관계형 데이터에서 뛰어난 예측 성능을 입증했습니다. 기업 내부에 산재한 수많은 관계형 테이블을 개별적으로 모델링하는 대신, 이를 하나의 거대한 그래프 생태계로 통합하여 바라보는 접근이 필요합니다. GFM은 데이터 스키마가 변경되거나 새로운 도메인이 추가되어도 다시 처음부터 모델을 학습시킬 필요가 없으므로, 대규모 데이터 인프라를 운영하는 환경에서 유연하고 강력한 분석 도구가 될 것입니다.

graph-learningAItransformerjax+5

google·2025년 3월 30일원문

그래프 학습의 진 (새 탭에서 열림)

그래프 학습은 1736년 오일러의 정리부터 시작되어 현대 머신러닝의 핵심 기술로 진화해 왔습니다. 과거에는 페이지랭크(PageRank)와 같은 알고리즘을 통해 그래프 구조를 분석했다면, 최근에는 딥워크(DeepWalk)와 그래프 합성곱 신경망(GCN)의 등장을 통해 복잡한 관계 데이터를 신경망으로 처리하는 '그래프 러닝'의 시대가 열렸습니다. 구글 연구진은 이러한 흐름을 주도하며 교통 예측, 가짜 뉴스 탐지, 분자 분석 등 다양한 실무 영역에 그래프 알고리즘을 성공적으로 적용하고 있습니다. ### 그래프 알고리즘의 기원과 초기 발전 * 1736년 레온하르트 오일러가 '쾨니히스베르크의 다리 문제'를 해결하며 관계와 연결을 수학적으로 모델링하는 현대 그래프 이론의 기초를 마련했습니다. * 초기 연구는 그래프 내의 커뮤니티 구조 파악, 중심성(Centrality) 측정, 최단 경로 계산 및 최대 유량 문제 등 그래프의 구조적 패턴을 찾는 데 집중했습니다. * 1996년 등장한 페이지랭크(PageRank) 알고리즘은 인터넷 웹페이지를 노드로, 하이퍼링크를 엣지로 정의하여 웹 전체를 거대한 그래프로 해석함으로써 검색 엔진의 혁신을 가져왔습니다. ### 딥러닝과 그래프의 결합, DeepWalk * 전통적인 그래프 알고리즘은 불연속적인 특성 때문에 연속적인 수치 연산을 수행하는 신경망 시스템과 직접 통합하기 어려운 한계가 있었습니다. * 2014년에 발표된 딥워크(DeepWalk)는 신경망 인코더를 사용하여 그래프 데이터를 수치적 벡터로 변환하는 '그래프 임베딩' 기법을 최초로 실용화했습니다. * DeepWalk는 노드 간의 유사성을 단순한 특징 기반의 유사도가 아닌, 그래프 구조 내에서의 관계성을 보존하는 방식으로 캡처하여 그래프 학습 연구의 기폭제가 되었습니다. ### 그래프 합성곱 신경망(GCN)과 현대적 접근 * 2016년 토마스 키프(Thomas Kipf) 등이 제안한 그래프 합성곱 신경망(GCN)은 이미지 처리의 합성곱 개념을 그래프 구조에 도입하여 노드의 이웃 정보를 효과적으로 통합했습니다. * 이후 메시지 패싱 신경망(MPNN) 등 노드 간 정보를 교환하며 주변 구조를 학습하는 정교한 모델들이 등장하며 그래프 학습의 표준이 되었습니다. * 이러한 기술적 진보는 현재 교통 흐름 예측, 전염병 확산 모델링, 물리학 시뮬레이션, 냄새를 유발하는 분자 구조 분석 등 광범위한 실제 문제 해결에 활용되고 있습니다. 복잡한 연결 관계를 다루는 비즈니스나 연구 분야라면 TensorFlow나 JAX와 같은 라이브러리에서 제공하는 최신 그래프 신경망 구현체를 활용해 보는 것을 추천합니다. 특히 데이터 간의 관계 자체가 핵심적인 정보를 담고 있는 소셜 네트워크, 사기 탐지, 화학 구조 분석 등의 도메인에서는 단순한 특성 기반 학습보다 그래프 학습 기반의 접근이 훨씬 더 강력한 통찰을 제공할 수 있습니다.

graph-learningAI머신러닝jax+4