toss

Extending Real-time Ad Frequency Capping Aggregation to One Week with Apache Flink + RocksDB Tuning (opens in new tab)

안녕하세요, 토스 Data Service Platform Team 이승민, 최원용입니다. 저희 팀에서는 광고 노출 횟수의 슬라이딩 집계를 제공하고 있습니다. 짧은 구간(1분~1시간)은 Flink로, 장기 구간은 Airflow 배치로 운영하는 구조였는데요. 이 글은 장기 구간까지 Flink로 확장하면서 겪은 과정을 기록한 것입니다. 사용자가 광고를 얼마나 봤는지 1분부터 7일 단위까지 실시간으로 집계하고, 서빙 시점에 단일 조회로 제공하는 시스템을 만든 이야기예요. 집계가 부정확하면 광고주 예산이…