real-time-data

Sessions 2026에서 발표한 모든 것 (새 탭에서 열림)

Stripe는 연례 컨퍼런스 'Stripe Sessions'를 통해 AI 에이전트 경제를 지원하기 위한 혁신적인 결제 인프라와 288개의 신규 기능을 발표했습니다. 이번 업데이트의 핵심은 AI 에이전트가 직접 결제를 수행하는 '에이전틱 커머스(Agentic Commerce)'의 구현과 기업들이 전 세계 어디서나 지능적이고 안전하게 비즈니스를 확장할 수 있도록 돕는 프로그래밍 가능한 금융 네트워크 구축에 있습니다. Stripe는 이를 통해 AI 중심의 새로운 경제 생태계를 위한 기반을 마련하고 결제 전환율과 보안성을 동시에 극대화한다는 결론을 제시합니다. **AI 에이전트 상거래와 프로그래밍 가능한 결제 (Agentic Commerce)** * AI 에이전트가 직접 제품을 검색하고 결제까지 수행할 수 있는 'Agentic Commerce Suite'를 출시하여, 기업이 대시보드에서 에이전트의 접근 권한을 직접 관리할 수 있게 합니다. * 구글의 Universal Commerce Protocol(UCP) 및 메타와의 파트너십을 통해 AI 검색 환경이나 페이스북 광고 내에서 이탈 없는 즉시 결제 흐름을 구현했습니다. * 머신 결제 프로토콜(MPP)과 공유 결제 토큰(SPT)을 도입하여 에이전트가 카드, 법정화폐뿐만 아니라 스테이블코인으로도 소액 결제 및 정기 결제를 수행할 수 있는 기술적 토대를 마련했습니다. * 'Link' 에이전트 지갑을 통해 기업은 에이전트에게 결제 권한을 부여하면서도, 지출 승인 및 구매 내역 가시성을 유지하며 통제력을 확보할 수 있습니다. **최적화된 체크아웃 및 글로벌 결제 인프라 확장** * AI 어시스턴트, 라이브 트랜잭션 재생, A/B 테스트 기능을 갖춘 'Checkout Studio'를 공개하여 기업이 클릭 몇 번으로 결제 화면을 분석하고 최적화할 수 있도록 지원합니다. * 'Adaptive Pricing AI' 모델을 적용하여 실시간으로 고객의 세션 신호를 분석하고, 고객이 선호하는 통화와 현지화된 구독 가격을 자동으로 표시합니다. * 신규 하드웨어 'Stripe Reader T600' 출시와 더불어 홍콩, 멕시코 등 15개 신규 시장으로 오프라인 결제(Terminal) 서비스를 확대하고, 별도의 POS 기기 없이 리더기만으로 결제를 시작할 수 있는 '독립형 모드'를 선보였습니다. * 디지털 비즈니스를 위한 'Managed Payments' 솔루션을 통해 80개국 이상의 간접세 준수, 사기 방지, 고객 지원을 Stripe가 대행하는 판매 기록(Merchant of Record) 서비스를 제공합니다. **AI 기반의 지능형 보안 및 사기 방지 (Radar & Intelligence)** * Radar 업데이트를 통해 무료 체험판 남용, 봇을 활용한 부정 결제, 계정 공유 및 다중 계정 생성 등 고도화된 사기 패턴을 정교하게 탐지합니다. * 각 비즈니스 고유의 신호와 Stripe의 글로벌 네트워크 인텔리전스를 결합한 '맞춤형 Radar 모델'을 통해 개별 기업 환경에 최적화된 사기 방지 정책을 수립할 수 있습니다. * 'Authorization Boost'에 AI 최적화 기술을 적용하여 데이터 전용 인증 흐름과 PIN 없는 직불카드 재시도를 지원함으로써, 승인율을 평균 3.8% 높이고 처리 비용을 최대 3.3% 절감합니다. * AI 기반의 'Smart Disputes' 기능을 통해 증거 서류를 자동으로 추천받고 관리함으로써 분쟁 해결 성공률을 높였습니다. **수익 모델 다변화를 위한 빌링 시스템 고도화** * AI 네이티브 비즈니스 모델을 지원하기 위해 실시간 미터링, 차원별 가격 책정(Dimensional Pricing), 스트리밍 결제 기능을 강화했습니다. * Stripe Billing의 사용자 정의 기능을 확대하고 실시간 데이터 쿼리 접근성을 높여, 복잡한 구독 모델이나 사용량 기반 과금 체계를 더욱 유연하게 운영할 수 있게 했습니다. 기업들은 이번에 발표된 Stripe의 도구들을 활용해 단순한 결제 처리를 넘어 AI 에이전트 중심의 미래 상거래 환경에 선제적으로 대응할 수 있습니다. 특히 글로벌 시장 진출 시 복잡한 세금 및 규제 문제를 해결해 주는 'Managed Payments'와 AI 기반의 승인율 최적화 도구를 적극 도입하여 운영 효율과 매출을 동시에 극대화할 것을 추천합니다.

MRC Vegas 2026의 3가지 주요 사기 트렌드 (새 탭에서 열림)

MRC Vegas 2024 컨퍼런스에서 논의된 바에 따르면, 최근 사기(Fraud) 패턴은 더욱 자동화되고 정교해져 전통적인 규칙 기반 도구로는 탐지하기가 점점 어려워지고 있습니다. 이에 선도적인 기업들은 모든 사용자에게 동일한 보안 척도를 적용하는 대신, 사용자 의도를 파악해 신뢰를 기반으로 마찰을 줄이는 동적 인증 전략으로 선회하고 있습니다. 결론적으로 현대의 보안은 결제 인프라 내에 실시간 AI 탐지 기능을 내장하고, 생성형 AI를 활용한 딥페이크 위협에 대응하기 위해 다층적인 신원 검증 체계를 구축하는 방향으로 진화해야 합니다. **사용자 의도에 기반한 동적 인증 도입** * 모든 사용자에게 일괄적인 인증 절차를 요구하는 방식은 정상적인 고객의 결제 이탈을 초래하고 고객 생애 가치(LTV)를 훼손하는 부작용이 큽니다. * '높은 신뢰 속도(High-trust velocity)' 개념을 도입해 사용자의 과거 행동 패턴을 분석하고, 신뢰도가 높은 대다수 사용자에게는 결제 마찰을 완전히 제거해야 합니다. * Stripe Radar의 '적응형 3DS'와 같이 AI가 리스크를 실시간으로 평가하여 비정상적인 1%의 트래픽에만 인증을 요구하는 방식을 통해 사기를 30% 이상 줄일 수 있습니다. **에이전트 커머스에 최적화된 결제 인프라** * AI 에이전트가 인간을 대신해 구매를 수행하는 에이전트 커머스 시대에는 사후 분석이 아닌, 결제 흐름(Payment Fabric) 자체에 보안이 내장되어야 합니다. * 정적인 규칙 기반 시스템은 AI 에이전트의 복잡한 구매 패턴을 감당할 수 없으므로, 실시간으로 변화하는 데이터 신호에 반응하는 시스템이 필요합니다. * '공유 결제 토큰(Shared Payment Tokens)' 기술을 사용하면 결제 정보를 노출하지 않으면서도, 카드 테스팅이나 도난 카드 사용 여부 등의 리스크 신호를 실시간으로 전달하여 신뢰할 수 있는 에이전트와 악성 봇을 구분할 수 있습니다. **딥페이크 및 합성 신원 위협 대응** * 생성형 AI의 발전으로 가짜 신분증 제작이나 음성·영상 복제가 매우 쉬워졌으며, 이는 단순한 신원 확인 절차를 무력화하고 있습니다. * 단일 검구만으로는 정교한 위조를 막을 수 없으므로, 서명의 미세한 차이나 사진의 반전 여부, 만료일 데이터 불일치 등 아주 구체적인 이상 징후를 찾는 다층적 검증이 필수입니다. * 신분증 사진과 실시간 셀카 대조, 글로벌 데이터베이스를 활용한 주소 및 신원 정보 교차 검증 등 AI 기반의 프로그래밍 방식 신원 확인 솔루션을 도입해야 합니다. 자동화된 사기 위협으로부터 비즈니스를 보호하기 위해서는 고정된 보안 규칙에서 벗어나 AI가 통합된 유연한 결제 시스템을 채택해야 합니다. 동적 인증과 다층 검증 체계를 결합함으로써 보안 수준은 높이되, 선량한 고객에게는 매끄러운 결제 경험을 제공하는 것이 현대 이커머스 전략의 핵심입니다.

데이터 사이언티스트로서 영향력을 (새 탭에서 열림)

피그마(Figma)는 데이터 규모가 급격히 팽창함에 따라 기존 배치 기반 파이프라인의 한계를 극복하기 위해 CDC(Change Data Capture) 및 스트리밍 아키텍처로의 대대적인 전환을 단행했습니다. Apache Iceberg와 Kafka, Debezium을 결합한 새로운 파이프라인을 통해 데이터 지연 시간을 수일에서 수분 단위로 단축했으며, 수백 개의 데이터베이스 샤드로부터 발생하는 대규모 데이터를 안정적으로 처리할 수 있는 기반을 마련했습니다. 이 글은 급성장하는 서비스에서 데이터 일관성과 실시간성을 동시에 확보하기 위한 피그마 엔지니어링 팀의 여정과 기술적 결정을 다룹니다. ### 기존 배치 파이프라인의 한계와 병목 현상 * 초기 피그마는 Embulk를 이용해 수백 개의 RDS 샤드에서 데이터를 추출하여 S3에 저장하고 이를 Snowflake로 로드하는 배치 방식을 사용했으나, 데이터 양이 늘어남에 따라 지연 시간이 며칠씩 발생했습니다. * 소스 데이터베이스에 직접 쿼리를 날려 데이터를 추출하는 방식은 운영 중인 DB에 과도한 부하를 주었으며, 이를 피하기 위해 읽기 전용 복제본(Read Replica)을 사용함에도 불구하고 스케일 아웃의 한계에 직면했습니다. * 스키마 변경이 발생할 때마다 파이프라인이 수동 개입 없이는 중단되거나 데이터 정합성이 깨지는 등 운영상의 복잡도가 임계치를 넘어서는 문제가 있었습니다. ### CDC 및 Kafka 기반의 실시간 스트리밍 도입 * 데이터베이스의 바이너리 로그(Binlog)를 읽어 변경 사항을 즉시 캡처하는 CDC 방식을 도입하여 원본 DB에 가하는 부하를 최소화했습니다. * Debezium 커넥터를 AWS MSK(Managed Streaming for Kafka)와 연결해 수백 개의 샤드에서 발생하는 변경 이벤트를 중앙 Kafka 클러스터로 실시간 수집하는 구조를 설계했습니다. * Confluent Schema Registry를 활용해 Avro 포맷으로 데이터를 직렬화함으로써, 업스트림의 스키마 변경이 다운스트림 파이프라인에 안전하고 자동화된 방식으로 전파되도록 구현했습니다. ### Apache Iceberg를 활용한 데이터 레이크 현대화 * S3에 저장되는 데이터를 관리하기 위해 오픈 소스 테이블 포맷인 Apache Iceberg를 도입하여 대규모 데이터셋에 대한 ACID 트랜잭션과 시간 여행(Time Travel) 기능을 확보했습니다. * 기존의 단순 파일 저장 방식과 달리 Iceberg는 메타데이터를 효율적으로 관리하므로, Snowflake와 같은 데이터 웨어하우스에서 쿼리 시 불필요한 파일을 스캔하지 않아도 되어 성능과 비용을 최적화했습니다. * Kafka Connect의 Iceberg 싱크를 사용하여 스트리밍 데이터를 즉시 Iceberg 테이블로 기록함으로써 데이터 신선도를 극대화했습니다. ### 시스템 전환의 성과와 운영 효율화 * 새로운 아키텍처 도입 후 데이터 가용 지연 시간이 수일에서 5분 이내로 줄어들었으며, 분석가와 엔지니어들이 거의 실시간에 가까운 인사이트를 얻을 수 있게 되었습니다. * 데이터 파이프라인의 가시성을 높이기 위해 사용자 정의 모니터링 대시보드와 알림 시스템을 구축하여, 특정 샤드나 커넥터에서 발생하는 문제를 즉각적으로 파악하고 대응할 수 있는 환경을 만들었습니다. * 인프라의 확장성이 크게 개선되어 향후 데이터베이스 샤드가 추가되거나 트래픽이 급증하더라도 파이프라인의 구조적 변경 없이 유연하게 대응할 수 있는 능력을 갖추게 되었습니다. 서비스 규모가 커짐에 따라 전통적인 배치 방식은 성능과 운영 면에서 한계에 부딪힐 수밖에 없습니다. 피그마의 사례처럼 CDC와 Kafka, 그리고 Iceberg와 같은 현대적인 데이터 스택을 조합하면 데이터 신선도를 획기적으로 높이면서도 시스템의 안정성을 동시에 확보할 수 있습니다. 대규모 샤딩 환경에서 데이터 파이프라인을 고민하는 팀이라면 이벤트 중심의 아키텍처와 스키마 레지스트리를 통한 자동화에 집중할 것을 권장합니다.

넷플릭스가 실시간 분산 그래프를 구축한 방법과 이유: 1부 — 인터넷 규모의 데이터 스트림 수집 및 처리 (새 탭에서 열림)

넷플릭스는 비디오 스트리밍을 넘어 광고, 라이브 이벤트, 모바일 게임으로 비즈니스를 확장하면서 발생하는 데이터 파편화 문제를 해결하기 위해 '실시간 분산 그래프(RDG)'를 구축했습니다. 기존 마이크로서비스 아키텍처에서 발생하는 데이터 고립을 극복하고, 다양한 서비스 접점에서 발생하는 사용자 활동을 실시간으로 연결하여 개인화된 경험을 제공하는 것이 핵심 목표입니다. 이를 통해 복잡한 데이터 조인 없이도 수억 개의 노드와 엣지 사이의 관계를 즉각적으로 파악할 수 있는 기술적 기반을 마련했습니다. **데이터 파편화와 비즈니스 환경의 변화** * 스트리밍, 게임, 라이브 스포츠 등 서비스 영역이 넓어지면서 사용자가 여러 기기와 도메인에서 수행하는 활동을 하나의 맥락으로 통합해야 할 필요성이 커짐. * 넷플릭스의 강점인 마이크로서비스 아키텍처(MSA)는 서비스 독립성에는 유리하지만, 데이터가 각 서비스에 고립(Silo)되어 있어 통합적인 데이터 과학 및 엔지니어링 작업에 큰 비용이 발생함. * 기존 데이터 웨어하우스 방식은 데이터가 서로 다른 테이블에 저장되고 처리 주기가 제각각이라, 실시간으로 연관 관계를 분석하는 데 한계가 있음. **그래프 모델 도입의 기술적 이점** * **관계 중심 쿼리:** 테이블 기반 모델에서 필요한 비용 중심적인 조인(Join)이나 수동적인 비정규화 없이도 노드와 엣지 사이를 빠르게 탐색(Hop)할 수 있음. * **유연한 확장성:** 새로운 엔티티나 관계 유형이 추가될 때 대대적인 스키마 변경이나 아키텍처 재설계 없이도 신속하게 데이터 모델을 확장할 수 있음. * **패턴 및 이상 탐지:** 숨겨진 관계, 순환(Cycle) 구조, 그룹화 등을 식별하는 작업을 기존의 포인트 조회 방식보다 훨씬 효율적으로 수행함. **실시간 데이터 수집 및 처리 파이프라인 (RDG 레이어 1)** * 전체 시스템은 수집 및 처리, 저장, 서빙의 3개 레이어로 구성되며, 첫 번째 단계인 수집 레이어는 이기종 업스트림 소스로부터 이벤트를 받아 그래프 데이터를 생성함. * DB의 변경 사항을 추적하는 CDC(Change Data Capture)와 애플리케이션의 실시간 로그 이벤트를 주요 소스로 활용하여 데이터 소외 현상을 방지함. * 수집된 원시 데이터는 스트리밍 처리 엔진을 통해 그래프 스키마에 맞는 노드와 엣지 형태로 변환되며, 대규모 트래픽 환경에서도 실시간성을 유지하도록 설계됨. 복잡하게 얽힌 현대의 서비스 환경에서 데이터 간의 관계를 실시간으로 규명하는 것은 사용자 경험 고도화의 핵심입니다. 넷플릭스의 RDG 사례처럼 파편화된 마이크로서비스의 데이터를 그래프 형태로 통합하는 접근 방식은, 실시간 통찰력이 필요한 대규모 분산 시스템 설계 시 강력한 해결책이 될 수 있습니다.

스트림 뒤편: 라이브 이벤트를 위한 실시간 추천 3부 | 넷플릭스 기술 블로그 | 넷플릭스 테크블로그 (새 탭에서 열림)

넷플릭스는 수천만 명의 시청자가 동시에 접속하는 라이브 이벤트 상황에서 시스템 과부하를 방지하면서도 실시간 개인화 추천을 제공하기 위해 '프리페칭(Prefetching)'과 '실시간 브로드캐스팅'이라는 2단계 전략을 도입했습니다. 이 시스템은 이벤트 시작 전 미리 데이터를 기기에 저장해 두었다가, 실제 시작 시점에는 최소한의 신호만 보내 로컬에서 추천 정보를 활성화함으로써 '천둥 번개 효과(Thundering Herd)' 문제를 효과적으로 해결합니다. 이를 통해 넷플릭스는 클라우드 자원을 무리하게 확장하지 않고도 전 세계 수억 대의 기기에 지연 없는 실시간 스트리밍 경험을 제공할 수 있게 되었습니다. **라이브 이벤트와 시동 시간의 제약** * VOD와 달리 라이브 이벤트는 모든 시청자가 특정 시점에 동시에 접속하므로, 짧은 시간 내에 수억 개의 기기에 업데이트를 전달해야 하는 기술적 난관이 존재합니다. * 단순히 서버를 증설하는 선형적 확장은 비효율적이며, 다른 핵심 서비스의 자원을 고갈시킬 위험이 있습니다. * 성공적인 실시간 추천을 위해서는 업데이트 소요 시간(Time), 서비스 처리 용량(Request Throughput), 요청의 다양성(Compute Cardinality)이라는 세 가지 제약 조건을 동시에 최적화해야 합니다. **프리페칭을 통한 트래픽 분산** * 이벤트 시작 전 사용자가 평소처럼 앱을 탐색하는 동안, 라이브 이벤트와 관련된 메타데이터, 아트워크, 개인화된 추천 리스트를 미리 기기 캐시에 저장합니다. * 이를 통해 서버 요청을 시간에 따라 자연스럽게 분산시켜, 이벤트 직전 발생하는 트래픽 스파이크를 제거하고 시스템 안정성을 확보합니다. * 서버 측에서 미리 계산된 '구체화된 추천(Materialized Recommendations)'을 제공함으로써 기기별 요청의 복잡도를 낮춥니다. **저카디널리티 실시간 브로드캐스팅** * 이벤트가 실제로 시작되거나 일정이 변경될 때, 넷플릭스의 푸시 서비스(Zuul Push)를 통해 연결된 모든 기기에 '저카디널리티(Low-cardinality)' 메시지를 전송합니다. * 이 메시지는 복잡한 데이터를 담지 않고 단순히 미리 캐싱된 데이터를 화면에 표시하라는 트리거 역할만 수행하여 네트워크 부하를 최소화합니다. * '최소 한 번(At-least-once)' 전달 방식을 채택하여 네트워크 상태가 불안정한 기기도 다시 온라인 상태가 되면 누락된 업데이트를 즉시 따라잡을 수 있도록 설계되었습니다. **데이터 기반의 동적 적응** * 라이브 이벤트의 특성상 경기 시간이 지연되거나 일정이 변동될 수 있는데, 브로드캐스팅 시스템은 이러한 실시간 제작 상황에 맞춰 전송 타이밍을 동적으로 조절합니다. * 수천만 대의 기기가 동시에 서버에 데이터를 재요청하는 대신 로컬 데이터를 활용하게 함으로써, 전 세계 모든 사용자가 동일한 순간에 일관된 추천 UI를 볼 수 있게 합니다. 라이브 이벤트와 같은 초고부하 상황에서는 무조건적인 서버 증설보다는 클라이언트의 로컬 자원을 활용하고 서버 부하를 시간적으로 분산하는 아키텍처가 필수적입니다. 실시간성이 중요한 서비스라면 모든 데이터를 실시간으로 전송하기보다, 정적인 데이터는 미리 배치하고 상태 변화를 알리는 최소한의 신호만 실시간으로 처리하는 하이브리드 접근 방식을 권장합니다.

Scaling down to speed up: How we improved efficiency of live process metrics by 100x (새 탭에서 열림)

Datadog은 프로세스 및 컨테이너 모니터링 시스템의 실시간 데이터 처리 방식을 '호스트 구독(Host Subscription)' 기반 모델로 전환하여 확장성 문제를 해결했습니다. 사용자가 현재 화면에서 보고 있는 특정 호스트(최대 50개)에 대해서만 2초 간격의 고빈도 수집을 활성화함으로써, 전체 트래픽 볼륨을 100배 줄이고 인프라 비용을 98% 절감하는 성과를 거두었습니다. 이 글은 불필요한 데이터 수집을 최소화하면서도 사용자 경험과 시스템 효율성을 동시에 개선한 기술적 여정을 다룹니다. ## 기존 실시간 데이터 수집의 한계 * **전체 활성화 방식의 비효율성:** 기존에는 테넌트 내 한 명의 사용자만 페이지를 조회해도 해당 테넌트 전체 인프라의 모든 호스트에서 2초 간격의 데이터 수집이 시작되었습니다. 이로 인해 초당 수백만 개의 프로세스 데이터가 유입되는 부하가 발생했습니다. * **수평적 확장 불가능:** 실시간 정렬 기능을 제공하기 위해 테넌트의 모든 데이터를 단일 서버의 메모리에 보관해야 했습니다. 이는 시스템을 수평적으로 확장하는 것을 불가능하게 만들었으며, 서버 사양을 높이는 수직적 확장에만 의존하게 했습니다. * **리소스 낭비:** 실제 사용자가 한 번에 확인하는 프로세스는 약 50개 내외임에도 불구하고, 보이지 않는 수만 개의 프로세스 데이터를 실시간으로 수집하고 처리하는 비효율이 존재했습니다. ## 사용자 가시성 중심의 설계 전환 * **실시간 수집 대상의 최소화:** 사용자가 보고 있는 화면에 노출된 프로세스가 실행 중인 호스트에 대해서만 실시간 모드를 활성화하도록 전략을 수정했습니다. * **데이터 용도 분리 및 정렬 로직 최적화:** 2초 간격의 실시간 데이터는 화면 갱신에만 사용하고, 10초마다 수행되는 정렬 작업에는 일반적인 10초 간격 데이터를 활용하도록 변경했습니다. * **시스템 단순화:** 실시간 뷰와 히스토리 뷰에서 동일한 정렬 로직을 사용할 수 있게 되어 시스템 복잡성이 줄어들었고, 고빈도 메트릭을 메모리에 상주시켜야 할 필요성도 사라졌습니다. ## 호스트 구독 모델 및 필터링 최적화 * **호스트 구독(Host Subscription) 도입:** 사용자가 현재 보고 있는 호스트 목록을 추적하고, 이 상태를 Kafka를 통해 인테이크(Intake) 서비스와 라이브 서버 간에 공유합니다. * **조기 필터링(Early Filtering):** 구독 정보를 바탕으로 데이터 수집 단계(Intake)에서부터 필요한 데이터만 선별하여 처리합니다. 이는 Datadog 에이전트와 백엔드 서버 모두의 부하를 줄이는 핵심 기여를 했습니다. * **성능 개선 결과:** 개념 증명(PoC) 단계에서 이미 라이브 데이터 서버의 메모리 사용량은 85%, CPU 사용량은 33% 감소했으며, 이는 시스템 전체의 안정성 향상으로 이어졌습니다. 대규모 인프라 모니터링 환경에서 모든 데이터를 실시간으로 수집하는 것은 막대한 비용과 확장성 문제를 야기합니다. 사용자의 가시성 범위 내로 수집 대상을 제한하고 데이터의 용도(갱신 vs 정렬)에 따라 수집 빈도를 이원화하는 접근 방식은 리소스 효율성을 극대화하면서도 고성능 실시간 뷰를 제공할 수 있는 실용적인 해결책이 됩니다.