causal-inference

3 개의 포스트

Stripe Capital을 통해 자 (새 탭에서 열림)

Stripe Capital은 중소상공인(SMB)의 자금 조달 문제를 해결함으로써 비즈니스 성장을 가속화하며, 실제 실험 결과 금융 지원을 받은 기업은 대조군보다 평균 27%p 더 높은 매출 성장률을 기록했습니다. 특히 소규모 기업이나 성장 중심의 프로젝트에 자금을 투입한 경우 그 효과가 극대화되었으며, 이는 전통적 금융권의 높은 문턱을 넘지 못하는 기업들에게 대안 금융이 실질적인 비즈니스 확장의 기회를 제공함을 입증합니다. ### 무작위 대조 실험(RCT)을 통한 성장의 인과관계 증명 * 단순한 상관관계를 넘어 금융 지원이 성장에 미치는 직접적인 영향을 확인하기 위해 2020~2021년과 2023~2025년 두 차례에 걸쳐 대규모 무작위 대조 실험을 실시했습니다. * 신용도, 매출액, 업력 등이 유사한 기업들을 대조군으로 설정하여 분석한 결과, 거시경제 환경과 관계없이 지속적인 성장 촉진 효과가 나타남을 확인했습니다. * 최근 조사(2023~2025년)에서는 금융 지원을 받은 기업이 평균 27%p 더 높은 성장률을 보였으며, 성과가 가장 좋은 상위 10% 기업은 평균 211%p라는 폭발적인 성장을 달성했습니다. ### 금융 사각지대 해소와 소규모 기업의 성장 * 연 매출 3,000달러에서 76,000달러 사이의 소규모 기업에서 33~43%p의 높은 성장률 향상이 관찰되었으며, 우수한 신용 점수를 가진 연 매출 52,000달러 미만 기업은 최대 106%p의 성장을 기록했습니다. * 전통적인 은행은 대출 심사에 14~40일이 소요되고 거절률이 약 50%에 달하지만, Stripe Capital은 결제 데이터를 기반으로 평균 1~2일 내에 신속하게 자금을 제공합니다. * 신용 점수가 낮거나 정보가 부족한 기업들조차 자금 지원을 통해 대조군 대비 평균 11~18%p 더 빠르게 성장하며 금융 접근성의 중요성을 보여주었습니다. ### 성장 중심 프로젝트와 자금 활용의 시너지 * 신규 제품 출시, 사업 확장, 인프라 구축 등 '성장 지향적 목적'으로 자금을 활용한 기업은 70~95%p의 비약적인 성장률 보너스를 얻었습니다. * 데이터 기반의 선제적 제안(Proactive offers)은 사업자가 주저하던 리스크를 감수하고 새로운 시장(예: 해외 서버 확충, 기기 도입 등)에 과감히 도전하게 만드는 촉매제 역할을 합니다. * 실제로 자금을 지원받은 기업들은 이를 통해 즉각적인 매출을 창출하거나 글로벌 시장으로 서비스를 확장하는 등 실질적인 사업 지표를 개선했습니다. 전 세계 SMB의 자금 조달 격차는 약 5.7조 달러에 달하며, Stripe Capital과 같은 비전통적 금융 서비스는 이를 메워 글로벌 GDP 성장에 기여할 잠재력이 큽니다. 비즈니스 운영 도구에 통합된 금융 서비스는 단순한 자금 제공을 넘어, SMB가 성장 기회를 포착하고 적기에 과감한 투자를 결정할 수 있도록 돕는 핵심적인 파트너가 될 것입니다.

LTV를 넘어 서비스의 가치를 측정하는 새로운 지표, MTVi (새 탭에서 열림)

토스는 기존 LTV(LifeTime Value) 지표가 가진 긴 측정 주기와 증분 측정의 어려움을 해결하기 위해 MTVi(Mid term Value - incremental)라는 새로운 지표를 도입했습니다. MTVi는 유저가 특정 서비스를 처음 경험했을 때 향후 1년간 발생하는 재무적 순증 가치를 정의하며, 이를 통해 서비스가 플랫폼 전체에 기여하는 진정한 가치를 정량화합니다. 결과적으로 토스는 서비스별 투자 효율을 판단하고 전사적인 의사결정의 우선순위를 정하는 공통의 언어로 이 지표를 활용하고 있습니다. **기존 LTV 지표의 한계와 새로운 지표의 필요성** * LTV는 보통 3~5년의 긴 기간을 전제로 하기에, 빠른 실험과 개선을 반복하는 서비스 사일로의 의사결정 속도를 따라가지 못합니다. * 투자 회수 주기가 너무 길어 마케팅 비용(CAC) 집행의 적절성을 단기적으로 판단하기 어렵습니다. * 유저 전체의 평균 가치만을 보여줄 뿐, 특정 서비스 이용으로 인해 '추가로' 발생한 증분(Incremental) 가치를 분리해내지 못한다는 맹점이 있습니다. **MTVi의 정의와 산출 로직** * MTVi는 유저가 서비스를 새롭게 경험함으로써 발생하는 '향후 1년간의 순증 재무 가치'를 의미합니다. * A/B 테스트가 어려운 환경을 극복하기 위해 인과추론 방법론인 DID(Difference-in-Difference, 이중차분법) 추정법을 사용합니다. * 특정 월에 서비스를 처음 쓴 그룹(NAU)과 쓰지 않은 그룹(NEVER)을 비교하되, 유저 특성(연령, 활동 규모 등)에 따른 왜곡을 방지하기 위해 세그먼트 단위로 나누어 정밀하게 측정합니다. * 이를 통해 서비스가 없었더라도 발생했을 '자연 성장'분을 제거하고, 해당 서비스로 인해 유도된 순수한 가치 변화만을 남깁니다. **플랫폼 관점에서의 가치 구성** * MTVi는 '서비스 자체의 직접 손익'에 '해당 서비스로 인해 발생한 플랫폼 내 타 서비스로의 전이 가치'를 더해 계산합니다. * 예를 들어 '만보기'처럼 유저에게 혜택을 퍼주어 직접 손익은 마이너스인 서비스라도, 유저를 앱에 더 자주 머물게 하여 다른 금융 서비스 이용을 이끌어낸다면 MTVi는 플러스가 될 수 있습니다. * 이러한 관점은 마이데이터나 송금 등 플랫폼의 기초가 되는 서비스들의 재무적 가치를 증명하는 근거가 됩니다. **데이터 기반 의사결정의 변화** * "유저당 1년간 평균 N원의 가치를 만든다"는 명확한 숫자를 통해 모든 팀이 동일한 기준으로 소통하게 되었습니다. * 마케팅비나 운영비 등의 투자 판단 시, 고객 획득 비용(CAC)이 MTVi를 넘지 않도록 설정하는 등 정량적인 투자 효율 가이드를 제공합니다. * 여러 서비스 중 어떤 것에 먼저 자원을 투입해야 할지 우선순위를 정하는 데 있어 객관적인 지표로 기능합니다. 플랫폼 비즈니스에서 각 서비스가 독립적인 수익을 내지 않더라도 전체 생태계에 기여하는 바를 측정하는 것은 매우 중요합니다. 토스의 MTVi 사례처럼 단순한 매출 합계가 아닌 인과관계에 기반한 '증분 가치'를 측정할 때, 비로소 서비스의 진정한 가치를 이해하고 지속 가능한 성장을 위한 자원 배분이 가능해집니다.

A/B 테스트 없이 제품 영향 (새 탭에서 열림)

디스코드(Discord)는 2023년 음성 메시지(Voice Messages) 기능을 도입하면서 사용자 반응을 정밀하게 측정해야 하는 과제에 직면했습니다. 하지만 음성 메시지는 발신자와 수신자가 모두 존재해야 성립되는 기능 특성상, 사용자 간의 상호작용이 결과에 영향을 미치는 강력한 '네트워크 효과'가 발생하여 전통적인 A/B 테스트를 적용하기 어려웠습니다. 디스코드는 실험 집단 간의 독립성 원칙(SUTVA) 훼손 문제를 해결하고 정확한 인과 추론을 수행하기 위해 실험 설계의 한계를 극복하는 여정을 시작했습니다. **네트워크 효과와 SUTVA 위반 문제** * 음성 메시지는 혼자 사용하는 기능이 아니라 누군가 보내면 다른 사람이 받아야 하는 구조이므로, 실험군과 대조군이 서로 영향을 주고받는 네트워크 효과에 취약합니다. * 일반적인 A/B 테스트의 전제 조건인 SUTVA(Stable Unit Treatment Value Assumption, 개별 단위의 처치가 다른 단위에 영향을 주지 않아야 함)가 무너져 결과가 왜곡될 위험이 큽니다. * 사용자 단위로 무작위 배정을 할 경우, 실험군 사용자가 대조군 사용자에게 음성 메시지를 보냄으로써 실험 효과가 대조군으로 전이되는 간섭 현상이 발생합니다. **기존 실험 방식의 기술적 한계** * 가장 이상적인 대안은 네트워크별로 클러스터링하여 무작위 배정(Cluster Randomization)을 하는 것이지만, 당시 디스코드의 실험 플랫폼은 이를 지원하지 않았습니다. * 특정 국가나 지역별로 실험군과 대조군을 나누는 지리적 테스트(Geo-testing) 방식이 검토되었습니다. 네트워크는 보통 국가나 언어별로 묶이는 경향이 있기 때문입니다. * 그러나 국가별 테스트는 각 국가의 고유한 특성과 기저 환경이 다르기 때문에, 나타난 변화가 실험 처치 때문인지 아니면 국가 간의 본래 차이 때문인지 구분하기 어렵다는 단점이 있습니다. **인과 추론을 위한 새로운 방향성** * 단순한 사용자 단위의 무작위 배정이나 한계가 뚜렷한 국가별 비교를 넘어, 더 정교한 인과 추론 방법론이 필요해졌습니다. * 네트워크의 복잡성을 인정하면서도 실험의 통제력을 잃지 않기 위해, 지리적 차이를 보정하거나 네트워크의 간섭 효과를 통계적으로 분리할 수 있는 모델링 기법의 도입이 요구됩니다. 이 글은 네트워크 효과가 지배적인 플랫폼에서 단순한 A/B 테스트가 실패할 수 있음을 경고합니다. 소셜 기능이나 상호작용이 중요한 서비스를 운영한다면 실험 설계 단계에서 SUTVA 위반 여부를 반드시 검토해야 하며, 기술적 제약이 있을 경우 합성 대조군(Synthetic Control)이나 다른 인과 추론 프레임워크를 활용해 분석의 신뢰도를 높일 것을 권장합니다.