a-b-testing

3 개의 포스트

인턴에서 1인 디자이너로: 뾰족한 가설이 만든 성장 (새 탭에서 열림)

토스뱅크의 신입 디자이너가 비회원 가입 전환율을 높이기 위해 수행한 실험 설계 과정은 데이터 분석과 가설 검증의 유기적인 반복을 통해 정교해집니다. 실험의 성공 여부보다 중요한 것은 '왜'라는 질문을 바탕으로 선명한 가설을 세우는 것이며, 과거의 실험 데이터를 구조적으로 분석하여 승패의 패턴을 학습하는 것이 성장의 핵심입니다. 결국 명확한 문제 정의와 사용자 맥락을 반영한 작은 개선들이 모여 제품의 유의미한 비즈니스 임팩트를 만들어냅니다. **속도와 임팩트 중심의 우선순위 설정** * 비회원 가입 퍼널 중 이탈이 발생하는 인트로, 동의 화면, 신분증 인증 단계를 데이터로 분석했습니다. * 리걸(Legal) 및 컴플라이언스 검토가 필요한 공통 모듈 영역보다는, 수정이 자유롭고 첫 유입에 직접적인 영향을 주는 '인트로 화면'을 실험 대상으로 선정했습니다. * 즉각적인 반복 실험이 가능한 '속도'와 전체 전환율에 기여하는 '임팩트'를 기준으로 리소스를 배분하는 효율적인 접근 방식을 택했습니다. **과거 실험 데이터를 통한 위닝 패턴 학습** * 단순히 새로운 시안을 만드는 데 집중하기보다, 기존에 진행된 수많은 실험의 가설 구조와 문제 정의 방식을 먼저 분석했습니다. * 특정 시안의 승패 결과 자체보다는 어떤 맥락에서 해당 가설이 세워졌는지 '이유'에 집중하여 실패와 성공의 패턴을 흡수했습니다. * 실험 경험이 부족할수록 아이디어를 내는 시간보다 기존의 러닝(Learning)을 구조적으로 읽고 현재 맥락에 적용할 지점을 찾는 시간이 중요함을 확인했습니다. **명확한 가설 수립과 기술적 최적화** * 첫 실험의 실패를 통해 가설이 모호하거나 사용자 맥락을 놓치면 결과 분석이 어렵다는 점을 깨닫고, 한 번에 하나의 변수만 검증하는 원칙을 세웠습니다. * 사용자 반응이 좋았던 '고금리', '매일 이자 받기' 등의 키워드를 문구에 반영하고, 저사양 기기에서도 원활하도록 이미지 로딩 속도를 최적화(저용량 확장자 사용 등)하여 실제 전환율 상승을 이끌어냈습니다. * 기능 설명 중심의 문구에서 벗어나 유저가 혜택을 체감하는 장면을 상상하게 만드는 구체적인 표현으로 개선하여 CTR(클릭률)과 CVR(전환율)을 동시에 높였습니다. **신입 디자이너를 위한 실험 설계 제언** * 실험은 단순히 성공을 확인하는 도구가 아니라 다음 선택을 더 명확하게 하기 위한 과정임을 인지해야 합니다. * 거창한 해답을 찾으려 하기보다 퍼널을 세분화하고, 핵심 문제를 정의한 뒤 가설이 선명하게 드러나는 실험안을 설계하는 것이 중요합니다. * 실패한 실험에서도 다음 가설을 위한 힌트를 얻을 수 있도록 가설과 성공 지표를 사전에 정교하게 설정할 것을 권장합니다.

토스에서 가장 안 좋은 경험 만들기 (새 탭에서 열림)

토스에서 광고와 혜택 서비스를 담당하는 디자이너는 비즈니스 목표 달성과 사용자 경험(UX) 개선이 상충하는 과제가 아니라, 치열한 고민을 통해 찾아내야 할 ‘교집합’이라고 주장합니다. 필자는 광고라는 피할 수 없는 비즈니스 조건을 수용하되, 사용자가 느끼는 불쾌함을 최소화하고 오히려 가치 있는 경험으로 전환하는 전략을 통해 실질적인 성과를 이끌어냈습니다. 결과적으로 사용자의 신뢰를 지키는 방식이 비즈니스 임팩트를 극대화하는 가장 확실한 길임을 증명하며, 서비스의 수익성과 활성도를 동시에 잡는 결론에 도달했습니다. **사용자의 불쾌감을 줄이는 예측 가능성과 배치** * **예측 가능한 광고 경험:** 광고가 예고 없이 튀어나올 때 발생하는 사용자의 거부감을 줄이기 위해 '광고 보고'라는 문구나 광고 길이를 미리 명시했습니다. 이는 클릭률 저하 우려와 달리 부정적인 피드백을 유의미하게 감소시켰고, 광고를 수용할 사용자만 선택하게 함으로써 광고 효율을 유지했습니다. * **동선을 방해하지 않는 위치 선정:** 계좌 내역 등 사용자의 핵심 정보 탐색 동선에 광고를 배치해 혼란을 주던 방식을 폐기했습니다. 정보를 오인하지 않도록 광고 영역을 분리 배치한 결과, 매출 타격 없이 사용자의 신뢰와 지표를 동시에 회복할 수 있었습니다. **광고를 혜택과 재미로 인식하게 만드는 전략** * **맥락에 맞는 광고 제공:** 광고주가 직접 집행할 수 있는 B2B 광고 플랫폼을 구축하여 광고의 양을 늘리고, 유저 개개인에게 필요한 순간(예: 자동차 보험 만료 시점)에 맞춰 광고를 노출해 광고가 '혜택'처럼 느껴지게 설계했습니다. * **인터랙티브한 재미 요소 도입:** 광고를 단순 이미지 노출이 아닌 퀴즈, 게임, 휴대폰 움직임에 반응하는 인터랙션 등 재미있는 콘텐츠로 변모시키기 위해 팀 내부에서 정기적인 아이데이션을 진행하고 이를 실제 제품에 반영했습니다. **적절한 보상 설계를 통한 비즈니스 모델 전환** * **사용자가 체감하는 보상의 가치 탐색:** 1년 이상의 실험을 통해 현금, 기프티콘, 일확천금형 복권 등 다양한 보상 체계를 테스트하며 사용자가 광고 시청의 '노동 강도'를 기꺼이 수용할 만한 지점을 찾아냈습니다. * **만보기 복권의 성공 사례:** 광고 시청 시 100만 원 당첨 기회를 주는 '복권' 형태의 보상을 만보기 서비스에 도입하여, 적자 서비스를 수익 창출 서비스로 전환했습니다. 이는 유저 활동성과 만족도를 동시에 높여 구글로부터 게임 외 서비스 중 광고 임팩트가 가장 큰 사례로 인정받기도 했습니다. 비즈니스와 사용자 경험 사이에서 고민하는 조직이라면, 단순히 광고를 숨기거나 강요하기보다 사용자의 신뢰를 지키는 '투명성'과 적절한 '보상'의 지점을 찾는 실험을 반복해야 합니다. 광고가 사용자의 목적을 방해하는 요소가 아니라, 그 자체로 재미나 이득을 줄 수 있는 보완재로 기능하게 할 때 비즈니스는 지속 가능한 성장을 이룰 수 있습니다.

A/B 테스트 없이 제품 영향 (새 탭에서 열림)

디스코드(Discord)는 2023년 음성 메시지(Voice Messages) 기능을 도입하면서 사용자 반응을 정밀하게 측정해야 하는 과제에 직면했습니다. 하지만 음성 메시지는 발신자와 수신자가 모두 존재해야 성립되는 기능 특성상, 사용자 간의 상호작용이 결과에 영향을 미치는 강력한 '네트워크 효과'가 발생하여 전통적인 A/B 테스트를 적용하기 어려웠습니다. 디스코드는 실험 집단 간의 독립성 원칙(SUTVA) 훼손 문제를 해결하고 정확한 인과 추론을 수행하기 위해 실험 설계의 한계를 극복하는 여정을 시작했습니다. **네트워크 효과와 SUTVA 위반 문제** * 음성 메시지는 혼자 사용하는 기능이 아니라 누군가 보내면 다른 사람이 받아야 하는 구조이므로, 실험군과 대조군이 서로 영향을 주고받는 네트워크 효과에 취약합니다. * 일반적인 A/B 테스트의 전제 조건인 SUTVA(Stable Unit Treatment Value Assumption, 개별 단위의 처치가 다른 단위에 영향을 주지 않아야 함)가 무너져 결과가 왜곡될 위험이 큽니다. * 사용자 단위로 무작위 배정을 할 경우, 실험군 사용자가 대조군 사용자에게 음성 메시지를 보냄으로써 실험 효과가 대조군으로 전이되는 간섭 현상이 발생합니다. **기존 실험 방식의 기술적 한계** * 가장 이상적인 대안은 네트워크별로 클러스터링하여 무작위 배정(Cluster Randomization)을 하는 것이지만, 당시 디스코드의 실험 플랫폼은 이를 지원하지 않았습니다. * 특정 국가나 지역별로 실험군과 대조군을 나누는 지리적 테스트(Geo-testing) 방식이 검토되었습니다. 네트워크는 보통 국가나 언어별로 묶이는 경향이 있기 때문입니다. * 그러나 국가별 테스트는 각 국가의 고유한 특성과 기저 환경이 다르기 때문에, 나타난 변화가 실험 처치 때문인지 아니면 국가 간의 본래 차이 때문인지 구분하기 어렵다는 단점이 있습니다. **인과 추론을 위한 새로운 방향성** * 단순한 사용자 단위의 무작위 배정이나 한계가 뚜렷한 국가별 비교를 넘어, 더 정교한 인과 추론 방법론이 필요해졌습니다. * 네트워크의 복잡성을 인정하면서도 실험의 통제력을 잃지 않기 위해, 지리적 차이를 보정하거나 네트워크의 간섭 효과를 통계적으로 분리할 수 있는 모델링 기법의 도입이 요구됩니다. 이 글은 네트워크 효과가 지배적인 플랫폼에서 단순한 A/B 테스트가 실패할 수 있음을 경고합니다. 소셜 기능이나 상호작용이 중요한 서비스를 운영한다면 실험 설계 단계에서 SUTVA 위반 여부를 반드시 검토해야 하며, 기술적 제약이 있을 경우 합성 대조군(Synthetic Control)이나 다른 인과 추론 프레임워크를 활용해 분석의 신뢰도를 높일 것을 권장합니다.