AI로 바꾼 제품 설계의 순서

토스는 고객센터 챗봇의 높은 이탈률을 해결하기 위해 메뉴 탐색 중심 구조를 자연어 기반 AI 상담 방식으로 전환했다. 시나리오를 완성한 뒤 개발하는 대신, 실제 상담 데이터로 AI 초안을 만들고 프로토타입에서 즉시 검증하며 함께 발전시켰다. 이 과정에서 개별 시나리오 수정보다 공통 규칙을 정립하는 방식이 더 효율적이었으며, AI는 단순한 자동화 도구가 아니라 사용자 경험을 빠르게 실험하는 도구로 활용됐다.

메뉴 탐색형 챗봇의 한계

• 고객센터 방문자는 월 약 60만 명, 채팅 상담 시도자는 약 17만 명이었다.
• 챗봇 이용자의 약 60%가 중간에 이탈했다.
• 사용자는 자신의 문제는 알지만, 그것이 서비스 내부에서 어떤 카테고리로 분류되는지는 알기 어렵다.
• “결제가 안 돼요”, “멤버십을 해지하고 싶어요”처럼 자연스러운 문제 표현을 메뉴 구조에 맞춰 다시 탐색해야 하는 점이 주요 문제였다.
• 따라서 카테고리 탐색을 없애고, 사용자의 자연어를 AI가 해석해 필요한 안내나 기능으로 연결하는 경험을 목표로 삼았다.

시나리오와 프로토타입을 동시에 발전시키기

• 일반적인 챗봇 제작 과정은 다음과 같다.
  • 고객 문의 분석
  • 문의 유형 정리
  • 대화 시나리오 작성
  • 리뷰 및 수정
  • 프로토타입 제작
  • 개발
• 하지만 하나의 문의에도 다양한 조건과 분기가 존재한다.
  • 멤버십 이용료 결제 여부
  • 혜택 사용 여부
  • 해지 예약 여부
  • 고객별 확인 정보와 안내 내용
• 토스는 시나리오를 완성한 뒤 프로토타입을 만드는 대신, AI로 초안을 만든 즉시 프로토타입에서 대화 흐름을 검증했다.
• 실제 대화를 통해 질문 순서, 답변의 자연스러움, 분기 처리 문제를 빠르게 발견하고 시나리오에 반영했다.

실제 상담 데이터로 시나리오 초안 만들기

• 고객센터에서 자주 발생하는 상담 유형 20개를 선정해 AI가 시나리오 초안을 작성하도록 했다.
• 개인정보는 제거하고 가명·익명 처리한 뒤 활용했다.
• 정책 문서만 학습시키기보다 실제 상담 데이터를 중심으로 사용했다.
• 상담 데이터에는 다음과 같은 실전 맥락이 담겨 있었다.
  • 고객이 문제를 표현하는 다양한 방식
  • 상담사가 필요한 정보를 확인하는 순서
  • 원인을 단계적으로 좁혀가는 과정
  • 복잡한 정책을 고객이 이해하기 쉬운 언어로 설명하는 방식
• 그 결과 AI는 정책을 단순히 나열하는 대신, 고객의 문제를 파악하고 해결책을 안내하는 상담사에 가까운 시나리오를 생성할 수 있었다.

시나리오 허브로 다양한 조건 검증하기

• 하나의 문의에 포함된 여러 상황 조합을 미리 저장하고 선택할 수 있는 ‘시나리오 허브’를 만들었다.
• 예를 들어 멤버십 해지 문의에서 다음 조건을 선택해 바로 테스트할 수 있었다.
  • 이번 달 결제 완료 여부
  • 혜택 사용 여부
  • 해지 예약 여부
• 조건을 선택하면 해당 상태가 적용된 챗봇 대화가 즉시 시작됐다.
• 시나리오를 수정하거나 새로운 분기·규칙을 추가한 뒤에도 동일한 조건에서 빠르게 재검증할 수 있었다.
• 문서상으로는 자연스러워 보이는 흐름도 실제 대화에서는 어색할 수 있었기 때문에, 프로토타입이 단순 목업이 아닌 실험 환경으로 기능했다.
• 실제 데이터를 적용한 결과를 기준으로 판단하면서 “그럴 것 같다”가 아니라 “실제로 그렇다”는 방식으로 검증할 수 있었다.

개별 시나리오보다 공통 규칙 만들기

• 검증 과정에서 다음과 같은 반복 문제가 발견됐다.
  • 이미 알고 있는 정보를 다시 질문함
  • 같은 설명을 반복함
  • 모르는 내용을 추측해 잘못된 정보를 제공함
• 처음에는 문제마다 시나리오를 개별 수정했지만, 비슷한 문제가 계속 반복됐다.
• 이에 따라 여러 시나리오에 공통으로 적용되는 규칙을 만들었다.
  • 해결 방법을 먼저 제시하고 설명은 나중에 한다.
  • 추측하지 않고 모르면 모른다고 답한다.
  • 특정 조건에서만 상담사 연결을 진행한다.
  • AI가 수행할 수 있는 권한과 수행할 수 없는 영역을 명확히 구분한다.
• 시나리오 하나를 수정하면 하나의 흐름만 개선되지만, 규칙 하나를 수정하면 전체 시나리오가 함께 개선됐다.
• 규칙이 축적될수록 검증과 고도화 속도도 빨라졌다.

경험을 먼저 설계하고 필요한 시스템을 역산하기

• 기존에는 데이터 구조, 운영 도구, 시스템을 먼저 설계한 뒤 사용자 경험을 고민하는 경우가 많았다.
• 이번 프로젝트에서는 이상적인 사용자 경험을 먼저 만들고, 이를 구현하는 데 필요한 요소를 뒤에서 정의했다.
• 그 결과 다음과 같은 요구사항을 자연스럽게 도출할 수 있었다.
  • 어떤 고객 상태 데이터를 저장해야 하는가
  • 어떤 API가 필요한가
  • 어떤 운영 도구가 필요한가
• 모든 것을 사전에 완벽하게 설계하기보다, 검증을 통해 실제로 필요한 요소만 빠르게 정의할 수 있었다.
• 팀 합류 후 약 3주 만에 현황 분석, 경험 설계, 시나리오 생성, 프로토타입 제작, 검증과 고도화까지 진행했다.

AI가 바꾼 디자이너의 역할

• AI는 단순히 화면이나 시나리오를 대신 만들어주는 도구가 아니었다.
• 시나리오 작성과 프로토타입 구현 비용을 낮춰 더 많은 아이디어와 상황을 빠르게 비교할 수 있게 했다.
• 디자이너는 제작 자체보다 다음과 같은 판단에 더 많은 시간을 사용할 수 있었다.
  • 어떤 경험이 더 나은가
  • 어떤 규칙이 효과적인가
  • 무엇을 검증해야 하는가
• 즉, AI는 제품 설계의 순서를 바꾸고 경험 중심의 반복 실험을 가능하게 했다.

다른 제품 설계에 적용하는 방법

• 완벽한 설계를 기다리기보다 AI로 먼저 작동하는 프로토타입을 만들고 검증한다.
• 가이드와 정책 문서뿐 아니라 실제 사용자의 표현과 행동 데이터를 먼저 살펴본다.
• 같은 문제가 반복되면 개별 사례를 고치는 대신 여러 케이스에 적용할 수 있는 공통 규칙을 찾는다.
• 이러한 방식은 챗봇뿐 아니라 새로운 제품이나 기능을 설계할 때도 활용할 수 있다.

결국 이 글은 AI를 “대신 만들어주는 도구”로 보기보다, 사용자 경험을 빠르게 만들고 검증하며 개선하는 실험 도구로 활용해야 한다는 점을 강조한다.